Опытно-экспериментальная работа по реализации педагогической модели тестирования компетенций проводилась в течение 2009-2016 гг.

Цель экспериментального исследования: экспериментально апробиро­вать тесты, созданные на основе педагогической модели тестирования компе­тенций с учетом требований к результатам освоения основной образовательной программы.

Методы экспериментальной работы: тестирование, беседа, моделиро­вание систем и графов по школьным предметам, анализ, синтез, сравнение.

В эксперименте приняли участие 163 школьника:

в тестировании по информатике и ИКТ приняли участие 94 школьника (учащиеся десятого класса, закончившие изучение раздела «Основы информа­тики» школьного курса информатика и ИКТ): МБОУ «Средняя общеобразова­тельная школа № 7» г. Выборга и гимназия № 7 имени В. М. Воронцова г. Воронежа;

в тестирование по физике приняли участие 69 школьников (учащиеся десятого класса, закончившие изучение раздела «термодинамики» школьного курса физики: МБОУ «Приветненская СОШ», «Кондратьевская СОШ» Вы­боргского района Ленинградской области; в МБОУ «Средняя общеобразова­тельная школа № 7» г. Выборга.

В экспериментальном исследовании нас интересовали данные статисти­ки, то есть данные, подлежащие анализу: это оценки - количественные резуль­таты, полученные школьниками в результате выполнения тестирования по двум методикам:

Оценки, как результат выполнения классического тестирования (тест, который подготовил учитель в данном классе);

Оценки, как результат выполнения компетентностного теста, подготов­ленного на основе педагогической модели тестирования компетенций школь­ника;

Оценка эксперта-преподавателя, который оценивал уровень учебных достижений каждого школьника (данный преподаватель вел занятия в классе и хорошо представляет уровень знаний каждого школьника).

В исследовании нас интересовали соотношения между:

оценкой эксперта и результатами обычного тестирования;

оценкой эксперта и результатами компетентностного тестирования;

средний балл по всем видам тестирования.

Педагогический эксперимент включал в себя три этапа (констатирующий, формирующий, контрольный).

Констатирующий этап эксперимента

Цель констатирующего этапа - выявить уровень знаний школьников по предметам общеобразовательной школы (физика, информатика и ИКТ) с по­мощью классических тестов, то есть тестов, разработанных преподавателем данного учебного предмета.

Задачи констатирующего этапа эксперимента: 1) провести эксперимен­тальную работу по классическому тестированию; 2) определить уровень знаний школьников по физике, информатике и ИКТ; 3) соотнести полученные оценки за классическое тестирование с оценкой эксперта (преподавателя, который оце­нивал уровень учебных достижений каждого школьника).

На данном этапе нами использовались такие методы исследования как те­стирование, беседа с преподавателем учебной дисциплины.

Для выявления уровня знаний по предметам (физика, информатика и ИКТ) у учащихся 10-х классов нами было проведено обычное тестирование (см. приложение 11 и приложение 13), то есть были применены стандартные тесты, которые использует преподаватель на своих уроках.

Так же для определения уровня развития личностных результатов каждо­го школьника данного класса нами была проведена беседа с преподавателями

физики и информатики, которые дали оценку каждому школьнику как эксперт.

На выполнение тестирования отводилось 25-30 минут. По истечении это­го времени работы собирались, и определялся процент успешных решений каждого ученика и класса в целом. Оценивание проводилось по пятибалльной шкале (см. приложение 15).

Анализируя оценки, показанные школьниками в результате классическо­го тестирования и оценки эксперта, можно сделать вывод, что в целом резуль­тат тестирования близок к оценке эксперта. Результаты тестирования отразили в гистограмме (см. рисунок 15 и рис унок16).

Рисунок 15. Оценки, полученные школьниками по классическому тестированию по физике и оценки эксперта на констатирующем этапе эксперимента

Рисунок 16. Оценки, полученные школьниками по классическому тестированию по информатике и ИКТ и оценки эксперта на констатирующем этапе эксперимента

Данные по классическому тестированию согласуются с оценками экспер­та, это говорит о том, что эксперт хорошо представляет уровень знаний каждо­го школьника.

Таким образом, проанализировав результаты констатирующего этапа эксперимента, мы определили цель и задачи следующего формирующего этапа.

Формирующий этап экспериментального исследования

Цель формирующего этапа эксперимента - системное конструирование учебного материала на основе его моделирования (самостоятельное создание графовых моделей знаний по разделам предмета); разработка компетентност- ных тестов, созданных на основе педагогической модели тестирования компе­тенций.

Поставленная нами цель достигалась путем решения следующих задач: 1) создание (анализ) совместно со школьниками «дерева знаний» со всеми его вершинами и ребрами, что позволяет добиться у школьников систематизации пройденного материала; 2) научить школьников заниматься проектной дея­тельностью.

На данном этапе нами использовались такие методы исследования как опрос, моделирование систем и графов по школьным предметам, анализ, син­тез, сравнение.

В результате совместной работы (опрос) со школьниками были построе­ны (подробно рассмотрены) граф-дерево по физике (раздел «Основы термоди­намики») и граф-дерево по информатике и ИКТ (раздел «Основы информати­ки») - см. приложение 7 и приложение 12.

В построении графов-деревьев по физике и информатике мы опирались на разработанный нами алгоритм конструирования тестовых заданий, где на первом этапе совместно со школьниками и преподавателем выделили наиболее фундаментальные понятия предметной области. Фундаментальность определя­лась экспертом (преподавателем данной дисциплины и руководителем научной работы). Данные понятия мы назначили как вершины графа, у графа определя­ются ребра - то есть взаимосвязи между данными понятиями. Ребра могут быть как обычные, так и «висячие» - это ребра, которые связывают понятия данной предметной области с понятиями смежных областей.

На втором этапе каждому понятию присвоили вес, то есть про ранжиро­вали: наибольший вес тем из них, из которых можно логически вывести остальные. Далее при построении графа определяем «остов» дерева понятий, расположив фундаментальные понятия, приняв во внимание известные законо­мерности предметной области, в определенном порядке в зависимости от при­своенного веса.

На третьем этапе соединяем ребрами вершины графа, где ребрами явля­ются правила, отношение, закон, теорема, тождество, то есть представляют со­бой взаимосвязи.

Такой подход позволяет школьникам прочувствовать внутреннюю логику учебного материала, развить умения и навыки, понять механизм встраивания информации в уже существующую систему знаний. Графы, составленные в хо­де наших методических указаний, позволяют укреплять и систематизировать предметные знания школьников, подталкивают к анализу и систематизации знаний.

На основе алгоритма конструирования тестовых заданий по предметам общеобразовательной школы (см. п.2.1) на данном этапе спроектировали базы тестовых заданий по физике и информатике и ИКТ.

Контрольный этап экспериментального исследования

Цель контрольного этапа эксперимента - выяснить, насколько эффектив­ным оказался предложенный нами алгоритм конструирования тестовых зада­ний, ориентированных на оценку сформированности компетенций, путем про­ведения компетентностного тестирования.

Исходя из цели, мы поставили задачу: сравнить результаты тестирования на контрольном этапе с результатами тестирования на констатирующем этапе.

На данном этапе нами использовались такие методы исследования как компетентностное тестирование, анализ, синтез, сравнение.

На контрольном этапе мы экспериментально апробировали тесты, со­зданные на основе педагогической модели тестирования компетенций с учетом требований к результатам освоения основной образовательной программы.

В качестве первой попытки школьникам была предложена база тестовых заданий по физике раздел «Основы термодинамика» (см. приложение 11), это область физики отличается четко выраженной логической структурой, и база тестовых заданий по информатике и ИКТ раздел «Основы информатики» (гла­вы «Компьютерное тестирование», «Информация. Двоичное кодирование ин­формации», «Основы логики и логические основы компьютера», см. приложе­ние 12). На момент проведения эксперимента школьники, участвующие в нем, данные разделы изучили.

Результаты тестирования представлены в приложении 15, а также отрази­ли в гистограммах (см. рисунок 17 и рисунок 18).

ОЦЕНКИ ШКОЛЬНИКОВ. ПОЛУЧЕННЫЕ ЗА КОМПЕТЕНТНОСТНОЕ ТЕСТИРОВАНИЕ ПО ФИЗИКЕ И ОЦЕНКИ ЭКСПЕРТА

6 1^--------------------------------------------------------------------------------------------------------------------------------

оценки за системное (компетентностное) тестирование

О

13 5 7 9 11 13 15 17 1921 23 252729 3133 353739 4143 45 4749 51 5355 575961 6365 6769

шкала школьников

Рисунок 17. Оценки, полученные школьниками по компетентностному тестированию по физике и оценки эксперта на контрольном этапе эксперимента

ОЦЕНКИ ШКОЛЬНИКОВ, ПОЛУЧЕННЫЕ ЗА КОМПЕТЕНТНОСТНОЕ ТЕС ТИРОВАНИЕ ИНФОРМАТИКЕ И ОЦЕНКИ ЭКСПЕРТА

шкала школьников

Рисунок 18. Оценки, полученные школьниками по компетентностному тестированию по информатике и оценки эксперта на контрольном этапе эксперимента

При проведении компетентностного тестирования (включая построение графов по учебному предмету) у школьников проверяются и формируются сле­дующие компетенции (см. рис. 19)

ОБРАЗОВАТЕЛЬНЫЕ КОМПЕТЕНЦИИ

Проверяются следующие предметные компетенции

по физике:

владение основополагающими физическими понятиями, закономерностями, законами и теориями раздела физики «Термодинамика»;

пользование физической терминологией и символикой;

умение обнаруживать зависимость между физическими величинами;

умение решать физические задачи.

по информатике и ИКТ:

владение основными понятиями информатики;

сформированность представлений о важнейших видах дискретных объектов и об их простейших свойствах;

сформированность представлений об устройстве современных компьютеров, о тенденциях развития компьютерных технологий о понятии «операционная система» и основных функциях операционных систем;

знания и умения создания и обработки информационных объектов, динамических (электронных) таблиц.

Формируются следующие компетенции

с=>

личностные:

формирование навыков сотрудничества со сверстниками, преподавателями в образовательной, учебно-исследовательской, проектной и других видах деятельности;

формирование готовности и способности к образованию, в том числе самообразованию на протяжении всей жизни);

метапредметные:

продуктивно общаться и взаимодействовать в процессе совместной деятельности, учитывать позиции других участников деятельности, эффективно разрешать конфликты;

владение навыками познавательной, учебно-исследовательской и проектной деятельности, навыками разрешения проблем;

способность и готовность к самостоятельному поиску методов решения практических задач, применению различных методов познания;

готовность и способность к самостоятельной информационно-познавательной деятельности, включая умение ориентироваться в различных источниках информации, критически оценивать и интерпретировать информацию, получаемую из различных источников;

умение использовать средства информационных и коммуникационных технологий; владение языковыми средствами — умение ясно, логично и точно излагать свою точку зрения, использовать адекватные языковые средства;

владение навыками познавательной рефлексии как осознания совершаемых действий и мыслительных процессов, их результатов и оснований, границ своего знания и незнания, новых познавательных задач и средств их достижения.

Рисунок 19. Перечень образовательных компетенций, которые проверя­ются и формируются при проведении компетентностного тестирования

Классический тест определяет только уровень сформированности знаний (предметные компетенции).

Перейдем к анализу и обсуждению результатов исследования после про­ведения контрольного этапа эксперимента.

Анализ результатов экспериментальной работы

В результате экспериментальной работы нами были получены следующие данные:

Оценки, которые получили школьники за выполнение классического те­стирования (приложение 15);

Оценки, за выполнение компетентностного теста, подготовленного на ос­нове графа по ТД (приложение 15);

Оценки преподавателя (который выступает в нашем исследовании как экс­перт) по данной дисциплине (приложение 15).

Расчет указанных соотношений проводился как для всей выборки, так и для групп сильных (баллы по предмету «хорошо» и «отлично») и слабых (бал­лы «удовлетворительно» и ниже) по уровню достижений школьников.

Проанализируем полученные данные, решая первую и вторую задачи теории корреляции. Первая задача теории корреляции - установим форму кор­реляционной связи (графический анализ), то есть вид функции регрессии. Вто­рая задача теории корреляции - оценим тесноту (силу) корреляционной связи. Теснота корреляционной зависимости Y от X оценивается по величине рассея­ния значений Y вокруг условного среднего. Решая вторую задачу корреляции проанализируем полученные: ковариацию; коэффициент корреляции (как для всей выборки, так и для групп сильных и слабых школьников); корреляционное отношение.

Анализ результатов экспериментальной работы по физике

Прежде чем приступить к выполнению основных задач корреляции, вы­числим коэффициент корреляции Браве-Пирсона (r, это параметрический пока­затель, для вычисления которого сравнивают средние и стандартные отклоне­ния результатов двух измерений) и сравним его с табличным значением коэф­
фициента Браве-Пирсона и Спирмена для разного числа степеней свободы. В нашем случае было рассмотрено 69 пар данных. По таблице нашли отклонение результатов двух измерений:

r (эксперт - оценка за выполнение системных тестовых заданий) = 0,48, r (эксперт - оценка за выполнение классических тестовых заданий) = 0,36, эти данные пригодятся ниже, при рассмотрении коэффициента корреляции.

Решим первую задачу теории корреляции - установим форму корреляци­онной связи, то есть вид функции регрессии. В нашем исследовании функция регрессии линейная, следовательно, корреляция линейная.

К

S

со 0Q О Q. S О

g

о X 5

g

о

S

о

S

X

ф

о

Рисунок 20. Функция регрессии оценок компетентностного тестирования по физике

оценка эксперта

оценок

Рисунок 21. Функция регрессии оценок эксперта и оценок классического тестирования по физике

Графический метод дал следующую информацию: облако однородное, выстроенное в определенном направление (зависимость будет положительная и не строгая), сила связи по графику средняя, линейность связи (на рис.13 и 14 представлены линии регрессии) - обе линии являются прямыми. Точки пересе­чения показателей каждой пары данных образуют «облако», коэффициент кор­реляции по абсолютной величине становится меньше единицы.

С практической точки зрения это существенное замечание. Значит, дан­ный метод дает приблизительные результаты, а более точные числовые показа­тели меры и формы связи определим, решив вторую задачу корреляции.

Вторая задача корреляции: для решения данной задачи оценим силу кор­реляционной связи.

Во-первых, проведем ковариационный анализ, который установит ассо­циацию наборов данных по их величине. Для этого найдем ковариацию «оцен­ка эксперта-преподавателя - результат компетентностного тестирования», она составляет 0,58. Аналогично находим ковариацию «оценка эксперта- преподавателя - результат классического тестирования», и она равняется 0,40.

В случае «эксперт - компетентностое тестирование» и в случае «эксперт - классическое тестирование» ковариация положительная (взаимосвязь боль­ших значений двух наборов данных существует), полученные в результате те­стирования величины отклоняются синхронно от своих средних значений.

Данные, полученные в тестировании по физике, представим в виде выра­жения, из которого следует:

соу (Эксперт-СисТЗ) > cov (Эксперт-КТЗ),

скоррелированность случайных величин в первом случае (эксперт - ком- петентностные тесты) немного превышает скоррелированность случайных ве­личин во втором случае (эксперт - классические тесты).

Проведенные расчеты двух тестирований позволяют сделать вывод, что оценки, полученные за выполнение системных тестовых заданий близки и вза­имосвязаны с оценками эксперта, то есть тест, составленный по предложенному алгоритму, наиболее точно характеризует уровень учебных достижений каждо­го школьника.

Во-вторых, для более точного анализа результатов тестирования класси­ческого и компетентностного рассчитаем коэффициент корреляции и корреля­ционное отношение.

Полученный коэффициент корреляции между оценкой эксперта и резуль­татами компетентностного тестирования составляет в числовом значении 0,72, что соответствует сильной корреляции и намного превышает критическое зна­чение коэффициента корреляции Браве-Пирсона (для данной выборки он со­ставляет 0,48) - в данном случае между двумя выборками данных существует связь, теснота корреляционной связи сильная и превышает значение коэффици­ента Браве-Пирсона.

Коэффициент корреляции между оценкой эксперта и результатами обыч­ного тестирования составляет 0,68 - тоже можно сделать вывод, что корреляция сильная (коэффициент корреляции Браве-Пирсона составляет 0,364), связь су­ществует, сила корреляционной связи также сильная, но меньше, чем в первом случае.

Следовательно, компетентностные тесты, разработанные в данной работе, основанные на алгоритме конструирования тестовых заданий и ориентирован­ные на оценку сформированности компетенций, дают результат более близкий оценке эксперта.

В-третьих, для более точного результата, в связи с тем, что на графике точки выстраиваются не совсем по прямой линии, а образуют вытянутое обла­ко, найдем значение корреляционного отношения.

Расчеты и анализ величин корреляционного отношения между оценкой эксперта и результатами компетентностного тестирования школьников (данная величина составляет 0,71) и между оценкой эксперта и результатами классиче­ского тестирования школьников (составляет 0,61) аналогично показал суще­ствование сильной связи. Причем, корреляционное отношение, рассчитанное

для системных тестовых заданий, превышает корреляционное отношение, рас­считанное для классических тестовых заданий.

Представим указанные выше рассуждения в виде таблицы.

Таблица 3 - Анализ Данных, полученных в результате решения заДачи корреля-

Метод нахождения

корреляционной

зависимости

Соответствие меж­ду оценкой экспер­та и результатами компетентностного тестирования

Соответствие меж­ду оценкой экспер­та и результатами классического те­стирования

Выводы по результатам ис­следования

Графический

«Облако» однородное, отсутствует воз­можное засорение выборки аномальными значениями; выстроено в положительном направлении; сила связи средняя, линии регрессии - прямые

По графику трудно опреде­лить, какое соотношение наиболее удачное

Аналитический:

А) Ковариация

covx,y = 0,58

covx,y = 0,40

covx,y (СисТЗ) > covx,y (КТЗ)

Б)Коэффициент

корреляции

Гх,у = 0,72

К,у = 0,68

г^(СисТЗ) > г^(КТЗ)

В) корреляционное отношение

П = 0,71

П = 0,61

?](СисТЗ) > т](КТЗ)

Для более полного разбора проанализируем рассмотренные выше соот­ношения для групп «сильных» и «слабых» школьников. Для этого прежде всего обратим внимание на графический метод, а также выразим коэффициент кор­реляции для групп школьников.

Получаем следующие графы (см. рисунок 22) и таблицу показателя ко­эффициента корреляции по группам данных (см. таблицу 4).

Рисунок 22. Формы корреляционной связи для сильных и слабых школьни­ков А) функция регрессии оценок эксперта и оценок компетентностного те­стирования для групп сильных школьников; Б) функция регрессии оценок экс­перта и оценок компетентностного тестирования для групп слабых школьни­ков; В) функция регрессии оценок эксперта и оценок классического тестирова­ния для групп сильных школьников; Г) функция регрессии оценок эксперта и оценок классического тестирования для групп слабых школьников;

Проанализируем полученные результаты: на всех четырех рисунках гра­фик функции представляет собой однородное «облако», что указывает на от­сутствие возможного засорения выборки аномальными значениями; «облако» выстроено в определенном направлении, что говорит о положительной и не строгой зависимости; сила связи в первых трех приблизительно одинаковая, слабая, а вот четвертый график является исключением - «облако» очень раз-

режено, стало быть, сила связи очень слабая, в несколько раз меньше предыду­щих случаев. Чтобы более точно проанализировать полученные данные - при­ведем таблицу, где укажем коэффициент корреляции для каждого указанного выше случая.

Таблица 4 - Коэффициент корреляции по уровням подготовленности школьни­ков

Коэффициент корреляции по уровням подготовленности

Показатель коэффициента

корреляции:

Между оценкой

эксперта и резуль­татом компетент-

ностного тестиро­вания

Между оценкой

эксперта и ре­зультатом

обычного те­стирования

Выводы

для выборки сильных

школьников

0,49

0,42

г(СисТЗ) > г(КТЗ)

для выборки слабых школь­ников

0,54

0,06

г(СисТЗ) >> г(КТЗ)

Другими словами, системные тестовые задания позволяют определить сильных школьников, и с большой вероятностью позволяют идентифицировать слабых. Для групп сильных по уровню достижений школьников, коэффициен­ты корреляции результатов двух тестирований выше максимального значения для данной выборки (для системных тестовых заданий коэффициент Браве- Пирсона составляет 0,241, для классических тестовых заданий - 0,175) - это го­ворит о сильной связи между переменными. Уровень знаний таких учеников позволяет с большой вероятностью выполнить любой тест.

Коэффициент корреляции слабых школьников при выполнении классиче­ских тестов очень мал, близок к 0, что указывает на слабую связь, обе перемен­ные полностью не зависят друг от друга. То есть идентифицировать слабого школьника по классическим тестовым заданиям практически невозможно. Зато показатель коэффициента корреляции «оценка эксперта - результат системного

тестирования» равняется 0,540, что даст возможность определить уровень спо­собностей слабого школьника.

Представим таблицу среднего балла по всем видам тестирования.

Таблица 5 - СреДний балл по всем виДам Данных

Эксперт

Выполнение

СисТЗ

Выполнение

КТЗ

Выводы

Вся выборка

3,7

3,7

3,3

п(КТЗ) < п(СисТЗ) = п(Э)

Для сильных

школьников

4,3

4,0

3,7

п(КТЗ) < п(СисТЗ) < п(Э)

Для слабых

школьников

2,8

2,9

2,7

п(КТЗ) < п(Э) < п(СисТЗ)

По данным таблицы среднего балла можно убедиться, что оценки, кото­рые получили школьники по компетентностному тестированию лучше оценок, которые они получили за классическое тестирование и очень близки оценке эксперта в данной области знаний.

Анализ результатов экспериментальной работы по информатике и ИКТ

Вычислим коэффициенты Браве-Пирсона (r) для различного числа степе­ней свободы (в нашем случае их 94). По таблице нашли отклонение результатов двух измерений:

r (эксперт-СисТЗ) = 0,36, r (эксперт-КТЗ[1]) = 0,31.

Далее решим первую задачу теории корреляции - установим форму кор­реляционной связи, то есть вид функции регрессии. В нашем исследовании функция регрессии линейная. Как видно из графиков (см. рисунок 23 и рису­нок 24), при линейной корреляции обе линии регрессии являются прямыми ли­ниями.

л

y = 0,5504x + 1,6842 эксперт- СисТЗ

R2 = 0,3585

V.______________________________________________ J

Рисунок 23. Функция регрессии оценок эксперта и оценок компетентностного тестирования по информатике и ИКТ

y = 0,5157x + 1,846

R2 = 0,3129

эксперт-КТЗ

Рисунок 24. Функция регрессии оценок эксперта и оценок классического тестирования по информатике и ИКТ

Дадим анализ полученным графикам: и в случае «эксперт - компетент­ностное тестирование» и в случае «эксперт -классическое тестирование» точки пересечения значений каждой пары данных дают однородное «облако», вы­строенное в определенном положительном направлении, где сила связи средняя и по графику невозможно определить, на каком из двух рисунков показана наибольшая сила связи. Поэтому решим вторую задачу теории корреляции - оценим силу корреляционной связи:

Во-первых, также, как и в первом эксперименте, проведем ковариацион­ный анализ, который установит ассоциацию наборов данных по их величине. Для этого найдем ковариацию «оценка эксперта-преподавателя - результат компетентностного тестирования», она составляет 0,36. Аналогично находим ковариацию «оценка эксперта-преподавателя - результат классического тести­рования», и она равняется 0,33. В случае «эксперт - компетентностое тестиро­вание» и в случае «эксперт - классическое тестирование» ковариация положи­тельная (взаимосвязь больших значений двух наборов данных существует), по­лученные в результате тестирования величины отклоняются синхронно от сво­их средних значений.

Данные, полученные в тестировании по информатике и ИКТ, представим в виде выражения, из которого следует:

соу (Эксперт-СисТЗ) > cov (Эксперт-КТЗ),

скоррелированность случайных величин в первом случае (эксперт - ком- петентностные тесты) немного превышает скоррелированность случайных ве­личин во втором случае (эксперт - классические тесты). Проведенные расчеты двух тестирований позволяют сделать вывод, что оценки, полученные за вы­полнение системных тестовых заданий, совпадают, а также связаны с оценкой эксперта, что означает, что сконструированный по предложенному алгоритму тест, точнее дает характеристику уровню учебных достижений каждого школь­ника.

Во-вторых, для уточнения анализа результатов тестирований классиче­ского и компетентностного рассчитаем коэффициент корреляции и корреляци­онное отношение.

Полученный коэффициент корреляции между оценкой эксперта и резуль­татами компетентностного тестирования составляет в числовом значении 0,60, это означает сильную корреляцию, что превышает критическое значение коэф­фициента корреляции Браве-Пирсона, который для данной выборки составляет 0,36. То есть, в данном случае между двумя выборками данных существует связь, теснота корреляционной связи сильная и превышает значение коэффици­ента Браве-Пирсона.

Коэффициент корреляции «оценка эксперта - результат обычного тести­рования» составляет 0,56 - тоже можно сделать вывод, что корреляция сильная (коэффициент корреляции Браве-Пирсона составляет 0,31), связь существует, сила корреляционной связи так же сильная, но меньше чем в первом случае. Следовательно, компетентностные тесты, разработанные в данной работе, ос­нованные на алгоритме конструирования тестовых заданий и ориентированные на оценку сформированности компетенций, дают результат более близкий оценке эксперта.

В-третьих, для детализации результатов исследования (в связи с тем, что на представленном выше графике точки выстраиваются не совсем по прямой линии, а образуют вытянутое облако), найдем значение корреляционного от­ношения. Вычисление показателя корреляционного отношения «оценка экспер­та - результаты выполнения школьниками компетентностного теста», который составляет 0,61 и показателя «оценка эксперта - результат выполнения класси­ческого теста школьниками», который составляет 0,57 показал существование сильной связи. Представим полученные рассуждения в виде таблицы.

Таблица 6 - Анализ Данных, полученных в результате решения заДачи

корреляции

Метод нахождения

корреляционной

зависимости

Соответствие меж­ду оценкой экспер­та и результатами компетентностного тестирования

Соответствие между оценкой эксперта и ре­зультатами клас­сического тести­рования

Выводы по результатам ис­следования

Графический

«Облако» однородное, отсутствует воз­можное засорение выборки аномальны­ми значениями; выстроено в положи­тельном направлении; сила связи сред­няя, линии регрессии - прямые

По графику трудно опреде­лить, какое соотношение наиболее удачное

Аналитический:

А) Ковариация

covx,y = 0,36

covx,y = 0,33

covx,y (СисТЗ) > covx,y (КТЗ)

коэффициент

корреляции

rx,y = 0,60

гх, = 0,56

т^СисТЗ) > гх,у(КТЗ)

В) корреляционное отношение

П = 0,61

П = 0,57

?](СисТЗ) > т](КТЗ)

Для более полного разбора следующим этапом проанализируем рассмот­ренные выше соотношения для групп «сильных» и «слабых» по уровню дости­жений школьников. Обратим внимание на графический метод, а также рассчи­таем коэффициент корреляции для обеих групп по уровню достижений школь­ников. Получаем четыре графа (см. рисунок 25) и таблицу с показателями ко­эффициента корреляции (см. таблицу 7).

Рисунок 25. Формы корреляционной связи Для сильных и слабых школьни­ков А) функция регрессии оценок эксперта и оценок компетентностного те­стирования Для групп сильных школьников; Б) функция регрессии оценок экс­перта и оценок компетентностного тестирования Для групп слабых школьни­ков; В) функция регрессии оценок эксперта и оценок классического тестирова­ния Для групп сильных школьников; Г) функция регрессии оценок эксперта и оценок классического тестирования Для групп слабых школьников;

Проанализируем полученные результаты: во всех четырех график функ­ции предоставляет собой однородное «облако», что указывает на отсутствие возможного засорения выборки аномальными значениями; «облако» выстроено в определенном положительном направлении; сила связи для сильных групп школьников намного больше силы связи для слабых групп школьников.

Чтобы более точно проанализировать полученные данные - приведем таблицу, где укажем коэффициент корреляции для каждого указанного выше случая.

Таблица 7 - Коэффициент корреляции по уровням поДготовленности школьников

Коэффициент корреляции по уровням подготовленности

Показатель коэффициента

корреляции

Между оценкой

эксперта и резуль­татом компетент-

ностного тестиро­вания

Между оценкой

эксперта и ре­зультатом

обычного те­стирования

Выводы

для выборки сильных

школьников

0,55

0,41

г(СисТЗ) > г(КТЗ)

для выборки слабых школь­ников

0,11

0,12

г(СисТЗ) < г(КТЗ)

Другими словами, системные тестовые задания позволяют определить сильных школьников, и с большой вероятностью позволяют идентифицировать слабого. Для групп сильных по уровню достижений школьников, коэффициен­ты корреляции результатов двух тестирований выше максимального значения для данной выборки (при системных тестовых заданиях коэффициент Браве- Пирсона составляет 0,304, для классических тестовых заданий - 0,167) - это го­ворит о сильной связи между переменными.

Коэффициенты корреляции слабых школьников показывают очень ма­ленькие значения: это означает, что связь между данными слабая, то есть иден­тифицировать по данной методике слабого по уровню достижений школьника невозможно, как по компетентностным, так и по классическим тестам.

Перейдем к результатам среднего балла по классическому и компетент- ностному тестированию (см. таблицу 8).

Таблица 8 - СреДний балл по всем виДам Данных

Эксперт

Выполнение

СисТЗ

Выполнение

КТЗ

Выводы

Вся выборка

4,1

3,9

3,9

п(КТЗ) = п(СисТЗ) < п(Э)

Для сильных

школьников

4,5

4,1

4,1

п(КТЗ) = п(СисТЗ) < п(Э)

Для слабых

школьников

3,0

3,4

3,4

п(Э) < п(КТЗ) = п(СисТЗ)

По данным таблицы среднего балла можно убедиться, что оценки, кото­рые получили школьники по компетентностному тестированию и оценки за классическое тестирование совпадают и очень близки оценке эксперта в данной области знаний.

ВывоДы по экспериментальной работе

Проведенные исследования и анализ результатов тестирования по общей физике (раздел «Термодинамика») и по информатике и ИКТ (раздел «Основы информатики») позволяют сделать следующие выводы:

Количество учащихся, которым было предложено выполнить базы те­стовых заданий в полном объеме (как по системным тестовым заданиям, так и

по классическим тестовым заданиям), составляет 69 человек в первом случае и

94 - во втором, то есть это говорит о средней выборке испытуемых, а, следова­тельно, результаты анализов будут стремиться к достоверным;

Решая и первую и вторую задачи корреляции для первого эксперимента по физике и для второго эксперимента по информатике и ИКТ, получили сле­дующие результаты:

зависимость между данными существует, но не строгая;

сила связи средняя, причем

coVx,y (СисТЗ) > coVx,y (КТЗ) ;

rXy(CucT3) > rx,y(КТЗ);

^(СисТЗ) > 7](КТ.З);

Следовательно, результаты тестирования, составленного по алгоритму конструирования тестовых заданий, ориентированных на оценку сформирован- ности компетенций, предложенный в гл. 1 тесно связаны с результатами экс­перта, который хорошо знает уровень подготовленности каждого ученика, а, следовательно, разработанная нами база тестовых заданий, наиболее точно от­ражает уровень учебных достижений учащихся.

Анализируя результаты разделенных по уровню достижений школьни­ков (сильные и слабые учащиеся), видим, что в обоих экспериментах тестовые задания, разработанные на основе педагогической модели тестирования компе­тенций и по классической методике, позволяют определить сильных школьни­ков. В дополнение к вышесказанному, гху (СисТЗ) > хху(КТЗ), уровень знаний

сильных по уровню учебных достижений школьников дает большую вероят­ность выполнения и классического и компетентностого тестов. С другой сторо­ны, если рассматривать результаты тестирования слабых по уровню достиже­ний школьников, то в первом эксперименте по физике компетентностное те­стирование дает хороший результат и идентифицировать слабого школьника в данном виде тестирования мы можем, тогда как «сила связи» при классическом тестировании близка нулю, то есть результат слабого по уровню учебных до­стижений школьника предвидеть невозможно и идентифицировать таких уче­ников по обычному тестированию практически невозможно.

В эксперименте по информатике и ИКТ нет возможности определить сла­бых по уровню достижений школьников, значения коэффициента корреляции как между Экспертом и результатами выполнения компетентностного тестиро­вания, так и между Экспертом и выполнением классических тестовых заданий близка нулю;

Обратив внимание на средний балл, можно заметить, что лучшие ре­зультаты были получены по компетентностному тестированию (особенно в первом эксперименте по физике), и данные результаты близки оценке эксперта.

С точки зрения практики, получили хорошие результаты по компетент- ностному тестированию, что обосновывает значительное повышение точности и достоверности оценки. Но это не значит, что разработанные в диссертацион­ной работе тестовые задания, основанные на методике компетентностного те­стирования лучше, качественнее стандартных, классических тестовых заданий и отвечают свойствам и требованиям, предписанным для конструирования те­стовых заданий.

При этом необходимо понимать, что при дальнейшем изучении данной проблемы нужно обратить внимание на качество самих тестовых заданий; опробовать разработанную базу тестовых заданий для большего числа испыту­емых, что уменьшит вероятность искажения результатов; а также взять на во­оружение при статистической обработки результатов тестирования наиболее современные методы.

Таким образом, по результатам проведенного эксперимента разработан­ные и реализованные нами базы тестовых заданий по физике и информатике, созданные на основе педагогической модели тестирования компетенций с уче­том алгоритма конструирования тестовых заданий, доказали свою эффектив­ность.

КТЗ - классические тестовые задания