Методика проведения сравнительного педагогического эксперимента

В качестве основы методики рассматри­вается сравнительный педагогический эксперимент, в котором проверке подлежат выдвинутые рабочие гипотезы, например, возможность повы­шения качества и прочности усвоения учебного материа­ла, усиления мотивации и активности обучающихся при использовании в образовательном процессе новых информационных технологий обучения.

Для обеспечения возможности сравнения результатов педагогического экспери­мента целесообразно разделить обучающихся на экспериментальные и контрольные группы, а также выявить начальный и итоговый уровень их обученности для получения точной картины состояния знаний, навыков и умений до и после эксперимента. С учетом сказанного предлагается следующая схема проведения сравнительного педагогического эксперимента (см. рис. 2.1).

Первый этап включает в себя выбор и выравнивание контрольных и экспериментальных групп на основе проведения входного тестиро­вания, а также определение варьируе­мых и не варьируемых условий эксперимента.

Тестирование произво­дится с использованием педагогических тестов - системы заданий возрастающей трудности, с целью определения начального уровня обученности студентов. По результатам тестирования производится выбор экспериментальных и контрольных групп. Проверку их однородности и тем самым правильность выборки целесообразно осуществлять с исполь­зованием t - крите­рия Стьюдента (равенство средних), критерия (хи-квадрат) или f - критерия Фишера (однородность дисперсии), позволяющих учитывать психофизиологические свойства обучающихся и уровень их подготовленности.

Рисунок 2.1 – Схема педагогического эксперимента

На примере использования t - критерия Стьюдента для независимых переменных покажем, как может быть произведена оценка однородности контрольных и экспериментальных групп.

Критерий Стьюдента (или t-критерий) широко применим в практике проверки статистических гипотез о равенстве средних значений двух выборок или среднего значения выборки с неким значением (целевым показателем). В последнем случае различают двухсторонние (предположение о равенстве среднего и целевого значений) и односторонние (предположение, что среднее арифметическое значение больше или меньше целевого) гипотезы. Использование данного критерия предполагает сравнение распределения наблюдаемой величины с распределением Стьюдента. В простейшем случае табличное значение критерия Стьюдента сравнивается с расчетным и на основании этого исследователь делает вывод в пользу нулевой или альтернативной гипотезы.

В данном случае предполагается выдвижение двух гипотез: нулевой гипотезы (Н0), согласно которой различия уровня подготовленности обуча­ющихся недостаточно значительны и поэтому распределение оценок от­носится к одной генеральной совокупности, т.е. выборка произведе­на правильно, и альтернативной гипотезы (H1), согласно которой различия между обоими распределениями достаточно значительны и связаны с малым объемом выборки.

В психологии и педагогике принято считать, что нулевую гипотезу можно отвергнуть в пользу альтернативной, если по результатам статистического анализа вероятность случайного возникновения найденного различия не превышает 5 из 100. Если же это уровень достоверности не достигается, считается, что разница вполне может быть случайной и поэтому нельзя отбросить нулевую гипотезу.

Таким образом, требуется доказать, что распределение оценок при входном тестирование в контрольной и экспериментальной группах являются выборками из одной генеральной совокупности, то есть, что нулевая гипотеза верна.

Для определения достоверности разницы средних при двух независимых выборках целесообразно использовать метод Стьюдента и по формуле (2.1) определить значение его t – критерия.

t= (2.1)

где М₁ и М₂ - среднее значение первой и второй выборок; S₁ и S₂ - дисперсия (среднеквадратическое отклонение) соответственно для первой и второй выборок; n₁ и n₂ - количество оценок в первой и второй выборках.

Дисперсия определяется по формуле:

= (2.2)

где - квадрат отклонений отдельных значений признаков от средней арифметической; n - количество признаков.

Геометрически является показателем того, насколько кривая распределение оценок размыта относительно ее среднего арифметического значения.

Определив дисперсию, целесообразно рассчитать значение t - критерия Стьюдента и сравнить его с табличным, приведенным в соответствующих справочных материалах (Приложение А ).

Подсчет числа степеней свободы осуществляется по формуле: df(n-1)=(n₁ – 1)+(n₂ -1)= n₁+ n₂ – 2,

где n₁ и n₂ соответственно количество оценок в первой и второй выборках.

Если табличное значение t больше чем расчетное (t_табл > t), делается вывод о том, что нулевая гипотеза не отвергается и обе выборки относятся к одной генеральной совокупности, то есть, они однородны для уровня достоверности 0,05 (вероятность 5%), что и требовалось доказать. Если же расчетное значение t оказывается больше чем табличное (t_табл < t), то следует говорить о том, что сделанные выборки (для уровня достоверности 0,05) не относятся к одной генеральной совокупности. А это значит, что выбранные контрольная и экспериментальная группы не являются однородными.

Полученные результаты целесообразно перепроверить с использованием критерия или f - критерия Фишера.

Рассмотрим для примера порядок проверки полученных результатов с использованием критерия . В этом случае применяется формула (2.3).

= (2.3)

где n₁ и n₂ - количество оценок у слушателей в контрольной и экспериментальной группе; n_i1 и n_i2 - среднеарифметическое значение успеваемости в контрольной и экспериментальной группах.

Получив расчетное значение , необходимо, как и в предыдущем случае сравнить его с табличным значением (при уровне значимости менее 5%), взятым из справочных источников (Приложение Б). Если _табл. > , то это означает, что нулевая гипотеза не отклоняется и следует считать контрольную и экспериментальную группы выборками из одной генеральной совокупности.

Таким образом, с помощью t - критерия Стьюдента или критерия можно сделать вывод об однородности или неоднородности контрольной и экспериментальной групп.

На данном этапе следует определить, а при необходимости уточнить, варьируемые (подлежащие изменению) и не варьируемые условия проведения эксперимента.

В качестве варьируемых условий эксперимента могут рассматриваться следующие:

¾ уроки проводятся с конт­рольной группой в аудитории, а с экспериментальной группой в дисплейном классе;

¾ в экспериментальной группе средством самостоятельного изу­чения учебного материала выступает комплект компьютерных средств, а в контрольной группе - традиционный учебник (учебное пособие или другое тради­ционное средство обучения);

¾ в экспериментальной группе школьники имеют возможность про­вести текущий контроль своих знаний, используя специальную компьютерную программу, а в контрольной такая возможность не предусмотрена и т.д.

В качестве не варьируемых условий проведения эксперимента можно рассматривать, например:

¾ изучение одинаковой для контрольной и экспериментальной групп дозы учебной информации;

¾ постановка одинаковых для обеих групп дидактических задач и др.

Второй этап является наиболее ответственным и включает собс­твенно проведение педагогического эксперимента. В ходе него могут проводиться: уроки по запланированной теме в контрольной и экспериментальной группах, внеклассная работа, лабораторны работы и т. п.. Но, если в экспе­риментальной группе обучение проводится с использованием, например, информационной технологии обучения, то в контрольной это делается с применением только традиционных методик обучения.

Третий этап включает выходное тестирование и может проводиться на итоговых занятиях с целью определения достигнутого уровня обу­ченности школьников, который должен соответствовать изначально заданным дидактическим целям. Методом определения в этом случае выступает, как и на первом этапе, - педагогическое тестирование.

Проверку достоверности полученных результатов целесообразно осуществлять с использованием t-критерия Стьюден­та, но уже при зависимых выборках, к которым относятся результаты одной и той же группы респондентов до и после эксперимента (воздейс­твия независимой переменной). Для этих целей можно воспользоваться формулой:

(2.4)

где - разность между результатами в каждой сравниваемой паре до и после эксперимента; - сумма этих частных разностей; - сумма квадратов частных разностей; n – число обучающихся.

Если t_табл > t то Р < 0,05 и результат достоверен. Это означает, что нулевая гипотеза отвергается и разница между выборками является достоверной.

Примеры проверки статистических гипотез по рассмотренным критериям для независимых и зависимых выборок приведены в Приложении В.

Это свидетельствует о том, что на данную разницу оказало влияние введение независимой переменной, например, обучение с применением новой информационной технологии обучения.

Четвертый этап (выходное анкетирование) проводится в экспе­риментальных группах с целью выявления субъективной оценки обуча­ющихся качества проведения с ними учебных занятий с использованием информационной технологии обучения. Здесь целесообразно особое внимание уделить определению мотивации обу­чения с применением комплекта компьютерных средств, а также оценке психологической и психофизиологической нагрузки, испытываемой респондентами в период экспериментального обучения.

На каждом этапе сравнительного педагогического эксперимента целесообразно производить сбор эмпирического материала, его статистическую обработку и предварительный анализ полученных результатов. На завершающих этапах по раз­ности результатов предварительного и итогового педагогического тестирования, оп­ределяется сравнительная эффективность применения новой информационной технологии обучения и традиционной методики обучения.

В этом случае измерение и оценку дидактической эффективнос­ти можно с достаточной степенью достоверности производить по количественно-качественным показателям учебного процесса путем обобщения и сравнения одних статистических данных с други­ми. Такими показателями выступают выбранные и обоснованные критерии эффективности, которые можно рассматривать как обобщенные результаты достижения постав­ленных целей.

При проведении сравнительного педагогического эксперимента оценку дидактической эффективности применения в учебном процессе информационной технологии обучения предлагается производить, используя следующий математический аппарат.

В общем виде эффективность применения в учебном процессе информационной технологии обучения (ИТО) можно определить по формуле:

, (2.5)

где Ро - результаты, достигнутые в процессе обучения. Определяются на основе как качественных, так и количественных показателей; Рц - результаты, соответствующие целям обучения, выраженные в соответствующих параметрах.

Для проведения сравнительного анализа эффективности применения в учебном процессе информационной технологии обучения и традиционной технологии обучения целесообразно воспользоваться следующей формулой:

Э_ито= (2.6)

где Э_ито - эффективность информационной технологии обучения; Сэ - сумма оценок, полученных экспериментальной группой по итогам обучения с ее использованием; Ск - сумма оценок, полученных контрольной группой.

Если затраты времени на обучение при использовании информационной технологии обучения и традиционной технологии обучения различны, то эффективность первой определяется по формуле:

Э_ито = (2.7)

где К_вр - временной коэффициент, который выводится через отношения времени, необходимого на обучения в контрольной группе, ко времени, затраченному на подготовку слушателей экспериментальной группы

, (2.8)

В качестве одного из основных критериев оценки эффективности применения информационной технологии обучения в педагогических исследованиях часто используется коэффициент оценки (уровня знаний) Ко:

(2.9)

где - оценка за группу, полученная с использованием ИТО;

- оценка за группу, полученная при традиционной технологии обучения.

В случае если применение в учебном процессе информационной технологии обучения является более эффективным чем использование традиционной технологии обучения, значение коэффициента Ко должно быть больше единицы. (В научных публикациях встречаются данные о повышении уровня знаний в 1,5 - 3 раза. т.е. Ко = 1,5-3).