Традиционные подходы к оценке учебных достижений

В нашей стране при оценке достижений обучаемых роль предмета измерения традиционно отводится уровню и качеству подготовки обучаемых. Что касается уровня подготовки, то с его определением дело обстоит достаточно просто. Обычно полагают, что это совокупность знаний, умений, навыков и представлений, освоенных обучаемыми на момент измерения. Как многие другие, трудно детерминируемые понятия общественных наук, предмет можно определить с помощью метода, используемого для измерения знаний. Отсюда возникает прагматическое определение уровня подготовки, когда учащийся выполняет правильно то или иное количество заданий по выбранным разделам дисциплины.

Гораздо сложнее определить категорию «качество». Обобщение результатов ряда отечественных научно-методических работ позволяет говорить о различии в подходах при решении этого вопроса. Среди подходов теоретиков и практиков нет не только единства, но даже сходства. Иногда категорию качества отождествляют с полнотой знаний и их глубиной, где полнота трактуется как способность ученика воспроизводить признаки изучаемого предмета, необходимые и достаточные для понимания его сущности. В других случаях под качеством знаний понимается их обобщенность — понимание сущности знания из связи его признаков, его идеи, концепции. Нередко качество знаний трактуют как системность, умение обучаемого выстроить отношения познавательных объектов, их иерархию. Иногда при оценке качества, по мнению теоретиков, на первый план должны выходить конкретность знаний, их осознанность или прочность либо логичность изложения материала, рациональность способов и приемов решения учебных задач.

Есть и упрощенные трактовки, когда качество знаний понимается как превышение некоторой обученное™, а степень обученности в свою очередь определяется как совокупность знаний, умений и навыков, усвоенных учеником. Однако чаще всего встречается ситуация, когда знания обучаемого считают качественными, если он выполняет задания повышенной трудности. Между тем отсутствие единой, обоснованной точки зрения по этому вопросу значительно затрудняет, если не снимает полностью, возможность оценки качества подготовки обучаемых. Несмотря на требования Закона РФ «Об образовании», все усилия практиков в основном направлены на оценку уровня, а не качества подготовки. Возможность согласования различных подходов к трактовке понятия качества подготовки возникает только с появлением определения, которое, по замыслу авторов, призвано обобщить, по возможности, существующие точки зрения теоретиков и практиков.

Идея общего определения непосредственно увязывается с ответом на вопрос о том, для чего нужна категория качества в процессе контроля. Проводить оценку качества подготовки учащихся с различным уровнем подготовки, по-видимому, не имеет смысла, поскольку они уже отличаются по объему усвоенных знаний, умений и навыков. Зато вполне правомерно одинаковому уровню подготовки поставить в соответствие различное качество. Отсюда остается один шаг до обобщенного определения, когда качество подготовки трактуется как совокупность существенных характеристик знаний и умений, способствующих дифференциации обучаемых с одинаковым уровнем подготовки.

В дополнение к определению необходимо конкретизировать представления о существенных характеристиках знаний, умений и навыков учащихся. В процессе конкретизации возникает проблема выбора, когда приходится отдавать предпочтение тем ли иным характеристикам обучаемых, но каким? Несомненно, привлекательно выглядят такие перечисленные выше характеристики, как прочность, осознанность, обобщенность знаний. Они представляют особую ценность как для развития личности учащегося, так и для пополнения интеллектуального потенциала вузов за счет абитуриентов с высоким качеством подготовки. Однако, несмотря на всю привлекательность, перечисленные характеристики обладают существенным недостатком, поскольку не поддаются никаким объективным методам измерения. В этой связи приходится признать, что решение проблемы конкретизации базируется на новых возможностях, которые открывают в сфере измерений педагогические тесты.

Современные подходы к оценке качества

ПОДГОТОВКИ ОБУЧАЕМЫХ

В последние годы за рубежом был предложен ряд новых интересных методов, позволяющих получить определенные представления о качестве подготовки обучаемых. К сожалению; нередко однозначный перевод и интерпретация названия этих методов затруднены в связи с отсутствием аналогичных терминов в русском языке. Далее приводится краткий обзор этих методов.

1. Метод оценки индекса структурированности знаний (method S-P lines). В отличие от традиционных средств контроля тесты при определенных условиях позволяют выявить не только уровень подготовки, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения. Элементарное представление о степени отклонения позволяет составить анализ профиля ответов учащегося на различные задания теста. Так как один и тот же уровень подготовки может быть получен при ответах на различные задания, то можно сравнить ответы учащихся с одинаковым уровнем подготовки. Если задания ранжированы по нарастанию трудности и отражают по содержанию и порядку расположения идеальную, планируемую преподавателем при обучении структуру знаний, то общий вывод о качестве подготовки учащихся сделать довольно просто: чем меньше пробелов в ответах ученика на задания теста, тем лучше структура его знаний, тем выше качество его подготовки в группе других учеников, имеющих одинаковый с ним уровень подготовки по предмету.

Характеристика степени отклонения индивидуальной структуры знаний от планируемой педагогом основана на подсчете значений специального индекса структурированности знаний, введенного в рассмотрение зарубежными исследователями. Идеальный профиль ответов, не содержащий пробелов, в мировой литературе по тестовой проблематике получил название профиля Гуттмана [47], которому соответствует нулевой специальный индекс. Большое значение индекса, характерное для инвертированных профилей с большим числом пробелов, порождает сомнения в системности знаний обучаемого и валидности его общей оценки по тесту.

Конечно, использование метода оценки индекса структурированности знаний обучаемых требует разработки тестов, содержание которых отобрано специальным образом. Необходимо, чтобы по результатам ответов обучаемых с правильной структурой знаний наблюдался эффект воспроизводимости правильных ответов на более легкие задания по результатам ответов на трудные задания теста. Ситуацию с конструированием тестов значительно облегчает IRT, поскольку кумулятивный эффект Гуттмана заложен в самих моделях IRT, что позволяет создавать достаточно совершенные тесты. Несмотря на определенные трудности оценки структуры знаний учащихся в повседневной работе преподавателей, предлагаемый подход к определению качества подготовки учеников довольно корректен и с точки зрения возможности измерения удачен.

Особенно привлекательно выглядит оценка структуры знаний учащихся в тех случаях, когда речь идет об оценке эффективности работы отдельных преподавателей либо групп преподавателей, как, например, при аттестации образовательных учреждений. На фоне многообразия существующих аттестационных моделей, методик, технологий, показателей и критериев оценка качества подготовки выпускников остается важнейшим показателем эффективности работы педагога. При этом в центре внимания аттестационных комиссий, работающих по традиционным схемам, находится, несомненно, уровень подготовки. Оценка качества подготовки хотя и декларируется в инструктивных документах Минобразования России, но все же остается за гранью работы организаций, проводящих аттестацию, что вряд ли оправдано.

В то время как уровень подготовки в основном зависит от прилежности учащегося, его способностей и желания учиться, структура знаний заметно отражает особенности организации учебного процесса. На формирование структуры знаний обучаемых в большой степени влияют умение преподавателя правильно построить программу подготовки и доступно ее изложить, его ответственность в работе по выявлению и устранению пробелов в знаниях учащихся, его умение внести моменты индивидуализации в массовый учебный процесс, словом, все то, что следует принимать во внимание в первую очередь при оценке качества работы преподавательских коллективов.

2. Аутентичная оценка учебных достижений (Authentic assessment). Данная форма была впервые предложена в 1988 г. Арчибальдом и Ньюманом (Archibald & Newmann) [38]. Ее отличают две основные особенности: по результатам выполнения работы делается вывод об уровне овладения учебным материалом на основе специальным образом разработанных критериальных заданий; учащимся предлагаются такие задания, которые могут вызвать у них интерес и представляют для них определенное значение. Данные задания позволяют получить эффективный конечный продукт и оценить уровень деятельности ученика. Обычно время на выполнение заданий не лимитируется.

3. «Уравновешенная» оценка учебных достижений («Balanced» assessment). Основной идеей, лежащей в основе данной альтернативной формы оценки качества подготовки обучаемых, является необходимость уравновесить традиционные формы проверки такими формами контроля, которые позволяют оценить так называемые интеллектуальные умения более высокого порядка (higher order skills). Впервые данный подход к оценке был предложен математиками в 1990 г. (Bell, Burkhardt, Swan).

4. Оценка деятельности учащихся (Performance assessment). Данная форма контроля помогает оценить деятельность ученика, освоенные им практические навыки с помощью эссе или заданий, позволяющих получить в качестве результата некоторый материальный продукт [57].

В целом же можно сказать, что основные изменения, происходящие в системе оценки качества подготовки обучаемых, связаны с изменениями в целях обучения, с перенесением центра тяжести учебного процесса с формирования знаний и алгоритмов деятельности на развитие логического мышления учащихся, их умений решать проблемы различного содержания и уровня, коммуникативных умений. Включение данных целей в программы обучения потребовало создания новой системы оценки учебных достижений, отвечающей новым задачам. Привычное для зарубежных стран стандартизированное тестирование не смогло обеспечить прямое измерение ни коммуникативных, ни интеллектуальных умений. И потому новые тенденции в оценке качества подготовки привели к определенным изменениям в подходах к разработке педагогических тестов.

8.5. международные исследования по опенке

КАЧЕСТВА ОБРАЗОВАНИЯ

Как уже отмечалось, среди международных сравнительных исследований по оценке качества образования выделяются исследования, проводимые Международной ассоциацией IEA, ГАЕР и Службой педагогического тестирования США — ETS.

Международные исследования предоставляют странам возможность всесторонне оценить эффективность функционирования своих систем образования и сравнить подготовку своих учащихся с международными стандартами. Характер сравнений может быть прямым, когда сопоставляется эффективность образования по результатам тестирования учащихся, или опосредованным. В последнем случае сравниваются результаты того, как планируемое на государственном уровне содержание образования реализуется в учебном процессе и усваивается учащимися.

Каждое международное исследование по оценке качества образования имеет следующие этапы: определение концепции; определение возможных финансовых затрат и возможных спонсоров; подбор кадров в соответствии с задачами исследования; конкретизация плана исследования; выбор методологии исследования; разработка плана формирования выборки (школ, учащихся, учителей и др.); формирование выборки; разработка инструментария (подготовка первого варианта, его экспертная оценка и пилотажная проверка; разработка окончательного варианта инструментария); подготовка к печати и размножение материалов; проведение основного тестирования (подготовка лиц, проводящих тестирование; проведение тестирования); сбор и обработка данных (ввод полученной информации и работа с базой данных, взвешивание); анализ данных и подготовка отчета по результатам исследования [57,60].

Как правило, в разработке инструментария исследования принимают участие все страны. Это позволяет включить в работу ведущие коллективы мира и на основе научного сотрудничества стран поддерживать качество проводимого исследования. Так, в разработке инструментария исследования TIMSS принимали участие многие университеты и научно-исследовательские центры мира: Университет Британской Колумбии (Канада), ETS (США), Мичиганский университет (США), Университет Осло (Норвегия), РАО (Россия), Вильнюсский университет (Литва), Австралийский центр ACER и др. Модель анализа результатов исследования на основе современной теории тестирования (IRT) разрабатывалась в Австралии и США (Бостон), обработка результатов осуществлялась в Германии (Гамбург).

В целом можно считать, что рассматриваемый период характеризуется объединением усилий стран в проведении международных сравнительных исследований, которые дают информацию о состоянии образования в различных странах и позволяют сравнить подготовку учащихся отдельных стран с международными стандартами, а также осуществлять мониторинг качества образования в мире.

Лидирующая роль в проведении подобных исследований принадлежит Международной ассоциации по оценке учебных достижений (IEA — International Association for the Educational Achievement) — независимой организации, объединяющей научные центры более 50 стран мира и проводящей сравнительные исследования по оценке эффективности образовательных систем стран мира, осуществляющих различную политику в области образования. Первые исследования IEA проводились совместно с ЮНЕСКО. За 35 лет существования, начиная с 1959 г., IEA проведено более 15 исследований. Во многих странах мира результаты исследований IEA дали толчок или явились основой для проведения реформ в области образования.

Россия стала членом IEA в 1991 г. и с этого времени принимает активное участие во всех ее исследованиях (TIMSS — третьем международном исследовании по естественно-математическому образованию, LES — исследовании по иностранным языкам и CIVIC — исследовании по социальным наукам) [42].

В конце 80-х годов в связи с необходимостью проведения реформ в стране (как результат обсуждения доклада «Нация в опасности») и потребностью в получении информации о факторах, наиболее эффективно влияющих на качество образования в различных странах мира, Служба педагогического тестирования США организовала два международных исследования по оценке подготовки школьников по математике и естествознанию (IAEP-I и IAEP-1I). Россия принимала участие в исследовании IAEP-II.

Многие международные организации, такие как ЮНЕСКО, ООН, ЮНИСЕФ, Всемирный банк, Международный институт планирования образования, OECD (Organization for Economic Cooperation and Development), Совет Европы и др., в настоящее время проявляют значительную заинтересованность в получении информации об эффективности систем образования в различных странах мира. Страны OECD объединили свои усилия в разработке индикаторов, характеризующих различные стороны образовательной системы, а также в получении информации по каждому отдельному индикатору. Кроме того, для проведения региональных международных исследований в области образования страны объединяются в союзы, так, например, европейские страны входят в Европейский союз (EU), страны Центральной и Восточной Европы в IEANCEE и т.д.

Выводы

1. Краткий обзор проблем оценки качества образования за рубежом со всей очевидностью свидетельствует о необходимости дальнейшей углубленной их разработки и поисков современных методов их решения.

2. Опыт зарубежных стран говорит о том, что реформирование систем образования принципиально невозможно без реформирования системы оценки и контроля качества образования.

3. Новый этап обновления системы контроля и оценки качества обучения совпадает с введением стандартов образования, сущность которых в формулировании единых требований к минимально необходимой учебной подготовке во всех образовательных областях. Требования к обязательным результатам обучения, зафиксированные в стандартах, становятся объективной основой для разработки критериев эффективности качества обучения, для обновления всей системы оценки и контроля качества.

4. За рубежом существует ряд современных методов оценки качества подготовки обучаемых, разработка которых сопряжена с созданием современного поколения педагогических тестов.

5. Разработка инструментария для оценки качества подготовки обучаемых требует функционирования развернутой системы переподготовки профессорско-преподавательского состава учебных заведений России разного уровня по вопросам теории и методики создания педагогических тестов.

6. Необходимо приступить к созданию специального вида тестов (формирующих и диагностических), предназначенных для формирования качественных знаний у студентов и школьников в процессе текущего контроля и повседневной работы педагога. В целом это говорит о том, что необходимо сместить акценты с процесса оценки качества подготовки обучаемых на процесс его формирования.