Классификация педагогических тестов

· Нестандартизированные – тесты, не прошедшие минимально необходимые методологические процедуры обоснования надежности и валидности, не имеющие нормативов стандартизации, т. е. любительские, неформальные. Результаты, полученные с помощью
нестандартизированных тестов, малонадежны и требуют подтверждения.

2. По средствам предъявления:

· Бланковые тесты, которые можно разделить на два вида:

- с использованием бланков, в которых испытуемые фиксируют ответы;

- с использованием тестовых тетрадей, в которых после
каждого тестового задания отведено место для фиксации ответов.

Педагогические тесты, предъявляемые выборке испытуемых, на бумажном носителе в виде распечатки наиболее распространены и традиционны, как у нас, так и за рубежом. С экономической точки зрения бланковые тесты продолжают оставаться наиболее доступными и дешевыми.

· Компьютерные тесты могут быть трех видов:

- линейные (задания предъявляются в единой последовательности вне зависимости от результатов ответа испытуемого);

- разветвляющиеся (в тесте предусматривается несколько сценариев формулировки заданий, каждый из которых реализуется в зависимости от ответа на определенные ключевые задания);

- адаптивные (сложность, порядок и количество предъявленных заданий определяется итогами тестирования в каждый момент).

Компьютерная версия тестирования первоначально требует больших затрат, но позволяет экономить много времени. Полученные данные автоматически подсчитываются, обрабатываются, оцениваются и интерпретируются. В результате компьютер выдает готовый отчет, нередко в сопровождении диаграмм, графиков и других наглядных изображений. На всю процедуру, включая обработку и интерпретацию результатов, уходит значительно меньше времени, чем при обычном тестировании с использованием бланковых тестов. Кроме того, появляется возможность накопления и сохранения электронной базы данных, удобной для анализа.

3. По степени однородности задач:

· Гомогенный педагогический тест (дисциплинарный), которыйпредставляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания – систему, создаваемую для объективной оценки уровня подготовленности студентов по одной учебной дисциплине, а значит, задания по своему содержанию не должны выходить за рамки одной дисциплины.

· Гетерогенный педагогический тест (междисциплинарный) представляет собой систему заданий возрастающей трудности для объективного измерения уровня знаний студента по нескольким учебным дисциплинам и оценки качества подготовки специалиста в целом. Поскольку каждый гетерогенный тест состоит из гомогенных тестов, предназначенных для контроля знаний по одной учебной дисциплине, то интерпретация результатов тестирования ведется по ответам на задания каждого теста. Далее на основе различных методов агрегирования баллов (сбора баллов в целое) определяется общая оценка подготовленности испытуемого. Гетерогенный педагогический тест должен обладать высокой содержательной валидностью, т. е. пригодностью для достижения поставленной цели. Следовательно, каждое задание теста должно базироваться на содержании ГОС по нескольким ключевым специальным дисциплинам, и ориентировано на профессиональную деятельность специалиста. При формулировке тестовых заданий следует предусмотреть возможность получения в ответах студентов исчерпывающей информации как об уровне приобретенных и усвоенных знаний, так и об умении оперироватьими, об овладении логическими приемами мышления (анализа и синтеза, доказательства, аналогий и противопоставления, индукции и дедукции и др.).

4. По целям использования:

· Определяющий тест используется с целью оценки знаний студента в начале обучения. Этот тип теста предназначен для оценки начальных способностей, обычно является несложным и охватывает небольшой диапазон знаний.

· Формирующий тест используется для контроля за прогрессом обучения. Обычно затрагивает ограниченный сегмент обучения, например, раздел или главу, и с его помощью делается попытка оценить все важные результаты данного сегмента. Формирующий тест носит обучающий характер. В процессе тестирования у студента имеется возможность для исправления обнаруженных ошибок, поэтому такой тест разрабатывается с учетом конкретных инструкций для испытуемых.

· Диагностический тест используется с целью определения трудностей обучения. Содержит относительно большое число вопросов, имеющих отношение к конкретной тестируемой области. Основное внимание фокусируется на распространенных ошибках, допускаемых студентами, а не на попытке широкого отбора ожидаемых результатов обучения.

· Суммирующий тест разрабатывается для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса. Для того, чтобы адекватно отобрать все ожидаемые результаты обучения, суммирующий тест содержит вопросы, которые представляют более высокий уровень сложности, чем другие виды тестов.

5. По видам контроля:

· Входной тестовый контроль (установочный, предварительный, вступительный) проводится обычно перед началом обучения с целью выявления базового, исходного уровня подготовки студента. Осуществляется при приеме в учебное заведение в качестве вступительного испытания, перед изучением новой дисциплины, раздела и т. д. Для стандартизации требований к абитуриентам и унификации процедуры вступительных испытаний входной тестовый контроль должен быть организован централизовано. Для вступительных тестов можно рекомендовать гомогенный нормативно-ориентиро­Ван­ный подход к интерпретации результатов тестирования.

· Текущий тестовый контроль проводится в течение всего учебного процесса и имеет большое значение для стимулирования у студентов стремления к самостоятельной систематической работе, повышения интереса к учению и чувства ответственности за его
результаты.

· Рубежный (промежуточный, поэтапный, периодический) тестовый контроль проводится обычно после изучения логически законченной части (раздела, модуля) программы. если курс разделен между несколькими семестрами, то рубежный тестовый контроль выполняется после их окончания (или непосредственно перед окончанием). Поскольку этот вид контроля состоит в проверке учебной деятельности студентов по освоению сравнительно большего объема материала, к рубежному педагогическому тесту предъявляются повышенные требования. Он должен обладать достаточно высокой надежностью и валидностью. Каждый тест для промежуточной аттестации должен бытьгомогенным, однако для соблюдения комплексности аттестации и междисциплинарных связей, необходимо разработка батарей (целых серий) гомогенных критериально-ориенти­рованных тестов.

· Итоговый тестовый контроль осуществляется вконце каждого учебного года, а также при завершении изучения дисциплины (курса) с обязательным учетом результатов текущего и рубежного контроля. Итоговый тестовый контроль может осуществляться в режиме итоговой аттестации для оценки степени соответствия уровня обученности студентов требованиям ГОС. Итоговый тест (или батарея итоговых тестов) совместно с другими аттестационными процедурами может существенно повысить качество подготовки специалистов. Разрабатывать такой вид теста должны опытные преподаватели и методисты под руководством профессиональных тестологов. Процесс разработки итогового теста должен проходить централизовано, и включать в себя все научно-обоснованные этапы создания педагогического теста. Наиболее перспективным является разработка для итоговой аттестации гетерогенных междисциплинарных профессионально-ориентированных тестов.То есть таких критериально-ориентированных тестов, каждое задание которого базируется на содержании ГОС по нескольким ключевым специальным дисциплинам и ориентировано на профессиональную деятельность специалиста. В первую очередь такой междисциплинарный профессионально-ориентированный тест будет измерять уровень усвоения студентами требований ГОС по специальным дисциплинам. И, во-вторых, междисциплинарный профессионально-ориентированный тест будет оценивать степень усвоения выпускниками профессиональных знаний, умений и навыков, которые им необходимы для начала профессиональной деятельности.

В современной отечественной системе тестирования сложились два основных подхода к анализу результатов тестирования, которые отражают разные основания для сравнения и определяют разницу на большинстве этапов создания теста: критериально-ориентиро­ван­ный подход, в рамках которого разрабатываются тесты, ориентированные на критерий, и нормативно-ориентированный подход, в рамках которого разрабатываются тесты, ориентированные на
норму.

Понимание критериальной и нормативной ориентированности как разных методологий интерпретации результатов тестирования можно найти у В. С. Аванесова: «Для критериально-ориентирован­ной интерпретации вывод выстраивается вдоль логической цепочки: задания → ответы → выводы о соответствии испытуемого заданному критерию, для нормативно-ориентированной ориентации логика построения вывода иная: задания → ответы → выводы о знаниях испытуемого → рейтинг, понимаемый как вывод о месте или ранге испытуемого».

Норамативно-ориентированный подход дает возможность для сравнения учебных достижений (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом. Сравнимость достигается путем сопоставления результата каждого учащегося с результатами других, выполнивших тот же
самый тест.

Критериально-ориентированный подход позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом. Тесты, разработанные в рамках этого подхода, помогают собрать полную и объективную информацию об учебных достижениях каждого учащегося в отдельности; сравнить знания, умения и навыки ученика с требованиями, заложенными в государственных образовательных стандартах; оценить эффективность профессиональной деятельности отдельных преподавателей, а также эффективность различных программ обучения.

Нормативно-ориентированный и критериально-ориентированный подходы различаются на всех этапах разработки теста с момента определения содержания до момента интерпретации результатов.

Первое различие – это цель создания теста. Нормативно-ориен­ти­рованные тесты создаются для того, чтобы получить возможность для сравнения испытуемых в той области содержания, для которой предназначен тест. Для этого используются нормативные или стандартные шкалы. Критериально-ориентированные тесты составляются с целью аттестации результатов испытуемого в соответствии с областью определенных знаний, умений и навыков. Результаты критериально-ориентированного тестирования могут быть использованы для оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения; отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетентности; оценки эффективности программы обучения в том или ином учебном заведении; сравнения между собой уровней подготовки студентов, однако, в этом случае можно получить сравнительно низкую надежность, если распределение баллов однородно и имеет малую вариацию.

Психологами наработано немало полезных рекомендаций, относящихся к конструированию и анализу критериально-ориенти­рованных тестов, которые разрабатывались ими в основном как дидактические. Поэтому рекомендации по конструированию (сос­тав­лению) критериально-ориентированных тестов вполне пригодны для педагогической диагностики. По их мнению, для конструи­рования качественного педагогического теста необходимо выпол­нение следующих требований: внутренняя согласованность тестовых заданий; максимальное разнообразие форм тестовых заданий; наличие заданий различной степени трудности; объективность выбора темпа выполнения заданий; четкая продуманная композиция теста; учет специфики обследуемого контингента; индивидуальность вариантов тестов; однородность тестовых заданий в наборе; рандо­ми­зация теста; репрезентативность теста; высокая степень надежности результата; очевидная валидность теста; планирование оценочной схемы результатов тестирования; очевидная валидность теста.

Таким образом, качество тестов традиционно оценивается двумя основными критериями. Первый – надежность теста, ассоциируемая в первую очередь с точностью измерения. Эта точность определяется воспроизводимостью полученных результатов на том же контингенте испытуемых, использованием параллельных тестов и другими методами. Второй критерий – валидность теста, определяемая обычно как способность теста измерять именно то, что он призван измерять по замыслу автора. При проверке теста на валидность он подвергается экспертной оценке.

Кроме того, для оценивания качество педагогических тестов, используемых для контроля за эффективностью образования в вузе можно воспользоваться следующими критериями:

1. Соответствие целям конкретной проверочной процедуры и целям учебно-познавательной деятельности испытуемых. Каждое тестирование, итоговое или промежуточное, вспомогательное или контрольное, должно отвечать общим целям обучения. Только тогда в процессе обучения может быть достигнута основная цель учебно-познавательной деятельности студентов – формирование основ профессионального мастерства будущего специалиста.

2. Соответствие содержанию и структуре проверяемого материала. Для того чтобы получить достоверную информацию о том, как усвоены элементы деятельности на данном этапе обучения, необходимо на основе структурного анализа изучаемого материала выделить его ключевые содержательные компоненты и разработать задания, проверяющие их усвоение на требуемом уровне. Примерно по такому принципу создается любое средство контроля: контрольная или проверочная работа, контрольный срез и др.

3. Соответствие содержанию и структуре учебно-познава­тель­ной деятельности студентов в процессе изучения дисциплин.
Студент в процессе изучения дисциплин должен быть вовлечен в различные виды деятельности: предметную, учебную, квазипрофессиональную. Предметная деятельность направлена на усвоение предметных знаний, умений и навыков, в процессе учебной деятельности студент осваивает собственно учебные действия (умение слушать лекцию, составлять конспект, работать с текстом и т. п.).
Квазипрофессиональный компонент обусловлен необходимостью формирования на базе изучаемого предметного материала элементов будущей профессиональной деятельности (умение излагать материал на различных уровнях строгости, умение составить задачу на использование данного понятия и т. п.). Описанная структура учебно-познавательной деятельности студентов приводит к необходимости проверять не только сформированность предметных действий, но и качество овладения некоторыми элементами учебной и будущей профессиональной деятельности. Это обстоятельство должно найти отражение в выделении соответствующих аспектов тестирования и затем в содержании заданий теста.

4. Соответствие параметрам учебно-познавательной деятельности студентов в каждом из составляющих ее видов деятельности. Для оценки результатов учебно-познавательной деятельности студентов выделяют следующие параметры: уровень усвоения предметных знаний, умений, навыков; уровень сформированности учебных умений и навыков; уровень сформированности некоторых элементов профессиональной деятельности.

5. Соответствие уровню деятельности на данном этапе обучения. Условно в учебно-познавательной деятельности можно выделить несколько уровней ее усвоения. Придерживаясь концепции В. П. Беспалько, выделим четыре уровня усвоения деятельности: подготовительный, алгоритмический, эвристический, творческий. Деятельность каждого уровня осваивается студентами на определенных этапах обучения. И уровень теста, диагностирующего качество обучения, должен соответствовать определенному уровню учебно-познавательной деятельности студентов.

6. Дифференцирующая способность теста, возможность с помощью теста распределить студентов на группы по степени овладения проверяемыми качествами. Как правило, это две группы – усвоившие и не усвоившие материал на данном уровне. Затем студенты, попавшие во вторую группу, возвращаются к пройденному материалу для устранения выявленных ошибок, после чего проходят повторное тестирование, а студенты первой группы (получившие оценки «удовлетворительно», «хорошо» или «отлично») переходят к обучению на следующем уровне.

7. Сбалансированность и аспектная полнота. Эти требования должны быть учтены при составлении теста. Аспектная полнота предполагает соответствие аспектов измерения сформулированным целям тестирования, а сбалансированность определяется условием: наиболее важным аспектам измерения должно соответствовать большее количество тестовых заданий.

8. Корректность. Это требование относится к заданиям теста и предполагает соблюдение следующих моментов: задания должны быть по возможности простыми, понятными и лаконичными, что обеспечит удобство использования теста и позволит включить в него большее количество заданий, чем, например, в обычную контрольную работу; формулировка заданий не должна допускать двусмысленного толкования или двусмысленного ответа; при составлении тестовых заданий отдается предпочтение утвердительной формулировке (для того, чтобы правильность выполнения теста можно было оценить по законам формальной логики).

9. Объективность выбора темпа выполнения заданий. Время, отведенное на выполнение задания, должно быть оптимальным. С одной стороны, не вызывать стрессов у испытуемых в связи
с боязнью не успеть проработать весь тестовый материал, а с другой времени не должно быть много, чтобы испытуемые не отвлекались на посторонние действия.

10. Точность получаемых результатов. Это требование подразумевает достаточно низкую ошибочность измерений.

11. Достоверность получаемых результатов. Тестовые баллы, полученные студентами в результате выполнения теста, должны отражать реальный уровень усвоения элементов деятельности.

Критерии 1–7 конкретизируют понятие валидности педагогического теста, критерии 8–11 – понятие надежности. Система критериев в целом характеризует оценку качества педагогического теста.

Российские психодиагносты отмечают необходимость пересмотреть принципы конструирования тестов, уходя от интуиции психологов-практиков к научной методологии и строгой экспериментальной апробации методик. Каким же образом сконструировать эффективный педагогический тест? Специалисты считают, что надо начинать с научного осознания принципов конструирования и технологии создания педагогических тестов, то есть для конструирования качественного стандартизированного педагогического теста
составителю необходимо учитывать ряд требований по его составлению и владеть некоторой технологией конструирования теста.

А. Анастази советует выделять в разработке педагогических тестов три этапа: 1) планирование, 2) написание заданий и 3) анализ заданий. В. Оконь также считает, что разработке теста должно предшествовать утверждение плана теста, учитывающего рациональные пропорции различных видов заданий. Количество же заданий в тесте зависит от объема материала, детализации и глубины предполагаемой проверки, а также затрат времени на нее. Е. А. Михайлычев отмечает, что независимо от масштабности замысла и его сложности, первоначальным этапом разработки хорошего педагогического теста является определение диагностических целей и на их основе разработка плана теста.

При многоэтапном контроле знаний по учебной дисциплине цели диагностики могут быть связаны с проверками:

· знания основных фактов, ключевых понятий и законов по какой-либо теме или ее фрагменту;

· знаний по группе взаимосвязанных тем одного предмета или относительно самостоятельного (в научно-методическом плане) раздела курса;

· базовых знаний и умений обучающихся («входной контроль») перед изучением курса;

· знания ключевых разделов, различных по характеру материала, отдельных главных тем большого курса на этапах рубежного и итогового контроля.

В первых двух случаях тест будет включать близкие по содержанию и характеру задания, а весь тест как совокупность тестовых заданий будет относительно однородный, гомогенный. Это очень существенный момент при конструировании, последующей проверке и стандартизации теста, так как он определяет сложность и объем методологической работы конструкторов тестов.

В третьем случае проверяться могут эмпирические представления и фрагменты научных знаний, полученных при изучении аналогичных курсов (например, химии, физики, иностранного языка) на более низких ступенях образования. Диагностироваться также могут межпредметные знания, необходимые для изучения нового курса (например, знания физики, химии для курса материаловедения), «сквозные» учебные умения и навыки (графические, расчетно-математические, аналитические, моторно-двигательные и пр.).

В последнем случае труднее конструировать эффективный и надежный тест, сложнее будет и объем работ по его стандартизации. Тесты (батареи тестов) такого типа называются гетерогенными (неоднородными по составу). В любом случае необходима адекватность цели диагностирования возможностям разработчиков – их квалификации как методистов-предметников и диагностов, их умению
использовать ЭВМ (программный продукт) при разработке и апробации теста, допустимым затратам времени авторов и т. п. Конструктору так же следует помнить о том, что общая цель дидактического тестирования и цели каждого теста, составляющего батарею, должны быть сформулированы диагностично – так, чтобы можно было с помощью четко обозначенных операциональных понятий и критериев определить – достигнуты они или нет, а если только частично, – то, что решено, и что осталось сделать.

Общие цели диагностики в дидактическом тестировании при
рубежном и итоговом контроле вполне могут быть заимствованы в современной педагогической литературе и более конкретно, диагностично сформулированы. Хотя бы на основе традиционно сложившихся и общепризнанных основных критериев оценки ответа студента на экзамене (зачете): понимание и степень усвоения теории вопроса; методологическая подготовка; степень усвоения фактического материала курса; знакомство с основной (обязательной) литературой, а также с современной периодической отечественной и иностранной литературой по специальности; умение приложить теорию к практике; знакомство с историей науки; логика, структура и стиль ответа; умение защищать выдвигаемые научно-теорети­ческие положения.

Так как каждая общая цель тестирования (на данном этапе контроля по конкретной учебной дисциплине) может быть разложена на составляющие ее компоненты – задачи, то целесообразно письменно или графически изобразить «дерево целей и задач». Такая развернутая диагностическая постановка задач тестирования позволит на следующем этапе более четко и обоснованно строить показатели и индикаторы теста, а так же без затруднений проводить процедуру спецификации теста (субтестов, батарей тестов) при их разработке.

Таким образом, отмечаем единодушие тестологов в том, что, приступая к разработке педагогического теста, необходимо продумать ответы на следующие вопросы:

· Для измерения чего предназначен педагогический тест, т. е. каковы область содержания и цель тестирования? В качестве целей может использоваться – проверка знаний на уровне воспроизведения, на уровне понимания или на уровне умения применить знания в знакомой ситуации.

· Что и в каком объеме будет проверяться? При разработке плана делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.

· Какова спецификация теста? (В спецификации фиксируется структура, содержание проверки и процентное соотношение заданий в тесте; указываются вес каждого задания, рекомендуемый автором, рекомендуемое время выполнения теста, охват требований образовательных стандартов, рекомендуемая стратегия расположения заданий в тесте.)

· Кто будет тестироваться, т. е. какая выборка студентов будет участвовать в тестировании?

· Кто реально заинтересован в получении результатов тестирования, и какую информацию нужно предоставить пользователям?

· Каковы критерии оценивания? (Критерий оценивания может быть установлен следующим образом: 50 % для оценки текущей
успеваемости по непрофилирующим дисциплинам и 85 % для аттестационных тестов по специальным дисциплинам.)

· Каков уровень надежности теста? (Надежность теста оценивается степенью постоянства принятия решения «зачет-незачет» при двукратном тестировании.)

Е. А. Михайлычев, систематизируя имеющийся опыт разработки дидактических тестов, определил технологию конструирования
теста, которая включает следующие последовательные операции:

1) определение диагностических целей тестирования;

2) операционализация используемых понятий и конструирование показателей теста;

3) спецификация теста на основе его модели-конструкта и обеспечение (обоснование) его содержательной валидности;

4) конструирование тестовых заданий (подсказок-ответов в «закрытых», элективных тестах и характеристик ответов в открытых, с конструируемым ответом);

5) построение композиции теста в целом;

6) разработка инструкции испытуемому, формы бланка «листа ответов» (или определение других аспектов и форм фиксации ответов);

7) разработка инструкции диагносту (включая определение средств профилактики негативных ситуаций при тестировании);

8) разработка программы количественного и качественного анализа результатов теста, проверки его надежности и критериальной валидизации на репрезентативной выборке апробации методики. Выборку эту также предстоит заранее рассчитать и обосновать.
Разумеется, в современных условиях программа количественного и качественного анализа даже при традиционном бланковом варианте тестирования должна строиться в расчете на ЭВМ.

Таким образом, в самом обобщенном виде технология разработки тестовых заданий может быть определена как совокупность методов, способов, форм и приемов создания тестов, включающая в себя следующие этапы ее реализации в образовательном процессе вуза: обозначение цели, структуры и технологии проведения тестовой работы; выбор типов используемых заданий, определение их соотношения в работе; разработка тестовых заданий; проведение экспертной оценки заданий; экспериментальная проверка разработанных заданий; анализ и доработка заданий по результатам экспериментальной проверки; определение минимального проходного балла; выбор оптимальной схемы включения тестовых заданий в учебный процесс; определение влияния систематического тестирования на качество подготовки специалистов вуза.

ВОПРОСЫ И ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ

1. Чем вызвано возрастание значения тестового контроля в оценке качества знаний и уровня подготовки студентов?

2. Составьте кластер, отражающий многообразие подходов к классификации педагогических тестов.

3. В чем отличие таких характеристик теста, как валидность и надежность?

4. В каких случаях преподаватель может использовать для контроля знаний студентов нестандартизированные тесты?

5. В соответствии с требованиями, предъявляемыми к оформлению тестовых заданий, составьте примеры заданий, иллюстрирующие четыре основные формы тестовых заданий.