Тестовые задания для контроля образовательных достижений и их особенности.

В настоящее время в России одновременно с существующей традиционной системой оценки и контроля результатов обучения начала складываться новая система, основанная на использовании тестовых технологий. Это вызвано потребностью в получении независимой объективной информации об учебных достижениях обучающихся, о результатах деятельности образовательных учреждений. Для преподавателя подобная объективная информация служит не только основой для анализа результатов обучения, прогнозирования уровня достижения государственного стандарта, обоснованных выводов об эффективности использования тех или иных инновационных образовательных технологий, методов, дидактических приемов, организационных форм обучения, но и средством проектирования собственной педагогической деятельности с конкретным контингентом обучаемых.

Традиционная система, имеющая богатый опыт в области контроля результатов обучения, носит преимущественно субъективный характер и в силу своих организационных и технологических особенностей не может полностью удовлетворить потребности разных субъектов в объективной информации об учебных достижениях обучаемых. Подобную информацию позволяет получить контроль на основе использования тестовой технологии.

Преимущества тестового контроля посредством набора тестовых вопросов (заданий):

— объективность оценки, так как в тестовом контроле влияние субъективных факторов (например, таких, как осведомленность экзаменатора о текущей успеваемости экзаменующегося, учет его поведения на уроках и т.п.) исключено;

— достоверность информации об объеме усвоенного материала и об уровне его усвоения;

— эффективность — можно одновременно тестировать большое число обучающихся, причем проверка результатов при этом производится гораздо легче и быстрее, чем при традиционном контроле;

— надежность — тестовая оценка однозначна и воспроизводима;

— дифференцирующая способность — так как в тестах содержатся задания различного уровня;

— реализация индивидуального подхода в обучении — возможна индивидуальная проверка и самопроверка знаний обучаемых;

— сравнимость результатов тестирования для разных групп студентов, обучаемых по разным программам, учебникам, с использованием различных методов и организационных форм обучения.

Тестовая технология дополняет традиционную систему текущего контроля системой тестов различного назначения, что позволяет получить достоверную и оперативную информацию об уровне усвоения знаний, достигнутом каждым обучаемым.

Технология внутреннего контроля результатов учебного процесса предусматривает создание единого инструментария тестирования, обработки и представления результатов. Создание теста как инструмента объективного измерения уровня знаний обучаемых является самой ответственной и трудоемкой частью технологии внутреннего контроля результатов образовательного процесса в образовательном учреждении.

Наряду с проведением тестирования самим педагогом технология предусматривает проведение и административного тестирования как итогового контроля учебного процесса со стороны заместителя директора СПО по учебно — воспитательной работе. Объективный контроль результатов обучения позволит повысить эффективность управления учебным процессом в учреждениях НПО-СПО. Разработанные и апробированные задания и тесты могут накапливаться в компьютерных базах данных и образовывать банки тестовых заданий для педагогического и административного контроля учебного процесса.

Использование единого инструментария в рамках образовательного учреждения позволяет проводить анализ состояния образовательного процесса по различным аспектам не только в отдельно взятой группе обучаемых, но и в учреждении в целом. Аналогично, использование единого инструментария в рамках всей территориальной системы образования позволяет проводить анализ состояния образовательного процесса по любой выборке образовательных учреждений, в частности — по районам и по городу в целом

Накопление результатов тестирования учащихся в компьютерных базах данных позволит формировать банки результатов тестирования, что обеспечит возможность многоаспектного статистического анализа состояния системы образования и позволит:

— оценивать работу отдельных образовательных учреждений и территориальной системы НПО-СПО в целом;

— осуществлять контроль экспериментального внедрения инновационных технологий обучения;

— осуществлять сравнительный анализ эффективности различных программ и учебных пособий.

Педагогические тесты: тесты достижений или тесты успешности

А.Н. Майоров[1] классифицирует педагогические тесты по нескольким основаниям. В частности, кроме уже упоминавшихся стандартизированных тестов он выделяет так называемые нестандартизированные тесты. Автор считает, что в педагогике можно выделить ряд задач, которые могут быть решены при помощи тестов, не стандартизированных по результатам, и называет такие тесты ненормированными. Однако он настаивает на том, что «сфера применения ненормированного инструмента ограничена: с точки зрения субъекта — разработчиком теста, а объекта — той группой учеников, с которыми он в состоянии работать. Круг задач для ненормированных тестов — частные, специальные методические и узкометодические. Например, оценка качества усвоения материала той или иной темы, выявление усвоенных понятий, определений данной темы и т.д.». Иными словами, каждый педагог может составить тестовый вопрос для применения на своем занятии с целью оптимизировать процесс контроля или формирования знаний, умений, освоения обучаемыми способов деятельности.

В отличие от требования стандартизации по результатам, требование стандартизации по процедуре проведения теста и оценке тестов достижений остается обязательным вне зависимости от широты поставленной задачи.

По назначению различают общедиагностические (например, тесты общего интеллекта Векслера); профессиональной пригодности (общий армейский классификационный тест); специальных способностей (технических, музыкальных, тесты для пилотов); тесты достижений (например, произношения, качества написания сочинений, решения геометрических задач и т.п., т.е. тесты, предназначенные для оценивания результатов, достигнутых обучаемыми в процессе обучения).

По средствам, используемым в процессе тестирования: бланковые (тесты «бумага и карандаш», большинство тестов школьных достижений и др.); предметные (в которых необходимо манипулировать материальными объектами, «Сложение фигур» из набора Векслера и др.); аппаратурные (тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления — «детектор лжи», аппарат для определения энцефалограмм мозга и др.); практические (эти тесты похожи на известные у нас лабораторные работы — по химии, физике, биологии и пр., однако они снабжены соответствующими инструкциями и имеют тестовое оснащение).

По количеству одновременно обследуемых людей: групповые (большинство тестов достижений) и индивидуальные.

По форме ответа тесты делятся на устные и письменные.

По ведущей ориентации:

тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время («шифровка» из набора Векслера);

тесты мощности или результативности, включающие трудные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи. Примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс школы, учреждений профессионального образования;

смешанные тесты, которые объединяют в себе черты двух вышеперечисленных. В таких тестах представлены задачи различного уровня сложности от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточно для решения предлагаемых задач большинством обследуемых. Оценке в данном случае подлежат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения. Эти тесты наиболее часто применяются на практике, и именно к ним относится большинство тестов школьных достижений.

По степени однородности задач: гомогенные, которые включают задачи, сходные по характеру, но различающиеся конкретным содержанием, и гетерогенные (многоразмерные), которые включают задания, отличающиеся как по характеру, так и по содержанию. К этим заданиям также относятся современные тесты достижений.

По виду нормирования: ориентированные на статистические нормы — тесты, основанием для сравнения в которых служат соответствующим образом обоснованные статистически полученные значения (результаты) выполнения данного теста репрезентативной выборкой испытуемых; критериально ориентированные — тесты, предназначенные для определения уровня индивидуальных достижений испытуемого относительно некоторого заданного критерия, существующего в реальной практике и заранее известного: уровня знаний, умений, способов, необходимых для выполнения определенного вида деятельности. Критерий может быть определен на основании экспертной оценки (путем опроса педагогов, работающих в данном классе или с данной группой обучаемых) либо практической деятельности испытуемых (критерий успешности может быть определен по оценкам за семестр или год); прогностические, ориентированные на успешность дальнейшей деятельности; ненормированные.

По характеру ответов на вопросы: открытого типа и закрытого типа. Рассмотрим принципы отбора заданий закрытого типа и композиции тестов.

Задания с выбором одного правильного ответа из двух предложенных вариантов ( true / false item )

Задания с выбором одного правильного ответа из двух предложенных вариантов требуют одного варианта ответа, например «да» — «нет», «верно» — «неверно».

При конструировании таких вопросов используется один из основных композиционных принципов:

1) принцип противоречия (подбираются варианты ответа, являющиеся отрицаниями друг друга);

2) принцип полярности (да и нет). Наряду со строгими отрицаниями допустим подбор ответов, которые, являясь антонимичными по смыслу, допускают существование переходных понятий (состояний): убывающая — возрастающая; периодическая — непериодическая; выпуклая – вогнутая; положительные – отрицательные;

3) принцип однородности (подбираются такие два ответа, которые относятся к одному роду, виду или отображают 2 основные стороны (грани) явления, например, слова, противоположные по смыслу: синонимы – антонимы;

4) принцип кумуляции (содержание второго ответа вбирает в себя содержание первого).

Достоинствами тестовых вопросов с выбором ответа из 2-х предложенных вариантов являются:

— краткость и ясность заданий,

— простота инструкций;

— высокая технологичность,

— быстрота тестирования;

— опора конструкции теста на законы формальной логики (закон противоречия, закон исключенного третьего).

Недостатками данной тестовой конструкции являются относительно высокая вероятность угадывания правильного ответа (1/2), возможность запоминания правильного ответа (ввиду ограниченности предлагаемых вариантов), быстрое рассекречивание (тестируемые передают друг другу содержание запомнившихся заданий и ответы на них).

Тестовые вопросы данного типа целесообразно использовать для экспресс-диагностики, входного (предварительного) контроля, самоконтроля (с целью обнаружения пробелов в знаниях), для устного группового опроса, т.е. в тех ситуациях, когда «точность оценки играет меньшую роль, чем быстрота тестирования»[2]. Однако не исключается возможность использования тестовых вопросов с выбором одного правильного ответа из двух предложенных вариантов для итогового контроля по целому ряду дисциплин (математика, физика, биология, химия, грамматика) в составе батареи тестов[3]. С помощью вопроса такого типа разработчик быстро и эффективно отсекает одну из причин неудачного выполнения всей батареи тестов – неспособность тестируемого продемонстрировать умение или совершить деятельность из-за отсутствия необходимых знаний.

Приведем пример:

Для приготовления бисквитного теста следует использовать муку с содержанием слабой клейковины около 30%.

Да Нет

Задания с выбором одного правильного ответа из предложенных вариантов

(multiple choice questions)

Существует мнение, что тестовые вопросы с выбором одного верного ответа из четырех предложенных вариантов предпочтительнее тестовых вопросов, предполагающих выбор ответа из двух-трех вариантов. Однако практика показывает, что надежность задания определяется не количеством дистракторов[4], а их качеством, т.е. правдоподобностью по сравнению с правильным ответом. В идеале выбор любого дистрактора и правильного ответа должен быть равновероятны. Сферы применения совпадают с заданиями с выбором одного правильного ответа из двух предложенных вариантов.

Приведем примеры:

1. Определите расход краски Capadecor Arte-Lasur Color при окраске поверхностей помещения площадью 66,5 м2 в два слоя, если расход краски на 1 м2 – 130 г.

1) 17,29 кг

2) 17,50 кг

3) 17,85 кг

4) 18,00 кг

2. Выберите захват, удерживающий поднимаемый элемент за счет трения и позволяющий кантовать длинномерные элементы (колонны):

a) электромагнитный;

b) фрикционный;

c) вакуумный.

Требования по разработке тестовых заданий с одним правильным ответом, состоящих из задачной формулировки и вариантов ответа.

Задачная формулировка:

1. конкретна и однозначна;

2. формулируется предельно кратко, как правило, не более одного предложения из семи-восьми слов;

3. имеет предельно простую синтаксическую конструкцию, и не должна содержать более одного придаточного предложения;

4. дается в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов;

5. включает все повторяющиеся слова из формулировок ответов.

Варианты ответа :

6. должны быть приблизительно одной длины и являться равновероятно привлекательными для испытуемых;

7. должны быть параллельными по конструкции и грамматически согласованными с задачной формулировкой;

8. должны исключать все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

9. не должны содержать слова «все», «ни одного», «никогда», «всегда», выражения «ни один из перечисленных», «все перечисленные».

10. не должны содержать ответы, вытекающие один из другого;

11. не должны содержать оценочные суждения и мнения ученика по какому-либо вопросу;

12. не должны являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ;

13. не должны служить ключом к правильным ответам на другие задания теста (т.е. не следует использовать ответы из одного задания в качестве ответов к другим заданиям теста).

14. если задание имеет среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредоточивается только на этих двух ответах.

Задания с выбором нескольких правильных ответов из фиксированного набора вариантов

В современной тестологии тесты с выбором нескольких ответов из списка предложенных вариантов считаются наиболее трудными для испытуемых, т.к. предполагают не только выбор правильных ответов, но и анализ их полноты. Рассматривая данную группу заданий, В.С.Аванесов отмечает, что задания такого типа могут быть использованы для проверки классификационных знаний, знания причин важных явлений и событий.

Среди основных требований к данному типу заданий тестологи выделяют:

краткость и однородность вариантов ответов;

использование номинальной шкалы при оценке, отсутствие необходимости в применении формул коррекции на возможную догадку.

Приведем пример:

Что не входит в содержание технологической карты?

А. перечень операций в технологической последовательности

Б.перечь оборудования и инструмента

В.количество одновременных мест обслуживания

Г. норма времени на отсутствие деталей на складе.

Задания на установление соответствия

Задания данной группы предполагают установление соответствия между элементами двух множеств. Их назначение: проверка ассоциативных знаний, проверка знания взаимосвязей, определений и фактов, форм и содержания, авторства произведений и научных работ; соотношений между различными объектами, предметами, свойствами, связями, формулами. При этом элементы первого множества рассматриваются как фиксированные константы, второго – правильные и неправильные переменные элементы, из которых испытуемому необходимо выбрать только правильные ответы.

Основная сфера применения заданий на соответствие – текущий и тематический контроль знаний. Максимально эффективны задания данного типа при организации самоконтроля.

Приведем пример:

1. Установите соответствие исторической даты и события:

даты	События
1.	1833	А	Спроектирована релейная вычислительная машина
2.	1944	Б	Введено программное управление с помощью перфокарты
3.	1950	В	Сконструирована электронная машина «Эниак»
4.	1946	Г	Первое серийное производство ЭВМ в США
5.	1947

2. Соедините линиями материал и область его применения.

URSA GLASSWOOL П-35

Тепло- и звукоизоляция наружных стен с установкой утеплителя снаружи и в среднем слое стены

 

URSA GLASSWOOL М-25Ф	Изоляция трубопроводов горячей воды и технологического оборудования с температурой до 270°С.
URSA GLASSWOOL П-20	Тепло- и звукоизоляция транспортных средств
URSA GLASSWOOL М-25	Теплоизоляция трубопроводов и оборудования, дополнительная пароизоляция

Задания на установление правильной последовательности

Различают три специфические группы тестовых заданий на установление последовательности:

связанные с установлением правильной последовательности исторических событий, на установление верной последовательности технологических операций, последовательностей различных процессов, цепочки умственных действий, образующих систему знаний, умений, навыков.

Тестовые задания на установление правильной последовательности позволяют «проверять алгоритмические знания, умения и навыки, необходимые для установления правильной последовательности различных действий, операции, расчетов» (В.С. Аванесов).

Приведем пример:

Запишите номера пунктов в верной последовательности выполнения измерения превышений по рейке Flexl-rods с адаптером для Nedo Laser-Auge с приемником.

1. Установить рейку в точке А.

2. Выровнять пузырек круглого уровня таким образом, чтобы он находился по центру (нуль-пункту).

3. Установить нивелир между точками А и В.

4. Выдвигая сегменты рейки, установить приемник в зоне прохождения лазерного луча.

5. Записать отсчет.

6. Снять показания по отсчетной системе рейки при одновременном свечении двух стрелок приемника.

7. Вычислить искомое превышение как разность отсчетов.

8. Повторить измерение для точки В.

Рассмотрев наиболее часто применяемые разновидности тестовых вопросов закрытого типа, обратимся к тестовым вопросам открытого типа, в которых вероятность отгадывания при ответе практически равна нулю.

Отличительная особенность заданий открытого типа в том, что ответ на вопрос, даваемый обучающимся, преподаватель не может спрогнозировать дословно. Необходимо определить сущностную составляющую ответа. Задания открытого типа различаются по характеру и длине ответа.

По характеру ответов различают вопросы:

со свободными ответами, когда испытуемому необходимо дать краткий ответ: самостоятельно дописать слово, словосочетание, предложение, знак, формулу, завершить незаконченное предложение, сделать расчет или рисунок.

Приведем примеры:

1. Вставьте пропущенное слово:

Суспензии пигментов в лаках – это ___________________

2. Вставьте пропущенные слова:

Подъем монтируемых элементов конструкций осуществляется с помощью _________, _______ и ________.

3. Прочитайте описание ситуации. Письменно ответьте на вопросы:

1. В течение какого промежутка времени гр. Петров обязан уплатить обозначенную в приговоре сумму?

____________________.

2. Возможно ли предоставление рассрочки по выплате штрафа осужденному гр. Петрову, если он не имеет возможности уплатить штраф в установленный срок? ____________________.

3. Какие нормы уголовно-исполнительного законодательства регулируют описанную ситуацию?

_______________________________________________________________

Описание ситуации

Гр. Петров осужден приговором суда за преступление, предусмотренное ч. 1 ст. 137 УК РФ, к штрафу без рассрочки выплаты в размере 200 тыс. рублей.

Данные вопросы очень близки к заданиям закрытого типа. Их отличает только возможность выразить правильный ответ не слово в слово, а описательно, сохранив тот же смысл, поэтому они проверяются с помощью модельных ответов, содержащих все возможные варианты ответов на данный вопрос.

дополнения (с заданными ограничениями), когда испытуемый должен сформулировать ответы с учетом предусмотренных в задании ограничений. Другое название этого типа тестового вопроса — вопрос с расширенным структурированным ответом. Вопрос может быть использован для ответа на тестовые вопросы, в которых обучающийся, в соответствии с требованиями к ним, выписывает в бланк ответа причины тех или иных событий, критерии для сравнения, делает краткие выводы по результатам обработки предъявленной информации. Проверка таких заданий также производится с помощью модельных ответов, так как предполагает наличие нескольких вариантов верных ответов.

Приведем примеры:

1. Прочитайте описание ситуации. Рассчитайте сумму реализованной торговой наценки. Занесите в бланк расчеты и сумму реализованной торговой наценки.

Описание ситуации

Торговая организация продает в розницу бакалейные товары и хлебобулочные изделия. На бакалейные товары торговая наценка установлена в размере 25 %, на хлебобулочные изделия – 10 %.

Сумма выручки с учетом НДС за апрель 2008 г. составила:

– по бакалейным товарам – 150000 руб.;

– по хлебобулочным изделиям – 110000 руб.

2. Подготовьте с использованием ИКТ проект «Оптимальная планировка кабинета секретаря-референта»: представьте схему кабинета, описание и обоснование (объем текстового материала – 3-5 страниц, кегль 12, интервал 1,5).

Требования к разработке открытых заданий
на дополнение с ограничениями

Схема разработки заданий на дополнение с ограничениями на ответы достаточно проста. Сначала рекомендуется сформулировать вопрос, содержащий не более семи-восьми слов, затем на поставленный вопрос записать ответ, представляющий некоторое высказывание примерно той же длины. Далее из полученного высказывания исключить ключевое слово (число, символ и т.п.) И на его месте поставить прочерк. Затем необходимо изменить порядок слов в высказывании, так чтобы прочерк, по возможности, переместился в конец предложения. В заданиях с ограничениями заранее определяется, что считается правильным ответом и задается степень полноты представления ответа. Обычно он бывает достаточно кратким одно слово, число, символ и т.д. Иногда — более длинным, но не превышающим двух-трех слов.

Разработка открытых заданий на дополнение с ограничениями подчиняется ряду общепринятых правил:

1. Каждое задание должно быть нацелено только на одно дополнение, место для которого обозначается прочерком или точками.

2. Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала.

3. Все прочерки в открытых заданиях для одного теста рекомендуется делать равной длины. После прочерка, если это возможно, указываются единицы измерения.

4. Дополнения лучше ставить в конце задания или как можно ближе к концу.

5. Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

6. В тексте задания не должно быть повторов и двойного отрицания.

Приведем пример:

Заполните таблицу:

Вид топологии	Тип кабеля	Максимальная длина сегмента	Достоинства	Недостатки
«шина»
«кольцо»

Модельный ответ:

Критерий	Баллы
Правильно заполнены 7-8 ячеек таблицы	3 балла
Правильно заполнены 5-6 ячеек таблицы	2 балл
Правильно заполнены 4 ячейки таблицы	1 баллов
Правильно заполнены менее 4 ячеек	0 баллов

Подготовка модельных ответов

1. Сформулируйте предполагаемый верный ответ обучающегося.

Если задание содержит бланк для работы обучающегося, рекомендуется представлять модельный ответ в формате бланка.

2. Отметьте те слова, которые являются ключевыми для передачи смысла ответа (создания правильного ответа).

3. Убедитесь, что смысл ответа предается наиболее точно с помощью именно этих слов. Убедитесь, что использованная лексика соответствует возрасту чтения обучающегося.

4. Вернитесь к задачной формулировке и к источнику. Посмотрите, могут ли быть даны ответы, в нюансах отличающиеся по смыслу от предложенного вами.
Определите, являются ли они верными или частично верными, т.е. отвечают ли они задачной формулировке и соответствуют ли информации, предложенной в источнике.
Если вы признаете такие формулировки верными или частично верными, внесите их в поле модельных ответов.

5. Если вы предполагаете, что при наличии определенного опыта или знаний обучающийся может дать ответ, по смыслу отличающийся от предложенного вами, но соответствующий заданию, внесите его в поле модельных ответов.

6. Проверьте, учтены ли в модельных ответах все допустимые уровни детализации и обобщения.

7. Если задание предполагает выполнение нескольких однотипных действий (например, найдите х признаков, выделитеу критериев), учтите в поле модельных ответов все допустимые варианты детализации и обобщения.
Если при этом вы понимаете, что какой-то признак, аргумент и т.п. из источника неочевиден, сократите требуемое от обучающегося количество действий в сравнении с модельным ответом (т.е. «выпишите 5 аргументов», тогда как в тексте приведены 6, один из которых неочевиден).

8. Апробируйте предложенные модельные ответы с помощью обучающихся той же возрастной группы, для которой вы создаете задания. Обучающиеся должны обучаться по той программе, которая содержит образовательные результаты, выбранные для проверки с помощью данных заданий.
Внимательно рассмотрите варианты ответов, которые представляются вам верными. Убедитесь, что по смыслу их формулировки попадают под предложенные вами в модельном ответе.