Метод адаптивного автоматизированного тестирования знаний

Адаптивным тестированием знаний будем называть способ экзаменационного контроля уровня подготовки обучаемого, при котором процедура выбора и предъявления ему очередного тестового задания на (t+1)-м шаге тестирования определяется ответами обучаемого на предыдущих t шагах теста. Математическую основу такого учета составляет предложенная в [2] модель объединения тестовых заданий в тематические последовательности со взвешенным ранжированием как отдельных заданий, так и целых последовательностей и выведением итоговой оценки за тест с учетом нормированной суммы баллов, накапливаемой за выбранные обучаемым варианты ответов.

Пусть V = {v_j},  - множество тестовых заданий, которые могут использоваться для формирования теста, V_T = {v_i}, V_T Í V,  - тестовые задания, отобранные для проверки знаний конкретного тестируемого, причем N << N_max. Обозначим S_t нормированную относительно количества заданных вопросов сумму баллов, накопленную обучаемым за ответы на 1, 2, …, t-м шагах теста, причем t £ N, а 0 £ S_t  £ 1. Шкалу итогового оценивания знаний Z_I упрощенно представим в виде

Z_I = [0; I₁/O₁; I₂/O₂; …; I_n/O_n; 1/O_n+1]

где 0 < I₁ < I₂ < …< I_n < 1 – границы оценочных интервалов; O_i,  - оценка, которой характеризуются знания тестируемого в случае, когда накопленная им сумма баллов S_t попадает в интервал (I_i-1,I_i].

Поскольку N << N_max, то согласно теории вероятностей сумма баллов S_t может использоваться для оценивания знаний обучаемого с доверительной вероятностью P_t < 1 и, следовательно, при выведении итоговой оценки знаний по результатам t £ N шагов тестирования необходимо учитывать ненулевой интервал неопределенности ±DI>0, в котором с вероятностью P_t находится истинное значение S_t^и:           S_t^иÎ[S_t-DI;S_t+DI]. C практической точки зрения это означает, что при проецировании значения S_t на шкалу Z_I следует принимать во внимание не только сегмент этой шкалы (I_i,I_i+1], в который попадает значение S_t, но и его зонирование с учетом интервала неопределенности DI.

При попадании суммы баллов в интервал I_i+DI<S_N<I_i+1-DI сумма баллов S_N^и, соответствующая истинной оценке знаний, ни при каких условиях не попадает в зоны неопределенности (I_i±DI)и(I_i+1±DI). В этой ситуации имеется достаточно оснований для выставления оценки O_i+1 сразу по завершении первого этапа тестирования, поэтому дальнейшее предъявление дополнительных или уточняющих вопросов нецелесообразно [28].

Заключение

Начавшееся в нашей стране с начала 80-х годов внедрение в учебных заведениях новых информационных технологий – обучение при помощи педагогических программных средств, а также использование тестирующих программ – дало более чем скромные результаты. Среди многих известных причин этого (финансовые, технические, организационные, методические трудности) отметим одну: психологическое неприятие учителями “компьютерных” методов обучения и контроля знаний, особенно высококвалифицированными, творчески работающими. У них для этого есть основания: налицо большое количество плохих программ, не отвечающих главным психолого-педагогическим принципам обучения, неудачно реализующих основные этапы процесса усвоения знаний; как правило, отсутствует методическое сопровождение; оказываются непомерно большими затраты времени и сил на освоение компьютеров, изучение программы, поддержку соответствующей инфраструктуры; при использовании даже хороших систем нивелируется роль учителя в учебно-воспитательном процессе, исчезает творческий характер его труда; отсутствует система поощрения педагогов-новаторов, осваивающих новые информационные технологии.

Эту ситуацию, на мой взгляд, можно и хочется изменить. Технический прогресс стремительно продвинулся вперед, современная вычислительная техника и системы телекоммуникаций достигли огромных результатов за последние несколько лет в плане быстродействия, объемов обрабатываемой и хранимой информации. Развитие систем проектирования программ (объектно-ориентированные системы визуального программирования, СУБД, системы моделирования нейронных сетей, и т.п.) дало в руки инженеров и системных аналитиков мощнейшие средства разработки и внедрения в жизнь самых фантастических проектов. Отсутствие финансирования в области образования в нашей стране тормозит, как мне кажется, процессы создания качественных программных продуктов общего применения, смещая акцент в сторону коммерческих интеллектуальных мультимедийных курсов, создание которых могут себе позволить только крупные «софтверные» компании.

В данной работе частично были проанализированы существующие методы и модели, позволяющие построить так называемую интеллектуальную автоматизированную систему контроля знаний. Практические реализации собственных теоретических разработок в этой области уже есть: на сегодняшний день готова демонстрационная версия программы, проводящей тестирование по методу цепочек вопросов. Этот метод не является «интеллектуализацией» процесса контроля знаний, а является первым шагом к созданию системы, позволяющей преподавателю проводить текущий и финальный контроль более быстро, объективно и эффективно. Реализация методов адаптивного тестирования, использование нечеткой логики и инженерии знаний позволит достичь больших результатов в этой области.

Список использованной литературы

1. Касьянова Н. В. «Cоздание системы компьютерного контроля как результат новых информационных технологий в обучении», Восточноукраинский Национальный Университет (ВНУ), Украина, г.Луганск // материалы конференции ИТО-2001;

2. Бренич С.Г. «Проблема искусственного интеллекта. Кибернетика.» // реферат;

3. Иващенко А.И. «Контроль знаний и умений учащихся по математике в школе» // дипломная работа;

4. Ваньков Е.А. «Технологии компьютерного тестирования» // реферат;

5. Кузнецов А. А. «Универсальная автоматизированная обучающая система. Подсистема контроля знаний.» // дипломный проект;

6. Соловей Е.В. «Автоматизированная система контроля знаний «Цепь знаний». Сетевая версия» // дипломный проект;

7. http://ito.edu.ru/2001/ito/VI/VI-0-28.html;

8. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Информационный подход к выбору решений в системах адаптивного тестирования». Материалы конференции «Анализ качества образования и тестирование». 22.03.2001, Москва, МО РФ, МЭСИ

9. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Распознавание образа обучаемых по уровням их знаний в компьютерном тестировании». Сборник материалов Интернет-конференции «Проблемы перехода классических университетов в систему открытого образования». Москва. МЭСИ, 2001

10. http://ito.edu.ru/2001/ito/VI/VI-0-19.html;

11. http://ito.edu.ru/2001/ito/VI/VI-0-27.html;

12. Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г. «Оценивание результатов тестирования на основе экспертно-аналитических методов». Журнал «Открытое образование», №3, 2001, с.32-36.;

13. http://ito.edu.ru/2001/ito/VI/VI-0-12.html;

14. http://ito.edu.ru/2001/ito/VI/VI-0-1.html;

15. http://ito.edu.ru/2001/ito/VI/VI-0-32.html;

16. http://ito.edu.ru/2001/ito/VI/VI-0-2.html;

17. http://ito.edu.ru/2001/ito/VI/VI-0-17.html;

18. http://www.tl.ru/~gimn13/ped/doclad/shuhard.html;

19. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед.вузов. 2 изд., испр.. и доп. М.: Адепт;

20. Границкая А.С. Научить думать и действовать: Адаптивная система обучения в школе: Кн. для учителя. М.: Просвещение;

21. Казаринов А.С., Култышева А.Ю., Мирошниченко А.А. Технология адаптивной валидности тестовых заданий: Учебное пособие. Глазов: ГГПИ, 1999;

22. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. Издание второе - СПб.: Образование и культура, 1997;

23. Кальней В.А., Шишов С.Е. Технология мониторинга качества обучения в системе “учитель-ученик”: Методическое пособие для учителя. М.: Педагогическое общество России, 1999;

24. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч.пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 1995;

25. П.Ю. Шалимов, В.И. Попоков «Технология рейтинговых исследований качества образования с применением нейронных сетей»

26. И.Д. Рудинский, Е.В. Соловей «Автоматизированный контроль знаний по методике уточняющих вопросов». Сборник материалов конференции, 2001

27. И.Д. Рудинский, Е.В. Соловей «реализация алгоритмов прямого тестирования в интеллектуальной автоматизированной системе контроля знаний». Сборник материалов конференции, 2001

28. И.Д. Рудинский «Метод адаптивного автоматизированного контроля знаний». Сборник материалов конференции, 2001