Автоматизированный контроль знаний по методике уточняющих вопросов

Концепция базируется на автоматизации методики уточняющих вопросов, широко используемой в педагогической практике для выявления глубины знаний обучаемого. Относительная важность задаваемых вопросов определяется их весовыми коэффициентами, учитываемыми при подведении результатов тестирования. При подготовке к тестированию преподаватель имеет возможность определять или корректировать относительную важность каждого вопроса, устанавливать объем теста N, задавать время, отводимое экзаменуемому на демонстрацию своих знаний, и настраивать оценочную шкалу, по которой суммарный балл, набранный в ходе тестирования, переводится в итоговую оценку.

В ходе автоматизированного тестирования экзаменуемому предъявляется конечное множество т.н. цепочек вопросов. Каждая цепочка представляет собой последовательность близких по тематике вопросов, формулируемых для уточнения знаний экзаменуемого. Очередной вопрос в цепочке задается только после получения ответа на предыдущий вопрос. В зависимости от стратегии тестирования, избираемой организатором контроля знаний, очередной вопрос в цепочке может предъявляться до первой ошибки (“строгий” преподаватель), либо экзаменуемому предоставляется возможность демонстрировать максимум знаний, отвечая на все вопросы данной тематической последовательности.

Каждому j-му вопросу в i-й цепочке присваивается весовой коэффициент К_ij, характеризующий его относительную важность в рамках этой цепочки. Значения всех коэффициентов автоматически нормируются так, чтобы их сумма внутри каждой цепочки была равна 1. В цепочку может объединяться неограниченное количество тематически близких вопросов. В вырожденном случае цепочка состоит из единственного вопроса, коэффициент важности которого устанавливается равным 1.

Процедура количественного оценивания знаний, выявленных в ходе тестирования, состоит из трех этапов. На первом рассчитываются баллы, набранные за правильные ответы в рамках каждой отдельной тематической последовательности:

 ,

где S_i - балл, выставляемый за ответы на i-ю тематическую последовательность; К_ij - весовой коэффициент j-го вопроса в i-й цепочке; Z_ij =1, если на j-й вопрос в i-й цепочке получен правильный ответ и Z_ij=0 - в противном случае; L_i - количество вопросов в i-й цепочке.

На втором этапе рассчитывается суммарный балл S _S за ответы на все вопросы теста с учетом количества цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время:

² ,

где N –объем теста; К _t – количество цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время t.

На третьем этапе определяется итоговая оценка знаний экзаменуемого. Для этого набранный им суммарный балл S _S проецируется на оценочную шкалу, имеющую вид

[0; I₁; I₂; I₃; 1] ,

где 0< I₁< I₂< I₃< 1 – границы интервальных диапазонов оценок, задаваемые преподавателем при организации тестирования.

Итоговая оценка за тест О _T выводится по следующим правилам:

После необходимой доработки и полного документирования демонстрационная версия программы и информация об условиях ее поставки будет опубликована на Веб-сайте Калининградского государственного технического университета [26].