Работа с матрицей результатов

Для проверки тестовых свойств заданий тестовой формы и превращения части из них в тестовые задания, с данными (таблица 1) делается ряд расчетов. Результаты представлены в таблице 2.

Таблица 2. Матрица результатов с расчётами

В этой матрице проведено два упорядочения.

Одно касается испытуемых. В первой строке представлены баллы самого успешного испытуемого, во второй менее, и т.д., по нисходящей сумме баллов, если ее посчитать для каждого испытуемого.

Другое упорядочение проведено для заданий. На первом месте стоит самое легкое задание, по которому имеется наибольшее число правильных ответов, на втором - меньшее, и т. д., до последнего, у которого имеется всего один правильный ответ.

В таблице 2 приводятся и основные статистические данные, которые принимаются во внимание на первом этапе эмпирической проверки качества заданий.

Вначале определяется мера трудности заданий. Известную трудность заданий, как первое требование к тестовым заданиям, можно образно сравнить с разновысокими барьерами на беговой дорожке стадиона, где каждый последующий барьер чуть выше предыдущего. Успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен.

Трудность задания может определяться двояко:

1)умозрительно – то есть на основе предполагаемого числа и характера умственных операций, которые необходимы для успешного выполнения задания;

2)эмпирически - путем опробования задания, с подсчетом доли неправильных ответов по каждому из них.

Эмпирически трудность заданий можно определить, сложив элементы матрицы по столбцам, что укажет на число правильных ответов, полученных по каждому заданию ( ) . Чем больше правильных ответов на задание, тем оно легче для данной группы испытуемых.

Больше правильных ответов оказалось в первом задании (  = 12), это значит , что оно самое легкое в матрице.

В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться ,помимо эмпирических показателей , характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм.

В силу простоты показатель , удобен, но до тех пор, пока не появляются другие группы испытуемых, с разным числом испытуемых ( ). Поэтому для получения сопоставительных характеристик , делят на число испытуемых в каждой группе.[4]

В результате получается нормированный (числом испытуемых) статистический показатель - доля правильных ответов, . Значения приводятся в третьей строке нижней части таблицы 2.

Статистика долгое время использовалась в качестве показателя трудности в так называемой классической теории тестов. Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения указывает не на возрастание трудности, а, наоборот, на возрастание легкости, если можно применить такое слово.

Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов ( ). Эта доля вычисляется из отношения числа неправильных ответов (  - вторая строка нижней части таблицы) к числу испытуемых ( ):

Значения  представлены в четвертой строке нижней части таблицы 2. Естественным образом принимается, что

Результаты сложения по строкам представлены в последнем столбце таблицы. Из последнего, одиннадцатого столбца таблицы видно, что больше правильных ответов у первого испытуемого, а меньше - у последнего. Это столбец представляет собой числовой вектор тестовых баллов испытуемых. Суммирование баллов всех испытуемых, представленных в таблице, дает число 65. Полезно посчитать средний арифметический тестовый балл в данной группе испытуемых

 (4)

Это равенство отражает сумму всех элементов матрицы тестовых заданий, но только для случаев, когда для получения  используются одинаковые весовые коэффициенты ( ) значимости заданий в тесте, все равные, например, единице.