З.1. Стандартизация теста

' ных, методических и статистических процедур, обеспечива­ющих создание строго фиксированных компонентов теста

Глава 1. Психометрическая парадигма конструирования тестов и шкал

(инструкции, набора заданий, метода обработки протоколов и подсчета баллов, способа интерпретации).

Как основное методическое требование, стандартизация теста содержится в современных определениях понятия «психологический тест». «Тест - стандартизованная методика психологического изме­рения, предназначенная для диагностики выраженности у индивида психических свойств или состояний при решении практических задач» [Психологический словарь, 1997. С. 379]. «Психологический тест - психодиагностическая методика, предполагающая стандарти­зованную процедуру проведения, количественную формализованную процедуру обработки результатов и подсчета тестовых показателей, готовый перечень рекомендаций по интерпретации полученных показателей» [Шмелев, 1996. С. 449]. Б. Д. Карвасарский (1982), В. М. Блейхер с соавт. (1996) акцентируют возможность установления с помощью стандартизованного психологического теста уровня раз­вития (выраженности) той или иной психической функции по срав­нению с усредненными показателями, характерными для данной по­пуляции (полученными ранее на соответствующей выборке больных и на здоровых испытуемых). По А. Анастази (1982, 2001), психологи­ческий тест - в сущности есть объективное и стандартизованное из­мерение выборки поведения.

В психодиагностике выделяют две формы стандартизации теста [Бурлачук, Морозов, 1999]. В первом случае под стандартизацией по­нимается регламентация процедуры проведения, унификация инструк­ции, бланков исследования, способов регистрации результатов, усло­вий проведения исследования. Во втором случае - преобразование первичных тестовых оценоквновую шкалу, основанную ужененаколи-чественныхэмпирическихзначенияхизучаемогопоказателя,анаегоот-носительном месте в распределении результатов в выборке испытуемых.

Стандартизация как преобразование первичных тестовых оценок в новую шкалу - это процедура получения шкалы, позволяющей срав­нивать индивидуальный тестовый результат с результатами испытуе­мых по выборке стандартизации. Эта процедура позволяет определить так называемые тестовые нормы или таблицы пересчета «сырых», пер­вичных оценок по тесту в стандартные.

Процедуру стандартизации психодиагностического теста можно представить в виде следующих шагов.

1. Определяется генеральная совокупность, для которой предна­значена методика.

2. Извлекается выборка из генеральной совокупности.

Компьютерная психодиагностика

3. По результатам исследования выборки строится эмпирическое распределение.

4. С помощью статистических критериев эмпирическое распреде­ление подвергается анализу на соответствие его нормальному виду.

5. Если распределение оказывается нормальным, можно сразу же на основе характеристик эмпирического распределения прово­дить линейную стандартизацию.

6. Если распределение отличается от нормального, то либо делает­ся попытка привести его к нормальному виду, либо проводится нелинейная стандартизация (она также называется процентиль-ной нормализацией).

Рассмотрим эти этапы последовательно.

1. Определение генеральной совокупности.Под генеральной совокуп­
ностью понимается множество потенциальных испытуемых, для кото­
рых предназначен конструируемый тест. Например, методика ис­
следования интеллекта Векслера подразумевает возможность
обследования всего взрослого населения страны, а патохарактероло-
гический диагностический опросникдля подростков (ПДО) - подро­
стков в возрасте 14-18 лет. Чтобы можно было судить о степени выра­
женности того или иного психического свойства у отдельного человека,
необходимо знать, как распределено это качество в генеральной сово­
купности. Поскольку процедура обследования всей генеральной сово­
купности проблематична, то для того, чтобы сделать достоверные пред­
положения о распределении, прибегают к извлечению из генеральной
совокупности некоторой небольшой ее части - выборки.

Таким образом, под выборкой стандартизации поммжт множество испытуемых, на котором собираются диагностические нормы и про­водится стандартизация конструируемого теста. Основное требование, предъявляемое к выборке, заключается в том, что она должна отвечать свойствурепрезентативности(представительности),тоестьвнейдол-жны отражаться все свойства генеральной совокупности. Существует два основных способа создания выборки стандартизации: построение случайным образом и моделирование по свойствам генеральной сово­купности.

2. Извлечение выборки из генеральной совокупности.Для построения
выборки случайным образом используются способы жеребьевки, отбор
по таблицам случайных чисел, устанавливаются какие-либо правила
отбора, например, каждый третий, каждый десятый и т. п. из списка.

Моделирование выборки осуществляется в определенной после­довательности. Выбираются те свойства, которые могут повлиять на

___ Глава 1. Психометрическая парадигма конструирования тестов и шкал

результат тестирования (как правило, это демографические показате­ли пола, возраста и др.). Внутри каждого свойства выделяются града­ции (интервалы возрастов, уровни образования и т. п.), на основании которых строится матричная модель генеральной совокупности. В каж­дой клетке матрицы по данным переписи населения или другим статистическим данным записывается число людей генеральной сово­купности, обладающих соответствующими свойствами. Выборка из­влекается пропорционально по отношению к каждой клетке матрицы. Например, если известно, что соотношение мужчин и женщин в неко­тором городе составляет 40%и 60%соответственно, то и в выборке должно соблюдаться это соотношение.

3. Построение эмпирического распределения.На этом этапе выбира­
ется интервал квантования, подсчитываем частота (количество слу­
чаев) для каждого интервала квантования и строится либо гистограм­
ма, либо кумулятивная гистограмма.

Компьютерное вычисление существенным образом облегчает этот процесс. Так, например, статистические процедуры системы 5ТАТ15-Т1СА, сгруппированные в нескольких специализированных статисти­ческих модулях, позволяют решать задачи предельной сложности как по объему и размерности обрабатываемых данных, так и по точности и скорости вычислений. Для решения задач этого этапа можно исполь­зовать модуль «Основные статистики и таблицы» (Bа₈1с ЪШ.Шс*/ ТаЫез), который как раз и нацелен на проведение предварительной обработкиданных,осуществлениеразведочного анализа, определение зависимости между ними, разбиение их различными способами на группы, просмотр этих групп визуально и построения гистограмм.

4. Анализ эмпирического распределения на соответствие его нормаль­
ному ввду.Стандартизация психодиагностических тестов основана на так
называемой аксиоме нормальности, т. е. опирается на предположение, что
все психические характеристики распределены в популяции по нормаль­
ному закону Гаусса. Нормальное распределение имеет вид симметрич­
ной колоколообразной кривой, которая растянута до бесконечности в
положительном и отрицательном направлениях. Следует отметить, что
значительная часть процедур классической статистики разработана для
случайных величин с гауссовым нормальным распределением.

На этом этапе полученное эмпирическое распределение оценива­ется с помощью статистических критериев. Так, например, система 5ТАТ15Т1САпредлагаетдля оценки нормальности распределения три критерия: Колмогорова-Смирнова, Лилиефорса и Шапиро-Уилкса.

Предположение о нормальности распределения тестовых результа­тов является своего рода идеализацией. На практике многие тесты дают

Компьютерная психодиагностика

результаты, распределение которых отличается от нормального. По­этому часто возникает вспомогательная задача нахождения способа преобразования данных к нормальному виду. Построенная на преды­дущем этапе гистограмма или полигон распределения позволяют лег­ко выявить лево- или правостороннюю асимметрию, двугорбость и другие отклонения от нормальности. В психологических исследованиях часто встречаются логарифмические нормальные распределения, осо­бенностью которых является крутая ветвь полигона и пологая правая (то есть частоты резко падают с ростом тестовых оценок). При лога­рифмировании исходных тестовых данных левая ветвь кривой распре­деления растягивается, и распределение принимает приближенно нор­мальный вид. Для нормализации распределений с правосторонней асимметрией используются тригонометрические и степенные преоб­разования данных. Таким образом удается преобразовать тестовые оценки, не подчиняющиеся закону нормального распределения, что­бы распределение новых, преобразованных оценок стало нормальным.

Компьютер позволяет автоматизировать подбор и подгонку требу­емого преобразования первичных тестовых оценок из заданного клас­са аналитических функций, а также реализовать трудоемкую в ручном исполнении процедуру перехода к нормально распределенным оцен­кам путем новой оцифровки выходного тестового показателя.

5. Проведение линейней стандартизации.Результат тестирования испытуемого X, (/ = 1,..., т, где т -количество заданий теста), вычис­ленный с помощью диагностической модели У,= ЦХ,),обычно назы­вается первичной тестовой оценкой, или «сырым» баллом.

Пол линейной стандартизацией понимают перевод исходных («сы­рых») баллов по тесту в стандартную шкалу путем применения форму­лы линейного преобразования следующего вида:

^ = ^g _ ^Угт>

Вей шя^о^^'-^^^н^^я^о^^с^х

^} испытаний и устойчивость теста по отношению к разнооб­разным источникам помех (шумовых, случайных факторов обследования).

В осно^^н^у^1н^^Те^т^с^^еор^Г грешностей измерения, полностью заимствованная из физики. Счи­тается, что тест - такой же измерительный прибор, как вольтметр, тер­мометр или барометр. Результаты, которые он показывает, зависят не только от величины измеряемого свойства у испытуемого, но также и от самой процедуры измерения («качества» прибора, действий экспе­риментатора, внешних помех и т. д.).

В связи с этим постулируется следующее утверждение. Любое изме­ряемое психическое свойство испытуемого (например, «экстраверсия», «тревожность» и пр.) имеет «истинный» показатель, а показания по тес­ту отклоняются от «истинного» на величину случайной погрешности. Поэтомуэмпирическиполученнаяоценкапотесту^представляетсякак сумма истинной оценки Г_ши ошибки измерения е: К= У_ы+е.

Для анализа надежности вводится понятие «параллельных тестов» -этотесты,водинаковоймереизмеряющиеданноесвойствопосредством одних и тех же действий и операций, при этом параллельными тестами могут быть и параллельные формы, и повторные исследования испыту­емых одной и той же методикой. Если допустить, что измеряемые свой­ства испытуемых мало изменяются во времени, а ошибки полностью случайны и несистематичны, то параллельные тесты дают результаты с одинаковыми средними значениями, среднеквадратическими отклоне­ниями, интеркорреляциями и корреляциями с другими переменными.

Коэффициент надежности ^определяется как корреляция парал­лельных тестов, которая, в свою очередь, равна отношению

2
п _ °й(
^КУУ 2 ,

^} ния чего предназначен.

каждый из них соответствует разным аспектам этого значения.

Очевидная валидность - это характеристика такого теста, о кото­ром складывается впечатление, что он измеряет именно то, что подра­зумевается, особенно с точки зрения испытуемого. Очевидная валид­ность не имеет никакого отношения к истинной валидности, и важна лишь потому, что помогает добиться сотрудничества с испытуемым [Клайн, 1994].

Эмпирическая валидность - это совокупность характеристик теста, полученных с помощью сравнительного статистического анализа. По­казатель эмпирической валидности выражается количественной мерой статистической связи между результатами тестирования и внешними по отношению к ним критериям оценки диагностируемого свойства [Дюк, 1994]. В качестве внешних критериев могут выступать эксперт­ные оценки, «жизненные» критерии, показатели других тестов, отда­ленные по времени критерии и т. д.

Эмпирическая валидность чаще всего выражается коэффициентом корреляции результатов тестирования Yс критериальным показателем Z.Известно,чтокорреляциядвухпеременных зависит от их надежности:

где Я_шш - корреляция истинных значений теста и критерия; Я„-надежность теста; К_гг- надежность критерия.

Эта формула показывает, что максимально возможная валидность ограничена величинами надежности теста и внешнего критерия.

Содержательная валидность - это характеристика тестов достиже­ний, указывающая, что тест должен охватывать всю область изучаемо­го поведения.

Конструктная валидность - это валидность теста по отношению к психологическому конструкту - научному понятию или совокупнос­ти понятий, лежащих в основе конструируемого теста. Для установле­ния конструктной валидности необходимо полное описание измеряе­мой переменной, выдвижение системы гипотез о ее связях с другими переменными, а также эмпирическое (статистическое) подтверждение этих гипотез.

____________________Компьютерная психодиагностика____________________

Распространенным приемом определения конструктной валидно-сти теста является его соотнесение с известными методиками, отража­ющими другие конструкты, предположительно как связанные, так и не зависимые от данного. При этом делается попытка априорно пред­сказать наличие или отсутствие связи между ними. Тесты, которые по предположению высоко коррелируют с валидизируемым тестом, на­зываются конвергирующими, а не коррелирующие - дискриминант-ными. Конструктная валидность может считаться удовлетворительной, если коэффициенты корреляции валидизируемого теста с группой кон­вергирующих тестов статистически значимо выше коэффициентов корреляции с группой дискриминантных тестов. Подтверждение со­вокупности ожидаемых связей составляет важный круг сведений кон­структной валидности и в зарубежной литературе носит также назва­ние «предполагаемой валидности».

Валидность тестовых заданий может устанавливаться с помощью факторного анализа, позволяющего на основе выявляемых латентных свойств определять меру влияния каждого латентного свойства на ре­зультаты тестирования.