Этапы конструирования тестов и шкал

Использование технологии анализа данных в психодиагностике диктуетопределенныеметодологическиетребованиякрешаемойвэтой

Компьютерная психодиагностика

области задаче - задаче конструирования тестов и шкал. Такую мето­дологию можно охарактеризовать рядом последовательных шагов или этапов.

1. Формирование информационной базы исследования.

2. Построение диагностической модели.

3. Стандартизация и испытание диагностической модели.

Формирование информационной базы исследования.Конструирова­ние психодиагностических методик или шкал начинается с того, что экспериментатор, исходя главным образом из теоретических представ­лений о диагностируемом свойстве, формирует «черновой» вариант теста. В этот вариант включаются задания, ответы на которые, по мне­нию экспериментатора, должны отражать индивидуально-психологи­ческие различия испытуемых по исследуемому свойству. Определение «чернового» варианта психодиагностического теста является скорее эмпирической задачей и в каждом случае решается индивидуально. Выбор конкретного вида стимульных воздействий и набор регистри­руемых ответов практически ничем не ограничен. В то же время, изу­чая какой-либо аспект взаимодействия человека с окружающим ми­ром, нельзя заранее точно предугадать, что выбранное множество стимулов и регистрируемых ответов будет в достаточно полной мере отражать все многообразие проявлений тестируемого свойства и обес­печит инвариантность теста по отношению к широкому кругу посто­ронних факторов. Поэтому для решения проблемы формирования ис­ходного множества диагностических признаков имеются лишь самые общие рекомендации.

Практика конструирования тестов и шкал, а также данные литера­туры [Мельников, Ямпольский, 1985; Дюк, 1994; Вассерман, Дюк, Иовлев,Червинская, 1997] предлагают три способа формирования ис­ходных тестовых заданий:

□ составление набора заданий из частей известных тестов;

□ использование полного набора заданий многомерного теста;

□ конструирование новых тестовых заданий.

Сошавлениенаборазаданийизчастейизвешныхтешов.Вэтомслу-чае в качестве исходного или «чернового» варианта теста берутся зада­ния из некоторых, хорошо известных психодиагностических методик. Примером составления нового теста из частей известных методик мо­жет служить разработанный В. М. Мельниковым и Л. Т. Ямпольским «Психодиагностический тест» (1985), в котором стимульный материал представляет собой комбинацию утверждений и вопросов из извест­ных тестов MMР1 и 16РР Кеттелла.

Глава 1. Психометрическая парадигма конструирования тестов и шкал

Использование полного набора заданий многомерного теста. В каче­стве исходного варианта психодиагностической методики берется банк вопросов известного многомерного теста. Иллюстрацией использова­ния полного набора тестовых заданий в качестве исходного материала для конструирования нового диагностического теста являются разра­ботанные в лаборатории клинической психологии Психоневрологи­ческого института им. В. М. Бехтерева методики «Уровень невротиза-ции» (УН), «Уровень невротической астении» (УНА) и «Опросник депрессивных состояний» (ОДС), при создании которых были исполь­зованы 566 вопросов методики ММР1.

Такой способ формирования заданий нового теста обычно исполь­зуется, когда необходимо создать отдельную дополняющую или рас­ширяющую шкалу, входящую в состав базового многомерного теста.

Оба подхода к формированию тестовых заданий опираются на уже апробированную содержательную структуру известных тестов. Основа­нием для широкого использования таких структур служит скрытый потенциал многомерных психодиагностических тестов, отражающих широкий диапазониндивидуально-психологических различий, который можетбытьразвернут относительно нового психологического концепта.

Конструирование новых тестовых заданий. Преимущество этого подхода заключается в том, что в нем максимально учитывается спе­цифика конкретной психодиагностической задачи, находящая свое выражение в более целенаправленном подборе тестовых стимулов, фор­мулировке отдельных вопросов и заданий, использовании терминоло­гии, характерной для изучаемой прикладной области и т. п. В то же время реализация этого подхода сопряжена со значительными усили­ями в теоретической проработке, как общей концепции теста, так и множества частных деталей.

Форма заданий исходного варианта психодиагностического теста существенным образом зависит от того, для чего предназначен дан­ный тест. Так, П. Клайн (1994) подробно рассматривает разработку за­даний для тестов интеллекта, тестов достижений, личностных опрос­ников, проективных методик, тестов мотивации, шкал настроений и состояний. В общем виде процедура формирования исходных тесто­вых заданий предложена В. М. Мельниковым и Л. Т. Ямпольским (1985).

Первым шагом этой процедуры является самый тщательный ана­лиз предмета тестирования, теоретического свойства и его взаимосвя­зи с другими психологическими свойствами. Результатом этого анали­за должно быть четкое вербальное определение исследуемого понятия и расчленение его на составные части.

Компьютерная психодиагностика

Следующим шагом является разработка тестовых заданий. Для это­го, прежде всего, устанавливается иерархия ранее выделенных частей психологического феномена. Затем непосредственно формулируются тестовые задания так, чтобы элементы измеряемого свойства в этих за­даниях были бы представлены пропорционально. Такой анализ, как пра­вило, производится с привлечением экспертов, которые выносят суж­дения отом, охватывает ли совокупность предлагаемых тестовых заданий декларируемое психологическое свойство и его составные части.

В целом тестовые задания должны удовлетворять следующим тре­бованиям.

1. Полнотаописания.Тестовыезаданиядолжныохватыватьвсевы­деленные аспекты измеряемого понятия.

2. Экономность описания. При разработке тестовых заданий сле­дует избегать излишнего объема исходной информации, который может исказить дальнейший эмпирико-статистический анализ.

3. Четкая структурированность. Тестовые задания должны группи­роваться относительно равномерно, описывая все стороны из­меряемого явления.

Приведенные требования не являются исчерпывающими. При со­ставлении, например, тестов-опросников большое внимание должно уделяться приемам снижения возможности искажения и уменьшения систематической ошибки тестирования. Сюда относится, в частности, введение в методику специальных признаков для выявления тенден­ции испытуемого давать о себе социально одобряемую информацию и для коррекции возможных искажений результатов, вносимых факто­ром «социальной желательности». Также к методическим приемам уменьшения систематической ошибки относится соблюдение в тест-опросниках баланса между прямыми и обратными вопросами и т.д. При конструировании тестов достижений следует учитывать такназы-ваемую психологику испытуемого [Шмелев, 1996], под которой пони­мается совокупность рациональных и иррациональных стратегий по­ведения.

П. Клайн (1994) приводит следующие правила для формулирова­ния заданий.

1. Следуед уетранять возвожность проникновения испытуемых ы суть того, что изучается при помощи предполагаемых заданий. Если испытуемый догадается, что некоторое задание предназначено для из­мерения черты X, то ответы будут отражать его точку зрения по выра­женности у себя этой черты, а не реальное положение дел. Представ­ление же некоторых испытуемых о себе может быть значительно искаженным.

Глава 1. Психометрическая парадигма конструирования тестов и шкал

2. Следует формулировать понятные, недвусмысленные вопросы (утверждения). Это важно из-за того, чтобы уменьшить погрешность, возникающую из-за неверного понимания вопросов.

3. Задания должны отражать конкретные, а не общие аспекты изу­чаемой области поведения.

4. В каждом задании следует задавать только один вопрос или де­лать только одно утверждение.

В целом можно сказать, что формирование тестовых заданий при конструировании нового теста является трудоемким и тонким заняти­ем, требующим от специалиста разносторонних и глубоких профессио­нальных знаний, а также зрелого опыта и развитой интуиции.

После того как тем или иным способом исходные тестовые задания сформированы, полученный «черновой» вариант психодиагностической методики используется для тестирования репрезентативной выборки испытуемых. Результаты этого тестирования сводятся в описанную выше двумерную таблицуэкспериментальныхданных(ТЭД)тта«объек1-при-знак» и служат материалом для дальнейшего анализа. Строки этой мат­рицы соответствуют объектам, то есть испытуемым, а столбцы - при­знакам, то есть ответам испытуемых на «черновой» вариант теста.

Построение диагностической модели. На этом этапе конструирова­ния психодиагностической методики исследователь, используя техно­логию анализа данных, строит диагностическую модель, под которой понимается способ компоновки (преобразования, агрегирования) спе­циальным образом отобранных и оцененных диагностических призна­ков (вариантов ответов на задания теста) в диагностический показатель.

Для того чтобы построить диагностическую модель, необходимо выполнить следующие процедуры.

Процедура 1. Оценить тестовые задания, то есть отобрать информа­тивные признаки. На предыдущем этапе рассматривались вопросы формирования «чернового» варианта теста или шкалы, которые каса­лись исключительно мастерства формулирования тестовых заданий. Целью анализа заданий является отбор таких заданий, которые наибо­лее удачно описывают содержание измеряемого свойства. Признаки (или тестовые задания), ошибочно включенные в тест, должны быть исключены.

Процедура 2. Определить диагностический показатель, то есть найти способкомпоновкиотобранныхпризнаков.Понятиедиагностического показателя базируется на представлении о том, что все многообразие оценок по отдельным заданиям теста может быть сведено в единое по­нятие, которое можно охарактеризовать одномерным континуумом, то есть осью или шкалой. Синонимами понятия «диагностический пока-

компьютерная психодиагностика

затель» являются «интегральный показатель», «диагностическое пра­вило», «решающее правило».

Традиционно в психодиагностике используются линейные модели, в которых диагностический показатель Р представляется в виде взве­шенной суммы исходных признаков У_ь У_ъ..., У_т(/= 1,..., т).

Р(У) = а₀+ a_]У_]+ a2Y2+...+ а_тУ_т,

где а, (/= 1,... , т) так называемые весовые коэффициенты.

Распространенность линейных моделей объясняется, прежде все­го, их наибольшей простотой и понятностью. Например, психолог, обрабатывающий ответы испытуемого на вопросы теста «вручную» с помощью специального ключа, суммирует совпадения с определенны­ми весами и тем самым реализует линейную диагностическую модель.

Описанный в предыдущем разделе подход к исследованию личнос­ти путем выделения черт, как правило, постулирует независимый, ад­дитивный (линейный) вклад каждой черты в определение диагности­ческого показателя. Так, например, Р. Кеттелл и его последователи практически реализовали этот подход, построив и опубликовав в сво­их руководствах массу подобных указанным выше уравнений эффек­тивности, основанных на результатах множественного регрессионного анализа сведений об эффективности различных групп профессиона­лов (менеджеров разного уровня, полицейских, продавцов, психоло­гов и т. п.), протестированных с помощью 16РР.

Несколько более высокая гибкость «типологического» подхода состоит в возможности отказа от линейных зависимостей: точкам и об­ластям, в разной степени удаленным от начала координат, приписыва­ется вовсе не всегда пропорциональный рост определенной поведен­ческой симптоматики, но иногда качественно разное поведение. При этом, в частности, учитывается взаимодействие черт: прогноз по од­ной черте (фактору) зависит от значения выраженности другой черты [Шмелев, 2002].

Проведение процедур построения диагностической модели суще­ственным образом определяется двумя различными стратегиями, или подходами конструирования тестов и шкал с помощью технологии анализа данных.

Первая стратегия предполагает наличие внешнего критерия в виде экспериментальных данных, независимо и достоверно репрезентиру­ющего исследуемое свойство. Под внешним критерием понимается так называемая обучающая выборка как некоторая дополнительная обу­чающая информация о диагностируемом свойстве исследуемых объ­ектов.

Глава 1. Психометрическая парадигма конструирования тестов и шкал

Вторая стратегия основывается на отсутствии внешнего критерия, илитакназываемом критерии автоинформативности, подразумевающем, что диагностическую модель можно непосредственно построить, исхо­дя из числовых отношений сходства и различия объектов и признаков.

В литературе первая стратегия (наличие внешнего критерия) изве­стна как критериально-ключевой принцип конструирования тестов, по­зволяющий на основе обнаружения психологических признаков диф­ференцировать релевантные критериальные группы от контрольных. Примерами методик, в которых реализован этот принцип, являются эмпирические опросники, такие как ММР1, «Бланк интересов» Стронга и др. Так, при разработке ММР1 из первоначального банка утвержде­ний в основные клинические шкалы включались только те, которые хорошо дифференцировалииспытуемыхстемили иным клиническим диагнозом от контрольной группы здоровых людей.

Второй стратегии (отсутствие внешнего критерия) соответствует факторно-аналитический принцип конструирования тестов на основе выявления ограниченного, определяемого разработчиками круга фак­торов [Клайн, 1994]. Под фактором подразумевается конструкт, опе­рационально определяемый его факторными нагрузками. Под фактор­ными нагрузками понимаются значения корреляции переменных с данным фактором. При разработке теста корреляционному анализу подвергаются связи между заданиями, и в тесте остаются только те из них, которые коррелируют с общим фактором; этот фактор затем вы­ступает в качестве конструкта. Примерами тестов, созданных в соот­ветствии с факторно-аналитическим принципом, могут служить фак­торные опросники, например, 16-факторный опросник Кеттелла, личностный опросник Айзенка и др.

Рассмотрим процедуры построения диагностической модели для этих двух стратегий.

Критериально-ключевой принцип конструирования тестов. В основе этого принципа лежит возможность привлечения дополнительной ин­формации, кроме той, которая непосредственно содержится в исход­ной ТЭД.

Об/ Критериально-ключевойпринципконструированиятестовпред-

' полагает наличие дополнительной информации, кроме той, которая содержит ТЭД.

Эту до^н^т!^ формируется по так называемым критериям внешней информативно­сти, или, иными словами, внешним критериям.

Компьютерная психодиагностика

Выделяют три основные группы внешних критериев: экспертные, экспериментальные и жизненные [Дюк, 1994].

Экспертные критерии - это оценки, суждения, заключения об ис­пытуемых, вынесенные экспертом или группой экспертов. Эксперта­ми могут быть специалисты: психологи, врачи, педагоги, руководите­ли и т. п. Так, например, в качестве обучающей выборки можно рассматривать группу больных с определенным диагнозом, поставлен­ным врачом при обследовании в клинике.

Объективизация внешнего критерия достигается увеличением чис­ла экспертов. При участии группы экспертов существуют четыре спо­соба определения единого экспертного критерия: коллективная оцен­ка, средневзвешенная оценка, ранжирование и парное сравнение.

При коллективной оценке эксперты совместно, путем выработки общего компромиссного мнения оценивают испытуемого по диагнос­тируемому качеству с помощью предложенной разработчиком теста балльной шкалы. При этом важными факторами являются какхарак-тер группового взаимодействия экспертов, так и разрешающая способ­ность заданной оценочной шкалы.

При средневзвешенном оценивании эксперты независимо друг от друга определяют значения критериального показателя. Среди полу­ченных оценок явно отклоняющиеся, аномальные отбрасываются, а оставшиеся-усредняются.

Метод ранжирования основан на определении рангов выраженно­сти исследуемого качества в группе испытуемых. Полученные ранго­вые места при независимом оценивании также могут усредняться, но корректнее в данном случае пользоваться медианными оценками, то есть каждому испытуемому приписывать ранг, равный медиане ряда рангов, присвоенных ему всеми экспертами.

При методе парного сравнения задача экспертов состоит в попар­ной расстановке испытуемых по позициям альтернативных признаков («общительный - замкнутый», «хороший - плохой» и т. п.). Показа­телем места, занимаемого в ряду других, наиболее часто служит общее число предпочтений данного испытуемого. Этот показатель обычно нормируется по отношению к числу экспертов и общему количеству сравниваемых испытуемых, а затем выражается в процентах.

Более сложные варианты приведения результатов ранжирования и парного сравнения испытуемых к одномерному критериальному по­казателю связаны с применением компьютерных методов многомер­ного шкалирования.

Экспериментальнымикритериямиявляютсярезультаты одновремен­ного и независимого обследования испытуемых другим тестом, кото-