Мегаобучалка Главная | О нас | Обратная связь  


Пилотажное исследование




 

Проведение пилотажного исследования предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника.

Если, например, опросник предназначен для обследования лиц, имеющих про- блемы с алкоголем, пилотажное исследование можно провести в соответствующих консультативных центрах, клиниках. В том случае, когда опросник будет исполь- зоваться применительно к любым, скажем, взрослым и психически нормальным представителям популяции, необходимо сформировать репрезентативную груп- пу испытуемых. Сделать это намного труднее, чем подобрать какую-либо специ- фическую группу. Обычно составление выборки отнимает много времени, поэто- му не стоит этим заниматься при проведении пилотажного исследования. Если невозможно создать репрезентативную выборку, обычно достаточно составить выборку приблизительно похожую на репрезентативную. Лица, которые прини- мают участие в пилотажном исследовании, должны различаться по демографиче- ским показателям, таким как возраст, пол, социальный статус. Пилотажную вер- сию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного




158 Глава 3. Психометрические основы психодиагностики: основные этапы...

 

 

исследования, должно быть в два раза больше, чем количество заданий. Если не- возможно получить такое количество испытуемых, лучше все-таки привлечь к ис- следованию меньшее количество людей, чем вообще отказаться от проведения пи- лотажной стадии исследования.

 

Анализ заданий

 

Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно(в соответствии с клю- чом) и дискриминантностикаждого задания. Первый шаг состоит в том, чтобы составить таблицу анализа заданий (табл. 3.3), в которой каждая колонка (а, b, с, d и т. д.) представляет задание, а каждая строка (1, 2,3,4, 5 и т. д.) — обследуемо- го. Когда речь идет о разработке личностных опросников, в таблицу вписывается соответствующий балл по каждому заданию, а при этом имеется в виду, что обрат- ные задания (с противоположным содержанием) оцениваются так же, как и пря- мые задания, но в противоположном направлении континуума оценок. Затем сум- мируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

 

Таблица 3.3

  Обследуем Задания   Сумма
a b с d е
1. 2. 3. 4. 5.
Сумма

 

Образец матрицы для анализа заданий

 

 

Следующим шагом будет вычисление показателя, определяющего долю испы-

туемых, ответивших в соответствии с «ключом» опросника или индекса эффек- тивности задания1.Этот показатель подсчитывается делением количества обсле- дуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеалt этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Ин- декс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень

 

 

 
В ряде случаев определяется как индекс сложности задания;например, во многих шкалах интеллек-

та присутствуют субтести, предназначенные для определения общей осведомленности и состоящие из вопросов типа: «Назовите столицу Уругвая» или «Кто автор "Критики чистого разума"?». В таких тестах с помощью индекса сложности устраняются те задания, на которые отвечают почти все испы- туемые (легкие) и те, на которые отвечают правильно очень немногие (сложные).


3.5 Анализ заданий 15 9

 

 

немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, что на данное задание получено слишком много правильных ответов. В табл. 3.3 анализа заданий индекс эффективности для каждого задания получается следу- ющим образом: (а) 3/5 - 0,6; (b) 2/5 - 0,4; (с) 0/5 - 0; (d) 3/5 - 0,6 и (е) 5/5 = 1. Из этого следует, что нужно устранить задания (с) и (е) из окончательной версии опросника.

Также нужно удостовериться, просмотрев результаты в таблице анализа зада- ний, в том что хороший индекс эффективности, т. е. лежащий где-то посередине между крайними оценками, не просто означает выбор средних оценок в оценоч- ном континууме каждым испытуемым, а представляет собой вариацию различных оценок.

Задания (вопросы, утверждения) только тогда следует включать в окончатель- ную версию опросника, когда они измеряют те же самые личностные особенно- сти, что и другие, предназначенные для этого задания. Для определения дискри- минативности заданийиспользуется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дис- криминантность задания, тем лучше задание. Это основной критерий. Как прави- ло, требуется минимальная корреляция в 0,2. Задания с отрицательной или нуле- вой корреляцией почти всегда исключаются.

Для расчета этого показателя чаще всего применяется коэффициент произве- дения моментов Пирсона (заметим, что он наиболее приемлем для оценивания заданий, имеющих пять и более вариантов ответа, а в случае дихотомических за- даний используется точечно-бисериальная корреляция). Вычисления обычно производятся с помощью специальных компьютерных программ, однако каждый разработчик тестов должен хотя бы один раз провести расчеты вручную. Это дает возможность проникновения в смысл того, что происходит с заданиями теста. Тем читателям, которые попытаются осуществить эту процедуру, напоминаем, что ко- эффициенты корреляции всегда меньше +1 и больше -1 . Если получено значение коэффициента, выходящее за границы этого интервала, значит, допущена ошибка в расчетах. Формула коэффициента произведения моментов Пирсона имеет вид:

 

где r— коэффициент корреляции; X — результат по каждому заданию; Y— балл

(результат) по всему тесту; п — количество попарных произведений; 2 — сумма.

Для того чтобы подсчитать коэффициент корреляции произведения моментов

 
 
 
Пирсона, нужны: сумма баллов испытуемых по каждому заданию сумма бал- лов, испытуемых по всему тесту сумма квадратов баллов испытуемых по каждому заданию сумма квадратов баллов испытуемых по всему опросни- ку сумма произведения баллов по каждому заданию и по всем заданиям Путем подстановки в формулу значений перечисленных показателей вы-

числяется коэффициент корреляции. Нижеследующий пример демонстрирует простой способ получения этого коэффициента. Для избежания ошибок рекомен- дуется повторный подсчет по каждому заданию.


160 Глава 3. Психометрические основы психодиагностики: основные этапы...

 

 

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффек- тивности и дискриминантности нужно определить то количество заданий, кото- рое потребуется для окончательной версии (не менее 20-30 заданий!) и насколь- ко хорошо они «вписываются» в ранее созданную для теста решетку. Например, можно включить задания с низкой дискриминативностыо, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показате- лем эффективности при условии, что оно обладает достаточной дискриминантно- стью. Также важно обеспечить приблизительно равное количество прямых и об- ратных заданий. Для испытуемых разных полов необходимо выполнить отдель- ные процедуры анализа заданий.

 

Испытуемые Балл по зада- Балл по зада- Балл по всему Бал по всему Произведение нию нию в квад- тесту тесту в квадрате баллов по зада-

рате нию и по всему тесту

п X X2 Y Y2 XY

Способы улучшения заданий выясняются как раз на этой стадии конструирова- ния теста. Например, изменение формулировки ответа в задании с «иногда» на «все- гда» может повысить показатель эффективности. Однако эти изменения во всех вопросах (утверждениях) могут повлиять на надежность и валидность теста. Про- цедура анализа заданий дает необходимую информацию относительно параметров каждого задания. Тем не менее только исследователь может вынести решение о том, какой из критериев наиболее важен для реализации цели создаваемого теста.

В начале 1980-х гг., помимо традиционных процедур анализа заданий, появ- ляются более сложные, использование которых невозможно без достаточно мощ- ного компьютерного обеспечения. К таковым прежде всего относится теория «за- дание—ответ»(item response theory, IRT). Технические приемы этой теории, не- смотря на продолжающиеся дискуссии, сегодня включаются во вновь создаваемые


3.6. Определение надежности теста 161

 

 

тесты. Однако речь идет прежде всего о тестировании способностей. Наиболее слож- ные проблемы возникают в связи с попытками приложения ITR к тестам лично- сти. Безусловно, нельзя утверждать, что процедуры из ITR неприменимы в оценке личности, однако требуется решение многих задач, прежде чем эта теория заменит традиционные процедуры анализа заданий подробнее об этой теории см. в рабо- тах П. Клайна, 1994; А. Анастази и С. Урбина, 2001; и др.).

 

Поможем в ✍️ написании учебной работы
Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой



Читайте также:
Почему люди поддаются рекламе?: Только не надо искать ответы в качестве или количестве рекламы...
Как построить свою речь (словесное оформление): При подготовке публичного выступления перед оратором возникает вопрос, как лучше словесно оформить свою...
Почему человек чувствует себя несчастным?: Для начала определим, что такое несчастье. Несчастьем мы будем считать психологическое состояние...



©2015-2020 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (934)

Почему 1285321 студент выбрали МегаОбучалку...

Система поиска информации

Мобильная версия сайта

Удобная навигация

Нет шокирующей рекламы



(0.024 сек.)
Поможем в написании
> Курсовые, контрольные, дипломные и другие работы со скидкой до 25%
3 569 лучших специалисов, готовы оказать помощь 24/7