Мегаобучалка Главная | О нас | Обратная связь


Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить



2015-12-06 419 Обсуждений (0)
Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить 0.00 из 5.00 0 оценок




В методе ранжирования оценку достоверности можно проводить, используя коэффициент согласия или устойчивость групповых оценок.

Оценка согласованности экспертов. Рассмотрим сначала вопрос оценки согласованности двух экспертов i и l. Для сравнения оценок, полученных по методу ранжирования, можно использовать коэффициенты ранговой корреляции по Спирмену и по Кендэлу [6]. Более надежным из них является коэффициент ранговой корреляции по Спирмену, который в дальнейшем и будет использоваться:

. (24)

Получим выражение для Si и .

. (25)

Среднее значение рангов

(26)

тогда для случая, когда в оценках эксперта нет связанных рангов, выраже­ние (25) будет иметь вид:

.

Учитывая, что , выражение для перепишется в виде:

(27)

При наличии t связанных ранггов у эксперта значение суммы в выражении (27) уменьшится на

.

Если в оценках эксперта i имеется несколько групп связанных рангов, то уменьшению будет соответствовать

,

где ni – число различных рангов, присвоенных экспертом i объектам (очевидно, что ni<n, а при отсутствии связанных рангов ni = n ); – число повторений j ранга в оценках i эксперта.

Обозначим через .

Таким образом, при наличии связанных рангов Si будет определяться выражением:

. (28)

Следует отметить, что при отсутствии связанных рангов (все и ) и выражение (28) совпадает с (27), значит (28) является общим для вычисления Si.

Получим выражение для :

(29)

К правой части выражения (29) прибавим и вычтем , после чего получим:

.

Обозначим через , тогда с учетом (26) и (27) последнее выражение примет вид:

. (30)

Если в оценках i или l экспертов присутствуют связанные ранги, то уменьшается на или .

Тогда выражение для ковариации будет иметь вид

. (31)

С учетом (31) и (28) общее выражение для коэффициента корреляции запишется в виде:

. (32)

Преобразуем знаменатель Ril:

Если много меньше , то тогда

. (33)

Если же Ti = Tl = 0 то

. (34)

Для проверки значимости , т.е. проверки гипотезы о независимости оценок i и l экспертов, используем в качестве статистики . При небольшом числе объектов (n < 10) для проверки значимости используются таблицы распределения , приведенные в приложении 1.

Распределение симметрично (см. рис. 3), соответствует , тогда из (34) и (33) следует, что = . Среднее значение равно .

Задав уровень значимости для проверки гипотезы H0, по таблице находится α-квантиль (если альтернативная гипотеза заключается в положительной связи) или (если альтернативная гипотеза H1 заключается в отрицательной связи).

Решающим правилом для отвержения гипотезы является или

или (35)

Перепишем выражение (24) для в виде

. (36)

В соответствии с выдвинутой гипотезой, и независимы, поэтому:

, а . (37)

При достаточно большом числе слагаемых в (36) (n ), в соответствии с центральной предельной теоремой, распределено по нормальному закону. Учитывая первые два момента (37), получаем, что

(38)

нормально распределенная величина с параметрами N(0;1).

Поэтому при ( ) для проверки значимости коэффициента ранговой корреляции по заданному уровню значимости определяется . Решающее правило для того, чтобы считать коэффициент значимым, имеет вид .

Коэффициент ранговой корреляции используется для оценки связи рангов каждого эксперта с групповыми рангами объектов.

Получим выражение для коэффициента согласия всех экспертов E:

.

Для случая отсутствия связанных рангов в оценках экспертов с учетом (26) и (27) выражение для E перепишется в виде:

.

Обозначив через , запишем формулу для вычисления коэффициента согласия в виде:

, (39)

где . (40)

Если в оценках всех экспертов присутствуют связанные ранги и Ti одинаковы, то с учетом (28):

.

Если же Ti отличаются друг от друга незначительно, то приближенная формула для E записывается в виде:

. (41)

Выражение (41) обычно и используется при ручном расчете коэффициента согласия.

При малых значениях m и n для проверки значимости коэффициента согласия используются специальные таблицы (см. приложение 2), в которых в качестве статистики выступает величина S, вычисляемая по формуле (40).

 

При m(n-1 )> 20 и m < 7 для проверки значимости коэффициента согласия используется распределение Фишера:

, (51)

.

при числе степеней свободы

При достаточно большом числе экспертов распределение E стремится к распределению c2 (Пирсона). Покажем это.

, (54)

где .

При достаточно большом m yj распределено по нормальному закону. Параметры нормального распределения с учетом (27) и (27) будут равны:

.

Пронормируем yj в соответствии с выражением:

.

Тогда (54) перепишется в виде , где uj нормально распределена с и .

Как указывалось в п.5, сумма квадратов независимых нормально распределенных случайных величин распределена по закону c2 с числом степеней свободы .

Получили, что если гипотеза о независимости оценок экспертов (m>7) верна, то статистика

(55)

распределена по закону Пирсона с числом степеней свободы n = n-1. Таким образом, в зависимости от количества экспертов т, числа оцениваемых объектов n,для проверки значимости Е необходимо вос­пользоваться или таблицами распределения S (когда т(п-1) £ 20 ), или распределением Фишера ( , а т £ 7 ), или -распределени­ем (т > 7).

В соответствии с заданным уровнем значимости гипотезы о неза­висимости оценок экспертов α находятся или Sтабл, или Fтабл или c2табл.

Решающими правилами для того, чтобы считать коэффициент согла­сия значимым, т.е. чтобы считать групповые оценки достоверными, являют­ся:

Sрасч > Sтабл ; Fрасч > Fтабл ; c2расч > c2табл.

Следует подчеркнуть, что при расчете по формулам (53) числа степеней свободы для F-распределения n1 и n2 их следует округлять в большую сторону.

 



2015-12-06 419 Обсуждений (0)
Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить 0.00 из 5.00 0 оценок









Обсуждение в статье: Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить

Обсуждений еще не было, будьте первым... ↓↓↓

Отправить сообщение

Популярное:
Почему люди поддаются рекламе?: Только не надо искать ответы в качестве или количестве рекламы...
Как распознать напряжение: Говоря о мышечном напряжении, мы в первую очередь имеем в виду мускулы, прикрепленные к костям ...
Почему человек чувствует себя несчастным?: Для начала определим, что такое несчастье. Несчастьем мы будем считать психологическое состояние...



©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (419)

Почему 1285321 студент выбрали МегаОбучалку...

Система поиска информации

Мобильная версия сайта

Удобная навигация

Нет шокирующей рекламы



(0.01 сек.)