Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить
В методе ранжирования оценку достоверности можно проводить, используя коэффициент согласия или устойчивость групповых оценок. Оценка согласованности экспертов. Рассмотрим сначала вопрос оценки согласованности двух экспертов i и l. Для сравнения оценок, полученных по методу ранжирования, можно использовать коэффициенты ранговой корреляции по Спирмену и по Кендэлу [6]. Более надежным из них является коэффициент ранговой корреляции по Спирмену, который в дальнейшем и будет использоваться: . (24) Получим выражение для Si и . . (25) Среднее значение рангов (26) тогда для случая, когда в оценках эксперта нет связанных рангов, выражение (25) будет иметь вид: . Учитывая, что , выражение для перепишется в виде: (27) При наличии t связанных ранггов у эксперта значение суммы в выражении (27) уменьшится на . Если в оценках эксперта i имеется несколько групп связанных рангов, то уменьшению будет соответствовать , где ni – число различных рангов, присвоенных экспертом i объектам (очевидно, что ni<n, а при отсутствии связанных рангов ni = n ); – число повторений j ранга в оценках i эксперта. Обозначим через . Таким образом, при наличии связанных рангов Si будет определяться выражением: . (28) Следует отметить, что при отсутствии связанных рангов (все и ) и выражение (28) совпадает с (27), значит (28) является общим для вычисления Si. Получим выражение для : (29) К правой части выражения (29) прибавим и вычтем , после чего получим: . Обозначим через , тогда с учетом (26) и (27) последнее выражение примет вид: . (30) Если в оценках i или l экспертов присутствуют связанные ранги, то уменьшается на или . Тогда выражение для ковариации будет иметь вид . (31) С учетом (31) и (28) общее выражение для коэффициента корреляции запишется в виде: . (32) Преобразуем знаменатель Ril: Если много меньше , то тогда . (33) Если же Ti = Tl = 0 то . (34) Для проверки значимости , т.е. проверки гипотезы о независимости оценок i и l экспертов, используем в качестве статистики . При небольшом числе объектов (n < 10) для проверки значимости используются таблицы распределения , приведенные в приложении 1. Распределение симметрично (см. рис. 3), соответствует , тогда из (34) и (33) следует, что = . Среднее значение равно . Задав уровень значимости для проверки гипотезы H0, по таблице находится α-квантиль (если альтернативная гипотеза заключается в положительной связи) или – (если альтернативная гипотеза H1 заключается в отрицательной связи). Решающим правилом для отвержения гипотезы является или или (35) Перепишем выражение (24) для в виде . (36) В соответствии с выдвинутой гипотезой, и независимы, поэтому: , а . (37) При достаточно большом числе слагаемых в (36) (n ), в соответствии с центральной предельной теоремой, распределено по нормальному закону. Учитывая первые два момента (37), получаем, что – (38) нормально распределенная величина с параметрами N(0;1). Поэтому при ( ) для проверки значимости коэффициента ранговой корреляции по заданному уровню значимости определяется . Решающее правило для того, чтобы считать коэффициент значимым, имеет вид . Коэффициент ранговой корреляции используется для оценки связи рангов каждого эксперта с групповыми рангами объектов. Получим выражение для коэффициента согласия всех экспертов E: . Для случая отсутствия связанных рангов в оценках экспертов с учетом (26) и (27) выражение для E перепишется в виде: . Обозначив через , запишем формулу для вычисления коэффициента согласия в виде: , (39) где . (40) Если в оценках всех экспертов присутствуют связанные ранги и Ti одинаковы, то с учетом (28): . Если же Ti отличаются друг от друга незначительно, то приближенная формула для E записывается в виде: . (41) Выражение (41) обычно и используется при ручном расчете коэффициента согласия. При малых значениях m и n для проверки значимости коэффициента согласия используются специальные таблицы (см. приложение 2), в которых в качестве статистики выступает величина S, вычисляемая по формуле (40).
При m(n-1 )> 20 и m < 7 для проверки значимости коэффициента согласия используется распределение Фишера: , (51) . при числе степеней свободы При достаточно большом числе экспертов распределение E стремится к распределению c2 (Пирсона). Покажем это. , (54) где . При достаточно большом m yj распределено по нормальному закону. Параметры нормального распределения с учетом (27) и (27) будут равны: . Пронормируем yj в соответствии с выражением: . Тогда (54) перепишется в виде , где uj нормально распределена с и . Как указывалось в п.5, сумма квадратов независимых нормально распределенных случайных величин распределена по закону c2 с числом степеней свободы . Получили, что если гипотеза о независимости оценок экспертов (m>7) верна, то статистика (55) распределена по закону Пирсона с числом степеней свободы n = n-1. Таким образом, в зависимости от количества экспертов т, числа оцениваемых объектов n,для проверки значимости Е необходимо воспользоваться или таблицами распределения S (когда т(п-1) £ 20 ), или распределением Фишера ( , а т £ 7 ), или -распределением (т > 7). В соответствии с заданным уровнем значимости гипотезы о независимости оценок экспертов α находятся или Sтабл, или Fтабл или c2табл. Решающими правилами для того, чтобы считать коэффициент согласия значимым, т.е. чтобы считать групповые оценки достоверными, являются: Sрасч > Sтабл ; Fрасч > Fтабл ; c2расч > c2табл. Следует подчеркнуть, что при расчете по формулам (53) числа степеней свободы для F-распределения n1 и n2 их следует округлять в большую сторону.
Популярное: Почему люди поддаются рекламе?: Только не надо искать ответы в качестве или количестве рекламы... Как распознать напряжение: Говоря о мышечном напряжении, мы в первую очередь имеем в виду мускулы, прикрепленные к костям ... Почему человек чувствует себя несчастным?: Для начала определим, что такое несчастье. Несчастьем мы будем считать психологическое состояние... ©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (419)
|
Почему 1285321 студент выбрали МегаОбучалку... Система поиска информации Мобильная версия сайта Удобная навигация Нет шокирующей рекламы |