Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить

В методе ранжирования оценку достоверности можно проводить, используя коэффициент согласия или устойчивость групповых оценок.

Оценка согласованности экспертов. Рассмотрим сначала вопрос оценки согласованности двух экспертов i и l. Для сравнения оценок, полученных по методу ранжирования, можно использовать коэффициенты ранговой корреляции по Спирмену и по Кендэлу [6]. Более надежным из них является коэффициент ранговой корреляции по Спирмену, который в дальнейшем и будет использоваться:

. (24)

Получим выражение для Sⁱ и .

. (25)

Среднее значение рангов

(26)

тогда для случая, когда в оценках эксперта нет связанных рангов, выраже­ние (25) будет иметь вид:

.

Учитывая, что , выражение для перепишется в виде:

(27)

При наличии t связанных ранггов у эксперта значение суммы в выражении (27) уменьшится на

.

Если в оценках эксперта i имеется несколько групп связанных рангов, то уменьшению будет соответствовать

,

где ni – число различных рангов, присвоенных экспертом i объектам (очевидно, что ni<n, а при отсутствии связанных рангов ni = n ); – число повторений j ранга в оценках i эксперта.

Обозначим через .

Таким образом, при наличии связанных рангов Sⁱ будет определяться выражением:

. (28)

Следует отметить, что при отсутствии связанных рангов (все и ) и выражение (28) совпадает с (27), значит (28) является общим для вычисления Sⁱ.

Получим выражение для :

(29)

К правой части выражения (29) прибавим и вычтем , после чего получим:

.

Обозначим через , тогда с учетом (26) и (27) последнее выражение примет вид:

. (30)

Если в оценках i или l экспертов присутствуют связанные ранги, то уменьшается на или .

Тогда выражение для ковариации будет иметь вид

. (31)

С учетом (31) и (28) общее выражение для коэффициента корреляции запишется в виде:

. (32)

Преобразуем знаменатель Ril:

Если много меньше , то тогда

. (33)

Если же Ti = Tl = 0 то

. (34)

Для проверки значимости , т.е. проверки гипотезы о независимости оценок i и l экспертов, используем в качестве статистики . При небольшом числе объектов (n < 10) для проверки значимости используются таблицы распределения , приведенные в приложении 1.

Распределение симметрично (см. рис. 3), соответствует , тогда из (34) и (33) следует, что = . Среднее значение равно .

Задав уровень значимости для проверки гипотезы H0, по таблице находится α-квантиль (если альтернативная гипотеза заключается в положительной связи) или – (если альтернативная гипотеза H1 заключается в отрицательной связи).

Решающим правилом для отвержения гипотезы является или

или (35)

Перепишем выражение (24) для в виде

. (36)

В соответствии с выдвинутой гипотезой, и независимы, поэтому:

, а . (37)

При достаточно большом числе слагаемых в (36) (n ), в соответствии с центральной предельной теоремой, распределено по нормальному закону. Учитывая первые два момента (37), получаем, что

– (38)

нормально распределенная величина с параметрами N(0;1).

Поэтому при ( ) для проверки значимости коэффициента ранговой корреляции по заданному уровню значимости определяется . Решающее правило для того, чтобы считать коэффициент значимым, имеет вид .

Коэффициент ранговой корреляции используется для оценки связи рангов каждого эксперта с групповыми рангами объектов.

Получим выражение для коэффициента согласия всех экспертов E:

.

Для случая отсутствия связанных рангов в оценках экспертов с учетом (26) и (27) выражение для E перепишется в виде:

.

Обозначив через , запишем формулу для вычисления коэффициента согласия в виде:

, (39)

где . (40)

Если в оценках всех экспертов присутствуют связанные ранги и Ti одинаковы, то с учетом (28):

.

Если же Ti отличаются друг от друга незначительно, то приближенная формула для E записывается в виде:

. (41)

Выражение (41) обычно и используется при ручном расчете коэффициента согласия.

При малых значениях m и n для проверки значимости коэффициента согласия используются специальные таблицы (см. приложение 2), в которых в качестве статистики выступает величина S, вычисляемая по формуле (40).

При m(n-1 )> 20 и m < 7 для проверки значимости коэффициента согласия используется распределение Фишера:

, (51)

.

при числе степеней свободы

При достаточно большом числе экспертов распределение E стремится к распределению c2 (Пирсона). Покажем это.

, (54)

где .

При достаточно большом m y_j распределено по нормальному закону. Параметры нормального распределения с учетом (27) и (27) будут равны:

.

Пронормируем y_j в соответствии с выражением:

.

Тогда (54) перепишется в виде , где u_j нормально распределена с и .

Как указывалось в п.5, сумма квадратов независимых нормально распределенных случайных величин распределена по закону c2 с числом степеней свободы .

Получили, что если гипотеза о независимости оценок экспертов (m>7) верна, то статистика

(55)

распределена по закону Пирсона с числом степеней свободы n = n-1. Таким образом, в зависимости от количества экспертов т, числа оцениваемых объектов n,для проверки значимости Е необходимо вос­пользоваться или таблицами распределения S (когда т(п-1) £ 20 ), или распределением Фишера ( , а т £ 7 ), или -распределени­ем (т > 7).

В соответствии с заданным уровнем значимости гипотезы о неза­висимости оценок экспертов α находятся или S_табл, или F_табл или c²_табл.

Решающими правилами для того, чтобы считать коэффициент согла­сия значимым, т.е. чтобы считать групповые оценки достоверными, являют­ся:

S_расч > S_табл ; F_расч > F_табл ; c²_расч > c²_табл.

Следует подчеркнуть, что при расчете по формулам (53) числа степеней свободы для F-распределения n1 и n2 их следует округлять в большую сторону.