Оценка достоверности групповых оценок

Чтобы использовать в практике вычисленные на втором этапе груп­повые оценки, необходимо оценить их достоверность (надежность). Понятие достоверность групповых оценок можно определить различными способами. Чаще всего понятие достоверности групповых оценок отождествляется с понятием согласованности экспертных оценок или с понятием устойчивости групповых оценок. Остановимся на этих двух определениях достоверности.

Согласованность экспертов (их оценок). Считается, что групповые оценки объектов достоверны, если между оценками экспертов наблюдается большая согласованность. Количественно степень согласованности экспертов определяется коэффициентом согласия (Е), являющимся коэффициентом множественной корреляции. Коэффициент согласия вычисляется по формуле:

, (1)

где т – число экспертов; – коэффициент корреляции оценок i и l экспертов.

Верхний предел коэффициента E равен 1 и соответствует случаю, когда у всех экспертов оценки объектов совпадают: (полное со­гласование экспертов). Нижний предел равен нулю. Покажем это:

,

где n – количество оценок, данных одним экспертом; , – средние рядов и (j = 1,2,…,n); Si и Sl – среднеквадратические отклонения рядов и ;

(2)

По величине Е судят о степени согласованности экспертов в про­веденной экспертизе.

После вычисления коэффициента согласия он проверяется на значи­мость, т.е. проверяется гипотеза о случайности получения вычисленного значения E. Эту гипотезу можно интерпретировать также как независимость оце­нок экспертов или случайность проставления экспертами своих оценок. Проверка этой гипотезы осуществляется по процедуре статистической проверки гипотез.

Значение коэффициента согласия и результат его проверки на значимость используются для анализа достоверности групповых оценок при не­большом числе экспертов . При большом количестве экспертов коэффициент согласия обычно уменьшается и в то же время он оказывает­ся значимым. Это происходит потому, что при большом числе экспертов с большой вероятностью найдутся несколько экспертов, мнение которых согласуется, и это приведет к тому, что гипотеза о независимости мнений экспертов будет отвергнута. Поэтому при большом числе экспертов для оценки достоверности наряду с согласованностью следует использовать понятие устойчивости групповых оценок.

Устойчивость групповых оценок определяется как незави­симость групповых оценок от состава экспертной группы, т.е. групповая оценка объекта j устойчива, если она не изменяется при исключении некоторого числа экспертов из экспертной группы. Например, если в методе ранжирования все эксперты присвоили объекту один и тот же ранг, то при исключении любого числа экспертов групповой ранг не изменится. Если же не все эксперты присвоили ему одинаковый ранг, то при исключении некоторых экспертов групповой ранг может измениться.

Таким образом, устойчивость есть вероятностная величина. Задавая величину пороговой вероятности , с которой групповая оценка объекта j не изменится при исключении заданного или меньшего числом экспертов из экспертной группы, и, сравнивая ее с фактической вероятностью, судят о достоверности групповой оценки объекта j. Очевидно, чем больше величина пороговой вероятности Рj и больше mу, тем более достоверной следует считать групповую оценку объекта j.

Чтобы осуществить оценку устойчивости групповой оценки объекта j, необходимо построить функцию распределения ее неизменности от числа исключаемых экспертов . И тогда решающим правилом достоверности групповой оценки будет следующее неравенство:

. (3)

Можно также оценивать устойчивость групповых оценок по всей совокупности объектов, указав вероятность P(my) сохранения групповых оценок при исключении my экспертов.

В методах, основанных на шкале отношений или интервалов, групповые оценки изменяются при исключении какого-либо одного эксперта (за исключением эксперта, оценки которого совпадают с групповыми). Поэтому для этих методов понятие устойчивости рассматривается как неизменность порядка групповых оценок.

Между понятиями устойчивости групповых оценок и согласием экспертов существует качественная связь. Чем больше коэффициент со­гласия, тем более устойчивы групповые оценки, но эта связь не функцио­нальная (нельзя по значению коэффициента согласия E построить функ­цию распределения F(my)). Могут быть ситуации, когда в одной экспертизе коэффициент согласия выше, а устойчивость ниже по сравнению с другой экспертизой.