Тема: Оценка согласованности мнений экспертов с применением коэффициента конкордации

1. Цель и содержание лабораторной работы.

Цель лабораторной работы - освоение студентами знаний для самостоятельного использования методов экспертных оценок в управлении с целью принятия оптимальных управленческих решений, приобретение практических навыков проведения экспертизы и оценки согласованности мнений экспертов с применением коэффициента конкордации.

При проведении различных выборочных исследований (маркетинговых, клинических, эпидемиологических, социологических) очень часто возникает необходимость оценить согласованность мнений экспертов. Это в дальнейшем позволяет, во-первых, выявить различные подходы экспертов к оценке различных явлений (признаков, критериев), во-вторых, провести углубленный анализ ситуации и принять обоснованное решение.

Необходимо провести экспертизу, заключающуюся в выявлении степени влияния различных факторов на финансово-экономическую деятельность предприятия. С этой целью студенты делятся на две группы и выступают в роли экспертов.

Первая группа выявляет те факторы, которые отражают влияние внутренней среды предприятия, а вторая группа – внешней среды. Каждая группа формирует матрицу исходных данных, где в качестве объекта берутся соответствующие факторы, влияющие на финансово-экономическую деятельность предприятия. Каждый студент, выступая в роли эксперта, должен выявленным факторам присвоить соответствующий балл, оценивая степень влияния на деятельность предприятия по десяти - балльной шкале.

Затем эксперты обеих групп оценивают с использованием коэффициента конкордации согласованность мнений и делают соответствующие выводы.

2. Методические положения оценки согласованности мнения экспертов с применением коэффициента конкордации.

В связи с природой данных, которые являются результатами экспертных оценок (обычно баллы), для их анализа обычно используются ранговые (непараметрические) методы.

Для того чтобы оценить согласованность мнений двух экспертов при их оценке ряда признаков (или объектов, что имеет значение при решении задачи ранжирования), можно воспользоваться коэффициентом корреляции Спирмена или коэффициентом корреляции Кендалла. [ 1 ]

В случае если экспертов не два, а более (например, при выяснении согласованности мнений группы экспертов), используется дисперсионный коэффициент конкордации:

, (3.1)

где , (3.2)

n - количество анализируемых объектов,

m - количество экспертов,

R_ij - ранг j-го объекта, который присвоен ему i-ым экспертом.

Дисперсионный коэффициент конкордации рассчитывают по матрице ранжировок n объектов группой из m экспертов, где r_ij - ранг, присвоенный j-ым экспертом i-ому объекту.

Следует обратить внимание на отличие значений коэффициента конкордации от коэффициента корреляции, так как он существует в пределах от 0 до 1. Если мнения экспертов полностью противоположны, коэффициент конкордации равен нулю (W = 0), а коэффициент корреляции в этом случае будет равен -1.

При наличии одинаковых связанных рангов формула (3.1) приобретает следующий вид:

, (3.3)

, (3.4)

, (3.5)

где Т_j – показатель связанных (одинаковых) рангов в j-ой ранжировке,

H_j – число групп равных рангов в j-ой ранжировке;

h_k – число равных рангов в k-ой группе связанных рангов при ранжировке j-ым экспертом,

n – число объектов,

m – число экспертов

r_ij- ранг, присваиваемый j-ым экспертом i-ому объекту;

- средний ранг, равный .

Если коэффициент конкордации равен 1, то все ранжировки экспертов одинаковы; а W = 0, если все ранжировки различны, то совершенно нет совпадений. Мнения экспертов согласованны, если W > 0,6. Если W < 0,6, анализируют ответы на согласованность мнений, выявляют дополнительные факторы, которые необходимо учесть экспертам, определяют экспертов, мнение которых максимально расходится с общим мнением.

3. Практический пример оценки согласованности мнения экспертов с применением коэффициента конкордации.

Имеется 7 объектов, каждый из которых оценивается независимо тремя экспертами по десятибалльной шкале (см. рис. 3.1, ячейки диапазона A2:D9). Необходимо определить степень согласованности мнений экспертов - коэффициент конкордации.

Рис. 3.1. Исходные данные и результаты расчета коэффициента конкордации

Решение в Excel.

Промежуточные и конечные результаты расчетов приведены на рис. 3.1. Расчет коэффициента конкордации проводится по следующим этапам.

1 этап. Формируется таблица (матрица) рангов для исходных данных. Данные ранжируются по экспертам (по столбцам). Для этого в ячейку E3 помещается формула =Ранг(B3;B$3:B$9;1) и согласованно копируется во все ячейки диапазона E3:G9.

2 этап. В ячейки B10 и B11 вводится число экспертов m =ЧИСЛСТОЛБ(C3:E3) и число объектов n =ЧСТРОК(C3:C9). В указанные ячейки можно прямо ввести соответствующие значения: в B10 - 3 (количество экспертов), а в B11 - 7(количество объектов).

3 этап.Формируется столбец вспомогательных результатов для расчета величины S. Для этого суммируется построчно (в нашем случае) ранги для i-го объекта, из суммы вычитается m(n+1)/2 и результат возводится в квадрат. С этой целью в ячейку H3 помещается формула: = (СУММ(E3:G3)-($B$10*($B$11+1))/2)^2. После этого согласованно копируется во все ячейки диапазона H3:H9.

4 этап. Находится значение величины S, просуммировав значения по столбцу, в ячейку H10 вводится формула =СУММ(H3:H9).

5 этап.Помещая в ячейку H11 формулу = 12*H10/(B10^2*(B11^3- -B11)), рассчитывается значение коэффициента конкордации. Рассчитанный коэффициент конкордации (0,4683) требует корректировки, так как в нем не учтено то, что в полученных ранжировках имеются одинаковые значения. Для того чтобы учесть их, необходимо рассчитать коэффициент конкордации по формуле 3.3. и выполнить дл этого следующие действия.

6 этап. Визуально определяется для каждой ранжировки Hj –количество связок и поместить их в соответствующие ячейки диапазона E12:G12; также определить h_k – размер связок в k –ойгруппе, поместив значения в диапазон ячеек E13:G14.

7 этап. Вычисляется выражение T_j, которое используется для корректировки коэффициента конкордации в случае наличия связок. Формулы, которые необходимо ввести в соответствующие ячейки, приведены в табл. 3.1.

Таблица 3.1

Формулы рабочего листа для расчета корректирующего выражения

8 этап.Определяется средний ранг по формуле =СУММ(E3:G9)/B11, результат помещается в ячейку G18. Также находится значение величины S сначала по объектам, например, по 1-му ячейка I3 =(СУММ(E3:G3)-$G$18)^2 , далее значения суммируются, определяется S в ячейке I10.

Значение коэффициента конкордации с учетом связок рассчитывается в ячейке I11 по формуле = 12*I10/(B10^2*(B11^3-B11)-B10*СУММ(E17:G17)). В результате коэффициент конкордации равен Wкор = 0,4644.

Учитывая вышеизложенные данные, строится график согласованности мнений экспертов (рис 3.2).

Рис. 3.2. Иллюстрация несогласованности мнений экспертов

По рисунку видно, что мнения экспертов не согласуются, так как по объектам значительно варьируются мнения экспертов и Wкор = 0,464<0,6.