Методы экспертных оценок

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

    Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

    Экспертные оценки часто используются при выборе, например:

    - одного варианта технического устройства для запуска в серию из нескольких образцов,

    - группы космонавтов из многих претендентов,

    - набора проектов научно-исследовательских работ для финансирования из массы заявок,

    - получателей экологических кредитов из многих желающих,

    - при выборе инвестиционных проектов для реализации среди представленных, и т.д.

    Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).

    Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики. 

Наиболее распространен метод экспертных оценок "мозговой штурм", или "мозговая атака" (совместное генерирование новых идей и последующее принятие решений).

Если предстоит решение сложной проблемы, то собирается группа людей, которые предлагают свои любые решения определенной проблемы. Основное условие "мозгового штурма" – это создание обстановки, максимально благоприятной для свободного генерирования идей. Чтобы этого добиться запрещается опровергать или критиковать идею, какой бы на первый взгляд фантастической она ни была. Все идеи записываются, а затем анализируются специалистами. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Следующий метод: метод Дельфы получил название от греческого города Дельфы, прославившегося жившими там мудрецами – предсказателями будущего. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников. По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.

Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Метод Дельфы – это многотуровая процедура анкетирования. После каждого тура данные анкетирования дорабатываются, полученные результаты сообщаются экспертам с указанием расположения оценок.

Первый тур анкетирования проводится без аргументации, во втором – отличающийся от других ответ подлежит аргументации или же эксперт может изменить оценку. После стабилизации оценок опрос прекращается и принимается предложенное экспертами или скорректированное решение.

Японская, так называемая кольцевая система принятия решений – "кингисё", суть, которой в том, что на рассмотрение готовится проект новшества. Он передается для обсуждения лицам по списку, составленному руководителем. Каждый должен рассмотреть предлагаемое решение и дать свои замечания в письменном виде. После этого проводится совещание. Как правило, приглашаются те специалисты, чье мнение руководителю не совсем ясно.

Эксперты выбирают свое решение в соответствии с индивидуальными предпочтениями. И если они не совпадают, то возникает вектор предпочтений, который определяют с помощью одного из следующих принципов:

- принципа большинства голосов – выбирается то решение, которое имеет наибольшее число сторонников;

- принципа диктатора – за основу берется мнение одного лица группы. Этот принцип характерен для военных организаций, а также для принятия решений в чрезвычайных обстоятельствах;

- принципа Курно – используется в том случае, когда коалиций нет, т. е. предлагается число решений, равное числу экспертов. В этом случае необходимо найти такое решение, которое бы отвечало требованию индивидуальной рациональности без ущемления интересов каждого в отдельности;

- принципа Парето – используется при принятии решений, когда все эксперты образуют единое целое, одну коалицию. В этом случае оптимальным будет такое решение, которое невыгодно менять сразу всем членам группы, поскольку оно объединяет их в достижении общей цели;

- принципа Эджворта – используется в том случае, если группа состоит из нескольких коалиций, каждой из которых невыгодно отменять свое решение. Зная предпочтения коалиций, можно принять оптимальное решение, не нанося ущерба друг другу.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б.Н. Ельцин, то будет то-то и то-то, если же победит Г.А. Зюганов, то события пойдут так-то и так-то.

    Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

    Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

    Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

    - построение исчерпывающего, но обозримого набора сценариев;

    - прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

    Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.

  Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. 

    Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.  

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.³

Разработанный широкий спектр возможных альтернативных вариантов развития ситуации позволяет более полно определить критические ситуации для принятия решений, а также возможные последствия предлагаемых альтернативных вариантов решений с целью их сопоставления и выбора наиболее эффективного.

Профессионально разработанный и периодически актуализируемый прогноз — неотъемлемая составляющая процесса выработки и принятия важных управленческих решений.⁴

__________________________________

3 - Орлов А. И. Теория принятия решений: Учеб. пособие.- М.: Издательство «Март», 2004. – С. 443.

4 - Литвак Б. Г. Разработка управленческого решения: Учебник. - 3-е изд., испр. - М.: Дело, 2002.- С.240.