Некоторые особенности групповых оценок

 

Опыт, интуиция, знания помогают специалисту решать многие проблемы, возникающие в ситуациях риска и неопределенности, предвидеть возможные на­правления и последствия развития в будущем, произво­дить оценку значимости факторов. В то же время ясно, что при решении сложных проблем развития науки и тех­ники один специалист не в состоянии учесть все факто­ры и взаимосвязи между ними или оценить вероятности большого числа альтернатив.

Выработка сложных решений в ситуации неопределен­ности или составление полноценного научно-технического прогноза требует участия группы эрудированных спе­циалистов, хорошо осведомленных во многих областях знаний. Основное преимущество групповой оценки как раз и заключается в возможности разностороннего ана­лиза количественных и качественных аспектов таких проблем. Кроме того, существуют проблемы, где без уча­стия группы специалистов просто невозможно обойтись. Таковы прогнозы в области политики, науки и техники, для обоснования которых нет адекватной информации, а также задачи выбора предпочтительной альтернативы с учетом комплекса качественно различных факторов.

При использовании мнений группы экспертов предпо­лагается, что организованное взаимодействие между спе­циалистами позволит компенсировать смещения оценок отдельных членов группы и что сумма информации, имею­щейся в распоряжении группы экспертов, будет больше, чем информация любого члена группы. Кроме того, оче­видно, что сумма факторов, которые имеют отношение к данной проблеме и могут быть рассмотрены группой специалистов, как правило, больше или по крайней мере так же велика, как сумма факторов, которые может учесть отдельный эксперт. Анализ прогнозов, выполненных отдельными специалистами и оказавшихся неверными, доказал, что одна из наиболее распространенных ошибок таких прогнозов заключалась в том, что принимались во внимание факторы, которые впоследствии оказались малозначащими, и, наоборот, упускались наиболее существенные факторы.

Будем понимать под групповой оценкой результат объединения индивидуальных мнений экспертов о порядке предпочтительности рассматриваемых объектов в единую оценку «коллективного» предпочтения. При этом предполагается, что применение логических процедур и математико-статистического аппарата, используемых для объединения мнений экспертов, выраженных количественно, обеспечивает получение согласованного пред­почтения группы.

В общем случае предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивиду­ума, т. е. что две группы одинаково компетентных экспер­тов с большей вероятностью дадут аналогичные ответы на ряд вопросов, чем два индивидуума. Предполагается также, что коллективная ответственность позволяет специалистам принимать более рискованные решения и что интервал оценок, полученных от группы экспертов, включает в себя «истинную» оценку.

Однако групповым оценкам присущи известные недо­статки. Существует много трудностей, препятствую­щих получению надежной и согласованной групповой оценки.

Существенные затруднения связаны с решением про­блемы соизмерения оценок экспертов, входящих в группу. Вопрос о возможности соизмерения и объединения индивидуальных оценок правомерен даже в тех случаях, когда все признаки, характеризующие рассматриваемые объекты, измерены с помощью одной и той же шкалы. Традиционные способы получения групповой оценки с помощью средних величин оказываются применимы только тогда, когда коллектив экспертов однороден в смысле характера ответов. В случае неоднородности коллектива средние оценки теряют содержательный смысл и могут оказаться в определенном смысле «хуже», чем индивидуальные оценки, на основе которых они по­лучены. Значительные трудности возникают и из-за раз­личной «чувствительности» экспертов к предпочтениям.

Обычно оценки приписываются объектам в соответствии с их местом в упорядочении. При этом одинаково предпочтительным объектам соответствуют одинаковые баллы. Такая процедура также связана с некоторыми затруднениями, поскольку она даёт преимущество индивидууму, более тонко различающему оттенки и предпочтения. Если, например, имеется n объектов, один эксперт может их расположить в цепочку по строгому предпочтению, второй — отобрать несколько наилучших объектов, а остальные - объявить одинаково плохими. При упорядочении по среднему баллу выбор второго, очевидно, почти не скажется на результате. Вряд ли это можно считать оправданным. В то же время основное преимущество групповой оценки заключается в уменьшении различий во мнениях, в возможности получения в какой-то степени обобщенного и более представительного мнения. Мыслительная деятельность человека обладает определенными характеристиками, к числу которых относится так называемый стиль. Каждый человек обладает определенным стилем и поэтому решает задачи одного типа лучше, а задачи другого — хуже. Поэтому преимущество групповой работы экспертов проявляется, в частности, и в том, что сочетание индивидуумов, обла­гающих разными стилями, позволяет повысить надежность решения задач.

Очевидно, например, что мнения даже специалистов одной узкой области могут расходиться, а, следовательно, не исключено, что на один и тот же вопрос можно получить от специалистов одного профиля различный от­вет. Более того, и однозначность ответов не является га­рантией их обоснованности: во всяком случае, нет спосо­ба проверить это в момент проведения экспертизы.

И все же практика показывает, что экспертные мето­ды дают более надежные результаты, чем традиционные методы групповых решений.

Общеизвестно, что группа специалистов, работающих в комиссии, может быть, по меньшей мере, настолько же дезинформирована, насколько дезинформирован любой член этой группы. Группа может оказывать серьезное давление на своих членов, например, вынуждая одного из специалистов соглашаться с большинством, даже если он понимает, что точка зрения большинства ошибочна. Это особенно касается групповых прогнозов, поскольку они основаны большей частью не на реальных данных, а на обобщенном мнении специалистов данной группы. Возможно, что один из участников группы откажется от представления собственных суждений, если остальные члены группы будут придерживаться противоположной точки зрения.

Эксперименты с небольшими группами показали, что часто берет верх не обоснованность, а количество замеча­ний и доводов «за» и «против» выдвинутого предложения. Следовательно, меньшинство может подавить остальных участников группы путем решительного нажима, даже если представленные ими доводы при объективном рас­смотрении будут обладать незначительным преимущест­вом.

Возможны случаи, когда какой-либо наиболее влиятельный специалист будет иметь чрезмерное воздействие на решение группы; это относится в особенности к таким группам, в которых он назначен или выбран руководителем. Он может достичь этого путем активного участия в работе группы, решительно продвигая свои идеи. Он может добиваться своей цели, преодолевая сопротивление помощью настойчивой и постоянной аргументации. Не­редко считается, что проблема достижения соглашения между членами группы имеет более важное значение, чем разработка тщательно продуманного и полезного решения.

Иногда члены группы проявляют явную заинтересо­ванность в отношении определенных точек зрения, осо­бенно если они решительно продемонстрировали ее с самого начала. Их целью становится склонить остальных участников группы к своей точке зрения, а не достичь того, что могло бы быть лучшим решением. Они глухи к фактам, к логике остальных членов группы и концен­трируют все свои усилия только на стремлении добиться победы своей точки зрения. Бывает, что группа в целом разделяет общее предубеждение. Оно обычно происте­кает из общности, к которой принадлежат члены группы, особенно в отношении специфических особенностей той области науки и техники, в которой, как предполагается, члены группы являются специалистами.

В этой связи интересны сформулированные К. Эрроу пять основных условий корректного общественного (груп­пового) выбора.

Условие 1. Универсальность, понимаемая в смысле наличия достаточного числа возможностей выбора (≥3), экспертов (≥2) и возможностей определения для всех индивидуальных профилей предпочтения.

Условие 2. Наличие положительной связи общест­венных и индивидуальных предпочтений, при которой от­брасывание (или добавление) одной из альтернатив в ин­дивидуальных предпочтениях не должно изменить направленности индивидуального предпочтения по отноше­нию к групповому.

Условие 3. Независимость несвязанных альтернатив, при которой если предпочтения каждого эксперта одина­ковы в нескольких профилях, то и соответствующие по альтернативам порядки предпочтений группы должны быть одинаковы для этих профилей.

Условие 4. Наличие суверенности экспертов, понимаемой как отсутствие «навязанного» сообществом по­рядка предпочтений.

Условие 5. Отсутствие «диктаторства», понимаемого в том смысле, что не должно быть одного эксперта, пред­почтения которого определяют предпочтения сообщества, а остальные члены влияют на выбор альтернатив только в том случае, когда эти альтернативы безразличны на­званному индивидууму.

Несмотря на перечисленные трудности, эксперимен­тально установлено, что при соблюдении определенных требований групповая экспертная оценка более надежна, чем индивидуальные. Наиболее важными из таких требо­ваний являются:

а) приемлемое «гладкое» распределение оценок, полу­ченных от экспертов, указывающее на независимость их мнений. В случае многомодального распределения долж­на быть установлена причина, по которой различные эксперты по-разному интерпретируют одну и ту же проблему;

б) групповая надежность, означающая, что две груп­повые оценки по определенной проблеме, данные двумя одинаковыми подгруппами, выбранными случайным об­разом, будут близкими. Корреляция по ряду таких оце­нок должна быть высокой.

 

 

2.2. Подготовка экспертизы

 

Помимо погрешностей, возникающих вследст­вие недостатка информации, большое влияние на ре­зультаты экспертизы оказывают смещения, вносимые са­мой процедурой сбора и анализа мнений экспертов, т. е. погрешности модели.

Нужно сразу отметить, что специфика и разнообразие решаемых при участии экспертов проблем существенно ограничивают возможности создания единых «универсальных» правил и моделей экспертизы. Однако, поскольку в будущем экспертиза будет находить все более широ­кое применение при подготовке решений, необходимо стремиться к тому, чтобы сделать эту процедуру более формализованной».

Можно ориентировочно наметить следующие основные этапы проведения экспертизы, последовательность и содержание которых будут изме­няться в зависимости от реальных условий и ограниче­ний:

1) формулирование цели экспертизы и разработка процедуры опроса;

2) формирование группы специалистов-аналитиков (организаторов экспертизы);

3) отбор и формирование группы экспертов;

4) проведение опроса;

5) анализ и обработка информации, полученной от экспертов;

6) синтез объективной (статистической) информации и информации, полученной в результате экспертизы, с целью приведения их в форму, удобную для принятия ре­шения.

К подготовке экспертизы относятся первые три этапа.

Большое значение имеет четкое определение цели (целей) экспертизы. Практика показы­вает, что наличие четко сформулированных целей и ясно понятых потребностей является обязательным условием обеспечения надежного результата экспертизы.

Основой для выбора целей экспертизы является опи­сание предыстории и текущего состояния проблемы. Кро­ме того, при формулировании целей важно иметь пред­ставление о. специфических особенностях и интересах возможных групп специалистов, которые будут участво­вать в экспертизе. Выбор целей и характер процедуры экспертизы в значительной степени определяются суще­ством проблемы, предполагаемыми конечными резуль­татами и возможными способами их представления. Уро­вень принятия решения (общегосударственный, отраслевой, предприятие) определяет широту диапазона, коли­чество альтернатив и степень формализации процедуры. Выбор целей и процедуры опроса зависит также от на­дежности и полноты имеющихся данных и от вида тре­буемой информации. Поэтому, прежде всего, необходимо четко установить признак, по которому надлежит произ­водить оценку, а также условия использования эксперт­ных оценок. Если целей несколько, то оценки по различ­ным шкалам нужно постараться свести к единой шкале, например за счет установления цели более высокого уровня.

Затем формируется группа специалис­тов-аналитиков, важнейшими задачами которой являются разработка метода и модели опроса, отбор экспертов, проведение опроса, анализ и обобщение ин­формации. Группа аналитиков должна обеспечить усло­вия для наиболее плодотворной деятельности экспертов как за счет разработки наиболее эффективной системы контактов с ними (и внутри группы экспертов), так и пу­тем выбора процедуры опроса наиболее соответствующей характеру проблем.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требуют включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смеж­ных областях деятельности, а также специалистов по экспертным методам — математиков, психологов и со­циологов.

Группа аналитиков, разрабатывая метод опроса, под­готавливает перечень (множество) оцениваемых событий и устанавливает совокупность устойчивых факторов, ха­рактеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экспертизы и может быть выполнено на разном уровне детализации. Так, можно наметить следующие уровни:

1) качественное описание всего множества оцениваемых событий;

2) перечень событий;

3) описание устойчивых факторов для каждого из события;

4) выделение числа различимых уровней для каждого события;

5) выделение числа различимых уровней для каждого фактора;

6) описание набора устойчивых значений факторов для каждого уровня событий.

От уровня детализации в существенной степени зави­сит достоверность результатов экспертизы, причем с уве­личением степени детализации согласованность эксперт­ных оценок, как правило, увеличивается.

Следует, однако, учитывать, что на уровень детали­зации существенное влияние оказывают специфика ис­следуемой проблемы, возможность подбора объективных и компетентных специалистов необходимого профиля, а также время и средства, которые можно затратить на ре­шение этой проблемы. Кроме того, информационные способности человеческого мозга ограничивают число рассматриваемых факторов и число осознаваемых свя­зей, характеризующих проблемную ситуацию, поэтому излишняя детализация проблемы может привести и к сни­жению надежности информации, полученной от экспер­тов.

В случаях, когда оценка множества событий произво­дится впервые, формирование совокупности устойчивых признаков может быть выполнено не аналитиками, а са­мими экспертами либо теми и другими совместно. При этом аналитики должны подготовить вспомогательные вопросы, позволяющие экспертам определить совокуп­ность признаков на разных уровнях детализации. Задачи аналитиков также состоят в обеспечении экспертов всей доступной объективной информацией, имеющей отноше­ние к анализируемой проблеме, и в информировании экспертов об источниках возникновения проблемы и о пу­тях решения аналогичных проблем в прошлом.

Важное значение имеет правильная формулировка вопросников (анкет), которая должна обеспечивать их единственное толкование и выражение ответа на каждый вопрос в виде количественной оценки. В случаях, когда отдельным качественным признакам трудно приписать количественную оценку, нужно оценивать сравнительную интенсивность признака с помощью методов упорядоче­ния.

В зависимости от характера требующейся информации, возможностей ее получения и интерпретации, суще­ствующие методы опроса можно подразделить: на индивидуальные и групповые, личные (очные) и заочные, открытые и закрытые и т. д.

Под личным (очным) методом опроса подразумевается процедура, в процессе которой анали­тик осуществляет непосредственный (личный) контакт с экспертом при подготовке ответов на вопросы анкеты. Заочный опрос обычно осуществляется путем пересылки анкеты эксперту по почте.

Основные преимущества заочного опроса — его про­стота и дешевизна. Однако надежность полученных дан­ных может быть ниже, чем при очном опросе, поскольку некоторые вопросы эксперт может неправильно истолко­вать, а на некоторые вообще не дать ответа.

Очный опрос помогает исключить эти недостатки, но требует относительно больших затрат труда и времени как со стороны аналитиков, так и экспертов. Необходи­мость длительного участия в экспертизе обычно вызы­вает недовольство со стороны экспертов. Кроме того, при очном опросе могут возникать нежелательные искажения информации вследствие психологического воздействия аналитика на эксперта.

Установлено, что члены экспертной группы не любят начинать работу «с чистого листа» бумаги. Набор кон­кретных вопросов, а в ряде случаев и вероятных ответов помогает эксперту лучше понять поставленную задачу. Поэтому в основе большинства экспертных методов лежит анкета (опросный лист), с помощью которой и осуществляется сбор необходимой информации. Анке­та — это структурно организованный набор вопросов, каждый из которых логически связан с центральной за­дачей экспертизы. Обычно вопросы анкеты принято раз­личать по содержанию, форме и функциям.

Все вопросы анкеты в зависимости от их содержания можно разделить на три группы:

1) объективные анкетные данные о самом эксперте (его возрасте, образовании, профессии, стаже работы, научном звании, узкой специализации и т. д.);

2) характеристики, позволяющие оценить мотивы, ко­торыми руководствовался эксперт при оценке исследуе­мой проблемы;

3) основные вопросы, касающиеся существа исследуе­мой проблемы.

По форме различают следующие типы вопросов:

1) открытые и закрытые;

2) прямые и косвенные.

Вопрос называется открытым, или свободным, если ответ на него может быть дан и любой форме, т. е. ответ ничем не регламентирован. Вопрос называется закрытым, если в его формулировке содержатся варианты возможных ответов (перечень альтернатив) и эксперт должен остановить свой выбор на одном (или нескольких) из них. Одной из разновидностей закрытого вопроса является дихотомический, в котором перечень возможных вопросов исчерпывается альтернативой «да - нет».

Конкретный вопрос с определенным набором ответов на него называется признаком анкеты. Набор ответов может быть качественного характера, когда задача эксперта заключается в выборе одного ответа из «веера» возможных, и количественного характера, когда ответам на вопросы анкеты присваиваются числовые оценки.

Достоинство открытых вопросов заключается в воз­можности обнаружения с помощью экспертов новых, по­рой совершенно неожиданных для аналитиков аспектов проблемы. Недостатки этого метода заключаются в том, что, во-первых, повышается вероятность произвольной интерпретации вопроса со стороны экспертов, что может привести, в конечном счете, к несопоставимости данных, полученных от группы экспертов, и, во-вторых, в том, что анализ ответов на открытые вопросы - дело чрезвычай­но трудоемкое.

В противоположность этому преимущество закрытых вопросов состоит как раз в том, что они строго и одно­значно интерпретируются и требуют Относительно мень­ших затрат труда на заполнение и обработку анкет. Вместе с тем анкета с закрытыми вопросами таит в себе опасность навязывания эксперту ответов, особенно в тех случаях, когда по тому или иному вопросу он вообще не имеет своего сложившегося мнения или же когда его мне­ние не совпадает с ответами анкеты.

Поэтому, если у аналитиков нет твердой уверенности в том, что все возможные альтернативы исчерпаны, сле­дует предоставлять возможность эксперту выдвигать свою альтернативу или уклониться от ответа на некото­рые из поставленных вопросов.

Цель экспертизы может быть замаскирована, и тогда признаки анкеты могут быть косвенными. Такие анкеты применяются чаще всего в случаях, когда нет твердой уверенности, что эксперт по данному вопросу сумеет (захочет) дать определённую информацию.

 

 

2.3. Отбор экспертов

 

Работу по отбору экспертов обычно начинают с определения областей научных, технических и админи­стративных интересов, которые затрагивают решение данной проблемы. Затем составляется список лиц, компе­тентных в этих областях. Этот список служит основой для отбора кандидатов в эксперты. Составляя список кандидатов в эксперты, исходят, прежде всего, из компе­тентности того или иного специалиста в области его не­посредственной деятельности. Вместе с тем желательно, чтобы кандидат в эксперты обладал широким кругозо­ром, был достаточно эрудирован и в смежных областях, а также имел ряд других качеств, о которых будет рас­сказано ниже.

Один из способов анализа компетентности кандидатов в эксперты заключается в подготовке специальных анкет, отвечая на вопросы которых они должны пока­зать свою эрудицию и аналитические способности. Для оценки полученных ответов используется числовая шка­ла, например от 1 до 5. Главное внимание при заполне­нии анкеты уделяется способности эксперта ответить на поставленные вопросы и дать числовую оценку своим знаниям в достаточно короткий срок (5—10 мин).

Получив данные об индивидуальной самооценке, мож­но рассчитать среднюю групповую самооценку путем де­ления суммы индивидуальных самооценок по каждому вопросу на число экспертов в группе. В результате полу­чается численный индекс, характеризующий объем зна­ний, которым, по мнению группы, она обладает по дан­ному вопросу.

Практика экспертиз показывает, что, хотя методы са­мооценки недостаточно точны для того, чтобы служить единственным критерием выбора экспертов, использова­ние таких методов дает возможность выполнить предва­рительный отбор группы наиболее компетентных специ­алистов. Имеются данные, подтверждающие наличие связи между групповой самооценкой и точностью экспер­тизы. На рисунке 1 дана кривая, иллюстрирующая наличие зависимости между групповой самооценкой и средней групповой ошибкой.

 

 

1 В 2 С 3 А

Средняя самооценка

Рис.1. Групповая самооценка

 

Совершенно очевидно, что суще­ствует обратная связь между этими величинами, т.е. средняя групповая -ошибка монотонно убывает с возра­станием средней самооценки. Из этого следует, что если, например, группа кандидатов в эксперты со средней са­мооценкой С будет разделена на подгруппы, одна из которых имеет более высокую самооценку А, нежели груп­па в целом, а другая имеет более низкую самооценку В, то подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В — менее точной.

Вместе с тем точность групповой оценки существенно зависит и от числа экспертов в группе. Ясно, что уменьшение числа экспертов ведет к снижению точно­сти оценки, поскольку на групповую оценку излишнее влияние оказывает оценка каждого из экспертов. В то же время при очень большом числе экспертов становится сложнее выявитьих согласованное мнение из-за умень­шения роли тех суждений, которые, хотя и отличаются от мнения большинства, однако далеко не всегда оказы­ваются ошибочными.

Установить оптимальную численность группы экспер­тов чрезвычайно трудно. Однако в последние годы раз­работан ряд подходов, позволяющих хотя бы приблизи­тельно решать вопрос о необходимом числе экспертов. На рисунке 2 дана кривая, характеризующая зависимость между количеством экспертов в группе и средней группо­вой ошибкой. Использование кривых такого типа поз­воляет выбрать минимально допустимое число экспертов. Однако нужно помнить, что каждая такая кривая не имеет универсального характера и обусловлена специфи­ческими особенностями конкретной экспертизы.

 

1 5 6 13 17 21 25 29

Число членов группы

 

Рис.2. Роль численности группы.

 

При подборе и оценке числа экспертов нужно учиты­вать еще одно ограничение, касающееся соответствия целей экспертов целям экспертизы. Группа не должна состоять из представителей одной узкой специальности, так как в этом случае их мнение будет в определенной степени тенденциозным. При отборе экспертов необходимо также принимать во внимание характер экспертизы: степень сложности и остроты обсуждаемой проблемы, (квалификацию и опытность экспертов, иногда дажеихличные отношения).

С другой стороны, полезна разработка системы, стимулирующей объективную работу экспертов

Не останавливаясь пока на методах числовой оценки надежности специалиста по результатам работы его в ка­честве эксперта в прошлом, отметим лишь важность соответствующей тренировки и обучения кандидатов в экс­перты. Так, при отсутствии данных о результатах использования того или иного специалиста как эксперта можно с целью определения его компетентности провести специальные эксперименты. Для этого нужно подгото­вить вопросы о «достоверных» событиях, которые выби­раются так, чтобы участники эксперимента не знали истинных ответов, но чтобы они располагали «фоновой» информацией, достаточной для выбора числовой оценки альтернатив. Можно организовать эксперимент-репетицию, в про­цессе которой «проигрывать» отдельные элементы пред­стоящей экспертизы с помощью двух (или нескольких) групп, одна из которых составлена из кандидатов в эксперты, а другая, контрольная, - из лиц, наиболее информированных в отношении исследуемой проблемы. Сравнение оценок, полученных от каждого из участников такого эксперимента (и каждой из групп), позволит точ­нее установить относительную степень надежности канди­датов в эксперты.

Кроме того, нужно выявить потенциально возможные цели экспертов, противоречащие целям экспертизы, т. е. наличие причин, которые могут повлиять на сознатель­ное смещение групповой оценки в направлении, жела­тельном для данного эксперта либо для группы экспер­тов. Рекомендуется исключать из рассмотрения те факторы, в результатах которых эксперты лично заинтересо­ваны.

 

 

2.4. Метод Дельфы

 

Одним из наиболее перспективных методов формирования групповой оценки экспертов является ме­тод Дельфы, получивший название от греческого города Дельфы и мудрецов, славившихся в древности предсказа­ниями будущего. Метод представляет собой ряд последо­вательно осуществляемых процедур, направленных на формирование группового мнения по проблемам, по кото­рым ощущается недостаток информации.

Процедуры, используемые в методе Дельфы, характе­ризуются тремя основными чертами: анонимностью, регулируемой обратной связью и группо­вым ответом. Анонимность, достигается применением специальных вопросников или другими способами инди­видуального опроса, например контактом экспертов с ЭВМ. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем резуль­таты каждого тура обрабатываются с помощью стати­стических методов и сообщаются экспертам. С помощью статистических методов определения группового ответа можно уменьшить статистический разброс индивидуаль­ных оценок и получить групповой ответ, в котором пра­вильно отражено мнение каждого эксперта.

Если анонимность опроса является способом ослабле­ния влияния отдельных «доминирующих» экспертов, то регулируемая обратная связь позволяет снизить «шумы», под которыми понимается влияние индивидуальных групповых интересов, не связанных с решаемымипробл­емами. Кроме того, введение обратной связи вносит момент объективности и делает оценки более надеж­ными.

Проведение опроса в несколько туров, в течение которых осуществляется ряд последовательных итераций (экспертов информируют о результатах предыдущих этапов опроса и предлагают в ряде случаев обосновать свое мнение), позволяет уменьшить колебания в индивидуальных ответах, ограничивает внутригрупповые колебания и имеет несомненные преимущества по сравнению с «простым» статистическим объединением индивидуальных мнений с помощью средних.

В основу метода Дельфы положены следующие предпосылки:

1) поставленные вопросы должны допускать возможность выражения ответа в виде числа;

2) эксперты должны располагать достаточной инфор­мацией для того, чтобы дать оценку;

3) ответ на каждый из вопросов (оценка) должен быть обоснован экспертом.

Выявление преобладающих суждений с помощью метода Дельфы позволяет сблизить точки зрения экспертов. Вместе с тем учитывается, что, несмотря на сближение оценок, различие будет существовать и в конце опроса.

Покажем, как используется метод Дельфы при подготовке научно-технических прогнозов. Каждый тур опроса, требует в некоторой степени различных видов деятельности от экспертов, либо организаторов экспертизы, либо от тех и других. Разумеется, еще до первого тура должны быть проведены подготовительные мероприятия.

Первый тур опроса.

Первая анкета может быть пол­ностью бесструктурной и допускать любые ответы. Целью такой анкеты является составление перечня событий для прогноза в определенной области науки и техники. У это­го подхода есть некоторые недостатки, которые рассмат­риваются ниже. Однако он обладает и значительными преимуществами, хотя и возлагает большую ответствен­ность на экспертов. Ведь предполагается, что специалис­ты гораздо лучше, чем организаторы экспертизы, знают соответствующую область науки и техники.

Если анкета для первого тура опроса составлена так, что она ограничивает участников экспертизы в постанов­ке проблем, то это может привести к тому, что группа не учтет или опустит некоторые факторы, которые, вполне возможно, имеют более важное значение для организато­ра, чем факторы, которые он представляет на рассмотре­ние группы.

После того как прогнозы группы возвратились к ор­ганизатору, он должен объединить их. Некоторые экспер­ты дают свои прогнозы в словесной форме или в виде сценария. Такой прогноз должен быть расчленен на ряд отдельных событий. Другие члены группы могут дать пе­речень событий, расположенных в хронологическом по­рядке. И в том и в другом случае события должны быть идентифицированы: одинаковые события объединены, второстепенные (сточки зрения организатора) - исклю­чены, а окончательный перечень событий должен быть составлен в точных терминах. Полученный перечень со­бытий становится основой второй анкеты.

Второй тур опроса.

Экспертам направляют сводный перечень событий и просят дать им свою оценку. Их просят также привести соображения, по которым они считают свои оценки правильными.

После того как прогнозы и оценки событий, сделанные чле­нами группы, вернулись к организатору, последний дол­жен подготовить статистическую сводку мнений экспер­тов, упоминая аргументы и доводы в пользу того, что рассматриваемое событие имеет оценку больше или меньше «средней» оценки.

После второго тура опроса аналитики производят об­работку полученных оценок: уточняют перечень событий и анализируют характеристики ряда, т. е. рассчитывают медианы и квартили.

Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпоч­тительный интервал квартилей - показателем разброса индивидуальных оценок.

Каждому эксперту сообщаются значения этих харак­теристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т. е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возражения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки. С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго туров опроса.

Третий тур опроса.

Третья анкета состоит из перечня событий, групповой медианы оценок событий и верхнего и нижнего квартилей для каждого факторы, а также сводных данных (аргументов) о причинах более высоких или низких оценок. Участников экспертизы про­сят рассмотреть аргументы и сформулировать новые оценки каждого фактора. Если их новая оценка не попала в интервалы между квартилями (ИМК), полученными во втором ту­ре опроса, то их просят обосновать свою точку зрения и прокомментировать точку зрения тех, кто придержи­вается противоположных взглядов. Иначе говоря, если их оценка даты отличается от оценки 3/4 участников экспертизы, их просят подтвердить эту оценку и пока­зать, почему они считают аргументы большинства непра­вильными или неполными. Их аргументы могут вклю­чать ссылку на внешние факторы, которыми могли пре­небречь другие члены группы, перечисление факторов, которые оказались не учтенными другими экспертами, и т. д. Участники экспертизы могут выдвигать аргументы и возражения точно так же, как это делали бы при лич­ном общении, но при этом их аргументы остаются ано­нимными.

После того как пересмотренные оценки и новые аргу­менты возвратились к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представ­ленные с обеих сторон, и подготовить на этой основе но­вый прогноз.

Четвертый тур опроса.

Участникам экспертизы вновь передают перечень факторов, статистическое описание оценок группы и аргументы обеих сторон. Эксперты должны принять во внимание аргументы и их критику и составить новую оценку. При необходимости органи­затор может потребовать от них новые аргументы. Полу­чив прогнозы экспертов, снова рассчитывают медианы и квартили дат для каждого фактора. Поскольку этот тур опроса является последним, возможно, нет нужды анализировать аргументы и, следовательно, просить их представить. Если же группа не может прийти к согласо­ванному (единому) мнению, и организатор экспертизы заинтересуется аргументами обеих сторон, он собирает их и анализирует. Сам прогноз состоит из перечня факторов с соответствующими медианами и квартилями оценок.

Практика показывает, что необязательно проводить все четыре тура опроса. Если эксперты пришли к согла­шению во втором туре, то опрос можно прекратить.

Основные результаты использования метода Дельфы заключаются в следующем. Типичным для первого тура опроса является широкий разброс индивидуальных ответов. По мере применения итерации и обратной связи сходимость индивидуальных ответов увеличивается. В большинстве случаев групповой ответ (определяемый как ме­диана окончательных индивидуальных ответов) становится точнее.

Для того чтобы понять механизм изменения оценок за счет последовательных итераций, была исследована тенденция к изменениям, которая может быть описана од­ним параметром - расстоянием между оценками, полу­ченными в последующих турах опроса, и медианой оце­нок первого тура.

Характер изменения оценок таков, что средняя оценка всей группы (М_G) находится между средними оценками экспертов, изменивших свое мнение (М_S}, и экспертов, оставивших оценку неизменной (М_H). Поскольку средняя оценка экспертов, не изменивших своё мнение, обычно называется ближе к истинному ответу, предполагается, то п