Организация процесса экспертного оценивания

К основным этапам процесса экспертного оценивания отно­сятся:

- формирование цели и задач экспертного оценивания, при­нятие решения на проведение экспертного оценивания;

- формирование группы управления;

- выбор метода получения экспертной информации и спосо­бов ее обработки;

- подбор экспертной группы;

- формирование анкет-опросников;

- экспертиза (опрос экспертов);

- обработка и анализ результатов экспертизы;

- интерпретация полученных результатов;

- составление отчета.

Цель и задачу проведения экспертного оценивания формули­рует предприниматель (заказчик), и он же принимает решение о том, когда, где и как ее проводить, какие результаты должны быть получены, в какой форме представлены. Для подготовки решения и руководства всей дальнейшей работой экспертной группой луч­ше назначить специального руководителя. Это должен быть спокойный, уравновешенный человек, хорошо знакомый с положе­нием дел в организации, имеющий право постоянного доступа к предпринимателю. Обычно это один из заместителей или первых помощников предпринимателя. От него следует потребовать док­ладывать руководству промежуточные и окончательные эксперти­зы без всяких прикрас. Он при необходимости определяет круг своих помощников по решению задачи экспертного оценивания, т.е. состав группы управления.

Группа управления осуществляет непрерывную связь с экспер­тами. На нее возлагается вся организационно-плановая работа по обеспечению эффективной творческой деятельности экспертов. По возможности, в состав группы управления следует включать специалистов из разных областей, чтобы снизить давление «ведом­ственных интересов». Лучше, если в ней будет специалист-соци­олог или психолог, математик и специалист по математическому обеспечению для ЭВМ. Руководитель группы управления распре­деляет функциональные обязанности между членами группы уп­равления. К числу таких функций относят аналитическую работу по подбору экспертов, определение перечня методов получения и обработки информации, составление анкет-опросников, содержа­тельную интерпретацию получаемых результатов и пр.

Работа эксперта является престижной, интересной, свободной и при этом весьма неплохо оплачивается. Предприни­матель заинтересован, чтобы в составе группы оказались лучшие из лучших. Предварительный отбор экспертов обычно проводят на основе анализа доступной информации о профессиональности кандидатов в экспертную группу. Это личный стаж практической деятельности, авторитетность (ученое звание и степень, долж­ность, количество публикаций, участие в других экспертизах и т.п.).

Желательно, чтобы кандидат в экспертную группу имел ши­рокий кругозор и эрудицию. Все это входит в понятие «компетент­ность эксперта», под которой в утилитарном смысле понимают его способность помочь в решении конкретной проблемы в области предпринимательских рисков. Для окончательного принятия ре­шения о включении того или иного из кандидатов в экспертную группу руководитель может организовать и провести отборочное тестирование. Для этого просто проводят контрольную эксперти­зу по вопросу, на который у предпринимателя есть ответ или свое сформировавшееся мнение.

Когда группа сформирована, переходят к экспертизе. Заочный опрос при этом более предпочтителен. И не только ввиду сниже­ния психологического давления на эксперта со стороны группы управления, но и для уменьшения затрат на получение информа­ции. Вопросы заносят в анкету-опросник и раздают (или рассы­лают) экспертам. Психолог может оказать руководителю неоцени­мую помощь в выборе способа постановки вопросов и посовету­ет, как регламентировать свободу в ответах на них. Однако при отсутствии психолога в группе управления руководитель группы сам сможет определиться в форме постановки вопросов, если бу­дет знать некоторые важные особенности. Например, если требу­ется получить конкретный ответ на интересующий вопрос, но есть серьезные подозрения, что сам эксперт по каким-то причинам не захочет это сделать искренне, то следует использовать процедуру так называемого закрытого вопроса. Эта процедура предусматри­вает специальную формулировку вопросов, которая сопровожда­ется перечнем альтернативных ответов. В простейшей форме аль­тернатив — в «чисто закрытом» вопросе — могут быть только два возможных ответа: «да» или «нет».

Более сложная форма предлагает «веер» возможных ответов (обычно более трех). При этом следует помнить, что навязывание экспертам вариантов ответов стесняет возможность выражения ими своего собственного оригинального мнения в том случае, если оно не совпадает с альтернативными ответами, и снимает с экс­перта моральную ответственность за качество ответа. Альтернатив­ная форма — так называемый открытый вопрос, когда вопрос ста­вится в наиболее общей форме, отражая лишь существо задачи. Экспертам предоставляют полную свободу в выражении соб­ственного мнения по обсуждаемому вопросу. Однако обработать результаты такой экспертизы значительно труднее.

Теперь подробнее разберем суть и приемы одного из основ­ных способов получения информации для решения задачи оцени­вания — выражения элементарных суждений. Для этого будем иметь в виду следующее. Все, что интересует руководителя, в отношении чего у него может быть собственное мнение или его интересует мнение экспертов, все, что требуется оценить, изме­рить, сопоставить с чем-то другим и т.п., — все мы будем назы­вать термином «объект оценивания» (или иногда для краткости просто «объект»), а иногда, если это удобнее, — «альтернатива». Объект обладает набором свойств, что делает его подобным од­ним и отличным от других альтернатив. Но интенсивность проявления одних и тех же свойств у разных альтернатив, естествен­но, разная.

Объекты можно сравнивать между собой в отношении некой внешней для них цели, преследуемой руководителем. Например, если целью предпринимателя является уберечь свободные деньги от инфляции в течение ближайших трех лет, то он может сравни­вать в отношении этой цели такие альтернативы, как финансовые инструменты (валюту, акции, облигации и др.), паевые инвести­ционные фонды, а также объекты недвижимости. Альтернативы можно сравнивать по интенсивности проявления у них какого-то одного конкретного свойства, например, разные акции — по до­ходности, рискованности.

Термин «элементарное суждение» будем употреблять для срав­нения пары, т.е. двух объектов по предпочтительности. При этом рассматривается предпочтение в отношении, например, какой-то общей внешней для объектов цели или какого-то общего для них свойства. Для определенности будем один из объектов в паре (не важно, какой именно) именовать «первым», а другой — «вторым». Для элементарного суждения предпочтение между «первым» и «вторым» объектами в паре выражается в строго определенной шкале с тремя градациями:

- «первый объект в паре лучше второго»;

- «объекты равноценны» (одинаковы по предпочтительности);

- «второй объект в паре лучше первого».

Таким образом, для выражения элементарного суждения бе­рут только два объекта для сравнения, независимо от того, сколько их вообще надо будет сравнить в ходе экспертного оценивания. При этом или они оцениваются только по одному присущему им свойству, или оба они анализируются в отношении одной общей внешней цели.

У экспертизы в форме элементарного суждения есть очень важное положительное свойство — у нее высокая конфиденциаль­ность. То есть вы задаете эксперту веерный вопрос с тремя взаи­моисключающими ответами («первый объект в паре лучше второ­го», «объекты равноценны», «второй объект в паре лучше перво­го») и совершенно не обязаны ему объяснять, зачем, когда и как вы собираетесь использовать полученную от него информацию. Следовательно, если вам нужно соблюсти конфиденциальность, постарайтесь вопросы формулировать таким образом, чтобы их можно было бы анализировать методом выражения элементарно­го суждения.

Чтобы извлечь из массы данных именно тот результат, на ко­торый нацелилось руководство, нужно будет провести процедуру обработки полученных результатов подобной серии попарных сравнений, а затем еще и содержательно проанализировать полу­ченные данные, чтобы принять какое-то решение. С целью облег­чения и ускорения работы, а также чтобы можно было бы приме­нить математические методы обработки и анализа результатов экспертизы, все вербальные (т.е. словесные) оценки по методу элементарного суждения переводят в числовую форму. Шкала преобразования может быть самой разнообразной, но чаще всего это градации либо {1; 0,5; 0}, либо {100, 50, 0}, либо {с, 1, 1/с}, где с — целое число, как правило, имеющее значения в диапазоне от 2 до, максимум, 9. Например, шкала значений величины с для осуществления сравнения может состоять из пяти нечетных гра­даций, обозначенных так: 1 — «объекты равноценны»; 3 — «сла­бое предпочтение первого объекта над вторым»; 5 — «среднее пред­почтение первого объекта над вторым»; 7 — «сильное предпочте­ние первого объекта над вторым»; 9 — «абсолютное предпочтение первого объекта над вторым». А если эксперт сомневается в точ­ности выбора градации из числа представленных, он может назна­чить четное значение между ближайшей меньшей и большей по предпочтительности градациями.

Элементарные суждения редко используют непосредственно без дополнительной обработки и анализа. Чаще элементарные суждения рассматриваются как некий первичный продукт в до­статочно длинной технологической цепочке экспертного оцени­вания.

Такая транзитивная модель построена (говорят, что построе­но транзитивное замыкание), нужно проанализировать ее с целью вынесения суждения о точности приближения к истинным пред­почтениям эксперта. Если такое решение будет положительным, то транзитивной моделью можно будет пользоваться при приня­тии управленческих решений.

Например, была проведена групповая экспертиза и получен набор в общем случае оригинальных суждений. Мало того, что каждое из суждений в отдельности может оказаться нетранзитив­ным, оно еще по-своему рисует картину отношений между оце­ниваемыми объектами из множества предъявления. Так, соглас­но мнению одного из экспертов среди оцениваемых объектов {<3,, а₂, а₃,..., а₆} лучшей является альтернатива а₁, а худшей — а₂; дру­гой полагает, что а₆ — лучшая, а альтернатива а, — худшая; у тре­тьего эксперта вообще предпочтение отдано объекту а₂ и т.п.

В подобной ситуации надо, во-первых, по крайней мере, со­поставить транзитивные модели индивидуальных предпочтений. Во-вторых, попытаться понять, насколько близки мнения отдель­ных экспертов, есть ли среди этих мнений очень близкие, а ка­кие — весьма оригинальные и отличаются от всех остальных. Ины­ми словами, нужно оценить степень близости мнений экспертов в группе и выделить подгруппы экспертов с очень близкими мне­ниями.

Таким образом, обработка и анализ результатов экспертизы имеют в качестве конечной цели получение информации для принятия решения о направлении дальнейших действий в ходе завер­шения экспертного оценивания. При этом для групповой экспер­тизы основной задачей можно считать получение информации о степени близости мнений экспертов по рассматриваемому вопро­су. Но этого мало. Важно также определить «оригинальные» (рез­ко выделяющиеся из остальных) суждения.

Для выявления «оригинальных» экспертов используют либо методы теории распознавания образов, либо прием последователь­ного исключения участников экспертизы и вычисления для остав­шейся группы коэффициента их согласия («конкордации»). При плохой согласованности мнений экспертов придется также поду­мать о причинах рассогласования и, может быть, даже принять ре­шение об изменении состава экспертной группы или о повторном обсуждении содержания вопросов анкет. А в лучшем случае по­требуется выработать проект решения по результатам проведен­ного экспертного оценивания. Это практически реализует обратную связь между группой управления и заказчиком. Следователь­но, действительно обработка полученной экспертной информации проводится с целью приведения ее к виду, удобному для подго­товки предложений заказчику и придания ей характера знаний о наиболее важных характеристиках проблемной ситуации. Что ка­сается конкретных способов обработки результатов экспертизы, то выбор здесь зависит от природы исследуемых факторов и типа шкалы результатов.

Анализ результатов является творческим процессом, в ходе ко­торого обработанные данные осмысливаются, выносятся сужде­ния и формируются рекомендации относительно дальнейших дей­ствий. К таким действиям относятся следующие: оформить полу­ченные результаты и представить их заказчику; провести дополнительные исследования и привлечь других (например, не­зависимых) экспертов; сделать промежуточный доклад заказчику с целью принятия решения об организации параллельных иссле­дований; вынести предложение об окончании экспертного оцени­вания.