ЭКСПЕРТНЫЙ МЕТОД ПОДГОТОВКИ И РЕАЛИЗАЦИИ УПРАВЛЕНЧЕСКОГО РЕШЕНИЯ

Характеристика метода экспертных оценок Механизмом, позволяющим проводить научно-педагогическую экспертизу, является экспертный метод, или метод экспертных оценок. В его основе - обращение исследователя к компетент­ным специалистам. Сам экспертный опрос представляет собой совокупность вза­имосвязанных действий и формализованных процедур. Получаемая в его резуль­тате информация (экспертные оценки) подвергается обработке с использованием аппарата математической статистики Экспертный метод — это комплекс логических и математических процедур, направленных на получение информации, ее анализ и обоб­щение с целью подготовки и принятия компетентного управленчес­кого решения. Суть метода состоит в проведении экспертами анализа проблемы с качественной и количественной оценкой суждений и формальной обработкой результатов индивидуальных экспертных оценок. Метод экспертных оценок позволяет анализировать сложные процессы, явления или ситуации, которые харак­теризуются в основном качественными, неформализуемыми при­знаками (что затрудняет их анализ и оценку). Метод экспертных оценок используется при прогнозировании развития системы в ее взаимосвязи с социальной средой, для определения и ранжирования по заданному критерию наиболее существенных факторов, влияющих на функционирование и развитие системы. Данный метод обеспечивает оценку альтернатив­ных решений и выбор предпочтительных вариантов решения. Многообразие экспертных опросов допускает и их многокритериальную ти­пологию. Так, различают очные и заочные опросы, однократные и многократные (итеративные) методы проведения экспертизы. Существуют индивидуальные и коллективные способы построения экспертных оценок, устные (интервью) и пись­менные (анкетирование) варианты получения этих оценок. Можно привести еще несколько дополнительных критериев: по форме обратной информационной свя­зи, по процедуре получения результата или по его конечной форме. Принято считать, что для большинства случаев достаточно следующих форм экспертного опроса: - разовый индивидуальный опрос (анкетирование или интервью); - однократный коллективный опрос (совещание, мозговой штурм); - индивидуальный опрос в несколько туров («дельфийская техника»); - коллективный опрос в несколько туров (дискуссия, совещание, многосту­пенчатый опрос). Исходя из сущности экспертизы, она предполагает «обязательность» следующих компонентов (условий): - наличие сложной (в информационно-интеллектуальном плане) исследо­вательской проблемы; - наличие группы экспертов - специалистов по данной проблеме; возможность работы с ними, в состав экспертной комиссии должны входить общепризнанные специалисты в соответствующей области; - обязательность корректной реализации адекватно выбранных форм и про­цедур экспертизы; − решения, принимаемые членами экспертной комиссии, должны быть безусловными для участников, представляющих на оценку свои варианты решений; − области применения экспертных методов должны давать участникам преимущества перед другими. Экспертиза рассматривается как наиболее адекватное средство для оценки последствий человеческой деятельности и в этом плане нашла широкое приме­нение в прогнозировании (социальном, техническом и т.д.). Ее использование допустимо также там, где «не работают» обычные формализованные методы ис­следования либо отмечается недостаточность исходной информации. Вот почему экспертные методы называются иногда интуитивными. 2. Метод экспертных оценок имеет логически взаимосвязанные этапы Как и всякая исследовательская технология, экспертиза подразделяется на ряд этапов и процедур. В самом общем виде ее можно разделить на 3 этапа: подго­товку (включая отбор экспертов), проведение опроса экспертов и обработку ре­зультатов экспертизы. Сложность и специфика экспертизы, однако, требуют боль­шей детализации этого процесса. Обобщая различные подходы и описания, в процессе экспертного опроса мож­но выделить: формирование целей и задач экспертизы (другими словами, разработка программы исследования); - создание рабочей группы для проведения экспертизы; - разработку рабочих документов (анкет, инструкций, макетов обра­ботки данных); формирование группы экспертов; ' - обеспечение экспертов рабочими материалами (задачами и условиями ра­боты, опросными листами) и - при необходимости - исходной либо дополни­тельной информацией; - непосредственное проведение экспертизы; оценку качества полученной информации; обработку данных по заранее разработанному алгоритму; - обобщение данных и подведение итогов экспертизы. Начальный этап (организация экспертизы) включает: • определение цели и задач экспертизы, постановку проблемы; • определение меры ответственности, прав и полномочий рабо­чей группы экспертов; • установление сроков проведения экспертизы; • подбор экспертов, формирование экспертных групп (при не­обходимости определение их компетентности). Этап организации очень важен в том плане, что любой недостаток, недоработка в процессе организа­ции может свести на нет все усилия, затраченные средства и время. Поэтому лучше затратить некото­рую часть времени на решение важных организаци­онных вопросов, чем получить результаты, которые не найдут своего применения. Организационный период распадается на четыре основных этапа: формирование группы организаторов, постановка пробле­мы, отбор экспертов и определение объема экспертной группы 2.1 Формирование группы организаторов экспертизы____ Опыт проведения экспертиз показывает, что для ее подготовки должна быть сформирована группа в 5-7 человек специалистов-организаторов, достаточно хорошо знающих проблему, по которой будет прово­диться экспертиза. Кроме того, в нее включаются специалисты по экспертным методам (экономисты, социологи, психологи и т.д.). Очень желательно, что­бы данная группа была официально утверждена и получила соответствующие полномочия. Эта группа должна обеспечить условия для эф­фективной деятельности экспертов, разработать про­цедуру экспертизы, наиболее соответствующую ха­рактеру данной проблемы. В целом задачи группы организаторов можно сформулировать в следующем виде: I. Постановка проблемы, определение целей и задач экспертизы; 2. Разработка процедуры экспертизы; 3. Отбор экспертов, проверка их компетент­ности и формирование групп экспертов; 4. Проведение опроса и согласование оценок; 5. Формализация полученной информации, ее обработка, анализ и интерпретация. Данные задачи оформляются техническим зада­нием, которое утверждается заказчиком. 2.2 Постановка проблемы экспертизы Подготовку экспертизы прежде всего начинают с постановки проблемы. Для этого прежде всего зна­комятся с предысторией и состоянием проблемы, устанавливают ее характер, место и значение, а также рассматривают доводы в пользу необходимости ее решения, обсуждают эти доводы с руководителями (заказчиками), как основными заинтересованными лицами. На данном этапе очень важно вовремя распо­знать мнимые и реальные проблемы (псевдопроблемы). Значение данного момента доста­точно велико. Очень часто решение хорошо извест­но, но заказчик пытается по политическим или эко­номическим причинам найти другие варианты или просто хочет с помощью проведенной исследователь­ской работы обосновать невозможность решения проблемы. В этом случае необходимо обращение к нескольким специалистам с просьбой отвергнуть или выдвинуть тезисы и аргументы в защиту проблемы, найти слабые, неубедительные места, обратить вни­мание на трудности и реальные пути решения про­блемы. Нельзя превращать исследовательскую работу в профанацию. В случае принятия проблемы к изучению необ­ходимо провести ее предварительный анализ, уточ­нить внутреннюю структуру и внешние взаимосвязи, определить границы проблемы и границы рассмотре­ния. Для этого организаторы экспертизы выдвигают центральный вопрос, а затем "расщепляют" его на подвопросы. Они стараются отделить известное от неизвестного и ограничивают "поле" рассмотрения лишь теми подвопросами, без ответов на которые нельзя получить ответ на центральный вопрос. Все это позволяет организаторам экспертизы приступить к формулировке ее целей и задач. Опыт показывает, что четко поставленная проблема, ясно выделенные и ограниченные цели и задачи являются обязательными для обеспечения эффективности своего решения. Кроме этого данная процедура по­зволяет подготовить при необходимости перечень оцениваемых событий и установить совокупность факторов, которые характеризуют эти события. Содержание задания конкретному эксперту должно быть четким и отвечать ряду требований; • перед экспертом следует ставить лишь те во­просы, для решения которых действительно необхо­димы специальные знания; • недопустимо в задание включать вопросы, ко­торые не входят в компетенцию данного эксперта; • эксперт не должен заниматься формулирова­нием вопросов, подлежащих экспертизе, собирать материалы на экспертизу; • каждое задание должно быть четко сформули­ровано, чтобы исключить его двусмысленное толко­вание. Такой перечень необходим для разработки про­цедуры и, в частности, для того, чтобы примерно определить число и профиль экспертов. 2.3 Методы отбора экспертов_______ На основании знания объекта экспертизы, его специфики и утвержденного задания группа органи­заторов определяет способ проведения экспертизы. Эти две организационные процедуры взаимосвязаны, поскольку основные проблемы экспертизы опреде­ляют состав экспертов, их число я необходимые ре­сурсы. При определении состава группы экспертов учитывается прежде всего уровень знаний в области специализации, опыт и включенность в решение по­добных задач. Считается, что состав экспертов дол­жен быть таким, чтобы были "закрыты" все пробле­мы. При этом каждая из них должна рассматриваться как минимум двумя экспертами - специалистами по данному вопросу. Работа по отбору специалистов, участвующих в экспертизе, обычно начинается с составления пер­вичного списка компетентных в исследуемой области лиц (специалистов). Этот список служит основой для отбора экспертов с помощью специальных методов. Различают четыре основных группы таких мето­дов: самооценки, групповой оценки, оценки на основе результатов прошлой деятельности, методы определения компетентности. 2.3.1 Метод самооценки Для этого предполагаемым экспертам раздается небольшая анкета, в которой представлены как раз­личные вопросы, так и перечень возможных необхо­димых качеств: память, настойчивость, способность к аналитическому мышлению, внимание и т.д. Получив анкету, кандидаты в эксперты отвеча­ют на ее вопросы. Их ответы должны показать эру­дицию, способность к анализу и другие необходимые эксперту качества. Особое внимание уделяют органи­заторы экспертизы способности специалиста в ко­роткий срок (5-10 минут) ответить на поставленные вопросы и дать оценку своим знаниям по каждому вопросу по определенной численной шкале, напри­мер, пятибалльной, В некоторых случаях шкалу уве­личивают (до 7-ми или 9-ти бальной) для проверки способности экспертов более дифференцированно оценивать различные явления. Собрав самооценки, организаторы экспертизы могут рассчитать среднюю арифметическую группо­вую самооценку и получить численный индекс, ха­рактеризующий, например, знания, которыми по мнению группы, она обладает на данное время. Опыт проведения многочисленных экспертиз и у нас, и за рубежом показывает, что группы с высо­кой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше дру­гих. Существует даже зависимость между групповой самооценкой и средней групповой ошибкой экспер­тов: средняя: групповая ошибка уменьшается с воз­растанием средней самооценки. Если, например, вся группа кандидатов в эксперты разделена на подгруп­пы, первая из которых имеет более высокую само­оценку, чем группа в целом, а вторая - более низ­кую, то экспертные оценки первой подгруппы будут в среднем более точными, а второй - менее точными, чем вес группы. Здесь же с помощью самооценок определяют компетентность эксперта, оценивая аргументы, по­служившие ему основанием для ответа, а также сте­пень ого знакомства с рассматриваемой лроолемои и опыт в решении подобных или схожих задач. 2.3.2 Метод коллективной оценки____ В случаях, когда кандидаты в эксперты знают друг друга, наряду с самооценкой используется метод коллективной оценки каждого из них остальными членами группы. Коллективные оценки часто оказы­ваются менее точны, чем самооценки. Используя оба метода, организаторы эксперти­зы предлагают каждому из кандидатов заполнить опросные листы на себя и на других участников опроса. На листе самооценок указывается фамилия кандидата, чтобы знать, кому принадлежит данная самооценка. В опросных листах, одинаковых и для самооценок, и для оценок, содержится перечень наиболее существенных для эксперта черт, противо­положных по своему значению. В одной из процедур такой лист выглядел, например, следующим образом: Глубокие -знания 54321 Неглубокие знания по специальности по специальности Обладает творческим 54321 Не обладает творческим воображением воображением и т.д. Каждый эксперт должен был обвести кружком соответствующий балл. (например, "1" - очень неглубокие знания). Причем при оценке предлагалось исходить из среднего для группы уровня (это связано с тем, что обычно сред­ний для группы отобранных кандидатов в эксперты уровень по ряду качеств значительно выше, чем во­обще специалистов в данной сфере). Все самооценки и оценки выводятся но укруп­ненным группам качеств: I - интеллектуальные качества (глубина знаний по специальности, широта интеллектуальных интере­сов, одаренность и т.д.); 2 - деловые качества (умение руководить, при­влечь людей, организовать работу и т.д.); III - импульсивно - волевые свойства (сдержанность, эмоциональность, воля и т.д.); IV - качества, характеризующие мотивы поведе­ния (альтруизм, стремление к истине, честолюбие и т.д.); V - качества, характеризующие отношение к жизни (оптимизм, чувство юмора и т.д.). В результате проведения такой процедуры оказалось, что большинство специалистов склонно занижать в своих самооценках свои интеллектуальные качества и завышать качества, характеризующие мотивы поведения и отношению к жизни. Анализ групповой оценки каждого из специалистов, их самооценок, а также характера расхождений между групповой оценкой и самооценкой несомненно позволяют осуществить более обоснованный отбор экспертов. 2.3.3 Метод оценки прошлых результатов Более объективными, чем самооценки и грун­товые оценки, представляются методы, основанные на использовании опенки результатов прошлой дея­тельности специалистов. Если есть данные о результатах участия специа­листа в экспертизах в прошлом, то они могут слу­жить базой для оценки качеств эксперта с помощью статистических методов. Одним из них является, на­пример, определение степени надежности эксперта (К), то есть относительной частоты случаев, когда эксперт дал оценки, наиболее близкие к .истинным, или, точнее, приписал наибольшую вероятность ги­потезам, которые впоследствии оказались верными: Мс - число случаев, когда эксперт, встретившись с несколькими альтернативными гипотезами, приписал наибольшую вероятность той, которая потом подтвердилась; N - общее число случаев, когда данный эксперт давал оценку. В тех случаях, когда специалист участвует в коллективной экспертизе, его деятельность можно сравнить с деятельностью коллег. Для этого приме­няется критерий относительной надежности, кото­рый определяется как отношение "абсолютной" сте­пени надежности данного эксперта к средней надеж­ности, исчисленной для некоторой группы экспертов. Данный метод имеет недостаток в том, что необходимо накопление информации по проведенным экспертизам и по экспертам, принимающим в них участие. Это достаточно слож­но, так как проблемы очень разнообразны и редко когда имеется возможность работать даже с относи­тельно постоянной группой экспертов. Наиболее часто используется простейший из способов отбора экспертов - отбор специалистов по профилю деятельности, стажу работы, по ученому званию или степени, по занимаемой должности и т.д. 2,3.4 Тестирование в подборе экспертов Как специфический метод отбора экспертов тестирование применяется достаточно редко. Это связано с двумя факторами. Во-первых, очень мало специализированных тестов и они не очень надежны. Во-вторых, далеко не каждый эксперт даст согласие на тестирование и будет подвергать свою репутацию испытанию. Тем не менее не следует совсем отказываться от этого приема отбора экспертов. В прогностическом исследовании о роли чтения в будущем экспертам были заданы вопросы, касающиеся тенденций в раз­витии средств массовой информации. При этом ор­ганизаторы экспертизы представляют достоверную информацию об этих тенденциях на современном этапе. Так, например, экспертов просили высказать свое мнение о характере изменений посещений кино в стране на одного человека: о том.в каком соотно­шении находятся темпы роста тиражей газет, журна­лов и книг; увеличивается или уменьшается число книг, выданных в среднем одному читателю библиотеки страны в целом и т.п. ответы экспертов на эти вопросы позволили в некоторой степени оценить их компетентность по данной проблеме. Во время экспертного опроса • специалистов по методике и технике социологических исследований в анкету включались вопросы, ответы на которые дали возможности определить уровень квалификации со­циолога в данной конкретной методологической сфере. Конечно, приведенные примеры достаточно условны и специфичны, но они показывают наличие возможностей для профессионального тестирования по теме экспертизы. Основной этап экспертизы связан со сбором данных, про­ведением исследовательской работы и экспертной оценкой, ана­лизом имеющегося материала. Технология экспертизы, использо­вание совокупности методов и критериев оценки зависят от ха­рактера экспертизы, области ее применения. Для педагогической экспертизы чаще всего требуется разработ­ка анкет, опросников, тестов, контрольно-диагностических зада­ний. Экспертная оценка является результатом аналитической дея­тельности, основана на умении видеть и разрешать противоречия, прогнозировать, предвидеть и находить нестандартные способы решения. Завершающий этап экспертизы — опрос экспертов (ин­дивидуальный или групповой; личный, очный или заочный; устный или письменный), оформление документа (отчет, справка, рецен­зия и пр.), принятие экспертного заключения — основы для компе­тентного управленческого решения, которое принимает менеджер. «Экспертное заключение» и «экспертная оценка» — понятия близкие, но не тождественные. Экспертное заключение — это документ, оформленный в соот­ветствии с установленными требованиями и содержащий мотивиро­ванную экспертную оценку, т. е. мнение, суждение эксперта о пред­мете экспертизы.