Виды экспертного оценивания

Существующие виды экспертных оценок можно классифицировать по признакам:
1. По форме участия экспертов:

• очное,

• заочное.

Очный метод позволяет сосредоточить внимание эксперта на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле. Выбор вариантов работы с экспертами определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов.

Заочные формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает их взаимовлияния, однако делает работу экспертных групп не оперативной.

 

4.1. Разновидности очного опроса

1. Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное - чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.

2. Анкетный опрос экспертов.

3. «Мозговой штурм», «мозговая атака» - прямой обмен мнениями, стимулирование наблюдения. Основная цель - нахождение решения или путей решения какой-либо научной или практической проблемы.

 

4.2. Разновидности заочного опроса

1. Почтовый анкетный опрос экспертов.

2. Дельфийская техника заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Цикл содержит в себе 3-4 прохода. В ходе процедуры вырабатывается оценка, но при этом исследователь не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов.

Метод Дельфы не имеет целью достичь полного единства мнений экспертов по существу вопроса, поэтому, несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать.

Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

2. По решаемым задачам:

• генерирующие решения;

• оценивающие варианты.

3. По типу ответа:

• идейные;

• ранжирующие;

• оценивающие объект в относительной или абсолютной (численной) шкале.

4. По способу обработки мнений экспертов:

• непосредственные;

• аналитические.

5. По количеству привлекаемых экспертов:

• без ограничения;

• ограниченные (обычно используется 5 - 12 человек экспертов).

Наиболее известные методы экспертных оценок:

1) метод Дельфи,

2) мозговой штурм,

3) метод анализа иерархий.

Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

Основные понятия

Эксперт – 1. сведущее лицо, приглашаемое в спорных или трудных случаях экспертизы. 2. специалист, дающий заключение при рассмотрении определенного вопроса.

Экспертиза – исследование и разрешение при помощи сведущих людей какого-либо вопроса, требующего специальных знаний, например, врачебная, бухгалтерская, судебно-медицинская, педагогическая экспертизы.

Экспертиза психологическая – привлечение специалистов-психологов для решения вопросов в практике судебно-следственных органов, органов здравоохранения, социального обеспечения, образования и трудоустройства.
Экспертная оценка – мотивированное экспертное суждение. Возможны индивидуальные, групповые и коллективные экспертные оценки. Индивидуальные оценки могут быть получены с помощью ранжирования, бальной и парной оценок.

Метод групповых экспертных оценок (коллективная экспертная оценка, метод «Дельфи» О.Хелмера) применяется для принятия важных экспертных заключений. Для получения обобщенного суждения экспертов, проверки согласованности ранжирования используют коэффициент ранговой корреляции Ч.Спирмена либо коэффициент конкордации.

Экспертная система – система искусственного интеллекта, включающая базу знаний с набором правил и механизмов вывода, позволяющая на основании правил и представляемых пользователем фактов распознать ситуация, поставить диагноз, сформулировать решение или дать рекомендацию для выбора действия. Знания экспертов являются источником формирования баз данных.
Экспертное заключение – документ, принимаемый в результате экспертной оценки.

Экспертный метод – комплекс логических и математических процедур, направленный на получение от экспертов информации, ее анализ и обобщение с целью подготовки и принятия компетентного решения. Суть метода состоит в проведении экспертами анализа проблемы с качественной и количественной обработкой результатов индивидуальных экспертных оценок.

Этапы экспертной оценки – взаимосвязанные между собой процедуры, с помощью которых реализуется экспертный метод. Начальный этап включает определение цели и задач, которые должны быть решены экспертами, меры ответственности и прав рабочей группы, сроков проведения экспертизы, подбор экспертов для проведения экспертизы, определение их компетенции. Следующий этап – важнейший заключительный этап экспертной оценки, обеспечивающий основу для компетентного решения.

Ситуация экспертизы – ситуация, когда субъект привлекается к диагностике (например, уровня психического развития человека, причин отклоняющегося поведения подростка, состояния преступника в момент совершения преступления, профессиональной пригодности и т.д.) обязательным (принудительным) образом по административному запросу воспринимает ее как экзамен. (Белобрыкина, 2005).

Статус эксперта – совокупность прав и обязанностей, полномочия и ответственность эксперта (Крулехт, 2002).

 

Литература

1. Абрамова Г.С. Практическая психология. Учебник для студен­тов вузов — Изд. 6-е., перераб. и доп. М : Акаде­мический Проект, 2001. — 480с.

2. Белобрыкина О.А. Теория и практика психологической службы в образовании. – Новосибирск: НГПУ, 2005. – 508 с.

3. Крулехт М.В., Тельнюк И.В. Экспертные оценки в образовании. – М.: Академия, 2002. – 112 с.

4. Ларичев О.И. Структуры экспертных знаний. «Психологический журнал»; 1995, № 3.

5. Мельников В.М., Ямпольский Л.Т. Введение в экспериментальную психологию личности.- М.: Просвещение, 1985.

6. Мкртычян Г.А. Психология экспертной деятельности в образовании: Теория. Методология. Практика. – Н.Новгород: НГЦ, 2002. – 182 с.

7. Об организации обучения в первом классе четырехлетней начальной школы: Инструктивное письмо. – М., 2003.

8. Общая психодиагностика /Под ред. Бодалева А.А., Столина В.В. - СПб.: «Речь», 2000. – 440 с.

9. Попов Э.В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. – М.: Школа-Пресс, 1987. – 288 с.

10. Семаго М.М., Семаго Н.Я., Ратинова Н.А., Ситковская О.Д. Экспертная деятельность психолога образовательного учреждения. – М.: Айрис-Пресс, 2004. – 128 с.

11. Статистические методы анализа экспертных оценок /Под ред. Т.В.Рябушкина. — М.: МГУ, 1977. – 384 с.

12. Тихомиров O.K., Гурьева Л.П. Психологическая экспертиза компьютеризованной психодиагностической деятельности. «Психологический журнал», 1992, № 1.

13. Швалб Ю.М. Психологическая экспертиза в системе образования //Правоведение. – 1971, № 2. – С.117-119.

14. Общая психодиагностика /Под ред. Бодалева А.А., Столина В.В. - СПб.: «Речь», 2000.

15. Абрамова Г.С. Практическая психология. Учебник для студен­тов вузов — Изд. 6-е., перераб. и доп. — М: Акаде­мический Проект, 2001.

16. Мкртычян Г.А. Психология экспертной деятельности в образовании: Теория. Методология. Практика. – Н.Новгород: НГЦ, 2002.

17. Статистические методы анализа экспертных оценок /Под ред. Т.В.Рябушкина. — М.: МГУ, 1977.

18. Швалб Ю.М. Психологическая экспертиза в системе образования //Правоведение. – 1971, № 2 .

19. Ларичев О.И. Структуры экспертных знаний. «Психологический журнал»; 1995, № 3.