Элементы теории измерений

Экспертные методы исследования систем управления.

В процессе управления социально–экономическими системами происходит взаимодействие трех элементов — объекта управления, системы управления и окружающей среды. Согласно теории организационного управления в процессе управления можно выделить следующие основные функции: планирование, организация, мотивация и контроль. Перечисленные функции объединены в единый организационный механизм связующими процессами — принятием решений и коммуникациями. Процесс принятия решений (ППР) является более общим, и эта общность выражается в том, что любую функцию управления можно представить как последовательность решений. В некотором смысле ППР можно рассматривать, как типовую задачу, которую приходиться решать при реализации различных функций управления. В связи с этим управление можно рассматривать как ППР.

Задачу принятия решения можно записать в следующей форме [9]:

<S₀, T, R | S, Ц, У, f, K> (6.1)

Где S₀ — описание исходной проблемной ситуации; T — время для принятия решения, R — ресурсы, необходимые для принятия решения (это знание, опыт, профессиональный опыт лиц, принимающих решение (ЛПР)), S = (S₁, S₂, …, S_n) — множество возможных ситуаций; Ц = (Ц₁, Ц₂, …, Ц_K) — множество целей, которые необходимо достичь в результате устранения проблемной ситуации S₀; У = (У₁, У₂,..., У_S) — множество возможных решений; f = f(S, У, Ц) — функция предпочтения ЛПР, с помощью которой он оценивает ситуации и решения по степени достижения множества целей; K — критерии выбора наилучшего решения.

В выражении (6.1) слева от вертикальной черты расположены известные элементы задачи, справа от черты — элементы, которые надо определить.

Задачу принятия решения реализует ЛПР. Он несет ответственность за решение и его возможные последствия. Для помощи ЛПР в формировании решения привлекаются эксперты — специалисты по решаемой проблеме. Эксперты помогают ЛПР описать качественно и количественно (если возможно) проблемную ситуацию S₀, определить время T и ресурсы R для принятия решений, построить множество возможных ситуаций S, сформулировать множество целей Ц и множество возможных решений У, высказать свои предпочтения по ситуациям, решениям и целям и предложить возможные критерии оптимального выбора решений.

В общем случае предпочтения могут не совпадать с предпочтениями ЛПР. Это позволяет ему критически осмыслить свою точку зрения и более обоснованно выбрать наилучшее решение. Таким образом, эксперты в задаче принятия решения выполняют информационную и аналитическую работы по формированию наилучшего решения.

Все это показывает, что при решении сложных неформализованных проблем эксперты играют большую роль.

Практика управления в различных сферах человеческой деятельности подтверждает этот вывод. Следовательно, знание научно-обоснованного подхода к применению экспертных оценок и применение его в процессе управления является необходимым условием эффективной работы организационных систем управления.

 

Метод экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой вариантов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы.

В процессе проведения экспертизы эксперты выполняют две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т.п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т.п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. Большую роль при этом играет знание и опыт эксперта. Характерные особенности метода — научно-обоснованная организация проведения всех этапов экспертизы и применение количественных методов при организации экспертизы, оценке суждений экспертов и формальной групповой обработке результатов — отличает его от обычной экспертизы. Измерение характеристик объектов требует от экспертов знания теории измерений.

Элементы теории измерений

Экспертное оценивание — процесс субъективного измерения, который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В это определение включены три понятия: объект, показатель (признак) и процедура сравнения.

Объектами могут быть предметы, явления, решения. В качестве показателей сравнения могут использоваться пространственно-временные, физические, физиологические, психические и другие свойства и характеристики объектов. Процедура сравнения включает определение отношений между объектами и способ их сравнения (больше, меньше, равно, лучше, хуже, одинаково и т.д.).

Для формального описания множества объектов и отношений между ними вводится понятие эмпирической системы с отношениями.

M = <O, R>

O = (O₁, O₂, …, O_n) — множество объектов (предметов, явлений, событий, решений и т.п.). R = (R₁, R₂, …, R_m) — множество отношений между объектами.

Запись O_iR_kO_j означает: объект O_i находится в отношении R_k к объекту O_j., такое отношение называется двухместным (бинарным), так как оно связывает два объекта, если отношение между тремя объектами — называется трехместным.

Определим основные свойства отношений:

- отношение R рефлексивно, если O_iRO_i истинно;

- отношение R антирефлексивно, если O_iRO_i ложно;

- отношение R симметрично, если из O_iRO_j O_jRO_i истинно;

- отношение R антисимметрично, если из O_iRO_j и O_jRO_i O_j = O_i;

- отношение R несимметрично, если из истинности O_iRO_j O_jRO_i ложно;

- отношение R транзитивно, если из O_iRO_j и O_jRO_k O_iRO_k, где O_i, O_j, O_k Î O истинно.

Отношение, которое обладает свойствами рефлексивности, симметричности и транзитивности называется отношением эквивалентности

При экспертном оценивании, кроме отношения эквивалентности, используется отношение порядка: раньше чем, больше чем, предпочтительнее чем.

Отношение порядка антирефлексивно и транзитивно: O_i R O_j.

Обозначим основные проблемы теории измерений:

Проблема представления заключается в доказательстве того, что для эмпирической системы с отношениями, выбранной с целью измерения определенных свойств объектов, можно построить численную систему с отношениями, описывающую свойства объектов и отношений между ними с помощью чисел.

Проблему единственности можно сформулировать как проблему определения типа шкалы. Шкалой называется совокупность эмпирической системы, численной системы и отображения, т.е. <M, H, f>.

Рассмотрим следующие наиболее употребительные в практике измерений типы шкал: наименований, порядковая; интервалов, отношений, разностей, абсолютная.

Шкала наименований, или классификаций, используется для описания принадлежностей объектов к определенным классам. Всем объектам одного и того же класса присваивается одно и то же число, а элементам разных классов — разные числа. Поэтому шкала наименования часто называется шкалой классификации. Шкала наименований широко используется на практике для индексации номенклатуры изделий, документов и видов информации в АСУ, нумерации подразделений в организации.

Шкала порядка применяется для измерения упорядочения объектов по одному или совокупности признаков. Пример — шкала твердости минералов. Этой шкалой пользуются для упорядочения объектов. Числа в шкале порядка отображают только порядок следования объектов и не дают возможности сказать, на сколько или во сколько один объект предпочтительнее другого.

Шкала интервалов — применяется для отображения величины различия между свойствами объектов (измерение температуры в градусах Фаренгейта или Цельсия). При экспертном оценивании шкала интервалов применяется для оценки полезности объектов. Основным свойством шкалы интервалов является равенство интервалов. Интервальная шкала может иметь произвольные точки отсчета и масштаб.

Шкала отношений используется, например, для измерения массы, длины, веса. В этой шкале число показывает отношения свойств объектов, т.е. во сколько раз свойство одного объекта превосходит это же свойство другого объекта. Шкала отношений является частным случаем шкалы интервалов при выборе нулевой точки отсчета.

Шкала разностей используется для измерения свойств объектов при необходимости выражения: на сколько один объект превосходит другой по одному или нескольким признакам. Эта шкала — частный случай шкалы интервалов при выборе единичного масштаба.

Абсолютная шкала - частный случай шкалы интервалов. В этой шкале принимается нулевая точка отсчета и единичный масштаб. Она применяется, например, для измерения количества объектов. Это количество измеряется единственным образом с помощью натуральных чисел.

Обобщая описание шкал измерений приведем фомализованное их описание в виде таблицы 6.1.

Рассмотрим основные методы применений.

К наиболее употребительным при экспертном оценивании методам измерений относятся 1) ранжирование; 2) парное сравнивание; 3) непосредственная оценка; 4) последовательная оценка.

Ранжирование - процедура упорядочения объектов, выполняемая экспертом. На основе своих знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими показателями сравнения. В зависимости от видов отношений между объектами возможны различные варианты упорядочения объектов.

Пусть среди объектов нет эквивалентных объектов, то есть между объектами существует отношение строго больше, тогда полученная система с отношением порядка <0, >> образует серию, где 0 = (0₁, 0₂, 0_n) - множество измеряемых объектов. Для серии доказано существование числовой системы, элементами которой являются числа, а отношение порядка > есть отношением «больше чем » или « меньше чем ».

Ранжирование объектов производится в шкале порядков.

В практике экспертного ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел

r₁ = f (0₁) = 1, r₂ = f (0₂) = 2, ... , r_n = f (0_n) = n,

числа r₁, r₂, ..., r_n - называются рангами.

Система с отношениями эквивалентности и порядка образует квазисерию. Для квазисерии существует числовая система с отношениями «больше чем» («меньше чем») и «равно».

 

 

Таблица 6.1

Измерения	Шкала	Допустимые преобразования
Качественные	Номинальная	j(x)– взаимнооднозначные
Порядка	j(x)–монотонные
Гиперпорядка	j(x)–монотонные, сохраняющие порядок разностей
Количествен-ные	Интервалов	j(x) = ax+b, a>0
Отношений	j(x) = ax, a>0
Разностей	j(x) = x+b
Абсолютная	j(x) = x

 

При групповой экспертной оценке каждый i-ый эксперт присваивает каждому объекту j ранг r_ij. В результате проведения эксперт оценивая полученную матрицу рангов размерности n*m, m - число экспертов, а n - число объектов (j = 1,...,n). парное сравнение - процедура установления предпочтений объектов при сравнении всех возможных пар.

Парное сравнение проще чем ранжирование. При сравнении пары объектов возможны отношения либо порядка, либо порядка и эквивалентности, что доводится до сведения экспертов. Парное сравнение объектов есть измерение в школе порядка.

При групповом экспертном оценивании каждый эксперт представляет результаты парного сравнения в виде таблицы-матрицы парных сравнений. Тогда возникает задача о ранжировании результатов парного сравнения, что получается уже методами обработки результатов экспертного сравнения.

Непосредственная оценка - процедура приписывания объектам численных значений в школе интервалов. Эксперту предлагается поставить в соответствие каждому объекту точку на непрерывной числовой оси, например, на отрезке [0,1]. С целью уйти от требования точности, рассматривают бальную оценку. Используют 5, 10, 100 бальные шкалы. Последовательное сравнение - комплексная процедура измерения, включающую как ранжирование, так и непосредственную оценку.

Рассмотренные четыре метода измерения: ранжирование, парное сравнение, непосредственная оценка и последовательное сравнение обладают различными качествами, но приводят к близким результатам. Экспертная сравнительная оценка этих методов показала, что в ряде случаев наиболее эффективным является комплексное применение всех методов для решения одной и той же задачи. При этом наиболее простым методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким для экспертов - метод последовательного сравнения.

6.3 Некоторые вопросы реализации метода экспертных оценок

Для применения метода экспертных оценок в процессе принятия решения необходимо рассмотреть вопросы подбора экспертов, проведения опроса и обработки результатов [5,9].

 

Подбор экспертов

Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Широта решаемой проблемы определяет необходимость привлечения к экспертизе специалистов различного профиля.

Достоверность оценок группы экспертов зависит от уровня знаний отдельных экспертов и количества членов.

Затраты ресурсов на проведение экспертизы пропорциональны количеству экспертов.

Характеристики группы экспертов определяются на основе индивидуальных характеристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

Компетентность - степень квалификации эксперта в определенной области знаний. Для количественной оценки степени компетентности используется коэффициент компетентности, с учетом которого взвешивается мнение эксперта. Коэффициент компетентности определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.

Креативность - это способность решать творческие задачи. Оценка этой характеристики проводится на основе качественных суждений.

Отношение к экспертизе является важной характеристикой качества эксперта при решении данной проблемы. Участие в экспертизе должно рассматриваться как плановая работа.

Конструктивность мышления - это прагматический аспект мышления. Учет реальных возможностей решения проблемы очень важен при экспертизе.

Самокритичность эксперта проявляется при оценке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме.

Достоверность оценок эксперта количественно оценивают по формуле:

, где

N_i - число случаев, когда i-й эксперт дал решение, приемлемость которого подтверждалось практикой;

N - общее число случаев участия i-го эксперта в решении проблемы.

 

Опрос экспертов

Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме.

Проведение опроса является основным этапом совместной работы групп управления и экспертов. На этом этапе решаются следующие задачи:

· решение организационно-методических вопросов;

· постановка задачи и предъявление вопросов экспертам;

· информационное обеспечение работы экспертов.

Вид опроса по существу определяет разновидность метода экспертной оценки. Основными видами опроса являются - анкетирование, интервьюирование, метод Дельфы, мозговой штурм, дискуссия. Выбор того или иного вида опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью информации и т.д.

Анкетирование представляет собой опрос экспертов в письменной форме с помощью анкет. В анкете содержаться вопросы, которые можно классифицировать по содержанию и типу. По содержанию вопросы делятся на три группы: объективные данные об эксперте; основные вопросы по сути анализируемой проблемы; дополнительные вопросы.

По типу основные вопросы классифицируются на открытые, которые предполагают ответ в произвольной форме; закрытые, на которые ответ может быть дан в виде «да», «нет», «не знаю» и с веером ответов, из которых нужно выбрать один.

Интервьюирование - это устный опрос, проводимый в форме беседы - интервью. Для подготовки беседы интервьюер разрабатывает вопросы эксперту. Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы и уметь слушать.

Метод Дельфы представляет собой многоуровневую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу.

Мозговой штурм представляет собой групповое обсуждение с целью получения новых идей, вариантов решения проблемы. Мозговой штурм часто называют мозговой атакой, методом генерации идей. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудовых тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний.

Дискуссия. Этот вид экспертизы широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п. Для проведения дискуссий формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач и методики проведения дискуссии.

Рассмотренные виды опроса дополняют друг друга и в определенной степени являются взаимозаменяемыми.