Техника экспертного метода. Сопоставление

Методические указания к выполнению домашнего задания по дисциплине «Квалиметрия».

Построение дерева свойств. Описание ситуации оценивания

 

Выполнить описание ситуации оценивания и построить иерархическое дерево свойств объекта.

 

Качество продукции – совокупность свойств и характеристик продукции или услуги, которые придают им способность удовлетворять обусловленные или предполагаемые потребности.

Каждый показатель качества, являясь количественной характеристикой одного из

свойств объекта, должен отражать способность этого объекта удовлетворять общественные потребности в конкретных условиях. Таким образом, при формировании (введении) любого показателя качества необходимо учитывать следующие компоненты качества:

       -общественную потребность;

       -конкретные условия применения или эксплуатации объекта;

       -степень удовлетворения потребности.

       Показатель качества должен давать ответ на вопрос: в какой степени рассматриваемый объект (явление) обладает свойством (способностью) удовлетворять общественную потребность (интерес, ценность)?

       Показатели качества делятся на единичные и комплексные. Единичные показатели

относятся к одному из свойств продукции, определяющих качество, а комплексные – сразу к нескольким.

При построении дерева свойств следует соблюдать определенные правила. Основные из них:

1. Необходимость и достаточность числа свойств в группе.
2. Единый признак деления для свойств в группе.
3. Независимость по предпочтению свойств в группе.
4. Минимум свойств в группе.
5. Случайный характер расположения свойств в группе.
6. Недопустимоcть объединения свойств в группу по методу их измерения.

Составление описания ситуации оценивания - первый этап построения дерева свойств.

Основные элементы ситуации оценивания:

1.  Определение однородных групп потребителей, т.е. лиц, предъявляющих одинаковые требования к оцениваемой продукции
2.  Определение основных потребителей, с чьих позиций будет разработана методика оценки качества
3.  Определение однородной группы объектов, подлежащих оцениванию, этапов существования этих объектов, указание на свойства объектов, наиболее важные на этих этапах. Указание на особые условия, в которых происходит эксплуатация объектов оценивания
4.  Указание на лучшие объекты, предназначенные для выполнения тех же функций, что и оцениваемые объекты (в случае, если в целью оценки является обеспечение высокой конкурентоспособности продукции)
5.  Определение цели оценивания, или, что то же самое, набора решений, которые могут быть приняты в отношении оцениваемых объектов при различных значениях оценки

Задание:

1. В качестве объекта экспертизы предлагается кухонный гарнитур для малогабаритной кухни (7-9 кв.м.).
2. Выбрать объект группу потребителей, предъявляющих одинаковые требования к объекту экспертизы.. Согласовать выбор с преподавателем.
3. Выполнить описание ситуации оценивания (СО), учитывая все требования к нему и необходимые разделы
4. Сформировать номенклатуру единичных показатели качества. По каждому показателю указать, отвечает ли данный показатель на вопрос: в какой степени рассматриваемый объект (явление) обладает свойством (способностью) удовлетворять потребность потребителей указанной в СО группы (интерес, ценность)?
5. Определить качественные характеристики показателей качества (в единицах физических величин или в безразмерных единицах).
6. Разработать шкалы для определения всех единичных показателей качества.
7. Построить иерархическое дерево свойств объекта.

 

Результаты оформить в виде таблицы или в виде иерархической структуры

Техника экспертного метода. Сопоставление

       В рамках этого задания предлагается оценить кухонный гарнитур в целом, по внешнему виду, на основании приведенных в приложении рисунков.

       Для оценивания следует применить метод двойного попарного сопоставления.

Сопоставление лежит в основе многих методов оценки, в том числе ранжирования. Сопоставление бывает последовательным и попарным.

Попарное сопоставление - когда измеряемые величины сначала сравниваются между собой попарно, и для каждой пары результат сравнения выражается в форме «больше-меньше» или «лучше-хуже» - самое простое и наиболее оправданное с психологической точки зрения. При попарном сопоставлении возможны варианты, когда допускается равноценность объектов, и когда не допускается (строгое превосходство). Способы выражения мнений экспертов могут быть разными, например:

[ 0; 1 ], [ -1; 1 ] и т.п. – когда не допускается равенство предпочтений;

[ -1; 0; 1 ], [ 0; 1; 2 ] и т.п. – когда допускается равенство предпочтений.

Возможен вариант, когда предпочтение выражается указанием номера предпочтительного объекта.

По результатам экспертизы составляется матрица предпочтений. На рисунке показана матрица для варианта выражения предпочтений [ -1; 0; 1 ] при оценивании 6 объектов (рекомендуется для выполнения настоящего задания).

 

		j
i		1	2	3	4	5	6	Итого
	1	0	1	-1	1	1	1	3
	2	-1	0	-1	0	1	0	-1
	3	1	1	0	1	1	1	5
	4	-1	0	-1	0	1	0	-1
	5	-1	-1	-1	-1	0	-1	-5
	6	-1	0	-1	0	1	0	-1

В каждой ячейке матрицы указано предпочтение R_i^j – предпочтение объекта i относительно объекта j: например, R₁³ = -1 означает, что из пары 1 и 3 предпочтителен 3 объект.

При однократном попарном сопоставлении эксперт заполняет правый верхний угол диаграммы, сравнивая последовательно объекты: 1 и 2, 1 и 3, 1 и 4…, 2 и 3, 2 и 4…. и так далее, до 5 и 6.

Нижний левый угол заполняется соответствующими значениями, исходя из уже заполненной части матрицы: если R₁³ = -1, то R₃¹ = 1.

Между тем известно, что из пары объектов человек чаще выбирает тот, который в этой паре первый. Поэтому часто используют двойное попарное сопоставление, которое обладает более высокой надежностью, чем однократное.

Для этого используют свободную часть таблицы (левый нижний угол) и проводят попарное сопоставление два раза. Каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечение некоторого времени.

Так удается иногда избежать случайных ошибок, и кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. 

Оценить внутреннюю непротиворечивость каждого эксперта можно, вычислив величину

 

где С – общее число суждений эксперта (количество сравнений); n – число сравниваемых объектов, k – количество не совпадающих предпочтений.

Надо отметить, что дальнейшая работа с результатами экспертизы возможно только после исправления данных каждого эксперта, т.е. до n = 0.

       По величине суммы предпочтений можно построить ранжированный ряд (оценка по шкале порядка), или определить относительные оценки объектов по шкале отношений.

В последнем случае следует преобразовать полученные результаты (суммы предпочтений) так, чтобы исключить отрицательные значения.

 

       При объединении индивидуальных оценок экспертов и получении обобщенного результата экспертизы следует в первую очередь убедиться в том, что данные экспертов достаточно согласованы. Для характеристики согласованности группы индивидуальных ранжировок наиболее часто применяют коэффициент конкордации Кендэлла:

где где: S_i — сумма рангов, полученных данным объектом во всех ранжировках; S_ср —средняя сумма рангов, полученная одним объектом; т — число экспертов; п — число ранжируемых объектов.  

При W = 0 - полная несогласованность; W = 1 - полная согласованность. .При коэффициенте менее 0,3 мнения экспертов считают практически несогласованными. В диапазоне от 0,3 до 0,7 согласованность считают средней. Согласованность группы высока при W > 0,7.

При низкой согласованности следует определить экспертов, мнения которых разрыхляют результат экспертизы (еретиков). Для определения еретических ранжировок следует последовательно исключать из общей совокупности по одной ранжировке и рассчитывать для оставшихся коэффициент конкордации. Если при исключении ранжировки какого-либо эксперта значение коэффициента возрастает, то этот эксперт, вероятно, является еретиком.

Такое разногласие экспертов, когда мнение одного или нескольких не совпадает с мнением группы в целом, называют несогласованностью по типу еретиков. Вместе с тем возможны случаи, когда еретики образуют группу, ранжировки которой заметно отличаются от других, но достаточно согласованы между собой. Такое разногласие называют несогласованностью по типу школы. Выявить школы можно, анализируя изменение коэффициента конкордации, либо применяя другие методы определения согласованности.

       Так, например, возможно определение взаимной согласованности двух ранжировок. Для этого можно применить коэффициент ранговой корреляции Спирмена.

Здесь где х_j и у_j - ранги, установленные двумя экспертами для одного объекта; n — число объектов.Значение коэффициента p = 1 соответствует значительной близости суждений экспертов;  0 - отсутствие связи между суждениями;  -1 - противоположность суждений.

Согласованность в отношении какого-либо объекта А (например, лучшего) можно оценить величиной частостиприсвоения этому объекту ранга 1 (частость максимально возможных оценок для объекта):

При наличии несогласованности обобщение индивидуальных результатов невозможно. В этом случае следует принять меры к устранению (уменьшению степени) несогласия, вплоть до переформирования экспертной группы.

       С случае удовлетворительной согласованности индивидуальных ранжировок возможно выполнить их обобщение. Известны несколько способов обобщения ранжировок: 

1. По возрастанию суммы рангов

2.  Наиболее вероятная ранжировка

3.  Алгоритм выделения лидера (аутсайдера)

4.  Алгоритм перехода границы

5.  Алгоритм выбора наиболее согласованно проранжированных объектов

 

Наиболее простой способ – по возрастанию суммы рангов. При таком алгоритме обобщения следует рассчитать сумму рангов для каждого объекта, полученных отдельными экспертами, и на основании полученных данных построить обобщенный ранжированный ряд.

Надо иметь в виду, что разные объекты могут иметь как одинаковое число предпочтений, так и одинаковые суммы рангов. Если эксперт присваивает одинаковый ранг нескольким показателям (такой ранг называется связанным), то для оценки используют ранги, равные среднему арифметическому значению мест, которые должны занимать показатели (такие ранги называют нормализованными, или средними)

 

При выполнении задания следует:

Каждому студенту группы (подгруппы):

1. Используя метод двойного попарного сопоставления, заполнить индивидуальную матрицу предпочтений.

2. Проверить результат оценки на внутреннюю непротиворечивость и откорректировать данные при необходимости.

3. По данным оценивания построить индивидуальный ранжированный ряд, а также выполнить сравнительную оценку объектов по шкале отношений.

Всем студентам группы (подгруппы):

1. Определить согласованность полученных индивидуальных ранжировок

2. Определить наличие еретиков или школ. При их наличии принять меры для устранения несогласованности.

3. Отдельно оценить согласованность в отношении лучшего из объектов.

4. Построить обобщенную ранжировку.

5. Сформулировать выводы (заключение) о проведенной экспертизе.