Определение ситуации оценивания

Практически в любых опубликованных (и не опубликованных, но используемых на практике) методиках количественного оценивания качества игнорируется необходимость перед началом работы по созданию таких методик определять ситуацию оценивания. В результате, например, ни создатели, ни тем более пользователи этих методик не знают, в какой шкале (порядка, интервалов или отношений) будут получены численные результаты по оцениванию качества. На самом деле, в подавляющем большинстве случаев эти результаты выражены в шкале порядка, что резко сокращает набор арифметических операций, которые можно производить с этими результатами. Соответственно сужается и сфера использования таких результатов (например, нельзя их применять для стимулирования улучшения качества продукции и услуг). Но пользователи и разработчики методик стараются расширить сферу их применения (что психологически понятно) и рекомендуют действовать так, как будто есть гораздо более информативная (но и гораздо более трудоемкая) шкала отношений. В результате, с помощью таких методик получают совершенно недостоверную информацию, касающуюся оценивания качества.

Для исключения этого недостатка разработчики методики оценивания качества должны перед началом работы получить ответы на три группы вопросов, уточняющие условия:

1. применения объектов оцениваемого типа;

2. использования вычисленных оценок качества;

3. разработки методики оценивания качества.

Ниже перечисляются некоторые (далеко не все!) из такого рода вопросов.

Нужно ли учитывать, кто (с точки зрения интеллектуальных и физических возможностей) будет эксплуатировать оцениваемый объект?

Каков уровень социальной иерархии того субъекта, с точки зрения которого будет производиться оценивание объекта?

Нужно ли учитывать так называемые патентно-правовые свойства?

Нужна ли в каждом конкретном случае максимальная точность оценки (имея в виду, что степень точности монотонно зависит от трудоемкости разработки и пользования методикой оценивания)?

Нужна ли сопоставимость оценок качества разных объектов? [4]

Построение дерева свойств. Всем понятно практически и обосновано теоретически, что оценки качества в очень сильной степени зависят от тех показателей (критериев) свойств, совокупность которых и образует модель качества оцениваемого объекта. Эта зависимость настолько велика, что вполне возможна следующая ситуация: при одном наборе показателей объект А будет лучше по качеству, чем объект Б. А при другом наборе - может быть наоборот: Б лучше А. Понятно поэтому, что набор показателей, по которым оценивается качество, должен быть как-то однозначно представлен (если и не стандартизирован). Более того, этот набор должен быть как-то упорядочен (декомпозирован) в некоторую иерархическую структуру (дерево свойств).

В противном случае, т. е. без соблюдения этих двух условий, применительно к одному и тому же объекту оценивания, могут получиться совершенно разные результаты - с точностью до наоборот. Т. е. измерение качества будет проводиться не "стальным, а резиновым метром". Это не столько вина разработчиков, сколько их беда, обусловленная незнанием того, как выбрать правильный набор показателей, обеспечивающий измерение "стальным метром". Многие даже и не подозревают о существовании такой проблемы. Например, еще в 70-е годы в одной из статей уважаемого экономического журнала говорилось: "Словом, тем или иным способом декомпозируем качество на отдельные свойства". Но как уже отмечалось, при такой произвольной декомпозиции вполне может возникнуть ситуация "резинового метра".

Чтобы противостоять этой опасности, в квалиметрии обоснован набор правил, следование которым гарантирует получение практически одинаковых деревьев свойств применительно к одному и тому же объекту, даже если эти деревья синтезировали разные люди независимо друг от друга (см., например, Стандарты и качество. - 1996. - № 11).

Так вот, в подавляющем большинстве случаев при оценивании качества эти правила построения деревьев не соблюдаются. А это значит, что "линейка", которой измеряют качество, отнюдь не стальная, и верить полученным с помощью такой "линейки" результатам можно только с большим опасением.

Например, весьма распространена ошибка, когда в дереве свойств оставляют только те показатели, которые являются наиболее важными. При этом ссылаются на то обстоятельство, что маловажные показатели почти не влияют на оценку качества именно в силу своей незначительности. Этот аргумент был бы справедлив, если бы речь шла о неучете только одного маловажного показателя свойства. Но в громадном большинстве случаев исключают из дерева свойств не одно, а очень много свойств. А суммарная важность всех этих свойств может быть весьма значительной, серьезно увеличивающей погрешность итоговой оценки качества.

Еще один (из очень многих) пример. Нередко, сравнивая по качеству два (или больше) варианта объекта одного типа, для уменьшения трудоемкости расчетов исключают из рассмотрения те свойства, которые в одинаковой степени выражены в сравниваемых вариантах. При этом трактуют результаты оценивания таким образом, как будто они выражены в шкале отношений (т. е. позволяют получить информацию не только на сколько один вариант отличается по качеству от другого, но и во сколько раз проявляется это различие). На самом же деле, при подобном исключении одинаково выраженных свойств обычно невозможно получить результаты оценивания не только в шкале отношений ("во сколько раз"), но и в шкале интервалов ("на сколько"). В этом случае оценки качества могут быть выражены только в шкале порядка, т. е. давать информацию о том, кто лучше по качеству, но не на сколько лучше и, тем более - не во сколько раз лучше.

Определение коэффициентов важности. Одна из распространенных ошибок при определении коэффициентов важности - ориентация только на технологию экспертного метода. На самом же деле, существуют и могут применяться (хотя и значительно реже) и аналитические (неэкспертные) методы определения таких коэффициентов. Причем обеспечивают большую точность оценки, чем методы экспертные. (Автором одного из таких методов, вероятно, впервые в мире изложенного на строго математической основе, был знаменитый русский механик и кораблестроитель академик А.Н. Крылов.)

Но и при использовании экспертных методов определения значений коэффициентов важности, из-за незнания основ методологии квалиметрии допускаются большие погрешности. Так, в немецкой методике "Варентест" коэффициенты весомости при их определении округляются до чисел, кратных 5%. Значит, для свойств относительно маловажных, коэффициенты весомости которых принимаются равными 5 или 10%, погрешность, вносимая в вычисления, за счет подобного использования огрубленных данных может достигать 50% и даже более.

И наконец, последнее по счету, но не по важности: при экспертном определении значений коэффициентов важности практически не встречаются методики, в которых бы содержались указания на погрешность, с которой вычислены эти коэффициенты. В то же время в теоретической квалиметрии [5] уже давно обоснованы расчетные формулы, с помощью которых можно решать взаимосвязанные задачи, например:

· задавшись доверительным интервалом и доверительной вероятностью, характеризующими желательную точность определения значений коэффициентов важности, определить необходимое число членов экспертной группы;

· зная число опрошенных экспертов, определить некоторые важные статистические характеристики результатов экспертного опроса (например, погрешность коллективной экспертной оценки).

Разумеется, есть и другие особенности грамотного применения экспертного метода, незнание которых приводит к понижению точности результатов, полученных с помощью экспертов. Но они здесь не рассматриваются.