Эксперимент по оценке точности

8.4.1 Основные требования

Эксперимент по оценке точности должен проводиться в соответствии с общими правилами, изложенными в ГОСТ Р ИСО 5725-1.

Процедуры выполнения измерений для обоих методов должны быть документально оформлены в существенных деталях, чтобы избежать неправильного их толкования лабораториями-участниками. В ходе выполнения эксперимента не допускаются какие-либо видоизменения его процедуры.

Участвующие в эксперименте лаборатории должны образовывать представительную выборку из числа потенциальных пользователей метода.

8.4.2 Пробы для испытаний

На прецизионность многих методов измерений оказывает влияние матрица образцов для испытаний, равно как и уровень измеряемой характеристики. Для таких методов сопоставление прецизионности лучше всего проводить на идентичных испытуемых пробах. Более того, сопоставление правильности методов можно осуществлять только при использовании идентичных проб. По этой причине связь между рабочими группами, проводящими эксперименты по оценке точности каждого метода, должна достигаться путем назначения общего ответственного исполнителя.

Основное требование к пробе для испытаний заключается в том, что она должна быть гомогенной, то есть каждая лаборатория должна использовать идентичные образцы для испытаний. Если имеются предположения, что образец может быть внутри неоднородным, в документ должны быть включены четкие указания по отбору и подготовке проб для испытаний. Определенные преимущества дает использование стандартных образцов (СО) в качестве нескольких проб для испытаний. Гомогенность СО гарантируется, и результаты измерений этим методом могут исследоваться на предмет установления систематической погрешности по отношению к аттестованному значению СО. Недостатком, как правило, является высокая стоимость СО. Во многих случаях это можно преодолеть путем перераспределения экземпляров СО. Что касается методики использования СО в качестве проб для испытаний - см. ИСО Руководство 33 [7].

8.4.3 Количество проб для испытаний

Количество испытуемых проб определяется диапазоном измеряемой характеристики, а также обусловлено зависимостью точности измерений от уровня. Во многих случаях количество испытуемых проб ограничивается предусмотренным объемом работы и наличием пробы для испытаний на требуемом уровне.

8.4.4 Количество лабораторий и количество измерений

8.4.4.1 Общие сведения

Количество лабораторий и количество измерений из расчета на лабораторию, необходимые для выполнения программы межлабораторного эксперимента применительно к обоим методам, зависят от:

a) прецизионности двух методов;

b) поддающегося обнаружению соотношения r или j между показателями прецизионности двух методов; это минимальное отношение показателей прецизионности, которое экспериментатор должен стремиться выявить с высокой вероятностью на основании результатов экспериментов с использованием двух методов; прецизионность может быть представлена либо в виде стандартного отклонения повторяемости (и тогда соотношение выражается через r), либо в виде квадратного корня из средних квадратов показателей межлабораторной воспроизводимости (и тогда соотношение выражается через j);

c) поддающейся обнаружению разности l, между систематическими погрешностями двух методов (это минимальное значение разности между ожидаемыми значениями результатов, получаемых двумя методами на идентичных образцах).

Рекомендуется, чтобы для сравнения оценок прецизионности использовался уровень значимости, равный a = 0,05, и чтобы вероятность необнаружения выбранного минимального соотношения стандартных отклонений, или минимальной разности l между систематическими погрешностями методов была равна b = 0,05.

При данных значениях a и b для определения разности l может быть использована следующая формула

                         (13)

где А и В - подстрочные индексы, относящиеся к методам А и В соответственно;

s_L² - межлабораторная дисперсия, учитывающая различия между операторами и оборудованием;

s_r² - дисперсия повторяемости (оценивается средним арифметическим значением внутрилабораторных дисперсий);

n - количество результатов измерений, полученных в одной лаборатории на одном уровне;

p - количество лабораторий, участвующих в межлабораторном эксперименте. В большинстве случаев прецизионность метода В неизвестна. Тогда в качестве заменяющей величины следует использовать прецизионность метода А, что даст

                      (14)

Экспериментатор должен подставлять в уравнения (13) или (14) значения n _А, n_B, p_A и p_B до тех пор, пока не будут найдены значения, которые достаточны для подтверждения необходимого значения l. Следует принять во внимание значения этих параметров при постановке адекватного эксперимента с целью сравнения оценок прецизионности.

В таблице 14 представлены минимальные отношения стандартных отклонений для заданных выше значений a и b в зависимости от числа степеней свободы n_A и n_B.

Для стандартных отклонений повторяемости

n _A = p_A(n_A - 1) и n _B = p_B(n_B - 1).

Для межлабораторных средних квадратов

n _A = p_A - 1 и n _B = p_B - 1.

Если прецизионность одного из методов хорошо обоснована, следует считать, что число степеней свободы в таблице 14 равно 200.

8.4.4.2 Пример. Определение содержания железа в железных рудах

8.4.4.2.1 Общие положения

Рассматривают два аналитических метода определения суммарного содержания железа в железных рудах. Предполагается, что они характеризуются одинаковой прецизионностью:

s_rA = s_rB = 0,1 % Fe

s_LA = s_LB = 0,1 % Fe.

8.4.4.2.2 Требования

l = 0,4 % Fe

r = j = 4.

Минимальное количество лабораторий, необходимых для каждой программы межлабораторного эксперимента, рассчитывают в предположении, что число лабораторий и параллельных определений одинаково

р_А = р _B и п_А = п _B = 2.

a) Исходя из требований к правильности при l = 0,4 % Fe и n = 2 формула (14) имеет вид

Отсюда

p_A = p_B = 9.

b) Исходя из требований к соотношению показателей прецизионности двух методов следует, что при r = 4 или j = 4 из таблицы 14 получается

n_A = n_B = 9.

Для сравнения стандартных отклонений повторяемости

n_A = p_A и n_B = p_B, поэтому p_A = p_B = 9.

Для сравнения межлабораторных средних квадратов

n_A = p_A - 1 и n_B = p_B - 1, поэтому p_A = p_B = 10.

8.4.4.2.3 Выводы

Минимальное количество лабораторий-участниц, необходимое для выполнения каждого межлабораторного эксперимента, равно 10.

8.4.5 Распределение проб для испытаний

Ответственный исполнитель по межлабораторной программе испытаний должен взять на себя функцию организации получения, приготовления и распределения проб (образцов) для испытаний. Необходимо обеспечить получение проб лабораториями-участницами в хорошем состоянии и четко идентифицированными. Лаборатории-участницы должны быть проинструктированы относительно того, что анализ проб должен выполняться на одной и той же (например, на сухой) основе (например, проба высушивается перед взвешиванием при температуре 105 °С в течение x часов).

8.4.6 Лаборатория, принимающая участие в эксперименте

Лаборатория, принимающая участие в эксперименте, должна назначить из своего состава сотрудника, ответственного за соблюдение указаний координатора. Сотрудник должен быть квалифицированным аналитиком. Чтобы предотвратить получение неправдоподобно низкой оценки стандартного отклонения метода, необходимо избегать назначения в качестве ответственного наиболее квалифицированных сотрудников (например, исследовательского персонала или «лучшего» оператора). Назначенный сотрудник должен выполнить требуемое количество измерений в условиях повторяемости. Лаборатория несет ответственность за сообщение результатов измерений координатору в течение установленного периода времени.

Таблица 14 - Значения r(n_A, n_B, a, b) или j(n_A, n_B, a, b) для a = 0,05 и b = 0,05

nB	nA
	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	25	50	200
6	5,82	5,40	5,10	4,88	4,72	4,58	4,47	4,38	4,31	4,24	4,19	4,14	4,09	4,06	4,02	3,89	3,65	3,47
7	5,40	4,99	4,71	4,50	4,34	4,21	4,10	4,01	3,94	3,88	3,82	3,78	3,74	3,70	3,67	3,54	3,30	3,13
8	5,10	4,71	4,43	4,23	4,07	3,94	3,84	3,76	3,68	3,62	3,57	3,52	3,48	3,45	3,41	3,29	3,06	2,89
9	4,88	4,50	4,23	4,03	3,87	3,75	3,65	3,56	3,49	3,43	3,38	3,33	3,29	3,26	3,23	3,11	2,88	2,71
10	4,72	4,34	4,07	3,87	3,72	3,59	3,50	3,41	3,34	3,28	3,23	3,19	3,15	3,11	3,08	2,96	2,73	2,57
11	4,58	4,21	3,94	3,75	3,59	3,47	3,38	3,29	3,22	3,16	3,11	3,07	3,03	2,99	2,96	2,85	2,62	2,45
12	4,47	4,10	3,84	3,65	3,50	3,38	3,28	3,20	3,13	3,07	3,02	2,97	2,93	2,90	2,87	2,75	2,52	2,36
13	4,38	4,01	3,76	3,56	3,41	3,29	3,20	3,12	3,05	2,99	2,94	2,89	2,85	2,82	2,79	2,67	2,44	2,28
14	4,31	3,94	3,68	3,49	3,34	3,22	3,13	3,05	2,98	2,92	2,87	2,83	2,79	2,75	2,72	2,60	2,38	2,21
15	4,24	3,88	3,62	3,43	3,28	3,16	3,07	2,99	2,92	2,86	2,81	2,77	2,73	2,69	2,66	2,55	2,32	2,15
16	4,19	3,82	3,57	3,38	3,23	3,11	3,02	2,94	2,87	2,81	2,76	2,72	2,68	2,64	2,61	2,50	2,27	2,10
17	4,14	3,78	3,52	3,33	3,19	3,07	2,97	2,89	2,83	2,77	2,72	2,67	2,63	2,60	2,57	2,45	2,22	2,05
18	4,09	3,74	3,48	3,29	3,15	3,03	2,93	2,85	2,79	2,73	2,68	2,63	2,60	2,56	2,53	2,41	2,18	2,01
19	4,06	3,70	3,45	3,26	3,11	2,99	2,90	2,82	2,75	2,69	2,64	2,60	2,56	2,53	2,50	2,38	2,15	1,98
20	4,02	3,67	3,41	3,23	3,08	2,96	2,87	2,79	2,72	2,66	2,61	2,57	2,53	2,50	2,46	2,35	2,12	1,95
25	3,89	3,54	3,29	3,11	2,96	2,85	2,75	2,67	2,60	2,55	2,50	2,45	2,41	2,38	2,35	2,23	2,00	1,82
50	3,65	3,30	3,06	2,88	2,73	2,62	2,52	2,44	2,38	2,32	2,27	2,22	2,18	2,15	2,12	2,00	1,75	1,56
200	3,47	3,13	2,89	2,71	2,57	2,45	2,36	2,28	2,21	2,15	2,10	2,05	2,01	1,98	1,95	1,82	1,56	1,32
Примечания

8.4.7 Сбор результатов измерений

Координатор программы выполнения измерений по каждому из методов организует сбор всех результатов в пределах приемлемого периода времени.

В обязанности координатора входит тщательное и критическое изучение результатов на предмет физических отклонений. Речь идет о результатах, которые вследствие объяснимых физических причин не принадлежат к тому же множеству, что и другие результаты измерений.

8.4.8 Оценка результатов измерений

Результаты измерений должны быть оценены квалифицированным специалистом по статистике, пользующимся процедурами, регламентированными в ГОСТ Р ИСО 5725-2.

Для каждой испытуемой пробы должны быть рассчитаны следующие величины:

s_rA - оценка стандартного отклонения повторяемости для метода А;

s_rB - оценка стандартного отклонения повторяемости для метода В;

s_RA - оценка стандартного отклонения воспроизводимости для метода А;

s_RA - оценка стандартного отклонения воспроизводимости для метода В;

 - общее среднее значение для метода А;

 - общее среднее значение для метода В.

8.4.9 Сравнение результатов для метода А и метода В

Результаты выполнения межлабораторных программ выполнения измерений сравнивают для каждого из уровней. Вполне возможно, что метод В будет иметь лучшую прецизионность и/или большую систематическую погрешность на более низких уровнях значений измеряемой характеристики, но худшую прецизионность и/или меньшую систематическую погрешность на более высоких уровнях (или наоборот).

8.4.9.1 Графическое представление необработанных данных эксперимента

Для каждого уровня желательно иметь графическое представление необработанных данных. Иногда расхождение между результатами двух методов, выраженными через прецизионность и/или систематическую погрешность, настолько очевидно, что дальнейшая статистическая оценка становится ненужной.

Желательно также иметь графическое представление прецизионности и общих средних значений для всех уровней.

8.4.9.2 Сравнение прецизионности

8.4.9.2.1 Метод А является установленным стандартным методом.

Прецизионность метода А установлена надежно.

a) Внутрилабораторная прецизионность

Если

то нет оснований считать, что внутрилабораторная прецизионность метода В хуже, чем метода А.

Если

имеется основание считать, что внутрилабораторная прецизионность метода В уступает прецизионности метода А.

Здесь  представляет собой (1 - a)-квантиль c²-распределения с v_rB степенями свободы и

n _rB = p_B(n_B - 1).

b) Полная прецизионность

Если

то нет оснований считать, что среднеквадратичное отклонение межлабораторной воспроизводимости для метода В хуже (больше), чем для метода А.

Если

имеется основание считать, что среднеквадратичное отклонение воспроизводимости для метода В хуже, чем для метода А.

Здесь  представляет собой (1 - a)-квантиль c²-распределения с n_LB степенями свободы и

n _LB = p_B - 1.

8.4.9.2.2 Оба метода претендуют (являются кандидатами) быть новыми стандартными методами.

a) Внутрилабораторная прецизионность

Если

то нет оснований считать, что методы имеют различные значения внутрилабораторной прецизионности.

Если

то имеется основание считать, что метод В имеет лучшую внутрилабораторную прецизионность, чем метод А. Если

имеется основание считать, что метод В имеет худшую внутрилабораторную прецизионность, чем метод А.

Здесь F_a/2(v_rA,v_rB) и F_(1-a/2)(v_rA,v_rB) представляют собой a/2- и (1 - a/2)-квантили F-распределения со степенями свободы числителя n_RA и знаменателя n_RB, причем

n _rA = p_A(n_A - 1),

n _rB = p_B(n_B - 1).

b) Полная прецизионность

Если

то нет оснований считать, что методы имеют различные значения межлабораторной прецизионности.

Если

то имеется основание считать, что метод В имеет лучшую полную прецизионность, чем метод А.

Если

то имеется основание считать, что метод В имеет худшую полную прецизионность, чем метод А.

F_a/2(v_RB,v_RA) и F_(1-a/2)(v_RB,v_RA) представляют собой a/2- и (1 - a/2)-квантили F-распределения со степенями свободы числителя n_RB и знаменателя n_RA, при этом

n _LA = p_A - 1,

n _LB = p_B - 1.

Примечание 5 - Во многих таблицах приводятся лишь (1 - a/2)-квантили F-распределения. В данном случае для нахождения a/2-квантилей могут быть использованы следующие зависимости:

8.4.9.3 Сравнение правильности

8.4.9.3.1 Сравнение среднего значения с аттестованным значением стандартного образца

Общее среднее значение результатов измерений, полученное каждым методом, может быть сравнено с аттестованным значением стандартного образца, используемого в качестве одной из испытуемых проб. При этом можно использовать следующую проверку:

а) если

то разность между общим средним значением результатов, полученных данным методом, и аттестованным значением не является статистически значимой;

b) если

то разность между общим средним значением результатов, полученных данным методом, и аттестованным значением является статистически значимой.

При этом существуют две возможности:

1) если

то нет оснований считать, что метод измерений имеет неприемлемую систематическую погрешность;

2) если

то имеется основание считать, что метод измерений имеет неприемлемую систематическую погрешность.

Здесь d_m представляет собой минимальную разность между ожидаемым значением результатов, полученных данным методом, и аттестованным значением стандартного образца, которую экспериментатор стремится выявить с высокой вероятностью на основании результатов эксперимента.

8.4.9.3.2 Сравнение средних значений для методов А и В

a) Если

то разность между средними значениями для методов А и В не является статистически значимой.

b) Если

то разность между средними значениями для методов А и В является статистически значимой.

Здесь

При этом существуют две возможности:

1) если

то нет оснований считать, что разность между систематическими погрешностями двух методов является неприемлемой;

2) если

имеется основание считать, что разность между систематическими погрешностями двух методов является неприемлемой.

Здесь l представляет собой поддающуюся обнаружению разность между систематическими погрешностями методов.