Общий алгоритм проверки статистической гипотезы

Основные понятия.

Определение 1. Статистической гипотезой Н называют любое предположение относительно параметров или закона распределения случайной величины Х, проверяемое по выборке x₁, …, x_n.

Определение 2. Проверяемую гипотезу назовем нулевой и обозначим Н₀. Гипотезу, противоположную нулевой, назовем альтернативной и обозначим через Н₁.

Определение 3. Гипотеза называется простой, если она однозначно определяет параметр или распределение случайной величины Х. В противном случае статистическая гипотеза является сложной.

П р и м е р. Статистическая гипотеза: «параметр распределения Пуассона l равен 1», является простой гипотезой, поскольку однозначно определяет и параметр, и распределение СВ. Приняв данную гипотезу за нулевую Н₀, сформулируем альтернативную (Н₁): «параметр распределения Пуассона l не равен 1», которая является сложной.

Целью данного раздела является изложение методов проверки соответствия полученной выборки (эксперимента) выдвинутой гипотезе Н₀.

Рассмотрим схему проверки статистической гипотезы.

Выбирается статистика Y = f(x₁, x₂, …, x_n) (критерий), для которой известно условное распределение относительно проверяемой гипотезы Н₀. Область значений статистики Y разбивают на два непересекающихся подмножества (критическую область и область принятия гипотезы) таким образом, что если гипотеза Н₀ верна, то практически невозможным является событие, заключающееся в том, что значение Y_Э = f(x₁, x₂, …, x_n), соответствующее эксперименту, попадет в критическую область. Поэтому, если значение критерия, соответствующее экспериментальным данным, попадет в критическую область, то гипотеза Н₀ отвергается, и принимается гипотеза Н₁. Если указанные значения критерия попадут в область принятия гипотезы, то эксперимент согласуется с выдвинутой гипотезой и нет оснований ее отвергнуть.

Определение 4. Правило, по которому статистическая гипотеза принимается или отвергается, называется статистическим критерием.

Определение 5. Область реализаций статистического критерия G называется областью принятия гипотезы, если при попадании в нее значений у статистики Y гипотеза Н₀ принимается.

Определение 6. Область реализаций статистического критерия называется критической областью, если при попадании в нее значений у статистики Y гипотеза Н₀ отвергается.

Повторим основной принцип проверки статистических гипотез: если экспериментальное значение критерия принадлежит критической области, гипотезу отвергают; если экспериментальное значение критерия принадлежит области принятия гипотезы, то гипотезу принимают.

Поскольку при проверке гипотезы полагаем некоторое событие невозможным с некоторым приближением, то возможны следующие ситуации:

Если отвергается верная гипотеза, то говорят – допущена ошибка 1-го рода.

Если принимается неверная гипотеза, то говорят – допущена ошибка 2-го рода.

Определение 7. Вероятность a допустить ошибку первого рода называется значимостью критерия.

Традиционно значения a берутся достаточно малыми – 0,001; 0,01; 0,025; 0,05. Чем больше значение a, тем более «жесткую» проверку проходит статистическая гипотеза. Само значение числа a, например 0,05, можно интерпретировать следующим образом: в среднем в пяти случаях из ста правильная гипотеза будет отвергнута.

Рассмотрим в качестве примера сдачу зачета студентом. Выдвигается гипотеза: «Уровень знаний (определяемый некоторыми параметрами) студента соответствует зачетным требованиям». В данном случае ошибку первого рода преподаватель совершит, если в результате опроса «завалит» хорошего студента. Ошибкой второго рода будет проставление зачета «бездельнику и тунеядцу». Какая из ошибок будет иметь более тяжкие последствия, может из субъективных причин определить сам преподаватель (например, он может посоветоваться со своей совестью).

Вероятность ошибки второго рода обычно обозначается через b.

Значимость критерия a и формулировка альтернативной гипотезы Н₁ используются для построения критической области на множестве значений статистики Y. Например, гипотеза Н₀ состоит в том, что q = q₀, т.е. неизвестный параметр q равен определенному числу q₀. В качестве альтернативных гипотез можно выдвинуть следующие: 1) q > q₀, 2) q < q₀, 3) q ¹ q₀.

В первом случае (Н₁: q > q₀) критическая область определяется соотношением

= {y > y_кр},

где y_кр = у_{1 - a} - квантиль уровня 1 - a условного распределения статистики Y при условии, что справедлива гипотеза Н₀. Такая критическая область называется правосторонней (см. рис. 1).

G yкр Y

Рис. 1.

Во втором случае (Н₁: q < q₀) для определения критической области используется равенство

= {y < y_кр},

где y_кр = у_a - квантиль уровня a распределения . Такая критическая область называется левосторонней (см. рис. 2).

yкр G Y

Рис.2.

Если альтернативная гипотеза Н₁ состоит в том, что q ¹ q₀, критическая область будет располагаться на обоих «хвостах» распределения СВ Y и определяется из условия:

= {y < y_кр.1} È {y > y_кр.2},

где y_кр.1 = у_a/2, y_кр.2 = у_{1 - a/2}.

Критическая область в этом случае называется двусторонней (рис. 3).

G   yкр.1 yкр.2 Y

Рис.3.

Построение критической области в какой-то степени похоже на построение доверительного интервала. Однако, существенным отличием критической области от доверительного интервала является то, что если при построении доверительного интервала используется только доверительная вероятность и специально подобранная СВ, то при построении критической области учитывается и уровень значимости критерия a и вероятность ошибки второго рода b.

Так, если в рассмотренном выше примере сдачи зачета студентом добросердечный и слабохарактерный преподаватель снизит требования, предъявляемые к знаниям студентов, то он, конечно, снизит вероятность «завалить» хорошего студента, но, с другой стороны, многие лодыри останутся ненаказанными. Если же преподаватель – человек сильный духом и придерживается строгих правил, то с пустыми зачетками уйдут не только бездельники, но и многие из тех, кто регулярно и добросовестно делал попытки обучиться.

Таким образом, при построении критической области должен достигаться некоторый компромисс. Обычно поступают следующим образом: выбирается некоторое значение a и строится критическая область так, чтобы ошибка второго рода была минимально возможной.

Замечание 1. В математической статистике помимо вероятности ошибки второго рода b рассматривается вероятность 1 - b того, что ошибка второго рода не произойдет. Величина 1 - b называется мощностью критерия.

Замечание 2. Единственный способ одновременного уменьшения вероятностей ошибок первого и второго рода состоит в увеличении объема выборки.

Общий алгоритм проверки статистической гипотезы.

1) Формулируется нулевая Н₀ и альтернативная Н₁ гипотезы.

2) Выбирается из субъективных соображений уровень a.

3) Выбирается статистика Y для проверки гипотезы Н₀.

4) Строится условное распределение СВ Y при условии, что гипотеза Н₀ верна.

5) Строится критическая область при уровне значимости a из условия минимума b или максимума (1 - b) – мощности критерия.

6) Собирается выборка х₁, х₂, …, х_n и вычисляется экспериментальное или наблюдаемое значение у_набл = у(х₁, …, х_n) СВ Y.

7) Если у_набл Î , то гипотезу Н₀ следует отвергнуть, если у_набл Î G, то нет оснований отвергнуть гипотезу Н₀ и ее следует принять.