Статистические эксперименты. Ошибки первого и второго рода

Я тут писал, как эксперимент может подтвердить гипотезу или однозначно опровергнуть её - но в большинстве случаев всё сложнее. Если речь идёт о какой-нибудь строго определённой зависимости, вроде закона всемирного тяготения (как говорят учёные - детерминированной зависимости), эксперимент подтверждает гипотезу, когда зависимость выполняется. Когда зависимость не выполняется - гипотеза опровергнута. Причём подтверждение ничего не значит - оно может относиться только к частному случаю. А вот любое опровержение сразу опровергает всё предположение об универсальности закона.

Но, например, в психологии однозначных зависимостей в принципе не существует - только неоднозначные, которые можно описывать с точки зрения теории вероятностей. Да и в физике, строго говоря, есть такое понятие как ошибка измерения, так что там вероятности тоже используются. Так что и гипотезы, которые нужно проверить в эксперименте, оказываются связаны с вероятностями и случайностями.

Но как можно подтвердить или опровергнуть гипотезу о вероятностях? В математической статистике есть целый раздел, посвящённый этому. Называется - проверка статистических гипотез. Там много весёлых формул, но я попытаюсь рассказать, в чём суть, кратко и без них.

В результате эксперимента со случайными величинами мы получаем некий результат, на основании которого не можем уверенно опровергнуть гипотезу (а тем более - уверенно её подтвердить). Гипотеза подтверждается или опровергается с некой вероятностью. Таким образом, возможны два вида ошибок:

- ошибка первого рода - принять неверную гипотезу;

- ошибка второго рода - опровергнуть верную гипотезу.

В отличие от экспериментов с детерминированными системами, где, обычно, возможна только ошибка первого рода, а ошибка второго рода считается невозможной.

Задача экспериментатора - минимизировать и вероятность ошибки первого рода, и вероятность ошибки второго рода. Но как это сделать?           

Статистические гипотезы бывают нулевые и альтернативные. Нулевая гипотеза всегда проще: она говорит, что что-то чему-то равно, что-то от чего-то независимо, что-то чему-то соответствует. Примеры нулевых гипотез:

- математическое ожидание величины А равно нулю, то есть она представляет собой случайный шум;

- величины B и C не зависят друг от друга;

- величина D имеет нормальное распределение.

Альтернативная гипотеза - это отрицание нулевой гипотезы. Иначе говоря, если мы отвергаем нулевую гипотезу, то принимаем альтернативную, и наоборот.

Альтернативная гипотеза - всегда более сложная, чем нулевая, и содержит неизвестные загадочные дополнительные параметры. Примеры альтернативных гипотез:

- математическое ожидание величины А больше нуля, то есть в неё вносит вклад некое систематическое возмущение (чему оно равно?);

- между величинами B и C есть положительная (или отрицательная) корреляция (чему она равна?);

- величина D имеет распределение, которое отличается от нормального (какое именно?).

Исследователь может проверять нулевую гипотезу, а может и альтернативную - тут уж как получится. Альтернативные гипотезы - более загадочные и интересные, поскольку преполагают существование неизвестных нам величин и зависимостей. Но они добавляют исследователю дополнительную головную боль, поскольку, раз уж мы выяснили, что эти величины и зависимости существуют, их теперь нужно найти, оценить на основе наблюдаемых данных. А потом, когда они найдены, исследователь может вновь сформулировать нулевую гипотезу, основываясь на этих величинах и зависимостях - уже фиксированных, известных.

Но математическая теория статистических гипотез так устроена, что проверять нулевую гипотезу проще, чем альтернативную. Просто математический аппарат при этом проще. Поэтому мы всегда предполагаем, что проверяется нулевая гипотеза, не содержащая неизвестных величин. Суть проверки от этого не меняется, поскольку, отвергая нулевую гипотезу, мы принимаем альтернативную, и наоборот.

В этом случае, ошибка первого рода - принять неверную гипотезу, то есть утверждать равенство, фиксированное значение, независимость, когда на самом деле его нет.

Ошибка второго рода - отвергнуть верную гипотезу, то есть предполагать наличие некоего неизвестного возмущающего влияния, когда его на самом деле нет.

Но проблема в том, что устранить сразу обе ошибки нереально. Если мы пытаемся уменьшить вероятность ошибки первого рода, мы отбраковываем гипотезу чаще и тем самым увеличиваем вероятность ошибки второго рода. И наоборот: если мы пытаемся уменьшить вероятность ошибки второго рода, мы отбраковываем гипотезу реже, а чаще ее принимаем и тем самым увеличиваем вероятность ошибки первого рода.

Единственный способ уменьшить обе вероятности --- увеличивать количество наблюдений (то есть размер выборки). Когда размер выборки растет, все статистические критерии становятся более точными, то есть падает вероятность и ошибки первого рода, и ошибки второго рода.

Вероятность ошибки второго рода посчитать легче, чем первого, поскольку она основывается на том, что нулевая гипотеза верна, то есть что выполняется некое равенство, а на основе этого равенства проще посчитать вероятность. Поэтому, обычно, при проверке гипотез устанавливают фиксированную вероятность ошибки второго рода b. Величина 1-b называется уровнем значимости.

Конечно, чем больше уровень значимости, тем лучше - меньше вероятность ошибки второго рода. Но, если мы при маленькой выборке возьмем уровень значимости 99,999%, мы получим слишком большую вероятность ошибки первого рода. Поэтому, обычно, для маленьких выборок берут небольшие уровни значимости. В психологии самый популярный уровень - 95%, что соответствует вероятности ошибки второго рода 5%. Хотя в серьезных научных исследованиях часто ставят 99%. В физике, скажем, выборки намного больше - все-таки число физических объектов в мире намного больше числа добровольцев, готовых участвовать в психологических экспериментах. Поэтому физики могут себе позволить уровень значимости 99% или даже 99,9% (а нередко и выше).

Конечно, вероятность 5% означает, что иногда - примерно в 1 эксприменте из 20 - ошибка второго рода будет допущена. Но на то и нужна повторяемость экспериментов! Повторные эксперименты быстро помогут найти ошибку.