Методы вычисления параметров регрессионной модели (МНК, МНП, метод моментов)

Модель регрессии в самом общем виде можно записать так: y = f(α, x)+ε,

где y – n-мерный вектор зависимых (эндогенных) переменных, X - m-мерный вектор независимых (экзогенных) переменных, ε – ошибка (допустимая погрешность) модели. α – искомый набор  параметров модели (коэффициенты при переменных Х). 

1) В случае 2 переменных (факторов) модель парной линейной регрессии выглядит так

где n – число наблюдений; а₀, а₁ – неизвестные параметры уравнения; e_i – ошибка случайной переменной Y.

Параметры a₀, a₁ надо как-то найти.

2) Простейшая многофакторная регрессия – линейная, из n линейных уравнений вида:

или, в матричной форме: Y=β X+ ε

3) Также может быть нелинейная зависимость (не сумма а более сложнее выражение)

Чтобы определить вид регрессии (линейная, нелинейная зависимость, число переменных) есть разные методы, в зависимости от ситуации и типа данных. Например, анализирует характер связи переменных X Y (есть или нет линейная/нелинейная корреляция), для чего вычисляется парный коэфф. корреляции между рядами-факторами. Например, для выяснения, стоит ли строить линейную 2-х-факторную модель регрессии, считают парный коэфф. корреляции  , где S – дисперсии рядов X,Y). Если этот коэффициент близок к +1, то имеет смысл искать модель в виде линейной регрессии типа Y=bx+a; если близок к -1, то в виде модели Y=b/x. Если коэфф. парной корреляции близок по модулю к 0, нет смысла строить модель линейную или, т.к. связь переменных отсутствует. Дополнительно в случае сомнения можно посчитать критерием Стьюдента значимость коэффициента парной линейной корреляции:    Если этот t_набл : | t_набл | > t_{крит (α, n- k )}  то есть смысл строить линейную парную регрессию, иначе – между факторами X и Y нет линейной корреляции, значит и нет смысла строить модель в виде линейной парной регрессии.

(здесь α – вероятность ошибки (обычно число 0,05-0,01), n – размер выборки Х (Y), k – число переменных Х в предполагаемой будущей линейной регрессии). 

Либо модель прикидывают на основе графика, или используют общетеоретические соображения. Или просто строят несколько моделей и сравнивают их по степени значимости.

Допустим с моделью определились и решили строить простейшую линейную модель регрессии (парную или множественную, в зависимости от числа независимых факторов).

Для оценки параметров регрессии используют 3 метода:

1. метод наименьших квадратов (МНК),
2. метод моментов,
3. метод максимального (наибольшего) правдоподобия (МНП).

Подробнее.

1) Метод наименьших квадратов (OSL) . – суть в том, чтобы найти параметры а _i регрессии , при которых минимальна дисперсия ошибка (т.е. параметры минимизирующие величину ∑(y_i - f(a, x_i))²

 (т.к. у хорошей модели эта ошибка (отклонение модели от значений выборки Y) мало (стремится к нулю).)

Найдя 1 и 2 производную эту функции от неизвестных параметров a, можно найти параметры, при которых дисперсия ошибки минимальна.

Параметры а₀ и а₁ оцениваются с помощью процедур, наибольшее распространение из которых получил метод наименьших квадратов. Его суть заключается в том, что наилучшие оценки ag и а, получают, когда

 т.е. сумма квадратов отклонений эмпирических значений зависимой переменной от вычисленных по уравнению регрессии должна быть минимальной. Сумма квадратов отклонений является функцией параметров а₀ и а₁. Для этого приравнивают производные по переменным a1, a0 от выражения  к нулю и ищут решение системы из 2- уравнений (в случае n числа факторов решают систему из n уравнений). Решения – параметры модели:

 и т.д.

Решая уравнения относительно переменных-параметров ai, можно их найти:

где дисперсия

В случае множественной регрессии формулы для расчета вектора параметров сложнее (применяется матричная алгебра), требуется проверить, отвечают ли исходные ряды данных ряду условий метода МНК. Но в принципе программно метод МНК тоже сравнительно легко реализуется.

В случае нелинейной парной и множественной регрессии ситуация с применением МНК для поиска параметров модели усложняется, т.к. надо попытаться преобразовать исходные данные для нелинейной модели вспомогательными расчетами к виду, позволяющему применить МНК, а после расчета параметров произвести обратный пересчет линейной модели в нелинейную, но в принипе задача тоже решаема.  

2. Метод моментов: для нахождения параметров моделиоценивается ∑ модулей, а не ∑ квадратов ошибок регрессии. метод хуже, т.к. им сложнее вычислить параметры…

3. Методе максимального правдоподобия (ML).

Ищут такие параметры регрессии, которые максимизируют т.н. функцию правдоподобия (плотность вероятности совместного появления результатов выборки всех Хi, Yi, т.е. вероятность одновременного появления событий (Хi, Yi) для всех i :

L(a , Y| Х )= p(a, Х , Y)= p(a, Х ₁ , Y₁)*p(a, Х ₂ , Y₂)*…*p(a , Х _m , Y_m)= .

Надо найти параметры a, максимизирующие эту функцию.

В случае пространственных рядов Y и отсутствия автокорреляции Y (Y независима от предыдущих своих значений в выборке) ошибка регрессии в каждой точке – нормально распределенная величина. т.е. описывается функцией нормального распределения: p(x)= ), х  R, σ >0.

Матожидание М(Y) = f(X) по понятным причинам, учитывая это минимизируем: L(α,Х,Y)=

Дифференцируют L по параметрам a и по σ, частные производные  приравнивают к нулю и из полученной системы уравнений находят параметры). Таким путем полученные оценки параметров a совпадают с параметрами, полученными методом МНК, только оценкой дисперсии ошибок будет иная величина: σ²_ML = σ²_OSL * n/(n-2) .

Метод довольно сложен в реализации (приходится решать дополнительными методами задачу оптимизации).

Чаще используется МНК.