Модель множественной линейной регрессии

Реальные процессы - редко двухфакторные, обычно имеют дело с явлениям, зависящими от множества факторов, поэтому большинство эконометрических моделей многофакторные (n влияющих переменных Х (Х1, ..., Хn ), объясняющих результирующий фактор Y или друг друга).

В таком случае имеем дело с множественной регрессией.

Простейшая многофакторная регрессия – линейная, из n линейных уравнений вида:

или, в матричной форме:

Y=β X+ ε

Здесь Х (матрица переменных ), число столбцов Х равно числу факторов (влияющих параметров) + добавляется дополнительно первый столбец состоящий из единиц и соответствующий  параметру β₀. Число строк матрицы Х = числу наблюдений (число элементов выборки)ополнительно первый етов)равно ой Х уравнений регрессии и параметров уравнения регрессииедней . Переменная Y - n-мерный вектор Y=(Y₁, ..., Y_n ) – зависимая переменная, β = (β ₁, β₀, ..., β _n ) – это (p+1)-мерный вектор,

ε = (ε ₁, ..., ε _n ) – столбец случайных ошибок.

Чтобы был применим МНК для оценки параметров модели (вектор β), требуется, чтобы выполнялись 5 условий (т.н. положения теоремы Гаусса-Маркова):

1)         М(ε _i)=0 _n                            - условие минимизации остатков модели

2)         σ_е ² = const                        - условие гомоскедастичности остатков М(ε ε^т) =σ² E_n

3)         М(ε ε^т) =σ² E_n                  - условие отсутствия автокорреляции между остатками                                                                                   регрессии

4)         Cov( х _ij, ε) = 0                  - нормальность распределения остатков регрессии

5)         rank Х = p+1< n               - отсутствие мультиколлинеарности

1) Ошибка (остатки) регрессии для каждого наблюденного значения выборки (Х, У) должна быть максимально близкой к нулю, т.е. ее матожидание – нулевая матрица (1 x n) (вектор из одних нулей)

М(ε_i)=0_n              

2) Условие гомоскедастичности для Y между отдельно наблюденными значениями переменной Y (т.е. между любыми yi и yj не должно быть зависимости ) и  требование отсутствия зависимости между остатками модели (ε_i и ε_j не должно друг от друга зависеть) – если эти условия не выполняются, значит модель выбрана неправильно – а требуется искать модель авторегрессии.

В матричной форме требование выглядит так: М(ε ε^т) =σ² E_n

здесь ε^т – транспонированный столбец ошибок ε = (ε ₁, ..., ε _n ) , σ² - дисперсия остатков модели,

E_n - единичная матрица размера (n x n)

Матожидание М(ε ε^т) - матрица (n x n) из элементов вида М(ε_i*ε_j) – т.е. из матожиданий произведений остатков модели – должна быть диагональной матрицей, с нулями на всех местах кроме диагонали.

3) Требование «ряд остатков модели ε должен быть набором случайных чисел (нормально распределенный  ряд).

4) столбцы матрицы Х должны быть линейно независимы (это значит, что ранг матрицы д.б. rank Х= p+1<n.

Если эти условия выполняются (это проверяется уже после построения модели), то найти параметры модели b=( b₁, ..., b_n) и оценку погрешности е=( е ₁, ..., е _n) можно методом наименьших квадратов (МНК) по матричной формуле:

b=(X^тX)^-1X^тY

В случае множественной регрессии доверительный интервал для прогнозов вычисляется по формуле:

,

где конкретное значение функции регрессии при определенных значениях переменных Х, k=n-p-1 – число степеней свободы t-распределения, s – стандартная ошибка регрессии, вычисляется по формуле: (в общем случае в матричной форме, где Х – матрица значений переменных Х), где s² – дисперсия остатков

Когда параметры методом МНК найдены, принято проверить вышеперечисленные условия и значимость модели. Если хотя бы некоторые из них не пройдут проверку – модель нельзя использовать.

 А) Проверка значимости модели: