Многомерный регрессионный анализ

В общем виде многомерная линейная регрессионная модель зависимости y от объясняющих переменных , ,…,  имеет вид:

.

Для оценки неизвестных параметров  взята случайная выборка объема n из (k+1)–мерной случайной величины (y, , ,…, ).

В матричной форме модель имеет вид:

,

где   , , , ε=         

- вектор-столбец фактических значений зависимой переменной размерности n;

- матрица значений объясняющих переменных размерности n*(k+1);

- вектор-столбец неизвестных параметров, подлежащих оценке, размерности (k+1);

- вектор-столбец случайных ошибок размерности n с математическим ожиданием ME=0 и ковариационной матрицей     соответственно, при этом

-единичная матрица размерности (nxn).

Оценки неизвестных параметров  находятся методом наименьших квадратов, минимизируя скалярную сумму квадратов   по компонентам вектора β.

Далее подставив выражение

в ,

получаем скалярную сумму квадратов

Условием обращения полученной суммы в минимум является система нормальных уравнений:

, (j=0,1,2,…,k) .

В результате дифференцирования получается:

.

При замене вектора неизвестных параметров β на оценки, полученные методом наименьших квадратов, получаем следующее выражение:

.

Далее умножив обе части уравнения слева на матрицу , получим

Так как  , тогда .

Полученные оценки вектора b являются не смещенными и эффективными.

Ковариационная матрица вектора b имеет вид:

, где  - остаточная дисперсия.

Элементы главной диагонали этой матрицы представляют собой дисперсии вектора оценок b. Остальные элементы являются значениями коэффициентов ковариации:

, где   , .

Таким образом, оценка  - это линейная функция от зависимой переменной. Она имеет нормальное распределение с математическим ожиданием  и дисперсией .

Несмещенная оценка остаточной дисперсии определяется по формуле:

, где n – объем выборочной совокупности;

                                                          k – число объясняющих переменных.

Для проверки значимости уравнения регрессии используют F-критерий дисперсионного анализа, основанного на разложении общей суммы квадратов отклонений на составляющие части:

 , где   - сумма квадратов отклонений (от нуля), обусловленная регрессией;

                                  - сумма квадратов отклонений                                                                             фактических значений зависимой переменной от расчетных , т.е. сумма квадратов отклонений относительно плоскости регрессии, обусловленное воздействием случайных и неучтенных в модели факторов.

Для проверки гипотезы  используется величина , которая имеет F-распределение Фишера-Снедекора с числом степеней свободы  и . Если  , то уравнение регрессии значимо, т.е. в уравнении есть хотя бы один коэффициент регрессии, отличный от нуля.

В случае значимости уравнения регрессии проверяется значимость отдельных коэффициентов регрессии. Для проверки нулевой гипотезы  используется величина

 , которая имеет F-распределение Фишера-Снедекора с числом степеней свободы    и ;  - соответствующий элемент главной диагонали ковариационной матрицы.

Коэффициент регрессии  считается значимым, если . Для значимых коэффициентов регрессии можно построить доверительные интервалы, используя формулу

 , где  находится по таблице распределения Стьюдента для уровня значимости  и числа степеней свободы .

В многошаговом регрессионном анализе наиболее известны три подхода:

1. Метод случайного поиска с адаптацией. Осуществляется путем построения нескольких уравнений регрессии на основе формально разработанного принципа включения факторов и последующего выбора лучшего уравнения с точки зрения определенного критерия.

2. Метод включения переменных, основанный на построении уравнения регрессии по одному значимому фактору и последовательном добавлении всех остальных статистически значимых переменных путем расчета частных коэффициентов корреляции и F-критерия при проверке значимости вводимого в модель фактора.

3. Метод отсева факторов по t-критерию. Данный метод заключается в построении уравнений регрессии по максимально возможному количеству объясняющих переменных и последующем исключении статистически не существенных факторов.