Обобщенный метод наименьших квадратов

КОНТРОЛЬНАЯ РАБОТА

по дисциплине: «Планирование научного эксперимента»

Вариант № 3                                                     

Выполнил                                студент группы АЭП-17 - 1бзЛФ шифр 17 – ЛФз-173                Завьялов М. С.                         «____» ______________ 2019г ._________________________  (подпись студента)

Проверил                     преподаватель Хаматнурова Е. Н. Оценка _____________________ ____________________________ (подпись преподавателя)        «____» ______________ 2019 г.

Лысьва, 2019 г.

Содержание:

1.Содержание…………………………………………………………………………….2

2.Метод наименьших квадратов………………………………………………………...3

3.Обобщенный метод наименьших квадратов…………………………………………4

4.Трехшаговый МНК…………………………………………………………………….6

5.Косвенный метод наименьших квадратов……………………………………………7

6.Применение косвенного метода наименьших квадратов……………………………9

7.Линейные регрессионные модели с гетероскедастичными и            автокорреляционными остатками ………………………………………………………12

8.Регрессионные модели с переменной структурой (фиктивные переменные)……...16

9.Список использованной литературы………………………………………………… 18

10. Тестовые задания…………………………………………………………………… 19-22

Метод наименьших квадратов

   Метод наименьших квадратов (МНК) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных.

Коэффициенты структурной модели могут быть оценены разными способами в зависимости от вида системы одновременных уравнений. Наибольшее распространение получили следующие методы оценивания коэффициентов структурной модели:

• косвенный МНК, применяется для идентифицируемой системы одновременных уравнений;
• двухшаговый МНК, применяется для оценки коэффициентов сверх идентифицируемой модели;
• трехшаговый МНК;
• метод максимального правдоподобия с полной информацией;
• метод максимального правдоподобия при ограниченной информации.

Обобщенный метод наименьших квадратов

При наличии гетероскедастичности в остатках рекомендуется традиционный метод наименьших квадратов (МНК) заменять обобщенным методом наименьших квадратов (ОМНК).

Обобщенный МНК применяется к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют меньшие выборочные дисперсии. Обобщенный МНК для корректировки гетероскедастичности.

Будем предполагать, что среднее значение остаточных величин равно нулю. А вот дисперсия их не остается неизменной для различных значений фактора, а пропорциональна некоторой величине , т.е. 

где – дисперсия ошибки на конкретном (i – ом) значении фактора;

 – постоянная дисперсия ошибки при соблюдении предпосылки о гомоскедастичности остатков;

 – коэффициент пропорциональности, меняющийся с изменением величины фактора, что и обуславливает неоднородность дисперсии.

Модель примет вид:

В ней остаточные величины гетероскедастичны. Предполагая в них отсутствие автокорреляции, можно перейти к уравнению с гомоскедастичными остатками, поделив все переменные, зафиксированные в ходе i-го наблюдения на . В общем виде уравнение регрессии примет вид:

По отношению к обычной регрессии уравнение с новыми, преобразованными переменными представляет собой взвешен­ную регрессию, в которой переменные у и х взяты

Коэффициент регрессии b можно определить как:

Как мы видим, при использовании обобщенного МНК с целью корректировки гетероскедастичности коэффициент регрессии b представляет собой взвешенную величину по отношению к обычному МНК с весами.

Оценка параметров нового уравнения с преобразованными переменными приводит к взвешенному методу наименьших квадратов, для которого необходимо минимизировать сумму квадратов отклонений вида:

Аналогичный подход возможен не только для уравнения парной, но и для множественной регрессии. Модель примет вид:

.

Модель с преобразованными переменными составит:

.

Это уравнение не содержит свободного члена, применяя обычный МНК получим:

.

Применение в этом случае обобщенного МНК приводит к то­му, что наблюдения с меньшими значениями преобразованных переменных имеют при определении параметров регрессии относительно больший вес, чем с первоначальными переменны­ми.

Трехшаговый МНК

Наиболее эффективная процедура оценивания систем регрессионных уравнений сочетает метод одновременного оценивания и метод инструментальных переменных, которая получила название трехшагового МНК. Он заключается в том, что на первом шаге к исходной модели применяется обобщенный МНК с целью устранения корреляции случайных членов. Затем к полученным уравнениям применяется двухшаговый метод наименьших квадратов.

В двухшаговом методе наименьших квадратов, по сути, каждое уравнение структурной формы оценивается независимо от других уравнений, то есть не учитывается возможная взаимосвязь случайных ошибок уравнений структурной формы между собой. В трёхшаговом методе наименьших квадратов (ТМНК) первые два шага совпадают с ДМНК и добавляется:

Шаг 3. На основе ДМНК-оценок остатков структурных уравнений получают оценку ковариационной матрицы вектора случайных ошибок системы и с её помощью получают новую оценку коэффициентов с помощью обобщенного метода наименьших квадратов.

При наличии корреляций между уравнениями ТМНК-оценки теоретически должны быть лучше ДМНК-оценок.