Обобщенный метод наименьших квадратов. Гетероскедастичность

Обобщенный метод наименьших квадратов

Оценки (3.13) коэффициентов линейной множественной регрессии (3.6) являются эффективными (имеющими минимальную дисперсию в классе ли-нейных несмещенных оценок) только при выполнении предпосылок п. 3.5. На-рушение второй и третьей предпосылок ведет к утере эффективности оценок (3.13), т. е. существуют оценки с меньшей дисперсией (с меньшим разбросомзначений оценок).

Следствием предпосылок 2 и 3 является диагональная структура матрицы ковариаций _ε случайного члена ε_i с одинаковыми диагональными элементами σ²(дисперсия случайного члена ε_i)

(3.43)

где E_n единичная матрица размерности n(n– количество наблюдений). При нарушении предпосылок _ε перестает иметь структуру (3.43). Обозначим ее для удобства через Ω.

В общем случае, согласно теореме Айткена, наилучшей в классе линейных несмещенных оценок является оценка

Вычисление оценок параметров уравнения множественной линейной рег-рессии по формуле (3.45) (с учетом матрицы ковариаций Ω) называется обоб-щенным методом наименьших квадратов (ОМНК).

Согласно ОМНК, уравнения регрессии предварительно преобразовывают-ся с целью получить модель, содержащую случайный член, удовлетворяющий предпосылкам регрессионного анализа (п. 3.5).

Следует сказать, что ввиду сложности определения матрицы ковариаций _ε = Ωэтот результат имеет в основном теоретический характер. Тем не менее, при определенных предположениях о структуре _ε теорема имеет практическое значение.

Обобщенный метод наименьших квадратов в случае гетероскедастичности остатков

Предположим, что нарушается только предпосылка 2 о постоянстве дис-

тероскедастичности остатков, а сами остатки называются гетероскедастичны-ми. При выполнении предпосылки 2 говорят о гомоскедастичности остатков. Матрицы Ω и Ω^–1 в этом случае являются диагональными

Система нормальных уравнений ОМНК (3.13), (3.10) имеет вид

( X¹X )B X¹Y

или в координатной форме

...

...

...

(3.45)

(3.46)

(3.47)

Система уравнений (3.47) соответствует модели, определяемой соотноше-ниями

которые получаются, если исходное уравнение множественной регрессии (3.6), записанное для каждого наблюдения разделить на среднее квадратическое от-

модели (3.48) имеет постоянную для всех наблюдений дисперсию _ui²=1. Запись

модели в виде (3.48) соответствует уравнению линейной множественной рег-рессии (без свободного члена)

вместо них следует использовать состоятельные оценки ˆ_i².

При практическом использовании ОМНК используется какое-либо пред-положение относительно зависимости дисперсии _i² случайного члена ε от на-

блюдения или величины факторов x_i.

Представим дисперсии _i² случайного члена в виде произведения некото-рой функции K_i² от факторов на постоянную величину ²

и _ui^{2 2}.

Оценки параметров модели (3.53) являются оценками параметров исходно-го уравнения (3.6).

Если, вычислив значения новых переменных, мы запишем модель в стан-дартном виде

то это будет новая модель с переменными, имеющими иной смысл. Оценки ее параметров будут отличаться от оценок параметров исходной модели.

Рассмотрим случай парной регрессии

и предположим, что величины σ_i пропорциональны значениям фактора x, т. е._i x_i(_i² x_i^{2 2}).Преобразуя согласно ОМНК уравнение регрессии(3.55)

получим следующую модель

оценки параметров которой будут эффективными оценками параметров исход-ной модели (5.55). Заметим, что в новой модели параметры a и b поменялись местами, т. е. свободный член стал коэффициентом и наоборот.