Оценка параметров линейной регрессионной модели с гетероскедастичным возмущением

Для применения метода наименьших квадратов для оценки параметров регрессионной модели требуется выполнение предпосылок Гаусса-Маркова.

Рассмотрим случай, когда возмущение гетероскедастично: ,где — значение дисперсии возмущения в наблюдении t.Причинами гетероскедастичности, как правило, являются:

·неоднородностьисследуемыхобъектов (например, при анализе зависимости спроса от дохода потребителя выясняется, что чем больше доход, тем больше индивидуальное значение спроса колеблется относительно ожидаемого значения);

·характер наблюдений (например, данные временного ряда).

При наличии гетероскедастичностиметод наименьших квадратов обеспечивает несмещённые оценки параметров, но оценка дисперсии возмущений (1.16)— смещённая, т.е. . Это приводит к смещению оценок автоковариационных матриц всех оцениваемых случайных векторов эконометрической модели, в частности, автоковариационных матриц оценок параметров и ошибок прогнозов эндогенных переменных, диагональные элементы которых используются для: проверки статистической значимости регрессоров; построения интервальных оценок параметров; проверки адекватности модели. Возникает необходимость проведения тестирования выполнения данной предпосылки, и, если она не выполняется — корректировки модели.

В настоящее время существует множество тестов для проверки гомоскедастичности: тест Уайта,тест ранговой корреляции Спирмена, тест Бреуша-Пагана, и др. В данном разделе рассмотрен тест Голдфельда-Квандта, широко применяемый в пакетах прикладных программ.

Тест основан на предпосылках: пропорциональность дисперсии случайного возмущения величине некоторого регрессора ; случайное возмущение распределено нормально и не подвержено автокорреляции.

Тест выполняется в рамках следующего алгоритма:

1.Выборочныеданные упорядочиваются по величине модуля регрессора , относительно которого есть подозрение на гетероскедастичность.

2. По первым и последним данным выборки оцениваются две вспомогательные регрессии по которымвычисляются суммы квадратов остатков:

, ,

где ,k— число параметров модели, n— объём исходной выборки,

— значение остатка i-ой вспомогательной регрессии в момент t, .

3. Вычисляются статистики, имеющие F– распределение:

, .(3.1)

4. По таблице F - распределения с двумя параметрами , определяется значение для заданного уровня значимости α.

5. Предпосылка признается адекватной, если справедливы оба неравенства:

, ,

в противном случае делается вывод о гетероскедастичности случайных возмущений, и модель подлежит корректировке.

Пример 3.1.Используя тест Голдфельда-Квандта проверить возмущения модели, оцененной в примере 1.2, на гетероскедастичность.

Решение.В сквозном примере оценивалась модель парной регрессии. В соответствии с алгоритмом теста Голдфельда-Квандта,упорядочим данные по величине регрессора (IP) и разобьём выборку из 39 наблюдений на три части ( ).

Формирование данных для вспомогательных регрессий теста. Таблица3.1.

№	год	квартал	U	IP
			6,6	123,41
			6,6	126,5
			6,4	133,2
			6,1	134,09
			5,7	135,73
			5,3	137,73
			5,1	139,67
			5,5	139,83
			4,7	140,21
				143,07
			4,3	143,33
				143,89
			4,5	143,92
			4,3	144,06
			4,4	144,79
			4,3	144,92
			4,2	145,52
			4,3	145,53
			4,7	145,91
				146,07
			4,4	146,37
			4,7	147,05
			4,2	147,07
			4,1	148,1
			4,1	148,12
			4,1	148,34
			4,4	148,42
			5,2	149,4
			3,8	150,76
			3,9	151,93
				152,69
				153,49
			4,3	154,41
			3,7	154,83
			4,6	159,11
			4,3	163,18
			3,9	164,08
			4,1	166,12
			3,9	169,7

 

Запишем результаты оценки вспомогательных регрессий[13]:

, ,

, .

Вычислим статистики по формулам (4.1) и проверим неравенства теста:

,

.

Неравенства выполнены — возмущение модели (4.1) гомоскедастично.

Тест Бреуша-Пагана(Breusch-Pagan). Предпосылкой теста Бреуша-Пагана является зависимость дисперсии возмущений от некоторых дополнительных переменных(или подмножества регрессоров из списка включенных в модель)

,

где — вектор независимых переменных, — параметры. Может быть выбрана и зависимость произвольной формы:

.

В соответствии с алгоритмом теста, по оцененной регрессионной модели вычисляется вектор остатков, квадратов остатков и вектор квадратов остатков, нормированный на оценку дисперсии возмущений. Оценка дисперсии возмущений вычисляется по формуле (ММП-оценка[14])

.

Далее, проводится вспомогательная регрессия нормированных квадратов остатков на регрессоры :

,

и вычисляется объяснённая часть вариации ЕSS. Статистика теста определяется по формуле:

~ ,

где —число регрессоров. Если ,нулевая гипотеза о гомоскедастичности случайного возмущения не принимается.

Пример3.2.Используя тест Бреуша-Пагана по данным таблицы 4.2.проверитьвыполнение второй предпосылки Гаусса-Маркова для регрессионной модели зависимости сбережений домохозяйств от их дохода.

Решение.В таблице 3.2. приведены данные о доходах Xисбережениях Y одинаковых по численному составу домохозяйств.

Сбережения и доходы домохозяйств. Таблица3.2.

№
Y	0,3	0,1	1,0	0,8	2,2	2,5	2,0	3,8
X	3,9		7,2		13,3		19,4	22,3
№
Y	3,1	5,0	6,2	5,0	5,3	8,8	9,2	6,8
X		30,8		43,5	50,2	54,9

 

Оцененная форма зависимости сбережений домохозяйств от их дохода имеет вид:

,,.

В соответствии с алгоритмом теста, оценив регрессионную модель, вычислим вектор остатков , квадратов остатков и вектор квадратов остатков, нормированный на оценку дисперсии возмущений. Оценка дисперсии возмущений вычисляется по формуле

.

Вычисление вспомогательных векторов. Таблица3.3.

№				№
	-0,141	0,020	0,025		-0,726	0,528	0,665
	-0,490	0,240	0,302		0,931	0,866	1,092
	0,114	0,013	0,016		1,025	1,050	1,324
	-0,464	0,215	0,271		-0,782	0,612	0,771
	0,491	0,241	0,304		-1,386	1,920	2,421
	0,157	0,025	0,031		1,480	2,192	2,763
	-0,532	0,283	0,356		1,058	1,119	1,410
	0,877	0,769	0,970		-1,612	2,599	3,276

 

Для данного примера оценим вспомогательную регрессию вида:

,

,,,.

Отсюда следует, что , и случайное возмущение гетероскедастично.

В качестве способов корректировки гетероскедастичности применяются следующие: взвешенный метод наименьших квадратов (ВМНК), доступный взвешенный метод наименьших квадратов (ДВМНК), обобщённый метод наименьших квадратов (ОМНК). Перечисленные методы нацелены на преобразование переменных таким образом, чтобы в спецификации преобразованной модели случайное возмущение удовлетворяло предпосылкам Гаусса-Маркова.

Во взвешенномметоде наименьших квадратов переменные в преобразованной спецификации

,

определяются по формулам:

= , = , = , (3.2)

где — среднее квадратическое отклонение возмущения в наблюдении t.Определим количественные характеристики случайного возмущения :

математическое ожидание: ,

дисперсия случайного члена ,

таким образом,случайное возмущение регрессионной модели с преобразованными переменными (3.2) — гомоскедастично.

В случае если значения , , неизвестны, используетсядоступный взвешенный метод наименьших квадратов. В этом методе выполняется оценка неизвестных дисперсий, но при условии, чтона структуру автоковариационной матрицы накладываются дополнительные ограничения. Наиболее часто используется следующая предпосылка: ско возмущения пропорционально одному из регрессоров, например

, откуда , ,

тогда, после деления на левой и правой частей исходной спецификации, получим

,

и, с учётом обозначений:

= , = , = ,(3.3)

преобразованная спецификация принимает вид

.

В этом случаедисперсия случайного возмущения будет постоянной для всех наблюдений

,

и, таким образом, проблема гетероскедастичности устранена.

Обобщенный МНК.Обобщенная регрессионная модель имеет следующую спецификацию

Y = Xb + e ,

Относительно случайных возмущений регрессии принимаются следующие предпосылки:1) матрица регрессоров Х — детерминированная и имеет полный ранг;2) ;3) — автоковариационная матрица вектора возмущений—симметричная относительно главной диагонали матрица.

Непосредственное применение МНК приводит к негативным последствиям, поэтому необходим предварительный этап — этап преобразования переменных. Преобразованная спецификация имеет вид

, , , , (3.4)

где Р — невырожденная матрица. В силу третьей предпосылки обобщённой регрессионной модели, матрица положительно определена и симметрична, таким же свойством обладает и матрица , поэтому ее можно представить в виде

. (3.5)

Преобразования нацелены на изменение числовых характеристик вектора случайного возмущения:

,

,

т.к. из (4.5) следует, что . Кроме того, , т.к. матрица Р невырожденная. Таким образом, для модели со спецификацией (3.4) выполнены условия Гаусса-Маркова, и, следовательно, МНК-оценкой вектора является оценка вида (оценка Айткена):

, где . (3.6)

В частном случае, если , то обобщённая регрессионная модель является классической регрессионной моделью. Использование термина “обобщённый метод наименьших квадратов” объясняется исходя из следующих соображений: .Оценку часто обозначают (GLS- GeneralizedLeastSquares).

Достоинство метода — корректировка как гетероскедастичности, так и автокорреляции случайного возмущения в регрессионной модели. Недостаток метода — необходимость знания матрицы W.

Определим числовые характеристики оценки Айткена:

,

(что доказывает её несмещённость), автоковариационная матрица вектора оценок параметров определяется поформуле

.(3.7)

Пример 3.3.Используя доступный взвешенный МНК выполнить корректировку гетероскедастичности возмущения в модели, рассмотренной в примере 3.2. Решение.Выполним преобразование спецификации модели по формулам (3.3)

Преобразованные данные представлены в таблице 3.4

Таблица3.4.

№			№
	0,117	0,249		0,115	0,034
	0,055	0,195		0,170	0,032
	0,162	0,136		0,165	0,026
	0,099	0,099		0,121	0,023
	0,179	0,074		0,111	0,020
	0,150	0,055		0,165	0,018
	0,114	0,051		0,155	0,016
	0,180	0,045		0,113	0,016

Оценим преобразованную спецификацию:

, , , (3.8)

— регрессия в целом низкого качества. Проверим выполнение предпосылки о гомоскедастичности возмущения после корректировки данных в рамках ДВМНК при помощи теста Голдфельда-Квандта. Поскольку данные в таблице 3.4 упорядочены по убыванию регрессора, разделим выборку на три части, объем первой и последней частных выборок примем равным , и запишем оцененные модели для частных выборок:

, , ,

, , .

Вычислим статистики по формулам (3.1) и сравним их с критическим значением — :

, .

Поскольку оба неравенства выполнены, нулевая гипотеза о гомоскедастичности возмущения не отвергается при уровне значимости .

Результат (3.8) используется для оценки (или прогноза) вспомогательной переменной ,а затем и исходной эндогенной переменной: . Оформим вычисление оценок переменных и статистик ESS, RSS, TSSв виде таблицы 3.5

Таблица3.5.

№	Y
	0,470	0,0987	0,396	0,005	14,617
	0,280	0,1097	0,562	0,079	13,378
	1,190	0,1217	0,892	0,089	11,072
	1,000	0,1294	1,312	0,097	8,454
	2,410	0,1344	1,806	0,365	5,822
	2,720	0,1383	2,510	0,044	2,920
	2,230	0,1391	2,721	0,241	2,245
	4,040	0,1405	3,156	0,782	1,131
	3,350	0,1426	4,159	0,654	0,004
	5,260	0,1430	4,429	0,690	0,044
	6,470	0,1444	5,657	0,661	2,067
	5,280	0,1449	6,331	1,105	4,460
	5,590	0,1455	7,334	3,043	9,705
	9,100	0,1459	8,039	1,127	14,587
	9,510	0,1463	8,952	0,311	22,400
	7,120	0,1464	9,252	4,547	25,332

 

, 13,840, 138,2407,

— регрессия в целом высокого качества.

 

Пример3.4.Используя коэффициенты, полученные в примере 3.2 при тестировании гетероскедастичности методом Бреуша-Пагана, выполнить корректировку гетероскедастичности в рамках метода взвешенных наименьших квадратов.

Решение.Весовые коэффициенты вычислим по формуле

,

по оценкам параметров вспомогательной регрессии

Веса метода Бреуша-Пагана. Таблица 3.6.

№			№
	-0,122	-		0,982	0,991
	-0,074	-		1,061	1,030
	0,023	0,152		1,422	1,192
	0,146	0,383		1,620	1,273
	0,292	0,540		1,915	1,384
	0,498	0,706		2,121	1,457
	0,560	0,748		2,390	1,546
	0,687	0,829		2,478	1,574

 

Для первых двух наблюдений оценка , поэтому в качестве предпосылки выберем зависимость дисперсии возмущений от квадрата регрессора, определим веса по формуле

,

и вычислим скорректированные значения переменных

, , .

Оцененная форма спецификации имеет вид

,,,.

Веса метода Бреуша-Пагана. Таблица 3.7.

№
	0,188	0,434	0,691	2,305		8,989
	0,195	0,441	0,227	2,266		11,332
	0,212	0,461	2,170	2,170		15,625
	0,244	0,494	1,619	2,024		20,244
	0,295	0,543	4,053	1,842		24,505
	0,391	0,626	3,996	1,599		28,774
	0,426	0,652	3,065	1,533		29,732
	0,505	0,711	5,346	1,407		31,372
	0,731	0,855	3,625	1,169		33,912
	0,802	0,896	5,583	1,117		34,391
	1,178	1,086	5,711	0,921		35,926
	1,423	1,193	4,192	0,838		36,471
	1,835	1,355	3,912	0,738		37,054
	2,160	1,470	5,987	0,680		37,352
	2,625	1,620	5,678	0,617		37,648
	2,788	1,670	4,072	0,599		37,729

 

Оценив модель по скорректированным данным получим

,,.

Можно проверить гомоскедастичность остатков данной модели, используя тест Бреуша-Пагана или Голдфельда-Квандта, она не отвергается. Качество данной модели выше качества исходной. В таблице 3.8 приводятся оценки эндогенной переменной преобразованной модели и исходной, оцененной через скорректированные оценки параметров.

Оценки эндогенной переменной. Таблица 3.8.

0,3	0,709	0,308	-0,008
0,1	1,051	0,464	-0,364
	1,685	0,776	0,224
0,8	2,377	1,174	-0,374
2,2	3,027	1,643	0,557
2,5	3,694	2,311	0,189
	3,846	2,509	-0,509
3,8	4,110	2,921	0,879
3,1	4,529	3,873	-0,773
	4,610	4,129	0,871
6,2	4,876	5,294	0,906
	4,974	5,933	-0,933
5,3	5,082	6,884	-1,584
8,8	5,138	7,552	1,248
9,2	5,196	8,419	0,781
6,8	5,212	8,703	-1,903