И т.д., пока не будет достигнута требуемая точность (стандартное отклонение) параметров модели.

3) Если в парной нелинейной регрессии как-то еще можно прикинуть вид функции по графику распределения Х и Y то в случае нелинейных моделей множественной регрессии трудность возникает при подборе подходящей функциональной зависимости Y от X, т.к. не построишь даже график.

В таком случае перебирают всевозможные математические функции в поисках подходящей зависимости Y от Х, строя различные модели (например, одна модель? где Y находится в зависимости от переменной Х, другая – в зависоимости от Log(X)), а затем проверяют какая лучше соотвтсвует данным. В частности для этой цели применяют тест Бокса-Кокса (описание можно найти в книге Введение в эконометрику Кристофера Доугерти, 2001, стр. 132-133) а также вариант этого теста, разработанный Полом Зарембкой (тест Зарембки). (см. там же стр. 130-131).

Линейные регрессионные модели с фиктивными переменными

Если надо выразить качественные, а не только количественные характеристики экономического процесса и иметь возможность проанализировать их с помощью численных тестов и оценок, то можно ввести несколько уровней градации (например, фактор национальность, пол, степень проявления какого-нибудь качества, сезонность – градации зима, весна, лето, осень), которые выражают разными целыми числами.

Частный случай такого подхода – применение фиктивных бинарных переменных (т.е переменных, которым допускается в модели принимать только значения 1 (есть качество) или 0 (нет качества).

Например, требуется построить модель, отражающую влияние разных факторов на размер заработной платы работника (стаж работы - X₁, возраст X_{2 …}, и в т.ч. такой фактор, как пол (известно, что пол также влияет на уровень заработной платы - у мужчин заработная плата выше, чем зарплата работниц на той же должности). Т.о. помимо количественных факторов учитывается качественная характеристика - пол, градации – мужской - женский пол. Численно переменная «Пол» Z будет принимать значения 0 и 1.

Модель (регрессия), где фигурирует такая переменная, может выглядеть так:

Y=α + δZ + β₁X₁ + β₂X_{2 …}+ε             (16)

где Z = 1 – муж.пол, 0 – жен.пол. Что брать за 0 (эталонная категория) – определяется из соображений удобства (смотря какие тесты затем собираются применять для анализа модели). Дальше тем или иным способом ищутся (оцениваются) параметры модели.

- Если надо описать больше 2-х значений качество – применяют несколько дискретных бинарных фиктивных переменных. Например, сезонные фиктивные переменные вводятся для удобства и адекватности построения регрессий на основе временных рядов, в которых зависимый фактор (Y) колеблется от сезона к сезону. В таком случае, учитывая что в году – 4 сезона, вводят 3 фиктивных бинарных переменных, а уравнение регрессии, например, может выглядеть так (простейший однофакторный случай):

Y=α + δ₁Z₁ + δ₂Z₂+ δ₃Z₃+ βt +ε                    (17)

Z₁ = 1 для зимы, например, и =0 для всех остальных сезонов,

Z₂ = 1 для весны и = 0 для всех остальных сезонов,

Z₃ = 1 для лета и = 0 для всех остальных сезонов,

т.о. эталонной категорией оказывается сезон осень (или тот, который удобно взять за эталон исходя из особенностей выборки данных, на которых строится модель).

В итоге по конкретным сезонам уравнение разворачивается в систему уравнений:

Y=α + δ₁ + βt                   для зимы

Y=α + δ₂ + βt +ε         для весны

Y=α + δ₃ + βt +ε         для лета

Y=α + βt +ε                 для осени

По существу, имеем 4 модели на 4 разных выборках, взятых из генеральной совокупности данных (исходной выборки).

Тест Чоу

Бывает обратная задача – выяснить, можно ли объединить модели, построенные на 2 выборках одних и тех же факторов, но сделанных в разное время, в разных условиях, разными исследователями, в одну модель, построенную на объединении 2-х выборок.

Для этого применяют тест (критерий) Чоу. 

- Сначала строят 2 регрессии (2 модели) по отдельным выборкам,

- проверяют, совпадают ли параметры и дисперсии ошибок этих 2-х моделей между собой на уровне значимости α, т.е. вычисляют величину

(18)

и сравнивают с критическим значением F_{α; p+1; n-2p-2} (его вычисляют по таблице распределения Фишера)

Если F>F_крит, то выборки нельзя объединять – для каждой выборки адекватной будет своя, частная модель.