Оценка параметров нелинейных моделей

Нелинейные уравнения регрессии можно разделить на два класса:

– уравнения, которые с помощью замены переменных можно привести клинейному виду в новых переменных x',y'

– уравнения, для которых это невозможно. Назовем их внутренне нели-нейными.

В первом случае, уравнения регрессии преобразуются к линейному виду с помощью введения новых (линеаризующих) переменных x',y'. При этом пред-варительно формируются массивы значений {(x'_i,y'_i),i= 1, …,n}. В последую-щем, после определения параметров линейного уравнения регрессии с помо-щью обратного преобразования можно получить параметры исходного уравне-ния регрессии, представляющие интерес для исследователя.

Линеаризующие преобразования для некоторых нелинейных моделей при-ведены в таблице 2.2.

Для оценки параметров внутренне нелинейных зависимостей также можно применить метод наименьших квадратов и определять оптимальные значения параметров а и b исходя из условия (2.8) или (2.9). Но в данном случае условия (2.10) уже не являются линейными алгебраическими уравнениями относительнопараметров а и b, поэтому величины параметров а и b удобнее определять непо-средственно из условия (2.9) как значения, доставляющие минимум величине S.

Итерационную процедуру минимизации S в общем виде можно предста-вить в виде следующих последовательных шагов.

1. Задаются некоторые «правдоподобные» начальные (исходные) значенияа⁰иb⁰параметров а иb.

2. Вычисляются теоретические значенияŷ_i = f(x_i) с использованием этихзначений параметров.

3. Вычисляются остаткиеi = ŷi – yiи сумма квадратов остатков

S yˆ_i y_i².

4. Вносятся изменения в одну или более оценку параметров.

5. Вычисляются новые теоретические значения ŷ_i, остатки е_i и S.

6. Если произошло уменьшение S, то новые значения оценок используются

в качестве новой отправной точки.

7. Шаги 4, 5 и 6 повторяются до тех пор, пока не будет достигнута ситуа-ция, когда величину S невозможно будет улучшить (в пределах заданной точ-ности).

8. Полученные на последнем шаге значения параметров а и b являются оценками параметров уравнения регрессии, полученными по нелинейным ме-тодом наименьших квадратов.

Конкретные методы минимизации S отличаются способом выбора новых измененных значений оценок параметров.

Качество оценок МНК линейной регрессии. Теорема Гаусса-Маркова

При использовании полученных различными способами оценок парамет-ров уравнения регрессии (2.6) важно быть уверенными, являются ли они «луч-шими» среди всех остальных в некотором смысле. Ответ на этот вопрос дает теорема Гаусса-Маркова, согласно которой оценки параметров линейной рег-рессии, полученные методом наименьших квадратов, будут несмещенными и эффективными (т. е. будут иметь наименьшую дисперсию) в классе линейных несмещенных оценок при выполнении четырех условий, известных как усло-вия Гаусса-Маркова.

Эти условия принимаются в качестве основных предпосылок регрессион-ного анализа.

1-е условие Гаусса-Маркова: математическое ожидание случайного члена

3-е условие Гаусса-Маркова: значения случайного члена в любых наблю-дениях ε_i и ε_j не коррелируют между собой

Следует сказать, что последнее условие заведомо выполняется, если объясняющие переменные x_i считаются детерминированными величинами.

Выполнение 4- го условия Гаусса-Маркова обеспечивает несмещенность оценки параметра b.

Выполнение 1-го и 4- го условий Гаусса-Маркова обеспечивает несмещен-ность оценки параметра а.

Нарушение одного из условий Гаусса-Маркова приводит к нарушению эффективности оценок, т. е. в классе несмещенных оценок можно найти такие, которые имеют меньшую дисперсию.

В регрессионном анализе обычно делается еще одна предпосылка о нор-мальности распределения случайного члена, что позволяет выполнить количе-ственную оценку точности полученных оценок параметров (2.13).

После построения модели необходимо вычислить значения остатков е_i и проверить выполнение условий Гаусса-Маркова, так как их нарушение снижает качество модели. Если условия нарушаются, то следует модернизировать мо-дель соответствующим образом. Эти вопросы будут рассмотрены в 3 разделе.