Метод наименьших квадратов. Постановка задачи

Постановка задачи. Объект имеет m входных и одну выходную координату у. Структурная схема такого объекта приведена на рис. 8.1.

Не будем делать различия между регулируемыми и нерегулируемыми переменными. Обозначим вектор входных координат, Т знак транспонирования. Проведено n экспериментов, в каждом из которых, при извест­ных значениях входных координат определялись соответствующие им в уста­новившемся режиме значения , выходной координаты (j – номер эксперимента). Требуется построить математическую модель объекта.

Уточним, что в данном случае может служить моделью объекта. Поскольку на выходную координату объекта, помимо учитываемых входных координат, все­гда влияют и неучитываемые переменные, которые рассматриваются как некото­рые случайные величины помехи, то определяемые экспериментально значения выходной координаты тоже случайны. В связи с этим выходная координата у за­висит от входных не функционально, а стохастически, вероятностно. В этом слу­чае связь, существующая между переменными х и у, называется корреляционной связью.

Зависимость математического ожидания выходной координаты у от х назы­вается регрессионной зависимостью. Она и может в данном случае служить мате­матической моделью объекта. Кривая, описывающая зависимость от х, называется кривой регрессии. Пример кривой регрессии приведен на рис. 8.2.

При построении модели в нашем распоряжении имеется совокупность экс­периментально полученных значений входных и выходной координаты. Ей соот­ветствует совокупность точек в пространстве , если объект имеет одну входную координату х (рис. 8.3).

Ясно, что кривая регрессии должна проходить вблизи экспериментальных точек. Точнее, значения выходной переменной , находимой по модели при ус­ловии, что входные координаты приняли значение (j – номер эксперимента), должны быть близки к значениям выходной координаты , определенным экспе­риментально при тех же значениях входных переменных. Это условие и исполь­зуется при построении модели. Для этого сформируем функцию F, оценивающую невязку e – степень отклонения от , . Эти отклонения указаны на рис. 8.3 применительно к случаю, когда объект имеет одну входную координату. В методе наименьших квадратов, используется квад­рат невязки:

.

Вид зависимости задается. В общем виде зависимость можно представить в виде:

,

(8.1)

где – вектор параметров модели (коэффициенты).

Задача состоит в том, чтобы по опытным данным наилучшим образом опре­делить значения параметров .

В этом случае метод наименьших квадратов сводится к следующему. Наи­лучшими будут те значения параметров , при которых сумма квадратов откло­нений откло­нений расчетных величин от опытных окажется наименьшей.

Учитывая, что при нахождении параметров количество экспериментов n по­стоянно, степень близости модели и объекта будет оцениваться величиной:

(8.2)

Таким образом, в методе наименьших квадратов параметры находятся из условия:

,

т.е. являются решением задачи минимизации суммы квадратов невязки (этим и объясняется название метода).

Покажем, как решается эта задача.

Пусть функция задана в общем виде (I). Структуру модели, входящие в нее входные координаты или функции от них, можно затем уточнить. Запишем усло­вия всех опытов в виде таблицы матрицы плана эксперимента:

(8.3)

Здесь каждая строка – условие одного опыта; каждый столбец значения одной переменной – в разных опытах.

Рассмотрим также вектор-столбец результатов эксперимента

(8.4)

Расчетное значение для j-той строки матрицы будет иметь вид:

(8.5)

Приведенное выше определение метода наименьших квадратов может быть записано формулой:

(8.6)

Те значения , при которых сумма S окажется минимальной и будут наилучшими.

Проще всего расчет методом наименьших квадратов, осуществляется, когда уравнение (8.1) линейно относительно коэффициентов . Это значит, что его можно записать в следующем виде:

(8.7)

Здесь фиктивная переменная, тождественно равная единице. Она вводится для симметрии для того, чтобы все параметры, и в том числе , входили в модель единообразно. Это упрощает выкладки.

Рассмотрим расчет коэффициентов для этого случая. Матрица будет иметь вид:

(8.8)

Квадрат разности для 3-го опыта запишется так:

(8.9)

Подставляя зависимость (8.9) в выражение (8.6), получим:

(8.10)

Необходимым условием минимума функции является равенство нулю ее частных производных по искомым параметрам (поскольку функция является квадратичной, то эти условия выделяют единственную точку минимума).

, , …,

или

Запишем эту систему в виде, удобном для анализа

(8.11)

Полученная система линейных алгебраических уравнений содержит столько уравнений, сколько в нее входит неизвестных параметров Б. В теории метода сис­тему (8.11) принято называть системой нормальных уравнений.

Система нормальных уравнений может быть решена, например, по правилу Крамера, согласно которому , где – определитель матрицы системы нормальных уравнений:

,

а , получается из путем замены 1-го столбца на столбец

.

Решение может быть сравнительно точно найдено, если матрица системы нормальных уравнений не является плохо обусловленной, т.е. определитель существенно отличается от нуля. В противном случае, при вычислении , будет делиться на величину, близкую к нулю. В этом случае необходимо либо менять структуру модели, либо менять выборку экспериментальных данных.

Пример: Расчет коэффициентов методом наименьших квадратов.

По опытным данным построить зависимость плотности жидкости от темпе­ратуры в виде параболы 2-й степени.

Т, К 273 283 293 303

r, кг/м³ 875 871 868 867

Для уменьшения расчетов удобно преобразовать переменные так, чтобы они выражались малым числом цифр. Так вместо Т можно использовать величину ,а вместо r – .

Тогда зависимость получит вид:

.

Представим опытные данные х и у

x –3 –1 1 3

y 5 1 –2 –3

В первом столбце матрицы плана во всех строках стоят значения , во втором столбце значения х, в третьем значения х². Окончательно эта матрица имеет вид:

.

Система нормальных уравнений получится по формуле (8.11)

.

Определитель матрицы системы нормальных уравнений

.

; ; .

Откуда

; ;

или

.

Окончательно

.

При большом числе искомых параметров построение регрессионного урав­нения требует громоздких вычислений. В связи с этим в настоящее время по­строение регрессионных зависимостей практически всегда производится с применением ЭВМ. В этом случае удобно использовать матричный способ пред­ставления и обработки информации. Нетрудно убедиться, что матрица коэффици­ентов левых частей системы равна произведению матрицы на транспонированную матрицу :

.

(8.12)

Вектор-столбец правых частей системы нормальных уравнений равен произведению , где – вектор (8.4)

.

(8.13)

В матричных обозначениях решение системы (8.11) имеет вид

,

(8.14)

где индекс – 1 есть символ обращения матрицы; – вектор исходных пара­метров. Это соотношение и используется для нахождения параметров модели.

Отметим, что если объект имеет несколько выходных координат, то для ка­ждой выходной координаты ее зависимость от входных переменных находится отдельно.