Метод наименьших квадратов (МНК)

Метод наименьших квадратов (МНК) легко подвергается алгоритмизации и, следовательно, программированию. Поэтому он находит очень широкое применение в задачах аппроксимации экспериментальных данных. Смысл МНК состоит в следующем.

Пусть на вход некоторого устройства подается сигнал x, а на выходе измеряется сигнал y. Известно, что величины x и y связаны функциональной зависимостью, но какой именно – неизвестно. Требуется приближенно определить эту функциональную зависимость y = φ(x) по опытным данным. Пусть в результате n измерений получен ряд экспериментальных точек (x_i, y_i). Известно, что через n точек можно всегда провести кривую, аналитически выражаемую многочленом (n–1)-й степени. Этот многочлен называют интерполяционным, а замену функции φ(x) на функцию ψ(x) так, что их значения совпадают в заданных точках:

φ(x_i) = ψ(x_i), i = 1, 2, …, n.                            (6.3)

Выражение 6.3 называют интерполяцией.

Однако такое решение проблемы не является удовлетворительным, поскольку y_i ≠ φ(x_i) из-за случайных ошибок измерения и влияния на измерения значений y_i помех и шумов в исследуемой системе и измерительной цепи, вследствие чего:

y_i = φ(x_i) + δ_i                                         (6.4)

где δ_i  – некоторая случайная ошибка.

Поэтому требуется провести кривую так, чтобы она в наименьшей степени зависела от случайных ошибок. Данная кривая не будет проходить ни через одну экспериментальную точку, но будет к ним «ближе» всех других кривых. Указанная задача называется сглаживанием (аппроксимацией) экспериментальной зависимости и, как правило, решается методом наименьших квадратов. Сглаживающую кривую называют аппроксимирующей. Отметим, что МНК является следствием метода максимального правдоподобия (ММП).

Задача аппроксимации решается следующим образом. В декартовой прямоугольной системе координат наносят точки (x_i, y_i). По расположению этих точек высказывается предположение о принадлежности искомой функции к определенному классу функций. Например, к классу линейных функций φ(x) = a₀ + a₁x, квадратичных φ(x) = a₀ + a₁x + a₂x² и так далее. В общем случае φ(x) = φ(x , a₀, a₁, …, a_m). Неизвестные параметры функции a₀, a₁, …, a_m определяются из требования минимума суммы квадратов случайных ошибок, то есть минимума величины:

                   (6.5)

Величина δ называется также суммарной невязкой. Необходимым условием минимума функции нескольких переменных является обращение в нуль частных производных невязки:

,                   (6.6)

где j = 0, 1, …, m.

Решая систему уравнений (6.6), находим неизвестные параметры a_j и тем самым полностью определяем функцию, которая наилучшим образом (в смысле наименьших квадратов отклонений от исходных точек или наименьшей суммарной невязки) аппроксимирует (приближает) искомую функцию φ(x). Отметим, что в рассматриваемой задаче n – количество измерений (узлов аппроксимации), m – количество неизвестных коэффициентов a_j, полностью определяющих аппроксимирующую функцию.

Рассмотрим случай линейной аппроксимации, когда φ(x) = a₀ + a₁x.

Дифференцируя выражение (6.5), которое в этом случае имеет вид:

последовательно по a₀ и a₁ после упрощения получим следующую систему уравнений:

                           (6.7)

Из первого уравнения находим a₀ = m_y – a₁m_x, где:

                            (6.8)

Подставляя выражение для a₀ во второе уравнение системы (6.7), найдём:

                               (6.9)

где K_xy – корреляционный момент, D – дисперсия.

                      (6.10)

                           (6.11)

Таким образом, искомая линейная функция имеет вид:

                       (6.12)

Ввиду простоты расчетов аппроксимация линейной зависимости используется довольно часто. Положительное свойство метода наименьших квадратов состоит в том, что для его применения не требуется знание закона распределения.