Построение однофакторных моделей.

Наиболее распространенной формой уравнения регрессии является линейная зависимость вида у=а₀+а₁х.

Построение модели заключается в определении а₀ и а₁, которые называются коэффициентами уравнения регрессии.

Для их нахождения используется метод наименьших квадратов (МНК). МНК используется для линейных зависимостей.

Данный метод заключается в минимизации суммы квадратов отклонения фактических значений результативного признака от теоретических значений, т.е. в определении минимума функции:  

                                       (5)

m in Z  находим из условий:     

 

 

                        

			x

 

    Рисунок 2 - Уравнение линейной регрессии

Дифференцируя Z по a ₀ и a ₁ и приравнивая производные к нулю, получаем систему двух линейных уравнений с двумя неизвестными.

                                              (6)

Система (4) называется системой нормальных уравнений. Решая систему в общем виде, получаем

 

(7)

                                        (8)

Если эмпирическая линия регрессии имеет ярко выраженный нелинейный характер, то необходимо подобрать форму нелинейной зависимости, например,  

у = а₀ * х ^а1                                                                                                                                    (9)

у = а₀ * е ^{а1* х}                                                                                                                                (10)

Поскольку МНК используется  только для линейных зависимостей, то необходимо нелинейную зависимость привести к линейной зависимости. Для примера рассмотрим, как приводится к линейной зависимости степенная модель (9).  Прологарифмируем левую и правую части выражения (9):  

ln y = ln a ₀ + a ₁ ln x                                                                         (11)

Введём обозначения y ^* = ln y, a ^* = ln a ₀ , x ^* = ln x и подставим их в выражение (8): у^* = а₀^* + a ₁ * х^*  

 6 - Построение многофакторной модели.

 Построение многофакторной модели  начинается с выборы формы сглаживающей зависимости. Если среди эмпирических зависимостей преобладают линейные зависимости, то строится многофакторная линейная зависимость:

                                                                                        (12)

Если преобладает нелинейные зависимости, то и множественная регрессия будет нелинейной. Можно использовать в этом случае мультистепенную зависимость:

,                                                                             (13)

которую путем логарифмирования приводим к линейной:  

Расчет коэффициентов уравнений регрессии a₀, a_j производится методом наименьшим квадратов. При этом функция Z имеет вид: 

                                                         (14)

Дифференцируя Z по a₀, a_j и приравнивая частные производные к нулю, получаем систему нормальных уравнений в матричной форме –

(X' X)A = X' Y,                                                                            (15)

где - матрица факторных признаков размерностью m*(n+1);

X' – транспонированная матрица Х;

А – вектор коэффициентов регрессии  размерностью (n+1)

Y – вектор результативного признака размерностью (m)

Разрешая выражение (14) относительно А, получаем:

А=(X' X)^-1∙ X' Y, где - обратная матрица.  

7. - Оценка точности и адекватности регрессионной моделиили дисперсионный анализ.

Для оценки точности и адекватности модели  используют три вида дисперсии:

Общая дисперсия – дисперсия y относительно среднего значения. 

                                                                    (16)

Дисперсия, обусловленная регрессией D _р. - показывает рассеяние расчетных значений у относительно (аналог межгрупповой дисперсии). 

                                                                   (17)

где n – число степеней свободы уравнения регрессии за вычетом связи, накладываемой .

Остаточная дисперсия D ₀ - показывает рассеяние случайной величины у_i относительно уравнения регрессии.

                                                                   (18)

Остаточная дисперсия используется  в качестве относительной  характеристики точности  модели - наилучшая модель имеет наименьшую остаточную дисперсию.  

Для оценки точности модели используется следующие показатели:

1. Коэффициент множественной корреляции R . Существует несколько формул для расчета R.

Если остаточная дисперсия равна нулю, то коэффициент множественной корреляции равен единице, т.е. зависимость функциональная   

                                                                (19)

Если зависимость слабая, то под корнем может быть отрицательное число, поэтому на практике чаще используется выражение:  

,                                                             (20)

полученное при помощи правила сложения числителей и знаменателей дисперсий. Числитель D_y = сумме числителей D ₀ , D_r :

ЗнаменательD_y = сумме знаменателей D ₀ , D_r : m -1= n +( m - n -1) → \

m -1= m -1

R ²(коэффициент детерминации) – показывает долю изменчивости результативного признака, обусловленной всеми факторами, включенными в модель.

2.Средняя относительная ошибка: ,                                                                      (21)

которая показывает, на сколько процентов расчетные значения в среднем отклоняются от фактических.

3. Доверительный интервал – это интервал средних значений y_k, характеризующий пределы возможных значений y_{k .}

Для однофакторной модели линейной модели доверительный интервал определяется как:

,                             (22)

где α - уровень риска;

  1-0,5α - доверительная вероятность;

  m-2 – число степеней свободы остаточной дисперсии.

Для многофакторной модели доверительный интервал определяется как: (23)

 y

 

 

 

                                                                  

                

                              x

Рисунок 3 - Доверительный интервал

 

Оценить адекватность линейной модели можно с помощью критерия Фишера, или F – критерия. При этом учитывается, что величина  подчиняется F – распределению.  Вычисленное значение F – критерия сравнивается со 100(1-α)%-ной точкой, которой соответствуют (n, m-n-1) степени свободы. Индекс n соответствует числу степеней свободы для числителя и откладывается в левом столбце таблицы. Индекс m-n-1 соответствует числу степеней свободы для знаменателя и откладывается в верхней строке таблицы.  Если F>F_табл, то с вероятностью (1-α) можно считать, что результативный признак у линейно зависит от факторных x₁, x₂, …,х_n