Лекция№15. Корреляционно – регрессионный анализ

В естественных науках различают функциональную и статистическую зависимости. Под функциональной понимают такую зависимость, когда значению одной переменной соответствует вполне определенное значение другой переменной. Под статистической (вероятностной или стохастической) понимают такую зависимость, когда одна переменная влияет на закон распределения другой. Наибольший интерес для практики представляют вероятностные зависимости в виде закономерностей изменения средних значений (условного математического ожидания) одной случайной величины при условии, что другая принимает определенные значения. Такие вероятностные зависимости получили название корреляционных. Корреляционной  зависимостью между двумя переменными величинами называется функциональная зависимость между значениями одной из них и условным математическим ожиданием другой.

 Простейшая корреляционная зависимость может быть представлена в виде уравнения регрессии:

                                или

Для отыскания такого уравнения регрессии, строго говоря, необходимо знать закон распределения двумерной случайной величины . В теории вероятностей, например, для двумерного нормального закона плотность совместного распределения двух переменных и  имеет вид:

                               ,

 где ;

       - дисперсии переменных и ;

      - математические ожидания переменных и ;

      - коэффициент корреляции между переменными и , определяемый через корреляционный момент (ковариацию)  по формуле:

                                 .

Величина  характеризует тесноту связи между случайными переменными и  в генеральной совокупности. Известно, что при совместном нормальном законе распределения случайных величин и  выражение для уловных математических ожиданий, т.е. уравнения регрессии, выражаются линейными функциями:

Из свойства коэффициента корреляции следует, что  является показателем тесноты связи лишь в случае линейной зависимости (линейной регрессии) между переменными, получаемые, в частности, при совместном нормальном распределение.

В практике статистических исследований нам не известны законы распределения генеральных совокупностей, располагаем лишь выборкой пар значений  ограниченного объема. В этом случае речь может идти о нахождении приближенного выражения (выборочного) уравнения регрессии, являющейся наилучшей оценкой уравнения регрессии генеральной совокупности. И эта задача решается методами корреляционно-регрессионного анализа, основными задачами которых соответственно являются:

· Выявление связи между случайными переменными и оценка ее тесноты;

· Установление формы и изучение зависимости между случайными переменными.           

Основной метод нахождения неизвестных параметров уравнений регрессии в статистических исследованиях является метод наименьших квадратов. Суть этого метода в том, что неизвестные параметры уравнений регрессии выбираются таким образом, чтобы сумма квадратов отклонений эмпирических групповых средних , вычисленных по наблюдаемым данным:

                                 ,

где - частоты пар  и ; - число интервалом по переменной , от значений, найденных по уравнению регрессии , была минимальной:

                                   ,

где -число интервалов по переменной

        Линейная корреляционная зависимость и прямые регрессии

Линейную корреляционную зависимость между переменными и  выражают в виде линейного уравнения регрессии:

                              или ,

неизвестные параметры которых находим методом наименьших квадратов.

Например, для  находим минимум

на основании необходимого условия экстремума функции двух переменных  приравнивая нулю ее частные производные, т.е.

После преобразований получаем систему нормальных уравнений для определения параметров линейной регрессии:

где соответствующие средние определяются по формулам:

Подставляя значения  в уравнение регрессии  получаем:

                                 или  ,

где коэффициент    получил название коэффициента регрессии  по  и обозначение . Этот коэффициент показывает на сколько единиц в среднем изменяется переменная при увеличении переменной  на одну единицу.

Решая систему нормальных уравнений, найдем :

                             ,

где - выборочная дисперсия переменной :

                           ,

- выборочный корреляционный момент или выборочная ковариация:

                       ,

- выборочный коэффициент корреляции:

                                     .

Уравнение регрессии  по окончательно выглядит следующим образом:

                                 .

Рассуждая аналогично находят уравнение регрессии по :

                                   .

Сравнение уравнения регрессии, полученные методом наименьших квадратов, с уравнением регрессии двумерной случайной величины с нормальным законом распределения показывает их идентичность. Поэтому для оценки линейного уравнения регрессии генеральных совокупностей и по выборке в формулах

Необходимо заменить параметры ,  и  их состоятельными выборочными оценками – соответственно .