Значимость регрессионной модели

КОРРЕЛЯЦИОННЫЙ И РЕГРЕССИВНЫЙ АНАЛИЗ.

АНАЛИЗ ПАРНЫХ ВЗАИМОСВЯЗЕЙ

Основные понятия

• Связь как синхронность (согласованность) – корреляционный анализ.

• Связь как зависимость (влияние) – регрессионный анализ (причинно-следственные связи).

Основные понятия

• В регрессионном анализе один из признаков зависит от другого.

• Первый (зависимый) признак называется в регрессионном анализе результирующим , второй (независимый) – факторным .

• Не всегда можно однозначно определить, какой из признаков является независимым, а какой – зависимым. Часто связь может рассматриваться как двунаправленная.

Этапы анализа

• Выявление наличия взаимосвязи между признаками;

• Определение формы связи;

• Определение силы (тесноты) и направления связи (dыявление наличия связи между признаками, диаграммы рассеяния)

• Определение формы связи

Линейная связь

Форма связи

†Поскольку наиболее простой формой зависимости в математике является прямая, то в корреляционном и регрессионном анализе наиболее популярны линейные модели.

†Однако иногда расположение точек на диаграмме рассеяния показывает нелинейную зависимость либо вообще отсутствие связи между признаками.

 

Линия регрессии и уравнение регрессии

Диаграмма рассеяния

 

Линия регрессии

• Вычисляемая с помощью метода наименьших квадратов прямая линия называется линией регрессии. Она характеризуется тем, что сумма квадратов расстояний от точек на диаграмме до этой линии минимальна (по сравнению со всеми возможными линиями).

• Линия регрессии дает наилучшее приближенное описание линейной зависимости между двумя переменными.

Уравнение парной линейной регрессии

• Как известно, прямая линия описывается уравнением вида:

Y = kX + b,

где Y – результирующий признак, X – факторный признак, k и b – числовые параметры уравнения.

• Коэффициент k в уравнении регрессии называется коэффициентом регрессии.

Смысл коэффициента регрессии

• В общем случае коэффициент регрессии k показывает, как в среднем изменится результативный признак ( Y ), если факторный признак ( X ) увеличится на единицу .

Свойства коэффициента регрессии

• Коэффициент регрессии принимает любые значения.

• Коэффициент регрессии не симметричен , т.е. изменяется, если X и Y поменять местами.

• Единицей измерения коэффициента регрессии является отношение единицы измерения Y к единице измерения X

([ Y ] / [ X ]).

• Коэффициент регрессии изменяется при изменении единиц измерения X и Y .

Пример единицы измерения коэффициента регрессии

• В уравнении Y = 87610 + 2984 X

коэффициент регрессии равен 2984. В каких единицах он измеряется?

• Поскольку результативный признак Y измеряется, например, в рублях, а факторный признак X, например, в количестве рабочих (чел.), то коэффициент регрессии измеряется в рублях на человека (руб. / чел.)

 

Сравнение коэффициентов корреляции и регрессии

Коэффициент корреляции

• Принимает значения в диапазоне от -1 до +1

• Безразмерная величина

• Показывает силу связи между признаками

• Знак коэффициента говорит о направлении связи

Коэффициент регрессии

• Может принимать любые значения

• Привязан к единицам измерения обоих признаков

• Показывает структуру связи между признаками

• Знак коэффициента говорит о направлении связи

 

МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ И РЕГРЕССИЯ

Усложнение модели

• Обычно на зависимую переменную действуют сразу несколько факторов, среди которых трудно выделить единственный или главный.

• При этом факторы, влияющие на зависимую переменную, как правило, не являются независимыми друг от друга.

Пример

• Уравнение парной регрессии для зависимости объема производства ( Y ) от числа рабочих ( X 1 ) имеет вид:

Y = 87610 +2984 X 1

• Если построить уравнение парной регрессии для зависимости объема производства ( Y ) от мощности двигателей ( X 2 ), получим:

Y = 265300 +299,7 X 2

 

Пример

• Итак доход предприятия зависит одновременно от двух факторов производства – числа рабочих и энерговооруженности, однако эти факторы сами не являются независимыми друг от друга.

• Поэтому совокупная зависимость дохода от рабочих и мощности двигателей не есть простая сумма двух парных зависимостей.

Пример

• Следовательно, неверно , что суммарное влияние обоих факторов можно записать в виде суммы двух предыдущих уравнений:

Y = 3529 10 + 2 984 X 1 + 299,7 X 2

 

Уравнение множественной линейной регрессии

 

Y = a + b 1 X 1 + b 2 X 2 +…+ b k X k

 

X 1 , X 2 , … , X k независимые переменные (факторы);

 

b 1 , b 2 , … , b k соответствующие им коэффициенты регрессии

 

Значимость регрессионной модели

• Если коэффициент множественной корреляции вычислен на основе выборочных данных, то возможно, что его значение не отражает реальной связи между признаками, а получено в данной выборке случайно (при этом в генеральной совокупности признаки независимы).

Значимость регрессионной модели

• В основе проверки значимости регрессии лежит идея разложения дисперсии (разброса) результативного признака на факторную и остаточную дисперсии, т.е. объясненную (за счет независимых факторов) часть дисперсии и часть, оставшуюся необъясненной в рамках данной модели.

Значимость регрессионной модели

• Мерой значимости регрессии служит значение т.н. F- критерия – отношения факторной дисперсии к остаточной .

• Чем лучше регрессионная модель, тем выше доля факторной и ниже доля остаточной дисперсии.

Значимость регрессионной модели

• Для каждого значения F можно вычислить соответствующую вероятность. Если значение этой вероятности меньше принятого уровня значимости p или вероятности ошибки (в программе Statistica это 5% или 0,05), гипотеза об отсутствии линейной связи между результативным и факторными признаками отклоняется и регрессия признается значимой .