Регрессионной модели МНК
Принципиальных отличий применения МНК для парной регрессии от применения его для множественной регрессии нет. Поэтому основное значение этого параграфа - освоение матричного подхода к алгебраическим преобразованиям в рамках теории множественной регрессии. Условие минимизации суммы квадратов отклонений для множественной регрессии:
Как и ранее, для отыскания оптимального значения вектора b составим систему уравнений, приравняв нулю частные производные от S по bi. В матричной форме такая система уравнений будет иметь вид (читается ”набла S по b равно 0-вектору”):
Опустим все промежуточные преобразования (подробности см. [5, с. 84] ) и получим результат: систему нормальных уравнений в матричной форме относительно искомого вектора b:
Для наглядности представим данное матричное выражение графически (рис. 3.1). Полезно сравнить этот рисунок и выражение (3.6), определить размерности матриц. Напомним, что произведение матриц определяется как повторение одной и той же операции: скалярное произведение очередной строки левой матрицы на очередной столбец правой матрицы, что условно и показано на рис. 3.1.
X Y X’ b X’ x x = x Рис. 3.1. Графическое представление матричного выражения (3.6)
Чтобы разрешить систему (3.6) линейных уравнений относительно вектора b, нужно обе части уравнения умножить слева (умножение матриц некоммутативно) на матрицу, обратную к матрице Х’X, т.е. на (Х’X)-1. В результате получим систему линейных уравнений, разрешенную относительно вектора b:
Теперь можно предпосылку-6 переформулировать более конструктивно: матрица Х’X должна быть неособенной, иначе говоря, ее определитель не должен равняться нулю: êХ’X ê¹ 0. Еще одно эквивалентное условие: матрица Х’X должна иметь обратную матрицу. Если воспользоваться стандартным пакетом программ, то именно в матричной форме удобнее всего формулировать задание (3.7) для компьютера. Переформулируем предпосылки специально для матричной формы множественного регрессионного анализа: 1. В модели (3.2) e - случайный вектор, Х - неслучайная матрица. 2. М(e) = 0n, где 0n, - вектор-столбец, состоящий из n нулей. 3. Одновременно и условие 4. åe = М(ee‘) = s2Еn, где Еn - единичная матрица n x n (заметим, что квадратная матрица получается в результате умножения по правилам матричной алгебры матрицы-столбца на матрицу-строку). 5. e - случайная величина-вектор с n-мерным НЗР Nn(0, s2Еn). 6. Ранг матрицы r(X) = p+1, причем p+1< n (неравенство требует, чтобы число наблюдений n было больше, чем число объясняющих переменных плюс 1). Теорема Гаусса-Маркова. При выполнении предпосылок 1-4 и 6 множественного регрессионного анализа оценка по МНК b = (Х’X)-1X’Y является эффективной, т.е. обладает наименьшей дисперсией в классе линейных несмещенных оценок.
Популярное: Почему человек чувствует себя несчастным?: Для начала определим, что такое несчастье. Несчастьем мы будем считать психологическое состояние... Модели организации как закрытой, открытой, частично открытой системы: Закрытая система имеет жесткие фиксированные границы, ее действия относительно независимы... ©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (561)
|
Почему 1285321 студент выбрали МегаОбучалку... Система поиска информации Мобильная версия сайта Удобная навигация Нет шокирующей рекламы |