Решение параметров регрессионного уравнения с использованием аппроксимации ковариационной матрицы по данным ГК при обучении НС

Актуальность работы определяется проблемой регрессионных методов, когда оценка параметров затруднена дефицитом априорной информации о помехах или обратная автоковариационная матрица входных регрессоров является вырожденной. Целевое направление работы – создание алгоритма оценки параметров регрессионной модели измерений при аппроксимации дисперсионных характеристика методом главных компонентов. Основная решаемая задача заключается в нахождении соотношения характеристик главных компонентов и регрессионных уравнений. Эффективность достигается за счет решения главных компонентов средствами нейронных сетей на основе фильтра Хебба.

пространственный стохастический адаптивный алгоритм регрессионный

Рисунок 2.3 - Алгебраические компоненты модели ГК и регрессионного анализа

 

Конкретно в текущей работе было выполнены следующие этапы построения представляемого метода (рис. 2.3):

– рассмотрение алгебраической модели данных метода главных компонентов для выявления структурных соотношений с регрессионным анализом;

– анализ структуры и метода обучения нейронных сетей для решения аппроксимации ковариации входного сигнала методом главных компонент;

– поиск оптимального параметра отклика регрессионными методами и по данным анализа главных компонентов;

– решение поверхности отклика по данным АГК, в условиях, когда обратная матрица автоковариации входных регрессоров вырождена.

 

Рисунок 2.4 - Отношения ГК и входного пространства

 

В основе метода главных компонентов находится задача наилучшей аппроксимации конечного множества точек линейными многообразиями типа прямых и плоскостей (рис. 2.4). Эти линейные многообразия определяются ортонормированным набором векторов, линейных по параметрам. По входным координатам, относительно каждого базиса многообразия, рассчитывается минимальная квадратичная сумма до их проекции. Таким образом, формируется главная компонента, связанная с максимальной дисперсией проекции входа относительно элемента базиса. Совокупность проекций отдельного направления и их главная компонента в свою очередь образуют собственные подпространства, ортогональные по отношению друг к другу.

 

Рисунок 2.5 - Эффект решения задачи ГК для проблем регрессионного анализа

 

Таким образом, формируется распределение максимальных дисперсий аппроксимируемых точек в пространстве компонент (рис. 2.5). Проекция искажений, или помех, ортогональна и не коррелированны с данными. То есть дисперсия помех минимальна, что соответствует задачам регрессионного анализа. Но расчет всех главных компонентов – аналитически сложная задача оптимизации. Эффект ее решения это нахождение:

- максимальной дисперсии полезного сигнала;

- системы некоррелированных координат;

- аппроксимация ковариационной матрицы диагональю из дисперсий проекций по данным ГК.

При этом ортонормированный базис для собственных векторов существует всегда. Даже если спектр ковариационной матрицы вырожден, то есть когда она является сингулярной и не решает оценки параметров регрессионной модели.

 

Рисунок 2.6 - Алгоритм анализа главных компонентов обучением НС на основе фильтра Хебба

 

С целью анализа главных компонентов для входного сигнала произвольной размерности возможно применение технологии обучения нейронных сетей (рис. 2.6). Сеть прямого распространения с одним слоем линейных нейронов, модифицируемая по обобщенному правиле Хебба, образует устройство - фильтр Хебба. Фильтр извлекает главные компоненты из входного сигнала в пространстве собственных векторов, которыми являются веса нейронов. Число компонент соответствует числу ортосистем, то есть числу весовых систем и соответственно равно числу нейронов сети. Таким образом, всегда будет достижима задача аппроксимации ковариационной матрицы входного случайного сигнала заданной размерности.

Рисунок 2.7 - Поверхность отклика при матричном расчете и аппроксимации главными компонентами ковариационной матрицы факторов

 

В качестве практического эксперимента была выбрана аппроксимация квадратичным полиномом выхода линейной системы с нормально распределенной аддитивной помехой (рис. 2.7). Дисперсия помехи менялась в пределах 3-10% от дисперсии сигнала. Решение определялось в фактор-пространстве поверхности оптимального отклика. Входными данными являлись факторы регрессионного выражения отклика. Оптимальное значение отклика рассчитывалось при оценке параметров МНК. В расчетах использовалась стандартная матрица ковариации и ее аппроксимация диагональным оператором главных компонент. Компоненты получены по результатам настройки весов нейронной сети алгоритмом Хебба с использованием пакета Matlab. Отклонение параметров модели отклика на данных диагональной матрицы главных компонент от стандартных расчетов составило в среднем 2.2%.

 

Рисунок 2.8 - Решение отклика в условиях аппроксимации автоковарационной матрицы входного сигнала произвольной размерности

 

Далее был сделан переход к квадратичному полиному размерностью в три входных фактора. В этих условиях были смоделированы значения факторов, когда обратная ковариационная матрица входа становится вырожденной и решение регрессии по МНК не выполнимо (рис. 2.8). После чего матрица аппроксимировалась алгоритмом Хебба на модели НС. Графическая демонстрация отклика производится при стабилизированном третьем факторе, что позволяет наблюдать поверхность отклика по данным главных компонентов.

Итак, в результате исследования и апробации решения главных компонентов на модели НС, практически получен метод содействия регрессионному анализу измерений. Метод позволяет оценивать параметры на отношении дисперсий ковариации и аппроксимированной главными компонентами автоковариации входного сигнала произвольной размерности. Подобное применение современных технологий на алгоритмах обучения нейронных сетей выполняет достижение цели, определенной в дипломной работе.

Заключение

 

Произведенная теоретическая и практическая часть (в виде алгоритмического программирования) работы достигает цели, поставленной при дипломном проектировании. В качестве объекта проектирования выступали регрессионные среды измерений, где параметрическая идентификация на принципах минимизации дисперсионных распределений матричного функционала ошибки затруднена стандартными регрессионными методами.

Новизной результата стали применение формулы самообучающейся нейронной сети к регрессионным средам; альтернатива методам поиска стационарных значений (минимальных) функционала (скаляра) ошибки в векторном пространстве данных как метод поиска экстремальных дисперсий в векторном пространстве признаков (при той же ограниченной Евклидовой норме вектора помех).

В дипломной работе была разработана схему адаптации метода анализа главных компонентов, решаемого на основе нейронных сетей, к регрессионному анализу стохастических сред, где корреляционные методы оценок затруднены из-за плохой обусловленности ортогональной матрицы автоковариаций. В результате выполнения дипломной работы были получены алгоритмы на основе метода анализа главных компонентов для получения дисперсионных распределений стохастических сред моделируемых сигналов и систем, позволяющие с помощью принципов спектрального анализа содействовать оценке параметров регрессионных моделей.

 

Библиографический список использованной литературы

 

1. Саймон Хайкин. Нейронные сети. Москва, Вильямс, 2006.

2. Эйкхофф П. Основы идентификации систем управления. Москва, Мир. 1975.

3. Бокс Дж., Дженкинс Г. Анализ временных рядов, прогноз и управление. - М.: Мир, 1974. - 193 с.

4. Кацюба О.А., Гущин А.В. О состоятельности оценок параметров многомерной линейной регрессии на основе нелинейного метода наименьших квадратов // Труды IV Международной конференции «Идентификация систем и задачи управления» SICPRO’05 . Статья – Москва, 25-28 января 2005 г. Институт проблем управления им. В.А. Трапезникова РАН, 2005, с. 279-284.

5. Кацюба О.А., Гущин А.В. Оценивание параметров многомерной линейной авторегрессии // XI международная конференция «Математика, компьютер, образование». Дубна, 26-31 января 2004 г. МГУ, Пущинский центр биологических исследований РАН, институт прикладной математики им.М.В. Келдыша РАН: Тез. докл. – Москва-Ижевск, 2004. Выпуск № 11, с.-107.

6. Кацюба О.А., Гущин А.В. Численные методы определения оценок параметров многомерного линейного разностного уравнения // XVIII Международная научная конференция «Математические методы в технике и технологиях». Статья – Казань, 31 мая - 2 июня 2005г. Казанский государственный технологический университет, 2005, с.156-159.