Организация нейронных сетей для вычисления дисперсионных характеристик случайных сигналов

Дипломная работа

на тему

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей

Содержание

Список сокращений

Введение

1. Организация нейронных сетей для вычисления дисперсионных характеристик случайных сигналов

1.1 Архитектуры нейронных сетей

1.2 Однослойные сети прямого распространения

1.3 Многослойные сети прямого распространения

1.4 Инварианты в структуре нейронной сети

1.5 Анализ главных компонентов алгоритмами самообучения нейронных сетей

1.5.1 Структура анализа главных компонентов

1.5.2 Основные представления данных

1.5.3 Матричная формулировка алгоритма самообучения

1.5.4 Анализ главных компонентов на основе фильтра Хебба

1.5.5 Исследование сходимости при решении главной компоненты сигнала

1.5.6 Оптимальность обобщенного алгоритма Хебба

1.5.7 Алгоритм GHA в сжатом виде

2. Оценка параметров регрессионных уравнений при аппроксимации дисперсионных распределений методом АГК

2.1 Организация наблюдений и регрессионные методы оценки параметров

2.2.1 Оценивание по конечному числу наблюдений

2.1.2 Оценки по методу наименьших квадратов

2.2 Нейронные сети и статистические характеристики

2.3 Различие нейронных сетей и статистики

2.4 Нейронные сети и статистические экспертные системы

2.5 Сети интервальных нейронов

2.6 Сети и свойства численных структур регрессионного анализа

2.6.1 Идея сингулярного разложения матрицы данных

2.6.2 Линейный МНК

2.7 Нелинейные решения проблем стандартного МНК

2.7.1 Аппроксимация линейным или нелинейным МНК

2.7.2 Нелинейный МНК с использованием гессиана или без него

2.7.3 Нелинейный МНК как обратная коммуникация

2.8 Решение параметров регрессионного уравнения с использованием аппроксимации ковариационной матрицы по данным ГК при обучении НС

Заключение

Библиографический список использованной литературы

Список сокращений

АГК – анализ главных компонент;

БД – база данных;

ИТ – информационные технологии;

МНК – метод наименьших квадратов;

НС – нейронные сети;

ОС – операционная система;

ПК – персональный компьютер;

ПО – программное обеспечение;

ЦОС – цифровая обработка сигналов;

ЭВМ – электронная вычислительная машина;

Введение

Одно из современных направлений технических исследований – поиск адаптивных методов адаптации и формул нейронных сетей к традиционным задачам цифровой обработки сигналов (анализ Фурье, свертка) и регрессионному анализу (МНК и его модификации). Причем данные задачи НС решает путем перевода пространства данных в пространство признаков, фактически изменяя входные размерности и формируя гиперпространства для поиска решения. НС имеет универсальную структуру, что бы напрямую моделировать решение задач ЦОС и ряд косвенных методов получения характеристик стохастических сред, которые потом можно использовать традиционными способами оценки параметров регрессионных моделей на основе свойств отношения корреляций и спектров исходных регрессий.

Формирование пространства признаков с помощью унарных операторов, или их вещественных аналогов – ортогональных операторов (при ограниченной Евклидовой норме) – это основная особенность нейронных сетей, отличающая результат ее решений от методов ЦОС, регрессионного и спектрального анализа. Подобия их решений сеть находит на элементах анализа в пространстве признаков и самый простой способ обучения сети работает эффективней, чем, например, классический метод ЦОС при попытке того же разделения данных на признаки. Только специфичная формула сети прямого распространения способна с минимальной трудностью для алгоритмов ЭВМ построить систему независимых подмножеств – ортогональных подпространств собственных векторов, образующих совокупность унарных операторов преобразования пространства данных в пространство признаков той же или отличной размерности. Это принципиальное отличие НС от методов регрессионного анализа, у которых унарный оператор зависит от характеристик исходной среды и строится, например, минимизацией Евклидовой нормы вектора ошибки. Вектор имеет размерность только входного пространства данных, а условия для критерия его минимизации часто оказываются тривиальными, а отклонения, например в сторону корреляции нормируемых помех, уже приводит к несостоятельному результату оценки параметров или матрица корреляции данных, являющаяся основой минимизируемого функционала ошибки, становится вырожденной. В свою очередь, НС, преобразует пространство данных в пространство признаков, выполняя задачу статистического распознавания. Каждый признак на выходе нейрона получает собственный набор ортогональных векторов в виде весов этого нейрона, значения всех признаков в ортонормированных базисах также взаимно ортогональны. Это следует понимать как разложение исходного пространства данных в прямую сумму собственных подпространств, где собственными векторами являются веса нейронов, а собственными числами – значении их выходов после стадии самообучения. Эта общность на уровне линейных пространств способна порождать множество задач в области прикладного анализа в различных дисциплинах, с той разницей, что стадия анализа в НС наряду с компонентом анализа вычисляет совокупность собственных подсистем векторов в качестве унарного оператора, или ортогонального матричного оператора, например в виде ограниченной Евклидовой нормы.

Главной задачей в статистическом распознавании является выделение признаков или извлечение признаков. Под выделением признаков понимается процесс, в котором пространство данных преобразуется в пространство признаков, теоретически имеющее ту же размерность, что и исходное пространство. Однако обычно преобразования выполняются таким образом, чтобы пространство данных могло быть представлено сокращенным количеством "эффективных" признаков. Это актуально и для регрессионных сред, где часть «незначащих» дисперсий ковариационной матрицы данных могут быть значительно меньше дисперсии помех, что приводит к несостоятельной оценке параметров регрессионных моделей. По существу цель преобразования стохастической среды в пространство признаком можно разделить на два существенных направления: выделение характеристик среды для методов корреляционного и дисперсионного анализа; изменение размерности исходных данных среды с потерей несущественных признаков в плане минимума их среднеквадратичной ошибки. Эти два направления должны выполнить задачу обеспечения регрессионных методов невырожденными унитарными операторами, когда априорной информации об ошибках измерений недостаточно или она трудно извлекаема из исходных данных среды.

Анализ главных компонентов осуществляет выделение главных признаков на этапе анализа; сокращает размерности, игнорируя незначащие величины признаков; при синтезе исходных данных проводит линейное преобразование, при котором сокращение будет оптимальным в смысле среднеквадратической ошибки. При осуществлении метода НС на исходных данных стохастической среды, собственными числами (выход нейрона) являются распределения дисперсий, собственные вектора (веса нейрона) – ортонормированная система собственного числа, образующая с ним собственное подпространство, где путем настройки ориентации весов решается задача экстремума для дисперсии. Совокупности дисперсий образуют диагональную матрицу – численный аналог корреляционной матрицы исходных данных, а совокупность весовых собственных подпространств формирует унарный, в вещественном смысле ортогональный, оператор. Матричное произведение ортонормированной системы и входной реализации случайной величины анализируют главные компоненты признаков, а дуальная операция признаков относительно ортогональной матрицы воссоздает исходный вектор данных стохастической среды. При этом выделяются главные признаки в дисперсионном распределении (диагональный оператор собственных чисел) при свойстве маленькой дисперсии отдельных компонентов. Таким образом, АКГ максимизирует скорость уменьшения дисперсии и вероятность правильного выбора. Алгоритмы обучения НС, основанные на принципах Хебба, после стадии самообучения НС осуществляют анализ главных компонентов интересующего вектора данных. Основным объектом АГК для регрессионного и дисперсионного анализа являются дисперсионные распределения, полученные дисперсионным зондом при настройке собственных подпространств в виде весов НС. Но, в отличие от критерия минимизации регрессионных методов, здесь применяется критерий определения таких единичных векторов из совокупности весов нейрона, для которых дисперсионный зонд принимает экстремальные значения. После настройки весов однослойной сети имеется решение – диагональная матрица, состоящая из собственных значений корреляционной матрицы данных (ортогональное преобразование подобия) и ортогональная матрица из объединения собственных векторов. Матричное произведение этих объектов приводит к результату, или получению числового оригинала дисперсий – корреляционной матрицы данных. То есть сама матрица корреляции может быть выражена в терминах своих собственных векторов и собственных значений по выражению спектральной теоремы. Преобразование подобия, спектральные операции синтеза данных являются теми общностями, на которые следует обратить внимание при регрессионном моделировании, если традиционные методы при малости априорной информации не позволяют получить достаточный объем данных из характеристик стохастической среды.

Еще раз уточним различие принципов АГК и оценивания параметров статистических регрессионных моделей в достижении одной цели – получения характеристик стохастических сред, в особенности наиважнейшей из них – корреляционной функции входного пространства данных. Именно разница принципов позволяет достигать результата при нехватке априорной информации – если мала априорная информация о помехах, то решение обращается к дисперсионным моделям случайных реализаций с их собственным ортонормированным пространством.

• Проекции дисперсий реализации случайной величины в ортонормированном векторном пространстве помех должны быть минимальны. Тем самым минимизируется корреляция аддитивных помех с выходом модели. Преимущество подхода – исследуется только модель шума, физическая природа полезного сигнала игнорируется. При этом параметры подбираются стохастически и функция оценки имеет определенный тип распределения.

• При АГК наоборот учитывается корреляционная модель сигнала, определяется ортогональный оператор таким образом, что бы проекции коэффициентов, предоставляемые корреляционной матрицей, были максимальны. Тогда на выходе нейронов в пространстве признаков формируются скаляры – дисперсии исходных реализаций случайной величины, или собственные числа корреляционной матрицы. Это преобразование подобия – результат самообучения сети, по результату которого возможно спектральное воссоздание корреляционной матрицы с максимальными дисперсиями в пространстве данных. Это и есть противоположность минимальной дисперсии данных в ортонормированном пространстве вектора помех. Максимум дисперсий данных в АГК и минимум функционала ошибки регрессионных линейных статических методов способствуют состоятельным оценкам решения.

Теперь можно сделать выводы, касающиеся продукции анализа главных компонентов по отношению к регрессионному анализу.

• Собственные векторы матрицы корреляции случайного вектора данных с нулевым средним определяют настраиваемые веса НС; они представляют основные направления, вдоль которых дисперсионный зонд (выхода нейронов) принимает экстремальные значения.

• Экстремальные значения дисперсионного зонда – это собственные числа корреляционной матрицы входных данных; последовательность чисел образует преобразование подобия этой матрицы в виде диагонального оператора.

Формально результат анализа – это проекции вектора данных на основные направления, представленные единичными векторами в виде весов каждого нейрона НС. Эти проекции называются главными компонентами и их количество соответствует размерности вектора данных.

Итак, выбрав тему работы на принципах АГК, нужно представлять выполняемые задачи как проблемы математического анализа на граничном пересечении технологий и методов корреляционной оценки параметров стохастических моделей и адаптивных алгоритмов пространственных преобразований. Для основного объема работы следует выбрать три формулы АГК на базе ортогонального оператора, полученного средствами НС.

• Формула ортогонального преобразования получения подобия корреляционной матрицы данных – диагонального оператора из дисперсий пространства данных.

• Формула анализа – вычисление проекции вектора реализации случайной величины в каждой ортогональной подсистеме собственных векторов.

• Спектральная формула синтеза ковариационной матрицы по исходной реализации случайного вектора данных.

Формула синтеза исходных данных с сокращением размерности может не приниматься во внимание, так как она в основном относится к задачам распознавания образов в пространстве признаков; проблема текущей темы – расчет скалярных и векторных величин в пространстве признаков НС для решения плохо обусловленных задач регрессионного анализа.

Актуальность работы: возможность использования эффективных численных методов на алгоритмах ЭВМ при решении регрессионных методов, но в условиях дефицита априорной информации о помехах.

Целю работы является разработка технологии применения метода АГК в решении плохо обусловленных задач статического регрессионного анализа.

Основные задачи, определенные в соответствии с поставленной целью квалификационной работы:

– анализ существующих методов идентификации статических моделей статистических объектов;

– анализ основных проблем решения регрессионных задач линейными методами при дефиците априорной информации о помехах;

– изучение пространственных характеристик АГК и структур НС при обработке ими стохастических сред;

– создание на основе выявленных критериев состоятельности методов АГК описания принципов адаптации АГК к проблемам регрессионного анализа;

– модернизация классических технологий получения дисперсионных характеристик стохастических сред алгоритмами самообучения НС в пространстве признаков;

– составление алгоритмов на основе АГК, содействующие регрессионному анализу, тесты эталонных моделей с истинными параметрами;

– составление ряда рекомендаций по использованию разработанных адаптивных алгоритмов с корреляционными методами получения оценок для регрессионных моделей.

 

Организация нейронных сетей для вычисления дисперсионных характеристик случайных сигналов

Архитектура сетей

 

Структура нейронных сетей тесно связана с используемыми алгоритмами обучения. Классификация алгоритмов обучения будет приведена в следующей главе, а вопросы их построения будут изучены в последующих главах. В данном разделе мы сосредоточим внимание на архитектурах сетей (структурах).

В общем случае можно выделить три фундаментальных класса нейросетевых архитектур.