РЕШЕНИЕ ЗАДАЧ ПРИ ПОМОЩИ НЕЙРОННЫХ СЕТЕЙ

ЛЕКЦИЯ № 6

ОСНОВЫ ПОСТРОЕНИЯ АЛГОРИТМОВ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ

1. Решение задач при помощи нейронных сетей.

2. Обучение нейронной сети методом обратного распространения ошибки - 20 мин.

3. Самообучение нейронной сети – 30 мин.

РЕШЕНИЕ ЗАДАЧ ПРИ ПОМОЩИ НЕЙРОННЫХ СЕТЕЙ

Большая часть прикладных задач может быть сведена к реализации некоторого сложного функционального многомерного преобразования Х®Y. В результате отображения необходимо обеспечить формирование правильных выходных сигналов не только со всеми примерами обучающей выборки, но и возможными входными сигналами, которые не вошли в обучающую выборку.

Процесс функционирования НС зависит от величин синаптических связей. Поэтому, задавшись определенной структурой сети, соответствующей какой-либо задаче, необходимо найти оптимальные значения всех переменных весовых коэффи­циентов (некоторые синаптические связи могут быть постоянны­ми).

Этот этап называется обучением НС, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время функ­ционирования.

В процессе функционирования НС формирует выходной сигнал Y в соответствии с входным сигналом X, реали­зуя некоторую функцию g: Y=g(Х). Если архитектура сети задана, то вид функции g определяется значениями синаптических весов сети. Обозначим через G множество всех возможных функций g, соответствующих заданной архитектуре сети.

Пусть решение некоторой задачи есть функция r. Y=r(Х),заданная парами входных-выходных данных (X¹, Y¹), ... , (X^k, Y^k) для которых Yⁱ=r(Хⁱ), i= . E – функция ошибки (функционал качества), показывающая для каждой из функции g степень близо­сти к r.

Решить поставленную задачу с помощью НС заданной архитектуры – это значит построить (синтезировать) функцию gÎG, подобрав параметры нейронов (синаптические веса) таким образом, чтобы функционал качества об­ращался в оптимум для всех пар (Xⁱ, Yⁱ).

Таким образом, задача обучения НС определя­ется совокупностью пяти компонентов: <Х, Y, r, G, Е>.

Обучение состоит в поиске (синтезе) функции g, оптималь­ной по E. Оно требует длительных вычислений и представляет собой итерационную процедуру. Число итераций может составлять от 10³ до 10⁸. На каждой итерации происходит уменьшение функ­ции ошибки.

Для решения задачи в НСЛБ необходимо:

1. Определить объект, выступающий в роли входного сиг­нала НС. Это может быть элемент исходных данных, начальное значение определяемых величин и т.д.

2. Определить объект, выступающий в роли выходного сиг­нала НС. Это может быть само решение или некото­рая его характеристика.

3. Определить желаемый (требуемый) выходной сигнал НС.

4. Определить структуру НС:

а) число слоев;

б) связи между слоями;

в) объекты, являющиеся весовыми коэффициентами.

5. Определить функцию ошибки системы, т. е. функцию, характеризующую отклонение желаемого выходного сиг­нала НС от реального выходного сигнала.

6. Определить критерий качества системы и функционал ее оптимизации, зависящий от ошибки.

7. Определить значения весовых коэффициентов – в зави­симости от задачи это можно сделать различными способами:

а) аналитически, непосредственно из постановки задачи;

б) с помощью некоторых численных методов;

в) применив процедуру настройки коэффициентов НС.

Решение задачи с помощью НСА зак­лючается в применении (функционировании в некотором режиме) построенной вычислительной процедуры с конк­ретными значениями числовых данных. Процесс решения включает:

1. Получение конкретной структуры НС, соответ­ствующей применяемому алгоритму;

2. Нахождение значений весовых коэффициентов, либо выбор их из памяти, если они были найдены ранее;

3. Генерацию начальных приближений параметров, если это необходимо;

4. Передачу всех численных значений в НС и ее запуск;

5. Функционирование сети в соответствии с режимом:

а) за один шаг или фиксированное число шагов;

б) за переменное число шагов, зависящее от требуемой точности и/или конкретных числовых значений па­раметров. В этом случае, происходит процесс настрой­ки входного сигнала;

в) получение решения.

При многократном использовании п.1) и 2) могут быть вы­полнены однократно.

Практически все известные подходы к проектированию НС связаны в основном с выбором и анализом некоторых частных видов структур с известными свойствами (парадигм) и некоторых режи­мов их работы. Использование НС сводится к приме­нению этих структур для решения классов адекватных им задач, при изменении или выборе параметров структур.

Алгоритмы обучения НС можно разделить на два больших класса: с учителем и без учителя. В многослойных НС оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, неизвестны. Трех- или более слойный персептрон уже невозможно обучить, руководствуясь только величинами ошибок на выходах сети.