Основные свойства нейронных сетей

Солдатова О.П.

Системы искусственного интеллекта

Курс лекций

Самара

Оглавление

1 Введение в нейронные сети.. 2

1.1 Основные свойства нейронных сетей. 2

1.2 Биологические основы нейронных сетей. 4

1.3 Модель МакКаллока - Питса. 6

1.4 Персептрон. 8

1.5 Сигмоидальный нейрон. 8

1.6 Нейрон типа WTA.. 11

1.7 Функции активации нейронов. 12

2 Многослойные сети прямого распространения сигнала 14

2.1 Однослойный персептрон. 14

2.2 Многослойный персептрон. 15

2.3 Структура двухслойной сигмоидальной нейронной сети. 17

2.4 Градиентные методы обучения многослойного персептрона. 19

2.4.1 Основные положения градиентных алгоритмов обучения сети. 19

2.4.2 Подбор коэффициента обучения. 20

2.4.3 Алгоритм обратного распространения ошибки. 21

2.4.4 Алгоритм наискорейшего спуска. 24

3 Сети с самоорганизацией на основе конкуренции.. 26

3.1 Сеть Кохонена. 26

3.2 Меры расстояния между векторами и нормализация векторов. 28

3.3 Проблема мертвых нейронов. 29

3.4 Алгоритмы обучения без учителя. 31

3.4.1 Алгоритм WTA.. 31

3.4.2 Алгоритм Кохонена. 32

4 Рекуррентные сети.. 33

4.1 Общие положения. 33

4.2 Сеть Хопфилда. 34

4.3 Сеть Хемминга. 37

Введение в нейронные сети

Основные свойства нейронных сетей

Исследования по искусственным нейронным сетям связаны с тем, что способ обработки информации человеческим мозгом принципиально отличается от методов, применяемых обычными цифровыми компьютерами. Мозг представляет собой чрезвычайно сложный, нелинейный, параллельный компьютер. Он обладает способностью организовывать свои структурные компоненты, называемые нейронами, так, чтобы они могли выполнить конкретные задачи (такие как распознавание образов, обработку сигналов органов чувств, моторные функции) во много раз быстрее, чем могут позволить самые быстродействующие компьютеры. Мозг имеет совершенную структуру, позволяющую строить собственные правила на основе опыта. Опыт накапливается с течением времени.

Понятие развития нейронов мозга связано с понятием пластичности мозга – способностью настройки нервной системы в соответствии с окружающей средой. Аналогично в искусственных нейронных сетях производится настройка искусственных нейронов и формируется структура нейронной сети. В общем случае нейронная сеть представляет машину, моделирующую способ обработки мозгом конкретной задачи. Эта сеть обычно реализуется с помощью электронных компонентов или моделируется программой.

Таким образом, можно дать следующее определение нейронных сетей, выступающих в роли адаптивной машины [3]:

нейронная сеть – это громадный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и представляющих их для последующей обработки. Нейронная сеть сходна с мозгом с двух точек зрения:

· знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения;

· для накопления знаний применяются связи между нейронами, называемые синаптическими весами.

Процедура настройки синаптических весов называется алгоритмом обучения.Эта процедура выстраивает в определённом порядке веса нейронов сети для обеспечения необходимой взаимосвязи между ними.

Наиболее существенными свойствами нейронных сетей являются:

1. Нелинейность.Поскольку искусственные нейроны могут быть линейными и нелинейными, то нейронные сети позволяют воспроизводить сложные зависимости, как линейные, так и нелинейные. Нейронные сети реализуют нелинейность особого вида, так как она распределена по сети. Кроме того, нейронные сети справляются с "проклятием размерности", которое не позволяет моделировать нелинейные зависимости в случае большого числа переменных.

2. Параллельная обработка информации. Благодаря этой способности при большом количестве межнейронных связей достигается значительное ускорение процесса обработки информации. Во многих ситуациях становится возможной обработка сигналов в реальном масштабе времени.

3. Обучение на примерах. Одной из популярных парадигм обучения является обучение с учителем. Такой способ обучения предполагает изменение синаптических весов на основе набора учебных примеров. Каждый пример состоит из входного сигнала и соответствующего ему ожидаемого выходного сигнала. Нейронная сеть модифицирует синаптические веса для минимизации разности ожидаемого выходного сигнала и реального выходного сигнала, формируемого нейронной сетью. Таким образом, нейронная сеть обучается на примерах, представляющих собой таблицу соответствий вход-выход для конкретной задачи. Ранее использованные примеры могут быть использованы для обучения снова в таком же или ином порядке.

4. Адаптивность (adaptivity). Нейронные сети обладают способностью адаптировать свои синаптические веса к изменениям окружающей среды. Нейронные сети могут быть легко переучены для работы в нестационарной среде. Для того, чтобы использовать все достоинства адаптивности, основные параметры системы должны быть достаточно стабильными, чтобы не учитывать внешние помехи, и достаточно гибкими, чтобы обеспечить реакцию на существенные изменения среды.

5. Нечувствительность к ошибкам (faulttolerance). Очень большое количество межнейронных соединений приводит к тому, что сеть становится нечувствительной к ошибкам, возникающим в отдельных контактах. Функции поврежденных соединений принимают на себя другие элементы, в результате в деятельности сети не наблюдаются заметные нарушения. Только серьезные повреждения структуры нейронных сети существенно влияют на ее работоспособность.

6. Способность к обобщению полученных знаний. Сеть обладает чертами искусственного интеллекта. Натренированная на ограниченном множестве обучающих примеров, она обобщает накопленную информацию и вырабатывает ожидаемую реакцию применительно к данным, не обрабатывавшимся в процессе обучения.

7. Единообразие анализа и проектирования. Нейронные сети являются универсальным механизмом обработки информации. Одно и тоже проектное решение нейронной сети может быть использовано в разных предметных областях. Это свойство проявляется из-за нескольких причин:

· нейроны являются стандартными составными частями любой нейронной сети;

· можно использовать одни и те же алгоритмы обучения в различных нейросетевых приложениях;

· на основе интеграции целых модулей могут быть построены модульные сети.

8. Аналогия с нейробиологией.Строение нейронных стетй определяется аналогией с живым мозгом, являющимся доказательством возможности существования отказоустойчивых вычислительных параллельных систем, эффективно решающих поставленные задачи.

Наличие перечисленных свойств вызвало в последние годы огромный рост интереса к нейронным сетям и существенный прогресс в их исследовании. Искусственные нейронные сети используются для аппроксимации функций, сжатия данных, классификации и распознавания образов, прогнозирования, идентификации, оценивания и ассоциативного управления.