Функции активации нейронов

Вид функции активации во многом определяет функциональные возможности нейронной сети и метод обучения этой сети. Перечень наиболее известных функций активации представлен в таблице 1.1.

Табл. 1.1

Примеры функций активации

Название	Формула	Область значений
Линейная
Полулинейная
Линейная с насыщением
Логистическая
Гиперболический тангенс
Рациональная
Синусоидальная
Экспоненциальная
Гаусса
Пороговая
Модульная
Знаковая (сигнатурная)
Квадратичная

Многослойные сети прямого распространения сигнала

Однослойный персептрон

Однослойный персептрон образуют нейроны, расположенные в одной плоскости (рисунок 2.1). Каждый нейрон имеет поляризатор, то есть единичный сигнал, который с весом поступает на вход нейрона, а также множество связей с весами , по которым поступают входные сигналы .

Рисунок2.1 Структура однослойного персептрона

Значения весов подбираются в процессе обучения сети путём приближения реальных выходных значений к эталонным значениям . Мерой близости является значение целевой функции.При использовании обучающих векторов для сети из нейронов, целевую функцию можно определить следующим образом:

(2.1)

Выходные сигналы являются функциями весов сети и уточняются в процессе обучения в соответствии с критерием минимизации целевой функции (2.1).

Расположенные на одном уровне нейроны функционируют независимо друг от друга, поэтому возможности однослойного персептрона определяются возможностями отдельных нейронов.Каждый нейрон реализует функциональное отображение , где - сигмоидальная функция, поэтому значение выходного сигнала будет зависеть от знака выражения .

Выходной сигнал при фиксированных значениях весов зависит от входного вектора , который определяет гиперплоскость, разделяющую многомерное входное пространство на два подпространства.Вследствие этого, задача классификации (приписывание выходному сигналу значения 1 или 0), может быть решена одним нейроном, если это задача линейной разделимости классов. Добавление нейронов в единственный слой сети не позволяет улучшить её функциональные возможности. Вследствие этого, однослойная сеть имеет небольшое практическое значение. Добавление ещё одного слоя нейронов, даже состоящего из единственного нейрона позволяет существенно расширить возможнойти сети.