Искусственный нейрон: понятие, особенности структуры

Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Они представляют собой распределенные и параллельные системы, способные к адаптивному обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто ней­рон, названный так по аналогии с биологическим прототипом.

К настоящему времени предложено и изучено большое ко­личество моделей нейроподобных элементов и нейронных сетей.

Искусственный нейрон является основой любой искусственной нейронной сети. Нейроны представляют собой относительно простые, однотипные элементы, имитирующие работу нейронов мозга. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены и заторможены.

Искусственный нейрон, также как и его естественный прототип, имеет группу синапсов (входов), которые соединены с выходами других нейронов, а также аксон – выходную связь данного нейрона – откуда сигнал возбуждения или торможения поступает на синапсы других нейронов.

Общий вид нейрона представлен на рисунке 1.1., где yj – сигнал, поступающий от нейрона j; sk – скалярное произведение вектора входных сигналов и вектора весов; fk – функция возбуждения; yk – выходной сигнал нейрона.

Рис. 1.2. Искусственный нейрон – простейший элемент искусственной нейронной сети

Источник: [7, с. 22]

Таким образом, нейрон состоит из элементов трех ти­пов: умножителей (синапсов), сумматора и нелинейного преобра­зователя. Синапсы осуществляют связь между нейронами, умно­жают входной сигнал на число, характеризующее силу связи (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция на­зывается функцией активации или передаточной функциейнейрона. Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:

S=  + b                                                                                 (1.1)

Y= f(s)                                                                                                 (1.2)

 где W_t – вес синапса, i = 1...n; b – значение смещения; s – результат суммирования; X₁ – компонент входного вектора (входной сигнал); i = 1...n; у – выходной сигнал нейрона; n – число входов нейрона; f – нелинейное преобразование (функ­ция активации).

В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах – лишь некоторые фиксированные значения. Выход (у) определяется видом функции активации и может быть как действительным, так и целым.

Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами – тормозящими.

Описанный вычислительный элемент можно считать упро­щенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют нейроноподобными элементами или формальными нейронами.

На входной сигнал (s) нелинейный преобразователь отвеча­ет выходным сигналом f(s), который представляет собой выход у нейрона. Основные разновидности активационных функций, применяемых в

нейронных сетях, представлены на рис. 1.2.

Рис. 1.2. Активационная функция

а) пороговая; b) полулинейная; c) сигмоидальная

Источник: [2, с. 45]

В качестве активационной функции часто используется сигмоидальная (s-образная или логистическая) функция, показанная на рис. 1.2 с. Эта функция математически выражается по формуле

f(x) =                                                                                          (1.3)

При уменьшении α сигмоидальная функция становится более пологой, в пределе при α=0 вырождаясь в горизонтальную линию на уровне 0,5; при

увеличении α сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из полезных свойств сигмоидальной функции – простое выражение для ее производной:

f (x) = α f (x) (1- f (x))                                                                         (1.3)

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, сигмоидальная функция обладает свойством усиливать малые сигналы лучше, чем большие, тем самым предотвращая насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоидальная функция имеет пологий наклон.

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день конфигурации, описанные, например, в [6, 7, 8]. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

Теоретически число слоев и число нейронов в каждом слое нейронной сети может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть. При этом, если в качестве активационной функции для всех нейронов сети используется функция единичного скачка, нейронная сеть называется многослойным персептроном.

В нейронных сетях, называемых персептронами, используется активационная функция единичного скачка.

Также примерами активационных функций являются: полулинейная, линейная, логистическая (сигмоидальная), гиперболический тангенс, экспоненциальная, синусоидальная, сигмоидальная (рациональная), шаговая (линейная с насы­щением), пороговая, модульная, знаковая (сигнатурная), квадратичная.