II. По способу организации узлов

· Однослойные сети: полносвязные (обычно все нейроны имеют одинаковые функции активации) и регулярные.

· Многослойные

· Ядерные (каскадные).

В полносвязных сетях каждый нейрон связан с каждым нейроном.

В регулярных сетях нейроны соединяются по определённому топологическому принципу.

Могут быть гексагональные сети. При соединении выходов со входами получают архитектуры цилиндра и тора.

Ядерные сети являются композицией различных моделей сетей, используемых в качестве элементов сети.

В сетях прямого распространения нет обратных связей. Сигнал распространяется от входов к выходам. В рекуррентных (динамических) сетях имеются обратные связи и сигнал с выхода поступает на вход.

Латеральная связь (модель возбуждения/торможения) – когда у ближайших нейронов одна связь ослабляет вход нейрона, а другая усиливает.

7.Виды и назначение функции активации

Функция активации выполняет функции сжатия входного сигнала на ограниченный диапазон. Без использования этой функции зависимость выхода от потенциала нейрона будет линейной. Потенциал нейрона сравнивается с пороговой величиной W₀ и выходной сигнал принимает значение функции активации f(V)

Виды функции активации – Линейная Ступенчатая Линейная с насыщением; Много пороговая Сигмоидная.

Применяют пороговую функцию активации, имеющую вид:

Аксон (выход нейрона) преобразуется активационной функцией и дает выходной нейронный сигнал. Если активационная функция сужает диапазон изменения величины выхода так, что при любых его значениях значения выходного сигнала принадлежат некоторому конечному интервалу, то эта функция называется «сжимающей» функцией. В качестве «сжимающей» функции часто используется логистическая или «сигмоидная» (S-образная) функция. Эта функция математически выражается как

Активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины выходного сигнала к вызвавшему его небольшому приращению величины выхода нейрона. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным. Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей (случайными флуктуациями), которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода.