Проблема мертвых нейронов

При инициализации весов сети случайным способом часть нейронов может оказаться в области пространства, в которой отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Таким образом, входные данные будут интерпретироваться меньшим количеством нейронов, а погрешность интерпретации данных увеличится. Поэтому важной проблемой становится активация всех нейронов сети, которую можно осуществить, если в алгоритме обучения предусмотреть учет количества побед каждого нейрона, а процесс обучения организовать так, чтобы дать шанс победить и менее активным нейронам.

Существуют различные механизмы учета активности нейронов в процессе обучения [4]. Часто используется метод подсчета потенциала p_i каждого нейрона, значение которого модифицируется всякий раз после предъявления очередной реализации входного вектора х в соответствии со следующей формулой (в ней предполагается, что победителем стал w-й нейрон):

. (3.10)

Значение коэффициента определяет минимальный потенциал, разрешающий участие в конкурентной борьбе. Если фактическое значение потенциала падает ниже , то i-й нейрон «отдыхает», а победитель ищется среди нейронов, для которых выполняется соотношение

(3.11)

Максимальное значение потенциала ограничивается на уровне, равном 1. Выбор конкретного значения позволяет установить порог готовности нейрона к конкурентной борьбе. При =0 утомляемость нейронов не возникает, и каждый из них сразу после победы будет готов к продолжению соперничества. При =1 возникает другая крайность, вследствие которой нейроны побеждают по очереди, так как в каждый момент только один из них оказывается готовым к соперничеству. На практике хорошие результаты достигаются при ≈0,74.

В другом очень удачном алгоритме обучения количество побед нейрона учитывается при подсчете эффективного расстояния между вектором весов и реализацией обучающего вектора х. Это расстояние модифицируется пропорционально количеству побед данного нейрона в прошлом. Если обозначить количество побед i-го нейрона , такую модификацию можно представить в виде

. (3.12)

Активные нейроны с большим значением штрафуются искусственным завышением этого расстояния. Отметим, что модификация расстояния производится только при выявлении победителя. В момент уточнения весов учитывается фактическое расстояние. Обычно после двух или трех циклов обучения модификация прекращается, что позволяет продолжить «честную» конкуренцию нейронов.