Ортогонализация и декорреляция входных векторов

Мы выяснили, что нормирование и приведение к единой шкале увеличивают информативность данных. Однако этого оказывается недостаточно. Известно [3], что если факторы статистически зависимы, то их совместная энтропия меньше суммы энтропий отдельных факторов.

При достижении статистической независимости входов будет достигнута максимальная информационная насыщенность каждого из входных факторов в отдельности. Для достижения статистической независимости входов нейронной сети используется линейное преобразование, которое осуществляет декорреляцию входных векторов [3, 23]. Алгоритм декорреляции называется ещё "выбеливание входов" (whitening).

Рассмотрим вычислительную сущность метода. Доказательства можно найти в литературе по многомерному статистическому анализу, например, в [21, 24]. Пусть входные векторы представлены в виде матрицы (табл. 3.2).

Таблица 3.2. Входные векторы

			…
			…
			…
…	…	…	…	…	…
			…
			…

Тогда означает ‑й компонент вектора . Входные векторы будем рассматривать как случайные коррелированные векторы. Преобразуем входные векторы в центрированные, то есть в векторы с нулевым математическим ожиданием. Для этого вычислим матрицу , где , то есть вычитаем из элементов каждого столбца его среднее значение

.

Вычислим ковариационную матрицу. Ковариационная матрица — это квадратная матрица размера , образованная из попарных ковариаций компонентов каждого вектора. Элементы ковариационной матрицы равны (используем несмещенную оценку)

,

где — количество входных векторов, — число компонентов векторов.

Ковариационную матрицу удобно рассматривать, используя скалярные произведения центрированных входных векторов

,

где — скалярное произведение векторов.

Тогда ковариационная матрица запишется в виде

,

где — матрица центрированных векторов.

Матрица является симметричной и положительно определенной матрицей размером .

Матрица , составленная из преобразованных некоррелированных векторов, получается из исходной матрицы линейным преобразованием [21]

,

где , , — собственные векторы матрицы .

Задача на собственные значения для матрицы имеет вид

,

где и — собственные числа и соответствующие собственные векторы матрицы .

В результате преобразования столбцы матрицы преобразуются в некоррелированные столбцы матрицы . Матрица ковариации для представляет собой диагональную матрицу, с диагональю из дисперсий столбцов матрицы . Известно [21], что эти дисперсии равны соответствующим собственным числам матрицы . Зачастую [3, 23] векторы исходных данных преобразуют в некоррелированные векторы с единичной дисперсией по формуле

,

где .

Полученные векторы будут не только некоррелированными, но и ортогональными. Действительно, два случайных вектора и называют некоррелированными, если и ортогональными, если (здесь обозначает вычисление математического ожидания) [25]. В нашем случае центрированных векторов, у которых математическое ожидание равно нулю, некоррелированность векторов означает их ортогональность.

В результате ортогонализации совместная энтропия входных векторов увеличивается, поскольку распределение элементов в обучающем множестве выравнивается и становится ближе к равномерному. Но поскольку преобразованные входные векторы представлены в другой системе координат, то теряется привычный физический смысл их компонентов.

Декорреляция связана с сингулярным разложением [20] ковариационной матрицы. Учитывая симметрию матрицы , получаем

,

где — диагональная матрица, на диагонали которой расположены собственные значения матрицы ; — ортогональная матрица, столбцы которой являются собственными векторами матрицы .

Ортогональность матрицы означает ортогональность ее столбцов и равенство обратной матрицы транспонированной: . Ортогональность столбцов означает, что они образуют базис.

Матрица , составленная из преобразованных некоррелированных векторов, и исходная матрица связаны соотношением

,

откуда

.

В учтено свойство ортогональной матрицы . Так как матрица диагональная, обратная матрица легко вычисляется. Выражения и совпадают.

Следует отметить, что выбеливание входов не всегда дает существенный эффект, поэтому требует экспериментальной проверки.