Статистическое кодирование

Цели помехоустойчивого и статистического кодирования различны. При помехоустойчивом кодировании увеличивается избыточность за счет введения дополнительных элементов в кодовые комбинации. При статистическом кодировании, наоборот, уменьшается избыточность, благодаря чему повышается производительность источника сообщений.

Количественной мерой информации является логарифмическая функция вероятности сообщения:

 (7.1)

Основание логарифма чаще всего берется 2. При этом единица информации называется двоичной единицей или бит. Она равна количеству информации в сообщении, происходящем с вероятностью 0,5, т.е. таком, которое может с равной вероятностью произойти или не произойти.

В теории информации чаще всего необходимо знать не количество информации , содержащееся в отдельном сообщении, а среднее количество информации в одном сообщении, создаваемом источником сообщений.

Если имеется ансамбль (полная группа) из k сообщений  с вероятностями то среднее количество информации, приходящееся на одно сообщение и называемое энтропией источника сообщений Н(х), определяется формулой

 (7.2)

 (7.3)

Размерность энтропии - количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопределённости выбора того или другого сообщения. Неопределённость максимальна при равенстве вероятностей выбора каждого сообщения:

В этом случае

 (7.4)

Вычислим энтропию данного источника:

Чтобы судить насколько близка энтропия источника к максимальной вводят понятие избыточности источника сообщений

 (7.5)

Производительность источника определяется количеством информации, передаваемой в единицу времени. Измеряется производительность количеством двоичных единиц информации (бит) в секунду.

Если все сообщения имеют одинаковую длительность t, то производительность

. (7.6)

если же различные элементы сообщения имеют разную длительность, то в приведенной формуле надо учитывать среднюю длительность , равную математическому ожиданию величины t:

 (7.7)

а производительность источника будет равна

 (7.8)

Максимально возможная производительность дискретного источника будет равна

. (7.9)

для двоичного источника, имеющего одинаковую длительность элементов сообщения (k=2, ) имеем

(бит/с).

Сопоставив формулы (7.5) и (7.8) получим

 (7.10)

Увеличить производительность можно путем уменьшения длительности элементов сообщения, однако возможность эта ограничивается полосой пропускания канала связи. Поэтому производительность источника можно увеличить за счет более экономного использования полосы пропускания, например, путем применения сложных многоуровневых сигналов.

Основой статистического (оптимального) кодирования сообщений является теорема К. Шеннона для каналов связи без помех. Кодирование по методу Шеннона-Фано-Хаффмена называется оптимальным. так как при этом повышается производительность дискретного источника, и статистическим, так как для реализации оптимального кодирования необходимо учитывать вероятности появления на выходе источника каждого элемента сообщения (учитывать статистику сообщений). Идея такого кодирования заключается в том, что применяя неравномерный неприводимый код, наиболее часто встречающиеся сообщения (буквы или слова) кодируются короткими комбинациями этого кода, а редко встречающиеся сообщения кодируются более длительными комбинациями.

Перед осуществлением статистического кодирования образуем трехбуквенную комбинацию, состоящую из элементов двоичного кода 1 и 0. Число возможных кодовых слов определяется выражением m=kⁿ , где k- алфавит букв первичного сообщения, n- длина кодового слова

Вероятность передачи “1” в соответствии с вариантом р(1)=0,15, р(0)=0,85

Таблица7.1

Кодовоые комбинации а i	Вероятность передачи информации	График кода Хаффмана	код
а 1	0,614125	0,614125 0,21675 0,169125 0,108375 0,03825 0,385875 0,06075 0,0225 1 1 1 1 1 0 0 0 0 0 0 0 1 1	1
a2	0,108375		011
а 3	0,108375		010
а 5	0,108375		001
a4	0,019125		00011
а 6	0,019125		00010
а 7	0,019125		00001
а 8	0,003375		00000

Определим среднюю длину кодовой комбинации Хаффмана. Из рисунка видно, что неравномерные комбинации кодового кода имеют длительностью Т, 3Т, 5Т;

Отсюда

т.к. кодовая комбинация содержит информацию о трёх информационных элементах, то рассчитаем для одного:

τ’= τ/3 = 9,46625/3 = 3,156 мкс;

отсюда видно что средняя длина элемента сообщения сократилась по сравнению с первоначальной в 5,0 мкс/3,156 мкс ≈1,58 раза

Производительность источника применяя код Хаффмана равна: