Мегаобучалка Главная | О нас | Обратная связь  


Статистическое кодирование




Цели помехоустойчивого и статистического кодирования различны. При помехоустойчивом кодировании увеличивается избыточность за счет введения дополнительных элементов в кодовые комбинации. При статистическом кодировании, наоборот, уменьшается избыточность, благодаря чему повышается производительность источника сообщений.

Количественной мерой информации является логарифмическая функция вероятности сообщения:

 

 (7.1)

 

Основание логарифма чаще всего берется 2. При этом единица информации называется двоичной единицей или бит. Она равна количеству информации в сообщении, происходящем с вероятностью 0,5, т.е. таком, которое может с равной вероятностью произойти или не произойти.

В теории информации чаще всего необходимо знать не количество информации , содержащееся в отдельном сообщении, а среднее количество информации в одном сообщении, создаваемом источником сообщений.

Если имеется ансамбль (полная группа) из k сообщений  с вероятностями то среднее количество информации, приходящееся на одно сообщение и называемое энтропией источника сообщений Н(х), определяется формулой



 

 (7.2)

 (7.3)

 

Размерность энтропии - количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопределённости выбора того или другого сообщения. Неопределённость максимальна при равенстве вероятностей выбора каждого сообщения:

 

 

В этом случае

 

 (7.4)

 

Вычислим энтропию данного источника:


 

Чтобы судить насколько близка энтропия источника к максимальной вводят понятие избыточности источника сообщений

 

 (7.5)

 

Производительность источника определяется количеством информации, передаваемой в единицу времени. Измеряется производительность количеством двоичных единиц информации (бит) в секунду.

Если все сообщения имеют одинаковую длительность t, то производительность

 

. (7.6)

 

если же различные элементы сообщения имеют разную длительность, то в приведенной формуле надо учитывать среднюю длительность , равную математическому ожиданию величины t:

 

 (7.7)

 

а производительность источника будет равна


 (7.8)

 

Максимально возможная производительность дискретного источника будет равна

 

. (7.9)

 

для двоичного источника, имеющего одинаковую длительность элементов сообщения (k=2, ) имеем

 

(бит/с).

 

Сопоставив формулы (7.5) и (7.8) получим

 

 (7.10)

 

Увеличить производительность можно путем уменьшения длительности элементов сообщения, однако возможность эта ограничивается полосой пропускания канала связи. Поэтому производительность источника можно увеличить за счет более экономного использования полосы пропускания, например, путем применения сложных многоуровневых сигналов.

Основой статистического (оптимального) кодирования сообщений является теорема К. Шеннона для каналов связи без помех. Кодирование по методу Шеннона-Фано-Хаффмена называется оптимальным. так как при этом повышается производительность дискретного источника, и статистическим, так как для реализации оптимального кодирования необходимо учитывать вероятности появления на выходе источника каждого элемента сообщения (учитывать статистику сообщений). Идея такого кодирования заключается в том, что применяя неравномерный неприводимый код, наиболее часто встречающиеся сообщения (буквы или слова) кодируются короткими комбинациями этого кода, а редко встречающиеся сообщения кодируются более длительными комбинациями.

Перед осуществлением статистического кодирования образуем трехбуквенную комбинацию, состоящую из элементов двоичного кода 1 и 0. Число возможных кодовых слов определяется выражением m=kn , где k- алфавит букв первичного сообщения, n- длина кодового слова

Вероятность передачи “1” в соответствии с вариантом р(1)=0,15, р(0)=0,85

 

Таблица7.1

Кодовая комбинация Мнемоническое обозначение Р(ai)
000 a1 0,614125
001 a2 0,108375
010 a3 0,108375
011 a4 0,019125
100 a5 0,108375
101 a6 0,019125
110 a7 0,019125
111 a8 0,003375
å 1

 


 

Кодовоые комбинации а i Вероятность передачи информации График кода Хаффмана код
а 1 0,614125

0,614125
0,21675
0,169125
0,108375
0,03825
0,385875
0,06075
0,0225
1
1
1
1
1
0
0
0
0
0
0
0
1
1

1
a2 0,108375 011
а 3 0,108375 010
а 5 0,108375 001
a4 0,019125 00011
а 6 0,019125 00010
а 7 0,019125 00001
а 8 0,003375 00000

 

Определим среднюю длину кодовой комбинации Хаффмана. Из рисунка видно, что неравномерные комбинации кодового кода имеют длительностью Т, 3Т, 5Т;

Отсюда

 

 


т.к. кодовая комбинация содержит информацию о трёх информационных элементах, то рассчитаем для одного:

τ’= τ/3 = 9,46625/3 = 3,156 мкс;

 

отсюда видно что средняя длина элемента сообщения сократилась по сравнению с первоначальной в 5,0 мкс/3,156 мкс ≈1,58 раза

Производительность источника применяя код Хаффмана равна:

 

 

Поможем в ✍️ написании учебной работы
Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой



Читайте также:
Организация как механизм и форма жизни коллектива: Организация не сможет достичь поставленных целей без соответствующей внутренней...
Почему человек чувствует себя несчастным?: Для начала определим, что такое несчастье. Несчастьем мы будем считать психологическое состояние...



©2015-2020 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (119)

Почему 1285321 студент выбрали МегаОбучалку...

Система поиска информации

Мобильная версия сайта

Удобная навигация

Нет шокирующей рекламы



(0.012 сек.)
Поможем в написании
> Курсовые, контрольные, дипломные и другие работы со скидкой до 25%
3 569 лучших специалисов, готовы оказать помощь 24/7