Избыточность сообщений
Свойства количества информации
1. Количество информации в сообщении обратно – пропорционально вероятности появления данного сообщения. 2. Свойство аддитивности – суммарное количество информации двух источников равно сумме информации источников. 3. Для события с одним исходом количество информации равно нулю. 4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита – m. Пример 1. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: pi0 = pi1 = 1/2. Количество информации равно: I = n log m = 8 log2 2 = 8 бит . Пример 2. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: pi0 = 3/4; pi1 = 1/4.
Количество информации равно:
Энтропия информации Энтропия– содержательность, мера неопределенности информации. Энтропия – математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т.е. она характеризует среднее значение количества информации, приходящееся на один символ.
. (6) Определим максимальное значение энтропии Hmax(x). Воспользуемся методом неопределенного множителя Лагранжа -l для отыскания условного экстремума функции [6]. Находим вспомогательную функцию: (7)
Представим вспомогательную функцию F в виде:
. (8)
Найдем максимум этой функции
т. к. .
Как видно из выражения, величина вероятности pi не зависит от i, а это может быть в случае, если все pi равны, т.е. p1 =p2 =…=pm =1/m. При этом выражение для энтропии равновероятных, независимых элементов равно:
. (9)
Найдем энтропию системы двух альтернативных событий с вероятностями p1 и p2. Энтропия равна Свойства энтропии сообщений
1. Энтропия есть величина вещественная, ограниченная, не отрицательная, непрерывная на интервале 0 £ p £ 1. 2. Энтропия максимальна для равновероятных событий. 3. Энтропия для детерминированных событий равна нулю. 4. Энтропия системы двух альтернативных событий изменяется от 0 до 1. Энтропия численно совпадает со средним количеством информации но принципиально различны, так как: H(x) – выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т.е. до получения сообщения при наличии статистики сообщений. I(x) – определяется апостериорно, т.е. после получения сообщения. С получением информации о состоянии системы энтропия снижается. Избыточность сообщений
Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником
, (10) где ? – коэффициент сжатия. Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т.е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки. Пример 1. Вычислить энтропию источника, выдающего два символа 0 и 1 с вероятностями p(0) = p(1) = 1/m и определить его избыточность. Решение: Энтропия для случая независимых, равновероятных элементов равна: H(x) = log2m = log22 = 1 [дв. ед/симв.] При этом H(x) = Hmax(x) и избыточность равна R = 0. Пример 2. Вычислить энтропию источника независимых сообщений, выдающего два символа 0 и 1 с вероятностями p(0) = 3/4, p(1) = 1/4. Решение: Энтропия для случая независимых, не равновероятных элементов равна:
При этом избыточность равна R = 1–0,815=0,18 Пример 3. Определить количество информации и энтропию сообщения из пяти букв, если число букв в алфавите равно 32 и все сообщения равновероятные. Решение: Общее число пятибуквенных сообщений равно: N = mn = 32 Энтропия для равновероятных сообщений равна: H = I = – log 2 1/ N = log 2 325 = 5 log 2 32 = 25 бит./симв. Литература 1 Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. – Харьков: ХПУ, 2000. 2 Цымбал В.П. Теория информации и кодирование. – М.: Высш. шк., 1986. 3 Кловский Д.Д. Теория передачи сигналов. – М.: Связь, 1984. 4 Кудряшов Б.Д. Теория информации. Учебник для вузов Изд-во ПИТЕР, 2008. – 320 с. 5 Цымбал В.П. Теория информации и кодирование. – М.: Высш. шк., 1986. 6 Асанов М.О., Баранский В.А., Расин В.В. Дискретная математика: графы матроиды, алгоритмы. – Ижевск: НИЦ «РХД», 2001, 288 стр.
Популярное: Как вы ведете себя при стрессе?: Вы можете самостоятельно управлять стрессом! Каждый из нас имеет право и возможность уменьшить его воздействие на нас... Как построить свою речь (словесное оформление):
При подготовке публичного выступления перед оратором возникает вопрос, как лучше словесно оформить свою... Как выбрать специалиста по управлению гостиницей: Понятно, что управление гостиницей невозможно без специальных знаний. Соответственно, важна квалификация... ©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (403)
|
Почему 1285321 студент выбрали МегаОбучалку... Система поиска информации Мобильная версия сайта Удобная навигация Нет шокирующей рекламы |