Единицы количества информации: вероятностный и объемный подходы

Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. В конце 40-х годов XX века один из основоположников кибернетики, американский математик Клод Шеннон, развил вероятностный подходк измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.

Вероятностный подход

Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной кости, имеющей N граней. Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1, 2, ..., N

Численная величина, измеряющая неопределенность — энтропия(обозначим Н). В случае равновероятного выпадания каждой из граней величины N и Н связаны между собой формулой Хартли Н = log2N.Очевидно, Н = 1 при N = 2. В качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты, при котором возможны два исхода: «орел», «решка»). Такая единица количества информации называется «бит».

В случае, когда вероятности Р неодинаковы, имеет место формула Шеннона:

где P_i – вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны , ее энтропия определяется соотношением.

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

где N – число всевозможных отображаемых состояний;

т – основание системы счисления (разнообразие символов, применяемых в алфавите);

п – число разрядов (символов) в сообщении.

Пример 3. По каналу связи передается n-разрядное сообщение, использующее т различных символов. Так как количество всевозможных кодовых комбинаций будет N = mⁿ, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I = logN = п log т – формула Хартли.

Пример 4. Определим количество информации, связанное с появлением

каждого символа в сообщениях, записанных на русском языке. Русский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле Хартли Н = log2 34 = 5,09 бит.

Рассмотрим алфавит, состоящий из двух знаков 0 и 1. Если считать, что со знаками 0 и 1 в двоичном алфавите связаны одинаковые вероятности их появления

(Р(0) = Р(\) = 0,5), то количество информации на один знак при двоичном кодировании будет равно Н = log22 = 1 бит.

Объемный подход

В двоичной системе счисления знаки 0 и 1 называют битами(bit — от английского выражения Binary digiTs — двоичные цифры). В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по числу требуемых для такой записи двоичных символов.

Так, двоичное слово из восьми знаков содержит один байт информации.1024 байта образуют килобайт (Кбайт), 1024 килобайта — мегабайт (Мбайт), а 1024 мегабайта — гигабайт (Гбайт).

1 байт=8 бит

1 Кбайт=1024 байт

1 Мбайт=1024Кбайт

1 Гбайт=1024Мбайт.

Таблица 1. Двоичные совокупности

Последовательность нескольких битов или байтов часто называют полем данных. Биты в числе (в слове, в поле и т.п.) нумеруются справа налево, начиная с 0-го разряда.

В ПК могут обрабатываться поля постоянной и переменной длины.

Поля постоянной длины:

слово – 2 байта двойное слово – 4 байта

полуслово – 1 байт расширенное слово – 8 байт

слово длиной 10 байт – 10 байт