Содержательный подход к измерению информации

Люди обмениваются информацией в форме сообщений. Сообщение — это форма представления информации в виде речи, текстов, жестов, взглядов, изображений, цифровых данных, графиков, таблиц и т.п.

Одно и то же информационное сообщение (статья в газете, объявление, письмо, телеграмма, справка, рассказ, чертёж, радиопередача и т.п.) может содержать разное количество информации для разных людей — в зависимости от их предшествующих знаний, от уровня понимания этого сообщения и интереса к нему.

Сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Информативность одного и того же сообщения может быть разной для разных людей.Сообщение несет информацию для человека, если содержащиеся в сообщении сведения являются новыми и понятными для него.

Если мы кидаем шестигранный кубик, то мы не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных. Неопределенность знаний равна шести, т.к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз.

Но мы не получаем информации в ситуации, когда происходит одно событие из одного возможного. Например: мы бросаем монету. Предположим, что у монеты обе стороны «орел». В этом случае не существует неопределенности знаний перед броском, так как мы заранее знаем, что выпадет в любом случае «орел». Мы не получим новой информации, так как ответ знали заранее и количество информации в этом случае будет равно нулю, так как сообщение о результатах броска неинформативно.

Следовательно, для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных.

Что такое вероятность? Данный подход называется еще вероятностным.

Равновероятные (равновозможные) и разновероятностные события

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Неопределенность знаний о некотором событии – это количество возможных результатов события: если из двух возможных событий происходит одно, то неопределенность знаний уменьшается в два раза (было два варианта, остался один). И чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

Такое количество информации, которое находится в сообщении о том, что произошло в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.

Итак, с помощью битов информация кодируется. С точки зрения кодирования с помощью 1 бита можно закодировать два сообщения, события или два варианта некоторой информации. С точки зрения вероятности 1 бит – это такое количество информации, которое позволяет выбрать одно событие из двух равновероятных.

1 бит – это количество информации, уменьшающее неопределенность знаний в два раза – еще одно определение 1 бита.

Пусть потенциально может осуществиться некоторое множество событий (N), каждое из которых может произойти с вероятностью (р_i), т.е. существует неопределённость. Предположим, что одно из событий произошло, неопределенность уменьшилась, вернее, наступила полная определённость.

Таким образом, количество информации (I), содержащейся в выбранном сообщении является мерой уменьшения неопределенности.

Для определения количества информации используется формула Хартли и Шеннона.

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли:

I = log₂N

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log₂100  6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Приведем другие примеры равновероятных сообщений:

1. при бросании монеты: "выпала решка", "выпал орел";
2. на странице книги: "количество букв чётное", "количество букв нечётное".

Американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = — ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_N log₂ p_N), где p_i — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p₁, ..., p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра).

Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸).

Более крупными производными единицами информации являются:

· 1 Килобайт (Кбайт) = 1024 байт = 2¹⁰ байт,

• 1 Мегабайт (Мбайт) = 1024 Кбайт = 2²⁰ байт,

· 1 Гигабайт (Гбайт) = 1024 Мбайт = 2³⁰ байт.

· 1 Терабайт (Тбайт) = 1024 Гбайт = 2⁴⁰ байт,

• 1 Петабайт (Пбайт) = 1024 Тбайт = 2⁵⁰ байт.
• 1 Эксабайт (Эбайт) = 1024 Пбайт = 2⁶⁰ байт.
• 1 Зеттабайт (Збайт) = 1024 Эбайт = 2⁷⁰ байт.
• 1 Йоттабайт (Йбайт) = 1024 Збайт = 2⁸⁰ байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений, но тогда это будет уже не двоичная (бит), а десятичная (дит) единица информации.