ПОНЯТИЕ ИНФОРМАЦИИ. НЕГЭНТРОПИЙНЫЙ ПРИНЦИП

ЭНТРОПИЯ

На обыденном уровне смысл понятия информации заключается в наборе некоторых сведений о процессах и объектах. Любая система имеет некоторое строение(структуру), определяющее ее морфологическое описание, которое отражает определенный набор элементов и связи, выполняющих различные функции. Т.е. имеется некоторое упорядоченное состояние, которое описывается определенным объемом информации. Из опыта мы знаем, что с течением времени этот порядок нарушается, структура системы изменяется. В чем же самая общая причина того, что упорядоченность, несущая передаваемую информацию, неуклонно самопроизвольно убывает и никогда не возникает сама собой? Дело заключается в том, что для создания некоторого упорядоченного состояния вещества или энергии, могущего нести информацию (для создания электрического или акустического импульса, намагничивания участка ленты и т.д.) необходимо затратить работу. Затраченная же работа создает в объекте запас энергии, который стремиться освободиться, рассеяться. В итоге объект самопроизвольно стремиться вернуться в прежнее состояние, т.е. “забыть” внесенную в него информацию. В результате этого наиболее вероятными состояниями являются беспорядочные состояния, а состояния с высокой упорядоченностью маловероятны. Существенным фактором в организации целостности системы является непрерывная циркуляция в ней информации(информационные связи). Только благодаря непрерывному обмену информацией между элементами системы может осуществляться их организованное взаимодействие, сохраняющая морфологию системы и приводящее к возможности выполнения заданной функции.

С философской точки зрения можно различить два вида передачи информации: 1) передача на расстояние (от долей миллиметра до многих миллионов километров), т.е. передача в пространстве, и 2) запись, книгопечатание, регистрация, запоминание и хранение информации, т.е. передача во времени. Оба эти вида передачи информации могут быть выполнены только материальнымпутем, т.е. путем использования для транспортировки информации веществаилиэнергии.

Примеры использования вещества для передачи информации – зарубки на дереве или камне наших предков, перфокарты и перфоленты современных ЭВМ, нанесение штрихов краски на бумагу (письма, книги, ноты), намагничивание участков ленты или определенная конфигурация молекул ДНК–РНК в хромосомах живых существ. Примеры использования энергии для передачи информации – это акустические колебания, испускаемые нами при разговоре, импульсы тока, посланные по кабелю, радиоволны, излучаемые с космической станции на Землю, или свет, приходящий от далекой звезды.

При сопоставлении этих способов передачи информации обнаруживается их единое общее свойство – информация никогда не возникает сама собой, а напротив, самопроизвольно постепенно, но неуклонно убывает (забывается)

Таким образом мы приходим к обобщенному понятию порядка и беспорядка. Такая философская категория описывается в физике понятием ЭНТРОПИЯ. Напомним некоторые ключевые моменты этого понятия.

Мерой “беспорядка” в газовой термодинамике служит энтропия , являющаяся отношением тепловой энергии газа к его абсолютной температуре и измеряемая в Дж/К. Она может быть выражена так же формулой Больцмана–Планка как , где Дж/К – постоянная Больцмана, а – число энергетических микросостояний молекул этого газа. Это число чрезвычайно велико, но, конечно, поэтому и термодинамическая энтропия есть величина конечная. Согласно второму началу термодинамики энтропия во всех случаях возрастает или, по крайней мере, остается неизменной.

Выражение для информационной энтропии объекта с дискретными и равновероятными состояниями (где – число этих состояний, а – коэффициент, принимаемый безразмерным) аналогично формуле Больцмана – Планка. Поэтому К. Шенон и заимствовал из статической термодинамики термин “энтропия” для обозначения этого понятия в создаваемой им теории информации.

Однако Клаузевиц, впервые внесший в статическую физику понятие термодинамической энтропии, придал ей отрицательный смысл – смысл меры беспорядочности. Для характеристики упорядоченности, т.е. энтропия должна браться с обратным знаком. Для обозначения понятия “мера упорядоченности”, Л. Бриллюэн предложил термин “негэнторпия”, т.е. отрицательная энтропия. Таким образом, негэнтропия системы – это взятая с обратным знаком ее термодинамическая энтропия, являющаяся мерой упорядоченности системы и отражающая ее способность произвести работу или содержать информацию.

Средством транспортировки информации в измерительных устройствах являются потоки энергии. Без поступления энергии на вход прибора или отдельного измерительного преобразователя (от объекта измерения или предыдущего измерительного преобразователя) осуществление процесса передачи измерительной информации невозможно.

Изложенный механизм транспортировки информации энергетическими потоками получили название негэнтропийного принципа передачи информации, или принципа Бриллюэна.

Этот механизм представляется достаточно понятным при измерении энергетических величин – силы, давления, тока, напряжения, температуры и т.д., когда от объекта измерения на вход прибора действительно поступает энергия и направления потока энергии и направление передачи информации совпадают. Однако при измерении сопротивления омметром или работе с параметрическими преобразователями для измерения неэлектрических величин энергия по линии, соединяющий датчик с прибором, передается от прибора к датчику, а информация, наоборот, – от датчика к прибору.

Подводя итог, основные положения негэнтропийного принципа понимания механизма передачи информации можно сформулировать следующим образом. Носителем измерительной информации является энергия. Чтобы внести на вход измерительного канала или отдельного измерительного преобразователя информацию, которая затем бы могла предаваться дальше, необходимо затратить энергию. Поэтому без потребления энергии от объекта измерения невозможно и само измерение.

Чем больше потребляемая энергия по сравнению с уровнем помех, тем больше может перенести она информации; однако, чтобы отдать эту энергию на вход прибора, объект должен ею обладать, т.е. иметь достаточную негэнтропию. Если же негэнторпия объекта ниже негэнтропии окружающего фона, то ее изменение не возможно принципиально, независимо от используемой аппаратуры.

Состояние любой технической системы TS описывается вектором состояний X, компоненты которого X _і оцениваются измерительными преобразователями. Таким образом, имеется оперативная информация, благодаря которой блок анализа и управления вырабатывает информацию управления, направленную на детерминированное поведение TS. Отсюда понятно понятие циркуляции информации (рис.2.1.).

БА – подсистема анализа и управления;

Xi – параметр состояния;

– измерительная информация;

– информация управления.

В информации находят отражение особенности организации взаимодействия элементов системы. Более организованные системы способны извлекать из окружающей среды большую информацию, чем менее организованные.

Сложные системы сами служат источниками большого объема информации. При этом следует заметить, что любая система может быть описана бесконечным количеством признаков, и, следовательно, количество информации для этого описания бесконечно. Получается, что на передний план выходит задача определения объема информации, которая может быть использована для выполнения поставленной цели функционирования системы. Решение этой задачи можно прокомментировать следующим образом: многие процессы в технике связаны с изменением состояния во времени, которое моделируется единичной функцией или функцией Хевисайда (см. сигналы) (рис. 2. 2.) .

t

Эта функция имеет спектр бесконечной ширины. Т.е. описывается бесконечным количеством гармоник. Понятно, что этот процесс физически не реализуем. Это только математическая модель процесса. В формуле определения количества информации под знаком логарифма будет находится величина равная бесконечности и, следовательно момент перехода от состояния “0” в состояние “1” описывается бесконечным количеством информации. Т.е. абсолютная точность физически не реализуема. Поэтому, реально, физический процесс перехода процесса во времени из одного состояния в другое имеет вид (рис.2.3.)

Реально мы имеем некоторый переходный процесс, который определяет меру ошибки и уменьшает количество информации необходимой для реализации этого процесса.

Количество информации удобно связать со спектром функции, определяемым разложением Фурье. Рассмотрим рис. 2.4. Первый рисунок (а) описывается функцией вида: , спектральная характеристика имеет одну линию, т.е. количество градаций в сигнале равно 1, и соответственно количество информации равно нулю. Мы видим, что такой сигнал не обеспечивает никакой точности, например, при включении какого–либо устройства.

а) б)

в) г)

д) е)

На втором рисунке (б) представлена сумма функций , спектральная характеристика имеет две лини, а, следовательно, две степени градации. Количество информации увеличивается. На третьем рисунке (в) представлена сумма функций . На четвертом рисунке (г) .

Продолжая увеличивать количество членов, определяющих результирующую функцию, мы видим увеличение временной точности переключения (д,е). Естественно увеличение точности требует увеличения количества информации, а технически это требует увеличения ширины полосы пропускания технической системы (прибора). Возвращаясь к рис. 2.4, можно сделать вывод, что увеличение точности требует уменьшение длительности переднего и заднего фронта импульса, что приводит к расширению спектра сигнала.

Понятно, что можно предположить о наличии связи между сложностью (ценой) конкретного измерения в системе и количеством информации, необходимой для реализации поставленной цели (количество составляющих ряда Фурье). Отсюда вытекает важность изучения методов оценки количества информации на всех стадиях конструирования информационных технологий и соответствующих измерительных систем.

Количество информации, получаемое при достоверном приеме сообщения о событии, априорная вероятность которого равна , равно .

Если событие имеет два равных вероятностных исхода ( – случай двоичного кода) то, количество информации будет равно – такое количество информации называется бит.

В случае десятичного и натурального и десятичного логарифма соответственно количество информации определяется как нит и дит.

– нит, ↔ дит.

Анализ цифрового сигнала в двоичном коде

U

τ_u

t

Т_пос

Количество информации, переданное в сообщении равно дв. ед.

Для повышения количества информации:

1. , тогда

2. ,

1 – обязательно приводит к расширению спектра.

, где – время импульса; – ширина спектра.

Максимальное количество информации в рассматриваемом сигнале не может превышать дв. ед.

Информационная емкость сигнала, импульсная последовательность двоичного кода (длительность ).

Разделив информационную емкость на время τ, предельную скорость передачи информации :

Чем больше скорость передачи информации, тем больше ширина спектра, и требуются средства измерения с каналом, имеющим более широкую полосу пропускания.

3. Измерительные сигналы