Что такое энтропия? Энтропия и информация.

Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия является мерой вероятности осуществления какого-либо макроскопического состоянии. В теории информации энтропия — это мера неопределённости какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации.

Понятие энтропии было впервые введено в 1865 году Рудольфом Клаузиусом Он определил изменение энтропии термодинамической системы при обратимом процессе как отношение общего количества теплак величине абсолютной температуры :

.

Например, при температуре 0 °C, вода может находиться в жидком состоянии и при незначительном внешнем воздействии начинает быстро превращаться в лед, выделяя при этом некоторое количество теплоты. При этом температура вещества так и остается 0 °C. Изменяется состояние вещества, сопровождающееся выделением тепла, вследствие изменения структуры.

Рудольф Клаузиус дал величине имя «энтропия», происходящее от греческого слова τρoπή, «изменение» (изменение, превращение, преобразование). Данное равенство относится к изменению энтропии, не определяя полностью саму энтропию.

Эта формула применима только для изотермического процесса (происходящего при постоянной температуре). Её обобщение на случай произвольного квазистатического процесса выглядит так:

,

где — приращение (дифференциал) энтропии некоторой системы, а — бесконечно малое количество теплоты, полученное этой системой.

Необходимо обратить внимание на то, что рассматриваемое термодинамическое определение применимо только к квазистатическим процессам (состоящим из непрерывно следующих друг за другом состояний равновесия).

Поскольку энтропия является функцией состояния, в левой части равенства стоит её полный дифференциал. Напротив, количество теплоты является функцией процесса, в котором эта теплота была передана, поэтому считать полным дифференциалом нельзя.

Энтропия, таким образом, согласно вышеописанному, определена вплоть до произвольной аддитивной постоянной. Третье начало термодинамики позволяет определить её точнее: предел величины энтропии равновесной системы при стремлении температуры к абсолютному нулю полагают равным нулю.

Впервые понятия энтропия и информация связал К.Шеннон в 1948. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. Если сигнал на выходе канала связи является точной копией сигнала на входе то, с точки зрения теории информации, это означает отсутствие энтропии. Отсутствие шума означает максимум информации. Взаимосвязь энтропии и информации нашло отражение в формуле:

                                       H + Y = 1,

где Н – энтропия, Y – информация.

Анализ функции Клазиуса показал, что физический смысл энтропии проявляется, как часть внутренней энергии системы, которая не может бытьпревращена в работу. Клаузиус эмпирически получил эту функцию, экспериментируя с газами.

  Л.Больцман (1872г.) методами статистической физики вывел теоретическое выражение энтропии. Энтропия Больцмана выведена для идеального газа и трактуется как мера беспорядка, мера хаоса системы. Для идеального газа энтропии Больцмана и Клаузиуса тождественны, поэтому и эмпирическая функция Клаузиуса стала объясняться как мера вероятности состояния молекулярной системы. Сложилось мнение, что энтропия и беспорядок есть одно и тоже. Несмотря на то, что энтропия описывает очень узкий класс объектов Мира (идеальные газы), ее не критично стали привлекать для описания более сложных объектов.

Сам Больцман в 1886г. попытался с помощью энтропии объяснить, что такое жизнь. По мнению Больцмана, жизнь это явление, способное уменьшать свою энтропию. «Всеобщая борьба за существование это борьба против энтропии». Согласно Больцману и его последователям, все процессы во Вселенной изменяются в направлении хаоса. Вселенная идет к тепловой смерти. Этот мрачный прогноз долго господствовал в науке. Однако углубление знаний об окружающем Мире постепенно расшатали эту догму.

Антитезой Больцману выступали эволюционисты. В частности Ч.Дарвин показал, что процессы жизни не только не деградируют, но все время усложняются.

Таким образом, считается, что в природе существуют два перехода порядок→хаос и его противоположность хаос→порядок. В изолированных системах (но не всегда) идет процесс перевода порядка в хаос. В открытых системах, через которые проходят созидательные потоки энергии, могут идти процессы самоорганизации и на фоне хаоса рождается порядок. Существует и альтернативное мнение утверждающее, что порядок рождается только из предшествующего порядка.

Больцман упростил Мир до предела, представив его идеальным газом, не учитывая того, что все молекулы обладают своей внутренней структурой, взаимодействуют друг с другом, находятся в поле тяжести, совершают колебательные движения и т.д.

  В расширяющейся Вселенной наблюдается тенденция не к выравниванию градиентов и потенциалов, а к расслоению. Из однородного первичного гелий-водородного облака путем гравитационного сжатия стали образовываться плотные сгустки материи: звезды, планеты. Вселенная становилась неоднородной, как по плотности, так и по температуре. Химический состав ее усложнялся. Кроме простых атомов водорода и гелия возникли в недрах звезд все элементы таблицы Менделеева. Появилась жизнь. Разве это деградация?

 В реальных молекулярных системах существуют два вида энергии: потенциальная (энергия связей) и кинетическая (энергия движения молекул). Больцман потенциальную энергию не учитывал. Но формула Клаузиуса, являясь эмпирической, автоматически учитывала все виды энергии. Поэтому значения энтропий Больцмана и Клаузиуса совпадают только в применении к идеальным газам, где доля потенциальной энергии невелика. Для расчетов энтропии жидкостей и твердых тел с высоким значением потенциальной энергии используют, как правило, только энтропию Клаузиуса (S=Q/T).

 Выводы

1. Энтропия Больцмана является мерой беспорядка, хаотичности, однородности молекулярных систем.

2. Энтропия Клаузиуса пропорциональна количеству связанной энергии, находящейся в системе, которую нельзя превратить в работу.

3. Энтропия Шеннона количественно характеризует достоверность передаваемого сигнала и используется для расчета количества информации.