Энтропия

Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия; термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.

В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. В этих областях знания энтропия определяется статистически и называется статистической или информационной энтропией. Данное определение энтропии известно также как энтропия Шеннона (в математике) и энтропия Больцмана—Гиббса (в физике).

Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных состояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).

Величина, противоположная энтропии, именуется негэнтропией или, реже, экстропией.

• Термодинамическая энтропия — термодинамическая функция, характеризующая меру необратимой диссипации энергии в ней.
• В статистической физике — характеризует вероятность осуществления некоторого макроскопического состояния системы.
• В математической статистике — мера неопределённости распределения вероятностей.
• Информационная энтропия — в теории информации мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
• Энтропия динамической системы — в теории динамических систем мера хаотичности в поведении траекторий системы.
• Дифференциальная энтропия — формальное обобщение понятия энтропии для непрерывных распределений.
• Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
• Энтропия в теории управления — мера неопределённости состояния или поведения системы в данных условиях.
• Технологическая энтропия — «количественная мера отставания данной технологии от наивысшего в мире уровня, принимаемого за единицу. Основным параметром, характеризующим меру технологической энтропии, является степень неопределённости получения конечного результата, а именно: объёма выпуска инновационной продукции, который может быть получен при данных объёмах вовлечённых в производство ресурсов».

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при замкнутых обратимых процессах, тогда как в необратимых замкнутых — её изменение всегда положительно. В открытой системе может происходить уменьшение энтропии рассматриваемой системы за счет уноса энергии, например, в виде излучения, при этом полная энтропия окружающей среды увеличивается.

Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольного постоянного слагаемого. Разность энтропий в двух равновесных состояниях 1 и 2 по определению равна приведённому количеству тепла (${\displaystyle \delta Q/T}$ ), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому квазистатическому пути:

${\displaystyle \Delta S_{1\to 2}=S_{2}-S_{1}=\int \limits _{1\to 2}{\frac {\delta Q}{T}}}$ .

(1)

Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить ${\displaystyle S_{1}=0}$ . Тогда

${\displaystyle S=\int {\frac {\delta Q}{T}}}$ ,

(2)

Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции ${\displaystyle S}$  имеет вид

${\displaystyle dS={\frac {\delta Q}{T}}}$ .

(3)

Энтропия устанавливает связь между макро- и микросостояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

Физический смысл энтропии

Термодинамическая энтропия как физическая величина отличается своей абстрактностью, физический смысл энтропии непосредственно не вытекает из её математического выражения и не поддаётся простому интуитивному восприятию.

С физической точки зрения энтропия характеризует степень необратимости, неидеальности реального термодинамического процесса. Она является мерой диссипации (рассеивания) энергии, а также мерой оценки энергии в плане её пригодности (или эффективности) использования для превращения теплоты в работу. Два последних утверждения не относятся к необычным системам с отрицательной абсолютной температурой, в которых теплота самопроизвольно может полностью превращаться в работу.

Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по Шеннону.

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) или сложности некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана). Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, но большим 1, оно определяет единицу измерения энтропии). Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом.

Пусть состояния системы равновероятны и имеют вероятность ${\displaystyle p}$ , тогда число состояний ${\displaystyle N=1/p}$ , а ${\displaystyle \log N=\log(1/p)}$ . В случае разных вероятностей состояний ${\displaystyle p_{i}}$  рассмотрим средневзвешенную величину

${\displaystyle \log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i}),}$ 

где ${\displaystyle {\overline {N}}}$  — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона:

${\displaystyle H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}.}$ 

Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы. Энтропии Реньи соответствует эффективное количество состояний, определяемое как среднее степенное взвешенное с параметром ${\displaystyle q\leq 1}$  от величин ${\displaystyle 1/p_{i}}$ .

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном.

Аксиоматическое определение энтропии

Выражение для информационной энтропии может быть выведено на основе некоторой системы аксиом. Одним из подходов является следующая система аксиом, известная как система аксиом Хинчина:.

1. Пусть некоторая система может пребывать в каждом из ${\displaystyle N}$  доступных состояний с вероятностью ${\displaystyle p_{i}}$ , где ${\displaystyle i=1,...,N}$ . Энтропия ${\displaystyle H}$  является функцией только вероятностей ${\displaystyle P=(p_{1},...,p_{N})}$ : ${\displaystyle H=H(P)}$ .
2. Для любой системы ${\displaystyle P}$  справедливо ${\displaystyle H(P)\leq H(P_{unif})}$ , где ${\displaystyle P_{unif}}$  — система с равномерным распределением вероятностей: ${\displaystyle p_{1}=p_{2}=...=p_{N}=1/N}$ .
3. Если добавить в систему состояние ${\displaystyle p_{N+1}=0}$ , то энтропия системы не изменится.
4. Энтропия совокупности двух систем ${\displaystyle P}$  и ${\displaystyle Q}$  имеет вид ${\displaystyle H(PQ)=H(P)+H(Q/P)}$ , где ${\displaystyle H(Q/P)}$  — средняя по ансамблю ${\displaystyle P}$  условная энтропия ${\displaystyle Q}$ .

Указанный набор аксиом однозначно приводит к формуле для энтропии Шеннона.

Некоторые авторы обращают внимание на неестественность последней аксиомы Хинчина. И действительно, более простым и очевидным является требование аддитивности энтропии для независимых систем. Таким образом, последняя аксиома может быть заменена следующим условием.

4'. Энтропия совокупности двух независимых систем ${\displaystyle P}$  и ${\displaystyle Q}$  имеет вид ${\displaystyle H(PQ)=H(P)+H(Q)}$ .

Оказывается, система аксиом с пунктом 4' приводит не только к энтропии Шеннона, но и к энтропии Реньи.

f-энтропия

Кроме энтропии Реньи, известны и другие обобщения стандартной энтропии Шеннона, например класс f-энтропий, предложенный И. Чисаром в 1972 г. Также С. Аримото в 1971 г. предложил концепцию f-энтропии, задающую иной класс функционалов. Далее рассматривается концепция И. Чисара. Понятие f-энтропии связано с понятием f-дивергенции. Элементы этих классов образуют парное соответствие, причём каждая такая пара функционалов определяется некоторой выпуклой функцией ${\displaystyle f(t)}$  при ${\displaystyle t\geq 0}$ , удовлетворяющей условию ${\displaystyle f(1)=0}$ .

Для заданной функции ${\displaystyle f(t)}$  f-энтропия дискретного распределения ${\displaystyle P=\{p_{i}\,|\,i=1,...,N\}}$  определяется как

${\displaystyle H_{f}(P)=-\sum _{i=1}^{N}f\left(p_{i}\right).}$ 

Наиболее известными частными случаями f-энтропии являются:

• энтропия Шеннона для ${\displaystyle f(t)=t\ln t}$ ;
• энтропия Берга для ${\displaystyle f(t)=-\ln t}$ ;
• энтропия Цаллиса для ${\displaystyle f(t)={t^{q}-t \over q-1}}$ , ${\displaystyle q>0}$ , ${\displaystyle q\neq 1}$ ;
• альфа-энтропия для ${\displaystyle f(t)={t^{\alpha }-t \over \alpha (\alpha -1)}}$ , ${\displaystyle \alpha \neq 1}$ , ${\displaystyle \alpha \neq 0}$ .

Энтропия Шеннона является единственной аддитивной энтропией в классе f-энтропий.

Понятие f-энтропии определяют в общем виде следующим образом. Пусть ${\displaystyle P}$  — распределение вероятностей и ${\displaystyle \mu }$  — любая мера на ${\displaystyle \Omega }$ , для которой существует абсолютно непрерывная относительно ${\displaystyle \mu }$  функция ${\displaystyle p={\frac {dP}{d\mu }}}$ . Тогда

${\displaystyle H_{f}(P)=-\int _{\Omega }f(p)\,\partial \mu .}$ 

Однако непрерывные версии f-энтропий могут не иметь смысла по причине расходимости интеграла.

f-энтропия является вогнутым функционалом от распределения вероятностей.

Можно заметить, что функция ${\displaystyle f(t)}$  может быть задана с точностью до слагаемого ${\displaystyle c(t-1)}$ , где ${\displaystyle c}$  — произвольная константа. Независимо от выбора ${\displaystyle c}$  функция ${\displaystyle f(t)}$  порождает единственный функционал f-дивергенции. А функционал f-энтропии оказывается определённым с точностью до произвольной аддитивной постоянной, то есть выбором константы ${\displaystyle c}$  можно задать начало отсчёта энтропии. При этом возникает следующий нюанс: в случае ${\displaystyle \mu (\Omega )=\infty }$  константа ${\displaystyle c}$  должна выбираться так, чтобы подынтегральное выражение не содержало ненулевых постоянных слагаемых, иначе интеграл будет всегда расходиться, то есть ${\displaystyle c}$  перестаёт быть произвольной. В частности, в дискретной версии энтропии константа ${\displaystyle c}$  должна фиксироваться при ${\displaystyle N=\infty }$ . Поэтому для f-энтропии, чтобы не уменьшать общность определения, можно явно указывать аддитивную константу. Например, если ${\displaystyle \mu }$  — лебегова мера на ${\displaystyle \Omega }$ , тогда ${\displaystyle p(x)}$  — плотность распределения вероятности и

${\displaystyle H_{f}(P)=-\int _{\Omega }f(p(x))\,dx+c,}$ 

где ${\displaystyle c}$  — произвольная константа.

Функция ${\displaystyle f(t)}$  может также задаваться с точностью до произвольного положительного сомножителя, выбор которого равносилен выбору единицы измерения соответствующей f-энтропии или f-дивергенции.

Сравнивая выражения для f-энтропии и f-дивергенции в общем виде, можно записать следующее связывающее их соотношение:

${\displaystyle H(P)=-D(P\parallel Q_{0})+c,}$ 

где ${\displaystyle Q_{0}}$  — равномерное на ${\displaystyle \Omega }$  распределение. Если положить, что аргументами энтропии и дивергенции выступают производные распределений по мере ${\displaystyle \mu }$  (то есть плотности распределений), имеет место формальная запись

${\displaystyle H(p)=-D(p\parallel 1)+c.}$ 

Данная связь носит фундаментальный характер и играет важную роль не только в классах f-энтропии и f-дивергенции. Так, данное соотношение справедливо для энтропии и дивергенции Реньи и, в частности, для энтропии Шеннона и дивергенции Кульбака—Лейблера. Обусловлено это тем, что согласно общепринятой аксиоматике энтропия достигает максимума на равномерном распределении вероятностей.

Вводимая обычно как «мера неупорядоченности или неопределенности системы» энтропия часто используется в рассуждениях о направленности эволюционных процессов. Согласно этой точке зрения, биосфера — сверхсложная самоорганизующаяся структура, «питающаяся» неограниченной энтропией солнечного излучения. Бактериородопсин выполняет ту же функцию, что и хлорофилл (туннельный эффект) — обеспечивает преобразование электромагнитного облучения в энергию химических связей. Если говорить о порядке, то упорядочивание расположения элементов фотосинтетической электрон-транспортной цепи обеспечивается фотосинтетической мембраной (структурной единицей хлоропластов), которая определяет направленный перенос электронов и протонов, создавая и поддерживая разность электрохимических потенциалов ионов, разделяя окисленные и восстановленные продукты и препятствуя их рекомбинации.

Считается, что сложность организации по-разному влияет на устойчивость в живой и неживой природе. В неживой природе увеличение сложности приводит к понижению устойчивости живого вещества. В противоположность этому в живой природе сложные (социальные) организации устойчивее (в смысле способности к выживанию), нежели устойчивость каждого элемента в отдельности. Например, численность организмов, состоящих из малого числа клеток (например, москитов), значительно больше численности организмов, состоящих из большого числа клеток (например, слонов). Однако это ничего не говорит об устойчивости, отнесенной к элементарной составляющей. Если бы цитолог пожелал заняться статистикой и собрал случайным образом коллекцию клеток, то он нашел бы в ней больше всего клеток, принадлежащих млекопитающим. Это говорит о том, что с усложнением живых организмов устойчивость их элементарных составляющих (клеток) значительно увеличивается.

По аналогии с шенноновским определением энтропии в качестве меры организованности можно рассматривать величину

${\displaystyle G=-\sum _{i=1}^{N+1}p_{i}\log p_{i},}$ 

где ${\displaystyle p_{i}}$  — отношение числа связей ${\displaystyle n_{i},}$  имеющихся у элемента ${\displaystyle i}$  в данный момент, к числу всех возможных ${\displaystyle N}$  связей этого элемента. Здесь, как и в случае определения энтропии источника информации, справедливо условие ${\displaystyle 0\leq p_{i}\leq 1,}$  однако условие ${\displaystyle \sum _{i}p_{i}=1,}$  выполняющееся для случая определения энтропии, здесь уже не имеет места и заменяется неравенством ${\displaystyle 0\leq \sum _{i}p_{i}\leq (N+1).}$  Для элемента ${\displaystyle i,}$  не имеющего ни одной связи с любым другим элементом, ${\displaystyle p_{i}=0.}$  Напротив, когда элемент ${\displaystyle i}$  соединен со всеми другими ${\displaystyle N}$  элементами, ${\displaystyle p_{i}=1}$  и ${\displaystyle \log p_{i}=0.}$ 

Выражение для меры относительной организованности запишется следующим образом:

${\displaystyle G=-\sum _{i=1}^{N+1}{\frac {n_{i}}{N}}\log {\frac {n_{i}}{N}}=-{\frac {1}{N}}\sum _{i=1}^{N+1}(n_{i}\log n_{i}+n_{i}\log {\frac {1}{N}})=-{\frac {1}{N}}\log {\frac {1}{N}}\sum _{i=1}^{N+1}n_{i}-{\frac {1}{N}}\sum _{i=1}^{N+1}n_{i}\log n_{i}.}$ 

Максимальная организованность находится приравниванием ${\displaystyle G}$  по всем ${\displaystyle p_{i}}$  нулю, в результате чего получается система из ${\displaystyle N+1}$  уравнений:

${\displaystyle {\frac {dG}{\partial p_{j}}}=-{\frac {d}{\partial p_{j}}}\sum _{i=1}^{N+1}p_{i}\log p_{i}=0\quad \quad (j={\overline {1,(N+1)}}).}$ 

Для любого из этих уравнений справедливо

${\displaystyle {\frac {dG}{\partial p_{j}}}=-{\frac {d}{\partial p_{j}}}(p_{j}\log p_{j})-{\frac {d}{\partial p_{j}}}\sum _{i\neq j}p_{i}\log p_{i}=-\log e-\log p_{j}-0=0,\quad \quad \log p_{j}=-\log e=\log {\frac {1}{e}}.}$ 

Таким образом, для достижения максимума организованности отношение связи должно быть равно ${\displaystyle p_{i}={\frac {1}{e}}}$  (где ${\displaystyle e}$  — число Эйлера), ${\displaystyle G_{\mathrm {max} }=(N+1){\frac {1}{e}}\log e.}$ 

Данное нестохастическое толкование организованности обладает и тем преимуществом, что позволяет сделать ряд интересных выводов. Для учета в степени связи наличия связи между двумя элементами через промежуточные элементы нужно будет использовать не число связей, подходящих к элементу ${\displaystyle i,}$  а число, которое определяется из выражения

${\displaystyle n_{i}=\sum _{j\neq i}m_{i,j},}$ 

где ${\displaystyle m_{i,j}=m_{j,i}}$  — степень родства (сила связи) между элементами ${\displaystyle i}$  и ${\displaystyle j.}$  В этом случае ${\displaystyle p_{i}}$  будет представлять в формуле относительную общую силу связи (вместо числа связей, как было ранее) для элемента ${\displaystyle i.}$