Принцип максимума энтропии утверждает, что наиболее характерными распределениями вероятностей состояний неопределенной среды являются такие распределения, которые максимизируют выбранную меру неопределенности при заданной информации о «поведении» среды. Впервые подобный подход использовал Д. Гиббс для нахождения экстремальных функций распределений физических ансамблей частиц. Впоследствии Э. Джейнсом был предложен формализм восстановления неизвестных законов распределения случайных величин при наличии ограничений из условий максимума энтропии Шеннона.

История Рассмотрим дискретную случайную величину , которая может принимать значения с вероятностями . Значения вероятностей неизвестны. Зато известно математическое ожидание некоторой функции данной случайной величины: . Основываясь на этой информации, каково математическое ожидание функции ?

На первый взгляд, задача кажется неразрешимой, поскольку предварительно необходимо знать вероятностное распределение , а исходной информации недостаточно, чтобы найти все значения вероятностей . Уравнение матожидания функции вместе с уравнением нормировки дают всего два уравнения из необходимых для составления системы уравнений.

Эта задача определения вероятностного распределения в случаях, когда мало или совсем нет информации о случайной величине, стара как сама теория вероятностей. Лапласовский принцип недостаточного основания был попыткой предложить такой критерий выбора: он заключается в том, что два события считаются равновероятными, если нет оснований считать иначе.

Связь статистики с аксиоматической теорией вероятности имеет 2 различных подхода. Частотный (frequentist) подход рассматривает вероятность как предел частоты, вероятность — это то что описывает свойства бесконечно больших ансамблей бинарных событий. Байесов подход обобщает фреквентистский подход тем, что постулирует новый смысл вероятности как количественной характеристики какого-либо бинарного эксперимента. Это даёт те же результаты при описании ансамблей, что и фреквентистский подход, но позволяет давать количественные оценки для бинарных экспериментов, исход которых заранее неизвестен, и улучшать оценки по мере поступления новой информации об исходах; всё это при фреквентистском понимании не имеет смысла.

Лаплас, например, считал, что в мире вообще нет ничего случайного, и если есть информация о причинах событий, то следствия (сами события) могут быть предсказаны со стопроцентной точностью (лапласовский детерминизм). Этот подход к вероятности развивали независимо физик Д.Гиббс (в статистической механике Гиббса) и математик К.Шеннон (при разработке теории информации). Оба они получили величину, выражающую собой меру неопределенности об исходах какого-либо события (или, по-другому, меру неопределенности вероятностного распределения), которая была названа энтропией и вычислялась по похожим формулам. Далее на это сходство обратил внимание физик Э. Т. Джейнс в двух статьях 1957 года.

Строго говоря, Гиббс не был первопроходцем в разработке понятия физической энтропии. Само понятие энтропии предложил физик Р.Клаузиус, а затем его развивал физик Л.Больцман, причём каждый из них получил свою функцию энтропии. Клаузиус работал с термодинамическими понятиями, Больцман же разрабатывал молекулярную физику и статистическую механику.

Точно так же Шеннон основывался в своей работе на результатах Г.Найквиста и Р.Хартли, заложивших основы теории информации.

Функционал Предположим, что событие может произойти, а может и не произойти в ходе случайного эксперимента. Если событие не произошло, будем считать, что произошло противоположное событие . Таким образом, события и  образуют полную группу событий, что означает, что это несовместные события, а их вероятности в сумме равны единице: .

Если о событии не известно вообще ничего, то, согласно субъективному подходу к вероятности, нужно принять, что события и  равновероятны: .

По мере обретения некоторой информации, одна вероятность начнет перевешивать другую, а неопределенность начнет уменьшаться. В конце концов, при получении полной информации окажется, что , (или наоборот: , ). Неопределенность при этом упадет до нуля.

Хорошо бы придумать такую функцию этих вероятностей, которая бы достигала максимума при полной неопределенности и обращалась в ноль при полной определённости. И чем больше одна вероятность перевешивает другую, чем больше между ними «асимметрия», тем меньшее значение принимает данная функция.

Эту функцию (функционал) назовем энтропией распределения или неопределенностью распределения. Строго говоря, энтропия — лишь мера неопределенности, а не сама неопределенность. Но здесь все как в случае с вероятностями: вероятность — это одновременно и возможность события, и мера этой возможности. В принципе, правильно говорить и так, и эдак.

В качестве такой функции можно рассмотреть, например, произведение вероятностей событий и . Обозначим , и рассмотрим функцию . Поскольку  — это перевернутая парабола, проходящая через начало координат и точку , то своего максимума она достигает при .

Далее, по мере увеличения «асимметрии» вероятностей, постепенно уменьшается, пока окончательно не превращается в ноль при или при .

В силу симметрии , потому что всё равно, какое именно из двух событий обладает вероятностью , а какое — вероятностью .

С другой стороны, (0,21<0,24), потому что в этом втором случае вероятности более «асимметричны», чем в первом случае.

Функция , где  — какой-то коэффициент, тоже справляется с наложенными на неё «обязанностями»: достигает максимума в и минимума (нуля) в и . Это значит, что искомый функционал может быть определён с точностью до некоторого коэффициента.

Пусть теперь полную группу событий образуют три события. Можно и в этом случае рассматривать в качестве энтропии произведение их вероятностей и даже можно доказать, что максимума это произведение достигает, когда все вероятности равны между собой: .

Здесь, правда, возникает одна неприятность. Максимум энтропии для трех событий равен  — это меньше, чем максимум энтропии для двух событий, который равен . А хотелось бы, чтоб было наоборот: чем больше событий, тем больше неопределенность.

Другая, более серьёзная неприятность заключается в том, что если вероятность хотя бы одного события равна нулю, то и всё произведение вероятностей автоматически становится равным нулю. То есть неопределенность исчезает, становится равной нулю согласно такому функционалу, хотя на самом деле это не так. Неопределенность должна исчезать, когда все вероятности, кроме одной, равны нулю, а эта единственная вероятность равна единице. Тем не менее, для двух исходов таким функционалом вполне можно пользоваться. Но для двух исходов и не нужно никаких функционалов: если известно матожидание распределения некоторой случайной величины , то уравнение матожидания вместе с условием нормировки как раз дают систему из двух уравнений, из которой однозначно находятся и . Если же о распределении не известно вообще ничего, то вероятности приравниваются друг к другу, а это можно сделать без всяких функционалов.

Энтропия Шеннона Клод Шеннон наложил на искомую функцию три условия: должна быть непрерывной функцией от переменных ; если все вероятности равны, то функция является монотонно возрастающей функцией от . Иными словами, ; Закон композиции. Вместо того, чтобы задавать вероятности событий непосредственно, можно сгруппировать первые из них вместе, как одно событие с соответствующей вероятностью . Оставшиеся — как второе событие с вероятностью . Тогда функция должна подчиняться условию ; Закон композиции требует особого рассмотрения, поскольку именно на его основе далее формируется вид функции . Идея заключается в следующем.

Случайный эксперимент разбивается на два последовательных этапа. На первом этапе с вероятностями и выбирается первая (до ) либо вторая (после ) часть исходов. На втором этапе выбирается сам исход из выбранной части исходов. При этом исход из выбранной части выбирается уже с условными вероятностями , то есть при условии, что данная часть (в данном случае, первая часть) выбрана. Сам Шеннон говорит, что если выбор распадается на два этапа, первоначальная энтропия должна быть взвешенной суммой индивидуальных энтропий, то есть условных энтропий.

Общий смысл таков, что если случайный выбор на первом этапе сделан, то вероятности и принимают значения или , и дальнейшая неопределенность равна только одной из условных энтропий.

В качестве примера рассмотрим два графа:

На левом графе есть три исхода с вероятностями , , , образующих полную группу событий (то есть ). На правом графе мы сначала выбираем между двумя возможностями, каждую с вероятностью . Если выбрана вторая возможность, тогда делается ещё один выбор с вероятностями и . Энтропии на обоих графах должны получиться одинаковыми, поскольку в конечном счете получаются те же самые исходы с теми же вероятностями. По закону композиции запишем .

Здесь , поскольку полная группа событий, состоящая всего из одного события, наступающего со стопроцентной вероятностью, порождает нулевую неопределенность. При этом, по словам самого Шеннона, коэффициент появляется потому, что второй выбор появляется только половину всех раз.

В законе композиции первый этап может состоять не из двух возможностей, а из большего числа возможностей с соответствующими вероятностями , , , …

Закон композиции является своеобразным обобщением аддитивного свойства энтропии, хотя и не следует непосредственно из этого свойства. Действительно, пусть некий эксперимент состоит из шести равновероятных исходов. Пусть эти исходы поделены на три равные части: на первом этапе выбирается одна из трех частей, на втором этапе выбирается исход внутри соответствующей части. Тогда можно записать .

Полученное равенство можно переписать так:

.

В общем случае .

Но этот же результат можно получить из других соображений.

Предположим, есть случайный эксперимент с равновероятными исходами и другой случайный эксперимент с равновероятными исходами. Пусть эти два случайных эксперимента никак не связаны друг с другом. Но в любом случае их можно рассматривать как один объединённый эксперимент, в котором отдельный исход заключается в том, что произошел -й исход первого эксперимента и -й исход второго эксперимента. В таком объединённом эксперименте есть уже равновероятных исходов. Поскольку неопределенность двух экспериментов не должна меняться в зависимости от подобной смены точки зрения, то .

Как следствие этого результата, , где  — неотрицательное целое. Если , то последнее равенство принимает вид , оставаясь верным равенством.

Закон композиции позволяет выразить энтропию вероятностного распределения, в котором все вероятности — рациональные числа, как взвешенную сумму функций . Действительно, пусть есть полная группа событий из несовместных событий с вероятностями , , …, , где , , — натуральные, . Тогда можно записать

.

Из этого уравнения уже можно выразить .

Не известно точно, откуда Шеннон взял свой закон композиции. Возможно, он хотел, чтобы его энтропия получилась похожей на энтропию Хартли, и он придумал такое условие (закон композиции), из которого энтропия Шеннона получалась бы однозначным образом.

Теорема:

единственная функция , удовлетворяющая трем наложенным на неё условиям Шеннона, имеет вид , где  — любая положительная константа, а логарифм же берется по любому основанию больше единицы.

Доказательство.

Доказательство сводится к выяснению вида функции .

Для любого натурального и любого, сколь угодно большого натурального можно найти такое натуральное и неотрицательное целое , что . Потенцируя обе части неравенства и деля на , получим , откуда . Поскольку основание натурального логарифма больше единицы, то знак неравенств не меняется.