В теории информации энтропия Реньи — обобщение энтропии Шеннона — является семейством функционалов, используемых в качестве меры количественного разнообразия, неопределённости или случайности некоторой системы. Названа в честь Альфреда Реньи.
Если некоторая система имеет дискретное множество доступных состояний , которому соответствует распределение вероятностей для (то есть — вероятности пребывания системы в состояниях ), тогда энтропия Реньи с параметром (при и ) системы определяется как
,
где угловыми скобками обозначено математическое ожидание по распределению ( — вероятность пребывания системы в некотором состоянии как случайная величина), логарифм берётся по основанию 2 (для счёта в битах) либо по другому удобному основанию (оно должно быть больше 1). Основание логарифма определяет единицу измерения энтропии. Так, в математической статистике обычно используется натуральный логарифм.
Если все вероятности , тогда при любом энтропия Реньи . В остальных случаях энтропия Реньи убывает как функция . Притом более высокие значения (уходящие в бесконечность) дают энтропии Реньи значения, которые в большей степени определены лишь самыми высокими вероятностями событий (то есть вклад в энтропию маловероятных состояний уменьшается). Промежуточный случай в пределе даёт энтропию Шеннона, которая обладает особыми свойствами. Более низкие значения (стремящиеся к нулю), дают значение энтропии Реньи, которое взвешивает возможные события более равномерно, менее зависимо от их вероятностей. А при получаем максимально возможную -энтропию, равную независимо от распределения (лишь бы ).
Смысл параметра можно описать, говоря неформальным языком, как восприимчивость функционала к отклонению состояния системы от равновесного: чем больше , тем быстрее уменьшается энтропия при отклонении системы от равновесного состояния. Смысл ограничения заключается в том, чтобы обеспечивалось увеличение энтропии при приближении системы к равновесному (более вероятному) состоянию. Это требование является естественным для понятия энтропия. Следует заметить, что для энтропии Цаллиса, которая эквивалентна энтропии Реньи с точностью до не зависящего от монотонного преобразования, соответствующее ограничение часто опускают, при этом для отрицательных значений параметра вместо максимизации энтропии используют её минимизацию. Между тем существует корректное с точки зрения поведения функционала обобщение энтропий Реньи и Цаллиса на случай произвольного действительного значения параметра.
Энтропия Реньи играет важную роль в экологии и статистике, определяя так называемые индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от . Они также приводят к спектру показателей фрактальной размерности.
Hα для некоторых конкретных значений α Некоторые частные случаи При энтропия Реньи не зависит от вероятностей состояний (вырожденный случай) и равна логарифму числа состояний (логарифму мощности множества ): . Данную энтропию иногда называют энтропией Хартли. Она используется, например, в формулировке принципа Больцмана.
В пределе при , можно показать, используя правило Лопиталя, что сходится к энтропии Шеннона. Таким образом, семейство энтропий Реньи может быть доопределено функционалом .
Квадратичная энтропия, иногда называемая энтропией столкновений, — это энтропия Реньи с параметром : , где и — независимые случайные величины, одинаково распределённые на множестве с вероятностями (). Квадратичная энтропия используется в физике, обработке сигналов, экономике. Существует предел , который называется min-энтропией, потому что это наименьшее значение . Данная энтропия также является вырожденным случаем, поскольку её значение определяется только наиболее вероятным состоянием.
Неравенства для различных значений α Два последних случая связаны соотношением . С другой стороны, энтропия Шеннона может быть сколь угодно высокой для распределения X с фиксированной min-энтропией.
потому что .
, потому что .
в соответствии с неравенством Йенсена .
Расхождения (дивергенции) Реньи Кроме семейства энтропий, Реньи также определил спектр мер расхождений (дивергенций), обобщающих расхождение Кульбака—Лейблера. Формулы данного раздела записаны в общем виде — через логарифм по произвольному основанию. Поэтому нужно понимать, что каждая приведённая формула представляет собой семейство эквивалентных функционалов, определённых с точностью до постоянного (положительного) множителя.
Расхождение Реньи с параметром , где и , распределения относительно распределения (или «расстояние от до ») определяется как
или (формально, без учёта нормировки вероятностей) ,
.
Как расхождение Кульбака—Лейблера, расхождение Реньи является неотрицательным для .
Некоторые частные случаи
При дивергенция Реньи не определена, однако семейство дивергенций можно доопределить элементом : минус логарифм от суммы вероятностей , таких что соответствующие .
: расстояние Бхаттачария (минус логарифм от , несущественный множитель игнорируем). Данное расхождение с точностью до монотонного преобразования эквивалентно расстоянию Хеллингера и сферическому расстоянию Бхаттачария—Рао, однако в отличие от них не удовлетворяет неравенству треугольника, а потому не является метрикой в пространстве распределений. : расхождение Кульбака—Лейблера (равно математическому ожиданию по распределению логарифма отношения вероятностей ). : логарифм от математического ожидания по распределению отношения вероятностей . Данное расхождение с точностью до монотонного преобразования эквивалентно расстоянию хи-квадрат Пирсона . : логарифм от максимального отношения вероятностей .
Финансовая (игровая) интерпретация
Рассмотрим игру (лотерею) по угадыванию некой случайной величины. Официальные выигрышные ставки известны и опубликованы в виде распределения вероятностей . Между тем истинное распределение вероятностей может не совпадать с . Знание истинного распределения позволяет игроку заработать. Ожидаемый рост капитала экспоненциальный. Считая верным распределение , игрок может подсчитать (свое) математическое ожидание экспоненциальной скорости роста капитала (за раунд игры) [Soklakov2020]:
ОжидаемыйРост
где обозначает относительную меру неприятия риска по Эрроу-Пратту.
Обозначив истинное распределение (не обязательно совпадающее с мнением игрока ) реально полученный рост можно подсчитать в пределе многократной игры [Soklakov2020]:
ФактическийРост
Почему случай α = 1 особенный Значение , которое соответствует энтропии Шеннона и расхождению Кульбака—Лейблера, является особенным, потому что только в этом случае можно выделить переменные A и X из совместного распределения вероятностей, такие что справедливо
для энтропии, и
—
для дивергенции.
Последнее означает, что если мы будем искать распределение , которое сводит к минимуму расхождения некоторых основополагающих мер , и получим новую информацию, которая влияет только на распределение , то распределение не будет зависеть от изменений .
В общем случае расхождения Реньи с произвольными значениями удовлетворяют условиям неотрицательности, непрерывности и инвариантности относительно преобразования координат случайных величин. Важным свойством любых энтропии и дивергенции Реньи является аддитивность: когда и независимы, из следует
и
.
Наиболее сильные свойства случая , которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях или совершенно неважны, в зависимости от требований этих приложений.
Перекрёстная энтропия Реньи Перекрёстная энтропия от двух распределений с вероятностями и () в общем случае может определяться по-разному (в зависимости от применения), но должна удовлетворять условию . Один из вариантов определения (аналогичным свойством обладает перекрёстная энтропия Шеннона): . Другое определение, предложенное А. Реньи, может быть получено из следующих соображений. Определим эффективное количество состояний системы как среднее геометрическое взвешенное от величин с весами : . Отсюда следует выражение для перекрёстной энтропии Шеннона . Рассуждая аналогичным образом, определим эффективное количество состояний системы как среднее степенное взвешенное от величин с весами и параметром : . Таким образом, перекрёстная энтропия Реньи имеет вид . Нетрудно видеть, что в случае, если распределения вероятностей и совпадают, перекрёстная энтропия Реньи совпадает с энтропией Реньи. Также при перекрёстная энтропия Реньи сходится к перекрёстной энтропии Шеннона. Свойство , справедливое для перекрёстной энтропии Шеннона, в общем случае не имеет места. Перекрёстная энтропия Реньи может быть как больше, так и меньше энтропии Реньи.
Непрерывный случай Для формального обобщения энтропии Шеннона на случай непрерывного распределения служит понятие дифференциальная энтропия. Совершенно аналогично определяется дифференциальная энтропия Реньи: . Расхождение (дивергенция) Реньи в непрерывном случае также является обобщением расхождения Кульбака—Лейблера и имеет вид .
Определение перекрёстной энтропии, предложенное А. Реньи, в непрерывном случае имеет вид .
В приведённых формулах и — некоторые функции плотности распределения вероятностей, определённые на интервале , и полагается , . При рассмотренные функционалы непрерывно доопределяются соответственно энтропией Шеннона , дивергенцией Кульбака—Лейблера и перекрёстной энтропией Шеннона .
Обобщение на случай произвольного параметра
Для произвольного , , , энтропия и дивергенция Реньи определяются следующим образом: ,
.
При рассмотренные функционалы непрерывно доопределяются соответственно энтропией Шеннона и дивергенцией Кульбака—Лейблера . При дивергенция непрерывно доопределяется обратной дивергенцией Кульбака—Лейблера , а энтропия с точностью до несущественного слагаемого и несущественного сомножителя эквивалентна энтропии Берга . Действительно, если функционал уменьшить на постоянную величину и раскрыть неопределённость при по правилу Лопиталя, в пределе получим выражение для энтропии Берга, делённое на . Однако следует заметить, что энтропия Берга, как и вообще энтропия Реньи при , не существует для распределений, заданных на неограниченном промежутке . Для дискретных аналогов приведённых здесь формул подобного ограничения нет.
Литература
O.A. Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163–182 Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, A. R. Its, V. E. Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 F. Liese and I. Vajda. Convex Statistical Distances // Teubner-Texte zur Mathematik. – Leipzig, 1987, band 95.
Категория:Теория информации Категория:Энтропия