Дифференциальная энтропия (относительная энтропия, энтропия непрерывной случайной величины) — обобщение понятия информационной энтропии для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника.
Формула дифференциальной энтропии В случае одномерной случайной величины дифференциальная определяется по формуле:
где — плотность распределения случайной величины .
Дифференциальная энтропия, в отличие от энтропии дискретной случайной величины, неинвариантна к преобразованию координат.
Дифференциальную энтропию можно определить как разность энтропий двух отличающих на бесконечно малую величину квантованных значений случайной величины, имеющей равномерное распределение на интервале, равном единице. Отсюда название энтропии — дифференциальная, то есть разностная.
Условная дифференциальная энтропия Условная дифференциальная энтропия для случайной величины при заданной случайной величине определяется по формуле:
где — совместная плотность вероятности случайных величин и , — условная плотность вероятности случайной величины при заданном значении случайной величины .
Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами.
Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника: (для независимых случайных величин — равенство) .
Примеры дифференциальных энтропий Случайная величина имеет равномерное распределение на интервале :
В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале , равное .
Случайная величина имеет нормальное распределение на интервале : .
В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин с заданной дисперсией , значения которых находятся в интервале , равное Варгаузин В. А., Цикин И. А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи, 2013. — С. 31..
Случайная величина имеет экспоненциальное распределение на интервале : .
В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале , равное .
Примечания
Литература
Категория:Теория информации