L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.
Définitions Pour une variable aléatoire avec une distribution de probabilité et définie sur un ensemble , on définit l'entropie différentielle par:
Pour les lois de probabilité qui n'ont pas d'expression explicite pour leur densité, mais dont on connait la fonction quantile , alors on peut définir avec la dérivée de par
Pour un couple de variables aléatoires de loi jointe , alors l'entropie différentielle conditionnelle de sachant vaut :
Propriétés On a :
L'entropie différentielle d'une loi continue peut être négative, contrairement à celle d'une loi discrète. Majoration : Soit une variable aléatoire continue de variance . Alors on a
avec égalité si et seulement si suit une loi normale.
Lien avec l'erreur d'estimation L'entropie différentielle donne une borne inférieure à l'espérance d'un estimateur. Pour toute variable aléatoire et un estimateur , on a alors le résultat:
avec égalité si et seulement si suit une loi normale et est l'espérance de .
Entropie différentielle pour plusieurs distributions
Dans le tableau qui suit, est la fonction gamma, est la fonction digamma, est la fonction bêta, et est la constante d'Euler-Mascheroni. + Table d'entropies différentielles de lois usuelles. Distribution Fonction de distribution de probabilités Entropie Loi uniforme continue Loi normale Loi exponentielle Loi de Cauchy Loi du χ² Distribution Gamma Loi logistique Statistique de Maxwell-Boltzmann Distribution de Pareto Loi de Student Distribution de Weibull Loi normale multidimensionnelle
Références
Voir aussi Loi de probabilité d'entropie maximale
Liens externes
Catégorie:Théorie de l'information