L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.
Définition
Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, lentropie de Rényi d'ordre de est définie par la formule :
Cas particuliers L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Entropie de Hartley Le cas donne :
ce qui correspond au logarithme du cardinal de , qui correspond à l'entropie de Hartley.
Entropie de Shannon D'après la règle de L'Hôpital, on peut trouver une limite à quand tend vers 1 :
Cette expression correspond à l'entropie de Shannon.
Entropie de collision Dans le cas où , on trouve l'entropie dite de collision, appelée parfois simplement « entropie de Rényi » :
où Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.
Entropie min En faisant tendre vers l'infini, on trouve l'entropie min :
Propriétés
Décroissance selon α est une fonction décroissante de .
Preuve Soit une distribution de probabilité
avec la distribution de probabilité des et la Divergence de Kullback-Leibler de par rapport .
Puisque cette divergence est positive, la dérivée de l'entropie de Rényi en devient négative et donc est bien décroissante en .
Preuve alternative Soit une distribution de probabilité,
L'inégalité provient de l'Inégalité de Jensen appliquée dans les cas suivants à , en notant : Si, et donc est convexe et . Si, donc est convexe et . Si, donc est concave . Si l'application de l'inégalité est immédiate.
Ce qui donne la croissance de .
Relations entre les entropies de différents ordres L'entropie de Rényi est donc une fonction décroissante de son ordre.
De plus, on remarque que puisque .
Divergence de Rényi Pour deux distributions de probabilités et , la divergence de Rényi de selon est définie comme :
La limite existe et correspond à la Divergence de Kullback-Leibler.
Voir aussi Articles connexes Entropie de Shannon
Bibliographie .
Liens externes
Catégorie:Informatique quantique Catégorie:Théorie de l'information