En statistiques, une divergence est une fonction ou une fonctionnelle qui mesure la dissimilarité d'une loi de probabilité par rapport à une autre. Selon le contexte, elles peuvent être définies pour des lois, des mesures positives (non-normalisées), des vecteurs (par exemple sur l'espace des paramètres si l'on considère un modèle paramétrique), ou encore des matrices.
Les divergences sont analogues à des distances au carré et permettent de généraliser la notion de distance aux variétés statistiques, mais il s'agit d'une notion plus faible dans la mesure où elles ne sont en général pas symétriques et ne vérifient pas l'inégalité triangulaire.
Définition
Définition générale
Dans le cas le plus général, en statistiques et en théorie de l'information, une divergence est une fonction définie sur un ensemble de distributions de probabilités , satisfaisant les propriétés suivantes : positivité: ; séparation: si et seulement si .
Il n'existe toutefois pas de définition unifiée, et la propriété de séparation n'est parfois pas requise.
En géométrie de l'information
En géométrie de l'information, des hypothèses de régularité additionnelles sont nécessaires, car la divergence ne sert pas simplement à comparer des distributions de probabilités, mais induit une structure géométrique.
Soit une variété topologique et une carte locale. Une divergence est une fonction (également définie sur au moyen de l'homéomorphisme associé), différentiable jusqu'à l'ordre 3 et satisfaisant les propriétés suivantes :
Le développement limité de en s'écrit :
où est définie positive.
Divergence symétrique Pour une divergence donnée, il est parfois intéressant d'introduire la divergence symétrique associée : .
Notation Les notations ou peuvent également être employées.
Exemples
Il existe une grande variété de divergences, dont entre autres : la divergence euclidéenne, définie comme la moitié de la racine de la distance euclidéenne ; les f-divergences, qui s'expriment de la forme pour une fonction convexe différentiable et telle que lorsque (la définition pouvant sinon être généralisée), et incluent : les -divergences : la divergence de Kullback-Leibler pour (-divergence pour ) ; la distance de Hellinger ( divergence pour ) ; la divergence χ2 de Pearson pour : ; la distance en variation totale pour ; la divergence de Jensen-Shannon ; les divergences de Bregman : la divergence de Kullback-Leibler, qui est la seule à être à la fois une f-divergence et une divergence de Bregman ; les -divergences ; les -divergences ; la divergence d'Itakura-Saito ; les -divergences de Rényi.
Annexes
Notes
Bibliographie
Catégorie:Statistiques