In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–LeiblerS. Kullback (1959) Information theory and statistics (John Wiley and Sons, NY). (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con DKL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P:Kenneth P. Burnham, David R. Anderson (2002), Model Selection and Multi-Model Inference: A Practical Information-Theoretic Approach. Springer. (2nd ed), p.51 KL misura il numero atteso di bit extra richiesti per la codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. La misura Q tipicamente rappresenta una teoria, modello, descrizione, o approssimazione di P.
Anche se è spesso pensata come una distanza, la divergenza KL non è una vera e propria metrica - per esempio, non è simmetrica: la KL da P a Q non è in genere la stessa KL da Q a P. Tuttavia, la sua forma infinitesimale, in particolare la sua matrice hessiana, è un tensore metrico: è l'informazione metrica di Fisher.
La divergenza KL è un caso particolare di una classe più ampia di divergenze chiamata f-divergenze. È stata originariamente introdotta da Solomon Kullback e Richard Leibler nel 1951 come divergenza diretta tra due distribuzioni. Può essere derivata dalla divergenza di Bregman.
Definizione Per due distribuzioni discrete P e Q, la divergenza KL di Q da P è definita come:
Proprietà Dalla disuguaglianza di Jensen segue che è non negativa. Infatti
poiché
Note
Bibliografia
Collegamenti esterni
Categoria:Teoria dell'informazione