skupiali się oni na poniższej symetrycznej postaci:
Jak zwraca uwagę Kullback, podobną wartość wykorzystywało wcześniej m.in. małżeństwo Jeffreys. W 1987 zadeklarował, że spośród dziewięciu stosowanych wówczas dla tego wskaźnika nazw osobiście preferuje termin .
Uogólnienia i związki Dywergencja Kullbacka-Leiblera jest przypadkiem dywergencji Bregmana i -dywergencji. Informacja wzajemna to dywergencja ze wspólnego rozkładu do produktu rozkładów:
Interpretacja i zastosowania Dywergencja K-L może być rozumiana jako generalizacja entropii Shannona, oraz negatywna postać uogólnionej entropii Boltzmanna. Może reprezentować na przykład zmianę (przyrost lub stratę) lub różnicę (niedobór lub nadmiar) informacji pomiędzy dwoma rozkładami.
Jej minimalizacja jest stosowana na przykład przy wyborze optymalnych modeli statystycznych oraz systemów kodowania.
Choć nie jest pseudoodległością, jej hesjan wyznacza tensor metryczny określany jako miara informacji Fishera.
Kryteria informacyjne Wybór modeli statystycznych na podstawie pozwalają zrealizować tzw. kryteria informacyjne.