En teoria i estadística de probabilitats, la divergència Jensen-Shannon és un mètode per mesurar la similitud entre dues distribucions de probabilitat. També es coneix com a radi d'informació (IRad) o divergència total a la mitjana. Es basa en la divergència Kullback-Leibler, amb algunes diferències notables (i útils), inclòs que és simètrica i sempre té un valor finit. L'arrel quadrada de la divergència Jensen-Shannon és una mètrica que sovint es coneix com a distància Jensen-Shannon.
Definició Considereu el conjunt de distribucions de probabilitat on és un conjunt proveït d'alguna σ-àlgebra de subconjunts mesurables. En particular podem prendre per ser un conjunt finit o comptable amb tots els subconjunts mesurables.
La divergència Jensen-Shannon (JSD) és una versió simètrica i suavitzada de la divergència Kullback-Leibler . Es defineix per
on és una distribució de barreja de i .
La divergència geomètrica de Jensen–Shannon (o divergència G-Jensen–Shannon) produeix una fórmula de forma tancada per a la divergència entre dues distribucions gaussianas prenent la mitjana geomètrica.
Una definició més general, que permet la comparació de més de dues distribucions de probabilitat, és:
on
i són pesos que es seleccionen per a les distribucions de probabilitat , i és l'entropia de Shannon per a la distribució . Per al cas de dues distribucions descrit anteriorment,
Per tant, per a aquestes distribucions
Aplicacions La divergència Jensen-Shannon s'ha aplicat en bioinformàtica i comparació del genoma, en comparació de superfícies de proteïnes, en ciències socials, en l'estudi quantitatiu de la història, en experiments de foc, i en l'aprenentatge automàtic.
Referències
Categoria:Estadística