miniatura|256x256px|Diagrama de Venn que mostra les relacions additives i subtractives de diverses mesures d'informació associades a variables correlacionades i . L'àrea continguda per qualsevol dels cercles és l'entropia conjunta . El cercle de l'esquerra (vermell i violeta) és l'entropia individual , sent el vermell l'entropia condicional . El cercle de la dreta (blau i violeta) és , amb l'ésser blau . El violeta és la informació mútua . En la teoria de la probabilitat i la teoria de la informació, la informació mútua (MI) de dues variables aleatòries és una mesura de la dependència mútua entre les dues variables. Més concretament, quantifica la "quantitat d'informació" (en unitats com shannons (bits), nats o hartleys) obtinguda sobre una variable aleatòria observant l'altra variable aleatòria. El concepte d'informació mútua està íntimament lligat al d'entropia d'una variable aleatòria, una noció fonamental en la teoria de la informació que quantifica la "quantitat d'informació" esperada que té una variable aleatòria.
No es limita a variables aleatòries de valor real i dependència lineal com el coeficient de correlació, MI és més general i determina com de diferent és la distribució conjunta de la parella. és del producte de les distribucions marginals de i . MI és el valor esperat de la informació mútua puntual (PMI).
La quantitat va ser definida i analitzada per Claude Shannon en el seu document històric "A Mathematical Theory of Communication", encara que no ho va anomenar "informació mútua". Aquest terme va ser encunyat posteriorment per Robert Fano. La informació mútua també es coneix com a guany d'informació.
Definició Deixa ser un parell de variables aleatòries amb valors sobre l'espai . Si la seva distribució conjunta és i les distribucions marginals són i , la informació mútua es defineix com
on és la divergència Kullback-Leibler, i és la distribució exterior del producte que assigna probabilitat a cadascun .
Expressat en termes d'entropia i l'entropia condicional de les variables aleatòries i , també es té (vegeu la relació amb l'entropia condicional i conjunta):
Observeu, segons la propietat de la divergència Kullback-Leibler, que és igual a zero precisament quan la distribució conjunta coincideix amb el producte dels marginals, és a dir, quan i són independents (i, per tant, observen no et diu res ). no és negatiu, és una mesura del preu de la codificació com un parell de variables aleatòries independents quan en realitat no ho són.
Si s'utilitza el logaritme natural, la unitat d'informació mútua és la nat. Si s'utilitza la base logarítmica 2, la unitat d'informació mútua és el shannon, també conegut com a bit. Si s'utilitza la base de registre 10, la unitat d'informació mútua és el hartley, també conegut com el ban o el dit.
En termes de PMF per a distribucions discretes La informació mútua de dues variables aleatòries discretes conjuntament i es calcula com una suma doble:
on és la funció de massa de probabilitat conjunta de i , i i són les funcions de massa de probabilitat marginal de i respectivament.
Pel que fa als PDF per a distribucions contínues En el cas de variables aleatòries contínues conjuntament, la suma doble es substitueix per una integral doble:
on és ara la funció de densitat de probabilitat conjunta de i , i i són les funcions de densitat de probabilitat marginal de i respectivament.
Motivació Intuïtivament, la informació mútua mesura la informació que i compartir: mesura fins a quin punt el coneixement d'una d'aquestes variables redueix la incertesa sobre l'altra. Per exemple, si i són independents, després sabent no dona cap informació sobre i viceversa, de manera que la seva informació mútua és zero. A l'altre extrem, si és una funció determinista de i és una funció determinista de aleshores tota la informació transmesa per es comparteix amb : saber determina el valor de i viceversa. Com a resultat, la informació mútua és la mateixa que la incertesa continguda (o ), és a dir, l'entropia de (o ). Un cas molt especial d'això és quan i són la mateixa variable aleatòria.
La informació mútua és una mesura de la dependència inherent expressada en la distribució conjunta de i en relació a la distribució marginal de i sota el supòsit de la independència. Per tant, la informació mútua mesura la dependència en el sentit següent: si i només si i són variables aleatòries independents. Això és fàcil de veure en una direcció: si i són independents, doncs , i per tant:
A més, la informació mútua no és negativa (és a dir vegeu més avall) i simètric (és a dir veure més avall).
Aplicacions En moltes aplicacions, es vol maximitzar la informació mútua (augmentant així les dependències), que sovint equival a minimitzar l'entropia condicional. Alguns exemples inclouen:
A la tecnologia dels motors de cerca, la informació mútua entre frases i contextos s'utilitza com a característica per a l'agrupació de k-means per descobrir clústers semàntics (conceptes). Per exemple, la informació mútua d'un bigrama es pot calcular com:
on és el nombre de vegades que el bigrama xy apareix al corpus, és el nombre de vegades que l'unigrama x apareix al corpus, B és el nombre total de bigrames i U és el nombre total d'unigrames.
En telecomunicacions, la capacitat del canal és igual a la informació mútua, maximitzada sobre totes les distribucions d'entrada.
S'han proposat procediments d'entrenament discriminatoris per a models ocults de Markov basats en el criteri d'informació mútua màxima (MMI).
Predicció de l'estructura secundària de l'ARN a partir d'un alineament de seqüències múltiples.
Predicció de perfils filogenètics a partir de la presència per parells i la desaparició de gens d'enllaç funcional.
La informació mútua s'ha utilitzat com a criteri per a la selecció de característiques i les transformacions de característiques en l'aprenentatge automàtic. Es pot utilitzar per caracteritzar tant la rellevància com la redundància de variables, com ara la selecció de característiques de redundància mínima.
La informació mútua s'utilitza per determinar la similitud de dues agrupacions diferents d'un conjunt de dades. Com a tal, proporciona alguns avantatges respecte a l'índex de Rand tradicional.
La informació mútua de les paraules sovint s'utilitza com a funció de significació per al càlcul de col·locacions en lingüística de corpus. Això té la complexitat afegida que cap instància de paraula és una instància de dues paraules diferents; més aviat, es compten les instàncies on 2 paraules apareixen adjacents o molt a prop; Això complica lleugerament el càlcul, ja que la probabilitat esperada que una paraula aparegui dins de 𝑁 paraules d'una altra augmenta amb 𝑁.
La informació mútua s'utilitza en imatges mèdiques per al registre d'imatges. Donada una imatge de referència (per exemple, una exploració cerebral) i una segona imatge que s'ha de posar al mateix sistema de coordenades que la imatge de referència, aquesta imatge es deforma fins que es maximitza la informació mútua entre ella i la imatge de referència.
Detecció de la sincronització de fase en l'anàlisi de sèries temporals.
En el mètode infomax per a xarxes neuronals i altres aprenentatges automàtics, inclòs l'algoritme d'anàlisi de components independents basat en infomax
El teorema d'informació mútua mitjana en la incrustació del retard s'utilitza per determinar el paràmetre de retard d'incrustació.
L'algoritme ARACNE utilitza la informació mútua entre gens en dades de microarrays d'expressió per a la reconstrucció de xarxes gèniques.
En mecànica estadística, la paradoxa de Loschmidt es pot expressar en termes d'informació mútua. Loschmidt va assenyalar que ha de ser impossible determinar una llei física que no tingui simetria d'inversió temporal (per exemple, la segona llei de la termodinàmica) només a partir de lleis físiques que tinguin aquesta simetria. Va assenyalar que el teorema H de Boltzmann feia la suposició que les velocitats de les partícules en un gas no estaven permanentment correlacionades, cosa que eliminava la simetria temporal inherent al teorema H. Es pot demostrar que si un sistema es descriu mitjançant una densitat de probabilitat en l'espai de fase, aleshores el teorema de Liouville implica que la informació conjunta (negativa de l'entropia conjunta) de la distribució roman constant en el temps. La informació conjunta és igual a la informació mútua més la suma de tota la informació marginal (negativa de les entropies marginals) per a cada coordenada de partícula. La suposició de Boltzmann equival a ignorar la informació mútua en el càlcul de l'entropia, cosa que produeix l'entropia termodinàmica (dividida per la constant de Boltzmann).
En els processos estocàstics acoblats a entorns canviants, la informació mútua es pot utilitzar per desentranyar les dependències ambientals internes i efectives. Això és particularment útil quan un sistema físic experimenta canvis en els paràmetres que descriuen la seva dinàmica, per exemple, canvis de temperatura.
La informació mútua s'utilitza per aprendre l'estructura de les xarxes bayesianes/xarxes bayesianes dinàmiques, que es creu que explica la relació causal entre variables aleatòries, tal com exemplifica el conjunt d'eines GlobalMIT: aprenent la xarxa bayesiana dinàmica globalment òptima amb el criteri de prova d'informació mútua.
La informació mútua s'utilitza per quantificar la informació transmesa durant el procediment d'actualització de l'algoritme de mostreig de Gibbs.
Funció de cost popular en l'aprenentatge d'arbres de decisió.
La informació mútua s'utilitza en cosmologia per provar la influència dels entorns a gran escala en les propietats de les galàxies al Zoo de Galàxies.
La informació mútua es va utilitzar en física solar per derivar el perfil de rotació diferencial solar, un mapa de desviació del temps de viatge per a les taques solars i un diagrama de temps-distància a partir de mesures del Sol tranquil.
S'utilitza en clústers d'informació invariant per entrenar automàticament classificadors de xarxes neuronals i segmentadors d'imatges sense dades etiquetades.
En sistemes dinàmics estocàstics amb múltiples escales de temps, s'ha demostrat que la informació mútua captura els acoblaments funcionals entre diferents escales temporals. És important destacar que es va demostrar que les interaccions físiques poden o no donar lloc a informació mútua, depenent de l'escala de temps típica de la seva dinàmica.
Referències
Categoria:Teoria de la informació