thumb|256px|right| Diagrama mostrando as relações aditivas e subtrativas de várias medidas de informação associadas com as variaveis correlacionadas X e Y. A área contida pelos dois círculos é a entropia conjunta Η(X,Y). O círculo na esquerda (vermelho e violeta) é a entropia individual H(X), sendo o círculo vermelho a entropia condicional Η(X|Y). O círculo na direita (azul e violeta) é H(Y), sendo o azul Η(Y|X). O círculo violeta é a informação mútua I(X;Y)
Em teoria das probabilidades e teoria da informação, a informação mútua (em inglês MI de :en:Mutual information) de duas variáveis aleatórias é a medida da dependência mútua entre as duas variáveis. Mais especificamente, a informação mútua quantifica a informação (em unidades como shannons, mais conhecidos como bits) que uma variável aleatória contém acerca da outra. O conceito de informação mútua esta intrinsicamente ligado ao da entropia de uma variável aleatória, uma noção fundamental da teoria da informação, que define a "quantidade de informação" contida em uma variável aleatória.
Não sendo limitado a variáveis aleatória com valores reais como o coeficiente de correlação, a MI é mais genérica e determina quão similar a distribuição conjunta p(X,Y) é à dos produtos das distribuições marginais p(X)p(Y). MI é o valor esperado da pointwise mutual information (PMI).
Definição
Formalmente a informação mútua de duas variáveis aleatórias discretas, X e Y pode ser definida como:
onde p(x,y) é a distribuição de probabilidade conjunta de X e Y, e e são funções de probabilidade de distribuição marginal de X e Y, respectivamente. No caso de variáveis aleatórias contínuas, a somatória é substituída por uma integral dupla definida:
onde p(x,y) é agora a função de densidade de probabilidade conjunta de X e Y, p(x) e p(y) são funções de densidade de probabilidade marginal de X e Y, respectivamente.
Usando o logaritmo de base 2, a unidade da informação mútua será bits.
Motivação Intuitivamente, a informação mútua mede a informação compartilhada entre X e Y: ela mede quanto o conhecimento de uma destas variáveis reduz a incerteza sobre a outra. Por exemplo, se X e Y são independentes, então conhecer X não fornece nenhuma informação sobre Y e vice versa, então a informação mútua delas será zero. No outro extremo, se X for uma função determinística de Y e Y for uma função determinística de X então toda a informação contida em X é compartilhada por Y: conhecer X determina o valor de Y e vice versa. Como resultado, neste caso a informação mútua é o mesmo que a incerteza contida em Y (ou X) sozinha, chamada de entropia de Y (ou X). Além disto, esta informação mútua é a mesma que a entropia de X e também que a entropia de Y. (Um caso bem especial disto é quando X e Y são a mesma variável aleatória.)
Informação mútua é uma medida da dependência inerente expressada pela distribuição de probabilidade conjunta de X e Y relativas à distribuição conjuntas de X e Y assumindo que sejam independentes. Informação mútua portanto mede a dependência no sentido que: I(X; Y) = 0 se e somente se X e Y são variáveis aleatórias independentes. Isto é fácil de ver num dos sentidos: se X e Y são independentes, então p(x,y) = p(x)p(y), e portanto:
Além disto, a informação mútua é não-negativa (i.e. I(X;Y) ≥ 0; veja abaixo) e uma função simétrica (i.e. I(X;Y) = I(Y;X)).
Propriedades • ;
• se, e somente se, X e Y forem variáveis aleatórias independentes;
•
Dada a forte relação entre Informação Mútua e Entropia, temos os seguintes corolários:
• , ;
•
Relação com outras quantidades
Não-negatividade Usando a desigualdade de Jensen na definição da informação mútua podemos mostrar que I(X;Y) é não-negativa, i.e.
Relação com a entropia condicional e conjunta Informação mútua pode ser expressada equivalentemente como
onde e são entropias marginais, Η(X|Y) e Η(Y|X) são as entropias condicionais, e Η(X,Y) é a entropia conjunta de X e Y. Note a analogia da união, diferença e intersecção de dois conjuntos, conforme ilustrado no diagrama de Venn. Em termos de canais de comunicação nos quais a saída é uma versão ruídosa da entrada , essas relações estão resumidas na figura abaixo.
thumb|Relações entre as quantidades da teoria da informação
Como I(X;Y) é não-negativa, consequentemente, . Aqui temos a dedução detalhada de I(X;Y) = Η(Y) – Η(Y|X):
As provas das outras identidades acima são similares.
Intuitivamente, se a entropia H(Y) é considerada como uma medida da incerteza sobre uma variável aleatória, então H(Y|X) é uma medida do quanto X não diz sobre Y. Isto é "a quantidade de incerteza restando sobre Y depois que X é conhecido", e então o lado direito da primeira dessas igualdades pode ser lido como "a quantidade de incerteza em Y, menos a quantidade de incerteza em Y que sobra após X ser conhecido", que é equivalente à "quantidade de incerteza em Y que é removida por conhecer X". O que corrobora o sentido intuitivo da informação mútua como a quantidade de informação (ou seja, redução da incerteza) que conhecer qualquer variável produz sobre a outra.
Note que no caso discreto H(X|X) = 0 e portanto Η(X) = I(X;X). Então, I(X;X) ≥ I(X;Y), e pode-se formular o princípio básico que uma variável contém pelo menos tanta informação sobre si mesma quanto qualquer outra variável pode fornecer.
Relação com a divergência de Kullback-Leibler Informação mútua também pode ser expressa como uma divergência de Kullback-Leibler do produto das distribuições marginais, p(x) x p(y), de duas variável aleatórias X e Y, e da distribuição conjunta p(x,y) das variáveis:
Além disso, faça p(x|y) = p(x, y) / p(y). Então
Note-se aqui que a divergência de Kullback-Leibler envolve a integração a respeito apenas da variável aleatória X e que a expressão é agora uma variável aleatória em Y. Então a informação mútua pode ser entendida como o valor esperado da divergência de Kullback-Leibler da distribuição univariável p(x) de X da distribuição condicional p(x|y) de X dado Y: quanto mais diferentes são as distribuições p(x|y) e p(x) na média, maior é a divergência de Kullback-Leibler.
Estimativa bayesiana da informação mútua É fazer a estimativa bayesiana da informação mútua de uma distribuição conjunta baseada em amostras da distribuição. O primeiro trabalho a fazer isto, que também demonstrou como fazer uma estimativa Bayesiana de muitas outras informações teóricas além da informação mútua, foi. Pesquisadores subsequentes rederivaram e estenderam esta análise. Veja para um artigo recente baseado em anteriores especialmente personalizados para a estimação da informação mútua em específico.
Variações Diversas variações da informação mútua foram propostas para acomodar necessidades diversas. Entre essas existem variantes normalizadas e generalizações para mais do que duas variáveis.
Métrica Muitas aplicações requerem uma métrica, ou seja, uma medida de distância entre pares de pontos. A quantidade
satisfaz as propriedades de uma métrica (desigualdade triangular, não negatividade, indiscernibilidade e simetria). Esta métrica de distância é também conhecida como variação da informação.
Se são variáveis aleatórias discretas então todos os termos de entropia são não-negativos, assim e pode-se definir uma distância normalizada
A métrica D é uma métrica universal, no sentido de que se qualquer outra medida de distância colocar X e Y próximos, então D também irá julgá-los próximos.
Colocando as definições, demonstra-se que
Numa interpretação da informação na teoria dos conjuntos (veja o diagrama de Venn nesta páginas), esta é efetivamente a distância de Jaccard entre X e Y.
Finalmente,
também é uma métrica.
Informação mútua condicional Às vezes é útil expressar a informação mútua de duas variáveis aleatórias condicionadas por uma terceira.
que pode ser simplificado como
Condicionar numa terceira variável aleatória pode também aumentar ou diminuir a informação mútua, mas é sempre verdadeiro que
para variáveis aleatórias discretas X, Y e Z distribuídas conjuntamente. Este resultado pode ser usado como um base de construção para fornecer outras desigualdades na teoria da informação.
Informação mútua de multivariáveis Diversas generalizações da informação mútua para mais do que duas variáveis aleatórias foram propostas, tais como :en:total correlation e :en:interaction information. Se a entropia de Shannon é vista como uma :en:signed measure no contexto de diagramas de informação, como explicado no artigo :en:Information theory and measure theory, então a única definição de informação mútua multivariável que faz sentido é o seguinte:
e para
onde (como acima) definimos
(Esta definição de informação mútua multivariável é idêntica a da :en:interaction information com exceção de uma mudança de sinais quando o número de variáveis aleatórias é ímpar.)
Aplicações A aplicação cega de diagramas de informação para desenvolver a definição acima foi criticada e realmente encontrou-se aplicações práticas limitadas já que é dificil de visualizar ou perceber o significado desta quantidade para um número grande de variáveis aleatórias. Ele pode ser zero, positivo ou negativo para qualquer número ímpar de variáveis
Um modelo generalizado de grandes dimensões que maximiza a informação mútua entre distribuições conjuntas e outras variáveis encontrou-se útil em seleção de atributos para aprendizado de máquinas.
Informação mútua também é utilizada na área de processamento de sinais como uma medida de similaridade entre dois sinais. Por exemplo a métrica FMI que é uma medida da performance de fusão de imagens utilizando a informação mútua para medir a quantidade de informação que a imagem fundida contém das imagens originais. O código MATLAB para esta métrica pode ser encontrado em.
Informação direcionada Informação direcionada, , mede a quantidade de informação que flui do processo para , onde denota o vetor e denota . O termo "informação direcionada" foi criado por :en:James Massey e é definido como . Note que se n = 1, a informação direcionada se torna a informação mútua. Informação direcionada tem muitas aplicações em problemas onde a casualidade tem um papel importante, como a capacidade de um canal com retroalimentação.
Variantes Normalizadas Variantes normalizadas da informação mútua são fornecidas pelos coeficientes de restrição, coeficientes de incerteza ou proficiência:
Os dois coeficientes não são necessariamente iguais. Em alguns casos uma medida de simetria pode ser desejada, como a medida de redundância a seguir:
que atinge o mínimo de zero quando as variáveis são independentes e um valor máximo de
quando uma das variáveis se torna completamente redundante com o conhecimento da outra. Ver também :en:Redundancy (information theory). Outra medida simétrica é a incerteza simétrica , dada por
que representa a média harmônica de dois coeficientes de incerteza .
Se considerarmos a informação mútua como um caso especial da correlação total ou correlação total dupla, as versões normalizadas são respetivamente e Esta versão normalizada também conhecida como relação qualidade informação (em inglês Information Quality Ratio ou IQR) que quantifica a porção de informação de uma variável baseada em outra variável contra a incerteza total:
Existe uma normalização que deriva da primeira noção de informação mútua como análoga à covariância (então a entropia da informação é análoga à variância). Assim, a informação mútua normalizada é calculada de forma semelhante ao coeficiente de correlação de Pearson,
Variantes ponderadas Variantes ponderadas ou pesadas são a fórmula tradicional da informação mútua,