L'informazione mutua puntuale (IMP) (pointwise mutual information, PMI) (o informazione mutua specifica) è una misura di associazione usata nella teoria dell'informazione e nella statistica.
L'IMP di un paio di esiti x e y appartenenti a variabili casuali discrete quantifica la discrepanza tra la probabilità della loro coincidenza data la loro distribuzione congiunta, rispetto alla probabilità della loro coincidenza date soltanto le loro distribuzioni individuali e assumendo l'indipendenza delle variabili. Matematicamente,
L'informazione mutua di X e Y è il valore atteso dell'informazione mutua specifica di tutti i possibili esiti.
La misura è simmetrica (). È zero se X e Y sono indipendenti, ed uguale a -log(p(x)) se X e Y sono perfettamente associate. Infine, aumenterà se p(x|y) è fissa, ma p(x) diminuisce. Può assumere valori sia negativi che positivi.
Ecco un esempio per illustrare: xyp(x,y)000,1010,7100,15110,05 Usando questa tabella possiamo marginalizzare per ottenere la seguente tabella di addizioni p(x)p(y)00,80,2510,20,75 Con questo esempio, possiamo calcolare quattro valori per SI(x,y). (Assumendo log in base 2) SI(0,0)-1SI(0,1)0,222392421SI(1,0)1,584962501SI(1,1)-1,584962501
(Per riferimento la mutua informazione MI(X,Y) sarebbe allora 0,214170945)
Misure puntuali collegate Analogamente all'IMP, si può anche definire la divergenza di Kullback-Leibler puntuale, :
Collegamenti esterni Demo sul Rensselaer MSR Server (valori della IMP normalizzati per essere tra 0 e 1)
Categoria:Teoria dell'informazione Categoria:Statistica