miniatura|200x200px|Entropia d'un assaig de Bernoulli (en Shannons) com a funció de la probabilitat d'un resultat binari, anomenada funció d'entropia binària. En teoria de la informació, la funció d'entropia binària, denotada per o , es defineix com l'entropia d'un procés de Bernoulli (variable binària iid) amb probabilitat d'un dels dos valors, i ve donat per la fórmula:

Tingueu en compte que els valors a 0 i 1 vénen donats pel límit (segons la regla de L'Hôpital); i que "binari" es refereix a dos valors possibles per a la variable, no a les unitats d'informació.

Quan , la funció d'entropia binària assoleix el seu valor màxim d'1 shannon (1 unitat binària d'informació); aquest és el cas d'un llançament de moneda imparcial. Quan o , l'entropia binària és 0 (independentment de la unitat), cosa que no correspon a cap informació, ja que no hi ha incertesa en la variable.

Notació Entropia binària és un cas especial de , la funció d'entropia. es distingeix de la funció d'entropia general en què el primer pren un únic nombre real com a paràmetre mentre que el segon pren una distribució o variable aleatòria com a paràmetre. Així, l'entropia binària (de ) és l'entropia de la distribució particular , així .

Escrivint la probabilitat que cadascun dels dos valors sigui i , de manera que i , això correspon a

De vegades, la funció d'entropia binària també s'escriu com Tanmateix, és diferent i no s'ha de confondre amb l'entropia de Rényi, que també es denota com a .

Explicació En termes de teoria de la informació, l'entropia es considera una mesura de la incertesa d'un missatge. Per dir-ho intuïtivament, suposem Amb aquesta probabilitat, és segur que l'esdeveniment no es produirà mai, i per tant no hi ha cap incertesa, cosa que porta a una entropia de 0. Si , el resultat torna a ser cert, de manera que l'entropia també és 0 aquí. Quan , la incertesa és màxima; si hom fes una aposta justa sobre el resultat en aquest cas, no hi hauria cap avantatge amb el coneixement previ de les probabilitats. En aquest cas, l'entropia és màxima amb un valor d'1 bit. Els valors intermedis es troben entre aquests casos; per exemple, si , encara hi ha una mesura d'incertesa sobre el resultat, però encara es pot predir el resultat correctament la majoria de les vegades, de manera que la mesura d'incertesa, o entropia, és inferior a 1 bit complet.

Propietats Derivat La derivada de la funció d'entropia binària es pot expressar com el negatiu de la funció logit:

.

on denota la base donada del logaritme.

Conjugat convex El conjugat convex (específicament, la transformada de Legendre) de l'entropia binària (amb base ) és la funció softplus negativa. La raó és que (seguint la definició de la transformada de Legendre: les derivades són funcions inverses) la derivada de l'entropia binària negativa és el logit, la funció inversa del qual és la funció logística, que és la derivada de softplus.

Softplus es pot interpretar com una pèrdua logística, de manera que, per dualitat, minimitzar la pèrdua logística correspon a maximitzar l'entropia. Això justifica el principi d'entropia màxima com a minimització de pèrdues.

Sèrie de Taylor La sèrie de Taylor de la funció d'entropia binària a 1/2 és

que convergeix a la funció d'entropia binària per a tots els valors .

Límits Els següents límits són vàlids per a :

i

on denota logaritme natural.

Referències

Categoria:Teoria de la informació