vignette|Willard Gibbs. En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard Gibbs, porte sur l'entropie d'une distribution de probabilités. Elle sert à prouver de nombreux résultats en théorie de l'information.
Enoncé Soient deux distributions de probabilités et , alors . Le cas d'égalité se produit si et seulement si pour tout .
Démonstration D'après l'inégalité de Jensen, puisque le logarithme est concave, . Cela équivaut à
et montre donc l'inégalité.
Comme le logarithme n'est pas linéaire, le cas d'égalité dans l'inégalité de Jensen, et à fortiori dans la première inégalité ci-dessus, est réalisé si et seulement si tous les sont égaux, ce qui équivaut au fait que pour tout car ce sont des distributions de probabilités.
Voir aussi Entropie de Shannon Inégalité de Fano
Bibliographie D. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2005, . O. Fawzi, Cours de théorie de l'information, ENS de Lyon, Automne 2018.
Gibbs Catégorie:Logarithme Catégorie:Théorie de l'information