2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeńStefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 156. (Shannon 1948):
gdzie: – entropia bezwarunkowa zbioru X, – liczba zdarzeń w zbiorze, – prawdopodobieństwo zajścia zdarzenia
3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y)Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 159.A.M. Jagłom, I.M. Jagłom, Prawdopodobieństwo i informacja, 1963 s.