2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru n zdarzeń (entropia bezwarunkowa tego zbioru, entropia przeciętna) jest średnią arytmetyczną ważoną ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeńStefan Mynarski, Elementy teorii systemów i cybernetyki, 1979, s. 156. (Shannon 1948):
gdzie: – entropia bezwarunkowa zbioru X, – liczba zdarzeń w zbiorze, – prawdopodobieństwo zajścia zdarzenia
3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y)Stefan Mynarski, Elementy teorii systemów i cybernetyki, 1979, s. 159.:
gdzie: – informacja wzajemna Y o X, – entropia bezwarunkowa zbioru X, – entropia warunkowa X pod warunkiem Y.
Gdy odebrany komunikat zmniejsza nieokreśloność X do zera ilość przekazanej informacji jest równa entropii źródła Także (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż
Przenoszenie i przetwarzanie informacji