Możliwe jest znalezienie takiego kodu, przypisującego transmitowanym symbolom różne ciągi bitowe, żeby prędkość transmisji wynosiła dla dowolnie małego Ponadto nie można uzyskać średniej transmisji szybszej niż (symboli na sekundę).
Można je zapisać w nieco inny sposób – jeśli będzie oznaczało średnią długością słów kodowych (wartością oczekiwaną), wówczas twierdzenie Shannona nakłada na tę wartość dolne ograniczenie Innymi słowy nie można utworzyć jednoznacznie dekodowalnego kodu, który charakteryzowałoby się krótszą niż entropia źródła średnią długością słów kodowych.
Kodowanie Shannona
Shannon w dowodzie swojego twierdzenia pokazał, jak utworzyć kodowanie, które ma dodatkową zaletę – średnia długość kodu może być co najwyżej o jeden bit dłuższa od entropii:
Co więcej, jeśli rozważy się nie pojedyncze symbole, ale metasymbole – ciągi złożone z kolejnych symboli – na mocy własności entropii układ nierówności przyjmuje postać:
Przy zwiększaniu średnia długość kodów coraz bardziej zbliża się do minimum.