Пропускная способность канала — максимальная скорость передачи информации по каналу связиМазор Ю. Л. и др. Энциклопедия Радиотехника, 2002. — 136..
Определение Пропускная способность дискретного канала (между входом модулятора передатчика и выходом демодулятора приёмника) равна:
где — скорость передачи информации по дискретному каналу, — средняя взаимная информация между входными символами канала и выходными символами канала, — среднее время, затрачиваемое на передачу одного символа, — средняя скорость передачи символов.
При этом максимум ищется по всевозможным распределениям вероятностей входных символов каналаВасин В. А. и др. Радиосистемы передачи информации, 2005. — С. 74..
Пропускная способность непрерывного канала (между выходом модулятора передатчика и входом демодулятора приёмника) равна:
где — скорость передачи информации по непрерывному каналу, — супремум, то есть верхняя граница множества, — средняя взаимная информация между входными сигналами канала и выходными сигналами канала, — длительность сигналовМазор Ю. Л. и др. Энциклопедия Радиотехника, 2002. — 137.. При этом супремум ищется по всевозможным распределениям вероятностей входных сигналов каналаВасин В. А. и др. Радиосистемы передачи информации, 2005. — С. 82.Финк Л. М. Теория передачи дискретных сообщений, 1970. — С. 50..
Скоростью передачи информации по дискретному каналу связи называется величинаФинк Л. М. Теория передачи дискретных сообщений, 1970. — С. 23, 24, 49.:
где
— производительность источника сообщений (скорость создания информацииШеннон К. Работы по теории информации и кибернетике, 1963. — С. 277.), — энтропия источника сообщений, которая является средним количеством переданной информации в одном символе источника или степенью неопределенности передачи того или иного символа.
В случае передачи независимых друг от друга символов энтропия источника равна:
где — априорная вероятность появления (передачи) символа , — объём канального алфавита (число различных значений символов канального алфавита).
Максимальное значении энтропии равно и наблюдается в случае, когда все символы источника равновероятны, то есть . В случае, когда по каналу передаётся только один символ ( и для всех ) значение равно нулю, что означает полную определённости в выборе передаваемого символа.
Величина
называется ненадежностью, отнесённой к единице времени, является условной энтропией и называется ненадежностью, то есть средним количеством информации, теряемой при передаче информации и являющейся мерой неопределённости принятого символаФинк Л. М. Теория передачи дискретных сообщений, 1970. — С. 47.. Эта величина зависит от вероятности ошибочного приема символов источникаФинк Л. М. Теория передачи дискретных сообщений, 1970. — С. 90..
В случае передачи информации независимыми символами по дискретному -ичному симметричному каналу, то есть для которого алфавиты на входе и выходе канала одинаковы, априорные вероятности входных и выходных символов канала одинаковы и вероятности перехода из входного символа в выходной символ определяются как: , ненадежность равна:
где — вероятность ошибочного приёма символаВасин В. А. и др. Радиосистемы передачи информации, 2005. — С. 74—75..
Отличие скорости от скорости при равномерном кодировании символов источника состоит в том, что является действительной скоростью передачи информации, а — скоростью создания информации (технической скоростью передачи информации (битов)), где — длительность бита. В случае отсутствия шума в канале связи (вероятность ошибочного приема символов равна нулю) и одинаковой априорной вероятности передачи символов эти величины являются равными. В случае наличия шума часть информации оказывается принятой неправильно, что эквивалентно тому, что действительная скорость передачи информации уменьшается. В двоичном канале (), в случае когда вероятность ошибочного приёма символов равна , действительная скорость передачи информации равна нулю, так как примерно половина символов окажутся принятыми неправильно, то есть никакой действительной передачи информации не будет происходить.
Пропускная способность дискретного канала без шума В случае отсутствия шума ненадежность равна нулю, поэтому скорость передачи информации равна производительности источника. Так как максимальное значении энтропии равно , что наблюдается в случае, когда все символы источника равновероятны, то есть , то пропускная способность дискретного канала без шума равна:
где — основание алфавита источника, — средняя длительность символа источника.
Так как при равномерном кодировании , где — длительность бита, то пропускная способность дискретного канала без шума равна скорости передачи битов .
В случае кодирования символов источника кодовыми символами, пропускная способность канала без шума между выходом кодера канала и входом декодера канала определяется по формуле:
для — длительность кодового символа, — основание кодового алфавита (число различных символов кода)Финк Л. М. Теория передачи дискретных сообщений, 1970. — С. 66..
Пропускная способность дискретного симметричного канала c шумом Пропускная способность канала c шумом меньше пропускной способности канала без шумаВаргаузин В. А., Цикин И. А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи, 2013. — С. 25..
Так как максимальное значении энтропии равно и наблюдается в случае, когда все символы источника равновероятны, то есть и при наличии шума ненадежность -ичного симметричного канала равна , то пропускная способность такого канала равнаВасин В. А. и др. Радиосистемы передачи информации, 2005. — С. 75.:
В случае двоичного симметричного канала () пропускная способность равна:
Пропускная способность непрерывного канала с АБГШ Пропускная способность непрерывного канала с аддитивным белым гауссовым шумом (АБГШ) равнаМакаров С. Б., Цикин И. А. Передача дискретным сообщений по радиоканалам с ограниченной полосой пропускания, 1988. — C. 10.:
где — полоса пропускания канала, — средняя мощность полезного сигнала на входе приёмника, — средняя мощность шума в полосе частот , , где — спектральная плотность мощности белого шума. В качестве полосы пропускания канала можно выбирать полосу частот, в которой содержится 90% мощности сигналовМакаров С. Б., Цикин И. А. Передача дискретным сообщений по радиоканалам с ограниченной полосой пропускания, 1988. — C. 203..
Пропускная способность дискретного канала не может быть больше пропускной способности заключённого в нём непрерывного каналаФинк Л. М. Теория передачи дискретных сообщений, 1970. — С. 83.
Теорема Шеннона
Теорема Шеннона для непрерывного канала с шумом утверждает, что при энтропии источника сообщений в единицу времени (производительности источника сообщений, скорости создания информации) меньшей пропускной способности канала , можно выбором специального способа кодирования добиться сколь угодной малой вероятности ошибочного приёма информации, а в случае такое кодирование невозможноВаргаузин В. А., Цикин И. А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи, 2013. — С. 34..
Формулу для пропускной способности непрерывного канала с АБГШ можно переписать в виде: , где = Eb/N0 — удельные энергетические затраты, — удельные затраты полосы частот. Эта формула называется границей Шеннона.
При сравнении различных видов модуляции и кодирования в качестве можно выбрать пропускную способность дискретного канала с шумом. Для различных значений можно найти вероятность ошибочного приёма символа и для этих вероятностей найти пропускную способность дискретного канала с шумом. В качестве полосы пропускания канала можно выбирать полосу частот, в которой содержится 90% мощности сигналов (). Тогда величина будет определяться только выбранным способом модуляции и вероятностью ошибки . Таким образом, можно построить зависимость величины от , у которой каждая точка соответствует своей вероятности ошибочного приема символа. Все зависимости для любого вида модуляции и кодирования должны находиться выше границы Шеннона. Чем ближе построенные зависимости к границе Шеннона, тем выше спектральная и энергетическая эффективность сигналовМакаров С. Б., Цикин И. А. Передача дискретным сообщений по радиоканалам с ограниченной полосой пропускания, 1988. — C. 204..
Граница Шеннона показывает, что для обеспечения возможности безошибочного приёма информации необходимо выполнение условия:
то есть величина должна быть выше границы Шеннона.
Также из границы Шеннона следует, что уменьшение удельных затрат полосы частот, начиная с , приводит к необходимости резкого увеличения удельных энергетических затрат. При величине минимально возможное значение , называемое пределом ШеннонаВаргаузин В. А., Цикин И. А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи, 2013. — С. 33.. Таким образом, величина удельных энергетических затрат для канала с АБГШ, даже при , должна превосходить значение .
Примечания
Категория:Теория информации