В дискретной системе связи при отсутствии помех информация на выходе канала связи (канала перед. информац.) полностью совпадает с информацией на его выходе, поэтому скорость передачи информации численно равна производительность источника сообщений:

(21)

При наличии помех часть информации источника теряется и скорость передачи информации оказывается меньше, чем производительность источника. Одновременно в сообщении на выходе канала добавляется информация о помехах (рис. 5)

Рис. 5

Поэтому при наличии помех необходимо учитывать на выходе канала не всю информацию, даваемую источником, а только взаимную информацию.

(22)

На основании формулы (20) имеем

или

(23)

где H’(x) – производительность источника.

H’(x/y) – “ненадёжность” канала (потери) в ед. времени

H’(y) – энтропия выходного сообщения в ед. времени

H’(y/x)=H’(ξ) – энтропия помех (шума) в ед. времени

Пропускной способностью канала связи (канала передачи информации) C называется максимально возможная скорость передачи информации по каналу.

C=maxR(x,y) (24)

Для достижения максимума учитываются все возможные источники на входе и все возможные способы кодирования.

Таким образом, пропускная способность канала связи равна максимальной производительности источника на входе канала, полностью согласованного с характеристиками этого канала, за вычетом потерь информации в канале из-за помех.

В канале без помех , т.к. . При использовании равномерного кода с основанием m состоящего из n элементов длительностью τ_э, в канале без помех

C=max (25)

при m=2, c= бит/сек

Для эффективного использования пропускной способности канала необходимо его согласование с источником информации на входе. Такое согласование возможно как для каналов без помех, так для каналов связи с помехами на основании двух теорем, доказанных К. Шенноном.

1-ая теорема (для канала связи без помех)

Если источник сообщений имеет энтропия H(x)(бит на символ), а канал связи – пропускную способность C (бит в секунду), то можно закодировать сообщение таким образом, чтобы передавать информацию по каналу со средней скоростью, сколь угодно близкой к величине C, но не превзойти её.

К. Шеннон предложил и метод такого кодирования, который получил название статического или оптимального кодирования. В дальнейшем идея такого кодирования была развита в работах Фано и Хоффмена и в настоящее время широко используется на практике для “сжатия сообщений”.

2-ая теорема (для каналов связи с помехами)

Если пропускная способность канала равна C, а производительность источника H’(x)<C, то путём соответствующего кодирования можно передавать информацию со скоростью, сколь угодно близкой к C и с вероятностью ошибки сколь угодно близкой к нулю. При H’(x)>C такая передача невозможна.

К сожалению, теорема К. Шеннона для канала с шумами(помехами) указывает только на возможность такого кодирования, но не указывает способа построения соответствующего кода. Однако, известно, что при приближении к пределу, устанавливаемому теоремой Шеннона, резко возрастает время запаздывания сигнала в устройствах из-за увеличения длины кодового слова n. При этом вероятность же ошибки на выходе сигнала стремится к величине

(26)

Очевидно, что P_экв→0,когда и τ_экв→∞, и, следовательно, имеет место “обмен” вероятности передачи на скорость и задержку передачи.