Если x(t)-сигнал на входе канала связи, а y(t)=x(t)+ς(t) – сигнал на его выходе(ς(t)-аддитивная помеха), то скорость передачи информации по непрерывному каналу связи будет определяться выражением (23), в котором величину 1/τ надо заменить на 2F_max=2F_k

(31)

где, как и ранее, H(y) – это энтропия выходного сообщения, H(y,x) – энтропия шума(почему она так называется, будет видно из дальнейшего изложения).

Пропускная способность равна максимально возможной скорости передачи по каналу связи, когда источник сигнала полностью согласован с характеристиками канала связи:

(32)

Максимум H(y) достигается в случае гаусcовского закона распределения величины y. При этом:

(33)

При учёте влияния помехи необходимо рассматривать наихудший случай, когда помеха распределена также по гаусcовскому закону. Условная вероятность P(y/x) – это попросту плотность вероятности W(y/x) случайной величины y при якобы известном заранее x является случайной. Но, так как, y(t)=x(t)+ξ(t) можно записать

,

где - дисперсия величины y при известном x, т.е. дисперсия помехи .

Определим условную энтропию H(y/x)

В этом выражении предполагается, что x известно заранее. Таким образом, величина x в приведенном выражении является попросту математическое ожидание величины y. Однако известно, что энтропия непрерывного случайного процесса от математического ожидания не зависит. Тогда получаем

отсюда видно, почему условная энтропия H(y/x) называется энтропией шума.

Для гауссовского закона распределения помехи максимальное значение энтропии шума, в соответствии (30) будет равно

(34)

Подставляя (33) и (34) в (32) получаем

(35)

Перенося число 2 под знак логарифма, получим . В этом выражении - мощность помехи, а , где P_c – мощность сигнала на выходе канала связи. С учётом этого получаем окончательно формулу для вычисления пропускной способности непрерывного канала связи(формулу Шеннона):

(36)

В заключении отметим следующее. Для достижения скорости передачи информации по непрерывному каналу связи, близкой к пропускной способности канала связи, сигнал x(t) по статической структуре должен быть близок к флуктуационной помехе (белому шуму) с гауссовским законом распределения.