Вы нашли то, что искали?
Главная Разделы

Добавить страницу в закладки ->

19. Совместная энтропия двух источников. Теория электрической связи

Теория электрической связи

19. Совместная энтропия двух источников

Пусть имеется два дискретных источника с энтропиями H(x) и H(y) и объёмами алфавитов k и l (рис. 2).

Объединим оба эти источника в один сложный источник и определим совместную энтропию. Элементарное сообщение на выходе системы содержит элементарное сообщение xi и сообщение yj. Алфавит сложной системы будет иметь объём k×l, а энтропия будет равна

, (15)

или

. (16)

По теореме умножения вероятностей

p(x, y)=p(x)×p(y/x)=p(y)×p(x/y).

Подставляя эти соотношения в (15), получим

. (17)

Аналогично можно получить

. (18)

Здесь H(x) и H(y) - собственная энтропия источников x и y;

(19)

- условная энтропия источника y относительно источника x. Она показывает, какую энтропию имеют сообщения y, когда уже известно сообщение x.

Если источники независимы, то p(y/x)=p(y) и H(y/x)=H(y). В этом случае H(x, y)=H(x)+H(y).

Если источники частично зависимы, то H(x, y)<H(x)+H(y).

Если источники полностью зависимы (x и y - cодержат одну и ту же информацию), тоH(y/x)=0 и H(x, y)=H(x)=H(y).

Вопросы
  1. Что такое совместная энтропия двух источников?
  2. Что такое условная энтропия, её физический смысл?
  3. Чему равна совместная энтропия двух независимых дискретных источников и двух полностью зависимых источников?

Теория электрической связи





Добавить страницу в закладки ->
© Банк лекций Siblec.ru
Электронная техника, радиотехника и связь. Лекции для преподавателей и студентов. Формальные, технические, естественные, общественные и гуманитарные науки.

Новосибирск, Екатеринбург, Москва, Санкт-Петербург, Нижний Новгород, Ростов-на-Дону, Чебоксары.

E-mail: formyneeds@yandex.ru