Вы нашли то, что искали?
Главная Разделы

Добавить страницу в закладки ->

6. Совместная энтропия двух источников. Основы теории информации

Основы теории информации

6. Совместная энтропия двух источников

Пусть имеется два дискретных источника с энтропиями H(x) и H(y) и объёмами алфавитов k и l (рис. 2)

Рис. 2

Объединив оба эти источника в один сложный источник и определим совместную энтропию. Элементарное сообщение на выходе системы содержит элементарное сообщение xi и сообщение yi. Алфавит сложной системы будет иметь объём K.L, а энтропия будет равна

(15)

или

(16)

По теореме умножения вероятностей

Подставляя эти соотношения в (15), получим (17)

Аналогично можно получить

(18)

Здесь H(x) и H(y) – собственная энтропия источников x и y

(19)

-условная энтропия источника y относительно источника x. Она показывает, какую энтропию имеют сообщения y, когда уже известно сообщения x.

Если источники независимы, то

P(y/x)=P(y) и H(y/x)=H(y). В этом случае H(x,y)=H(x)+H(y). аапвыапвпв

Если источники частично зависимыми, то H(x,y)<H(x)+H(y).

Если источники полностью зависимыми(x и y – содержат одну и ту же информацию), то H(y/x)=0 и H(x,y)=H(x)=H(y).

Основы теории информации





Добавить страницу в закладки ->
© Банк лекций Siblec.ru
Электронная техника, радиотехника и связь. Лекции для преподавателей и студентов. Формальные, технические, естественные, общественные и гуманитарные науки.

Новосибирск, Екатеринбург, Москва, Санкт-Петербург, Нижний Новгород, Ростов-на-Дону, Чебоксары.

E-mail: formyneeds@yandex.ru