Пусть имеется два дискретных источника с энтропиями H(x) и H(y) и объёмами алфавитов k и l (рис. 2).

Объединим оба эти источника в один сложный источник и определим совместную энтропию. Элементарное сообщение на выходе системы содержит элементарное сообщение xi и сообщение yj. Алфавит сложной системы будет иметь объём k×l, а энтропия будет равна

, (15)

или

. (16)

По теореме умножения вероятностей

p(x, y)=p(x)×p(y/x)=p(y)×p(x/y).

Подставляя эти соотношения в (15), получим

. (17)

Аналогично можно получить

. (18)

Здесь H(x) и H(y) - собственная энтропия источников x и y;

(19)

- условная энтропия источника y относительно источника x. Она показывает, какую энтропию имеют сообщения y, когда уже известно сообщение x.

Если источники независимы, то p(y/x)=p(y) и H(y/x)=H(y). В этом случае H(x, y)=H(x)+H(y).

Если источники частично зависимы, то H(x, y)<H(x)+H(y).

Если источники полностью зависимы (x и y - cодержат одну и ту же информацию), тоH(y/x)=0 и H(x, y)=H(x)=H(y).

Вопросы

1. Что такое совместная энтропия двух источников?
2. Что такое условная энтропия, её физический смысл?
3. Чему равна совместная энтропия двух независимых дискретных источников и двух полностью зависимых источников?