На рис.3 показана(условно) собственная энтропия H(x) и H(y), условные энтропии H(x/y) и H(y/x) и совместная энтропия H(x,y). Из этого рисунка, в частности, следует соотношения (17) и (18)

Рис. 3

Рис. 4

Часть рисунка, отмеченная штриховкой, называется взаимной информацией H( ). Она показывает, какое(в среднем) количество информации содержит сообщение x о сообщении y(или наоборот, сообщение y о сообщении x).

Как следует из рис. 3

H(x↔y)=H(x)-H(x/y)=H(y)-H(y/x) (20)

Если сообщения x и y полностью независимы, то взаимная информация отсутствует и H(x )=0. Если x и y полностью зависимы (x и y содержат одну и ту же информацию), то H( )=H(x)=H(y). Понятие взаимной информации очень широко используется в теории передачи информации. Требования к взаимной информации различны в зависимости от того, с какой информацией мы имеем дело. Например, если x и y – это сообщения, публикуемые различными газетами, то для получения возможно большей суммарной(совместной) информации взаимная (т.е. одинаковая в данном случае) информация должна быть минимальной. Если же x и y – это сообщения на входе и на выходе канала связи с помехами, то для получения возможно большей информации её получателем необходимо, чтобы взаимная информация была наибольшей. Тогда условная энтропия H(x/y) – это потери информации в канале связи (ненадежность канала). H(x/y) – энтропия шума(помех) равная H(ξ), т.е. H(y/x)=H(ξ) .