Ранее при определении энтропии предполагалось, что каждое сообщение (буква или слово) выбирается независимым образом. Рассмотрим более сложный случай, когда в источнике сообщений имеются корреляционные связи. В так называемом эргодическом источнике выбор очередной буквы сообщения зависит от каждого числа предшествующих n букв. Математической моделью такого источника является марковская цепь n-го порядка, у которой вероятность выбора очередной буквы зависит от n предшествующих букв и не зависит более ранних, что можно записать в виде следующего равенства:

(7)

где c – произвольное положительное число.

Если объём алфавита источника равен K, а число связанных букв, которые необходимо учитывать при определении вероятности очередной буквы, равно порядку источника n, то каждой букве может предшествовать M=Kn различных сочетаний букв(состояний источника), влияющих на вероятность появления очередной буквы xi на выходе источника. А вероятность появления в сообщении любой из K возможных букв определяется условной вероятностью (7) с учётом предшествующих букв, т.е. с учётом M возможных состояний. Эти состояния обозначим как q1, q2,..qm.

Рассмотрим два простых примера.

Пример 1. Пусть имеется двоичный источник(объём алфавита k=2), выдающий только буквы a и b; порядок источника n=1. Тогда число состояний источника M=K1=21=2(назовём эти состояния q1 и q2). В этом случае вероятности появления букв a и b будут определяться следующими условными вероятностями:

P(a/q1=a), P(a/q2=b),

где: q1=a – 1е состояние источника

q2=b – 2е состояние источника

т.е. P(q1)=P(a); P(q2)=P(b)

Пример 2. Пусть по-прежнему K=2(буквы a и b), однако число связанных букв n=2. Тогда M=22=4(четыре возможных состояния): (a,a)=q1, (a,b)=q2, (b,a)=q3, (b,b)=q4

В этом случае имеем дело со следующими условными вероятностями

P(a/a,a); P(a/a,b); P(a/b,a); P(a/b,b); P(b/a,a)… и т.д. Вероятности состояний определяются равенствами P(q1)=P(a,a), P(q2)=P(a,b), P(q3)=P(b,a), P(q4)=P(b,b).

Энтропия эргодического дискретного источника определяется в два этапа:

1) Вычисляется энтропия источника в каждом из M состояний, считая эти состояния известными:

для состояния q1
q2

………..……………………………..….… qm

2) Далее находим H(x) путём усреднения по всем состояниям q;

(8)

При наличии корреляционных связей между буквами в эргодическом источнике энтропия уменьшается, т.к. при этом уменьшается неопределённость выбора букв и в ряде случаев часть букв можно угадать по предыдущим или ближайшим буквам.