Ранее при определении энтропии предполагалось, что каждое сообщение (буква или слово) выбирается независимым образом. Рассмотрим более сложный случай, когда в источнике сообщений имеются корреляционные связи. В так называемом эргодическом источнике выбор очередной буквы сообщения зависит от каждого числа предшествующих n букв. Математической моделью такого источника является марковская цепь n-го порядка, у которой вероятность выбора очередной буквы зависит от n предшествующих букв и не зависит более ранних, что можно записать в виде следующего равенства:

(7)

где c – произвольное положительное число.

Если объём алфавита источника равен K, а число связанных букв, которые необходимо учитывать при определении вероятности очередной буквы, равно порядку источника n, то каждой букве может предшествовать M=Kⁿ различных сочетаний букв(состояний источника), влияющих на вероятность появления очередной буквы x_i на выходе источника. А вероятность появления в сообщении любой из K возможных букв определяется условной вероятностью (7) с учётом предшествующих букв, т.е. с учётом M возможных состояний. Эти состояния обозначим как q₁, q₂,..q_m.

Рассмотрим два простых примера.

Пример 1. Пусть имеется двоичный источник(объём алфавита k=2), выдающий только буквы a и b; порядок источника n=1. Тогда число состояний источника M=K¹=2¹=2(назовём эти состояния q₁ и q₂). В этом случае вероятности появления букв a и b будут определяться следующими условными вероятностями:

P(a/q₁=a), P(a/q₂=b),

где: q₁=a – 1^е состояние источника

q₂=b – 2^е состояние источника

т.е. P(q₁)=P(a); P(q₂)=P(b)

Пример 2. Пусть по-прежнему K=2(буквы a и b), однако число связанных букв n=2. Тогда M=2²=4(четыре возможных состояния): (a,a)=q₁, (a,b)=q₂, (b,a)=q₃, (b,b)=q₄

В этом случае имеем дело со следующими условными вероятностями

P(a/a,a); P(a/a,b); P(a/b,a); P(a/b,b); P(b/a,a)… и т.д. Вероятности состояний определяются равенствами P(q₁)=P(a,a), P(q₂)=P(a,b), P(q₃)=P(b,a), P(q₄)=P(b,b).

Энтропия эргодического дискретного источника определяется в два этапа:

1) Вычисляется энтропия источника в каждом из M состояний, считая эти состояния известными:

для состояния q₁
q₂

………..……………………………..….… q_m

2) Далее находим H(x) путём усреднения по всем состояниям q;

(8)

При наличии корреляционных связей между буквами в эргодическом источнике энтропия уменьшается, т.к. при этом уменьшается неопределённость выбора букв и в ряде случаев часть букв можно угадать по предыдущим или ближайшим буквам.