Сигнал на выходе источника (И) рис.11 непрерывных сообщений (например, микрофона, телефона, датчика температуры и пр.) представляет собой непрерывный случайный процесс, энтропия которого в любом из сечений в общем случае равна бесконечности как это было показано в разделе 12. Такое количество информации не может быть передано по реальному каналу связи, пропускная способность которого всегда ограничена. Это и не нужно, так как скорость восприятия информации любым потребителем на выходе канала всегда ограничена его физическими возможностями. Поэтому непрерывный сигнал на выходе канала связи даже без помех отличается от сигнала на входе, так как содержит не всю информацию о нем (причем под каналом связи можно понимать любое преобразование одного ансамбля сигналов в другое: модуляцию, усиление, дискретизацию и пр.). Уже преобразование непрерывного сообщения в сигнал соответствующим устройством (микрофоном или др. датчиком сигнала) связано с потерей части информации, а сигнал отображает сообщение лишь с некоторой точностью

e(t)= x(t)- x*(t),

где x(t) - сигнал на входе преобразователя;

x*(t) - сигнал на выходе преобразователя(Пр) или оценка входного сигнала преобразователем, который всегда представляет собой некоторое решающее устройство, работающее по определенному правилу и заданному критерию качества.

Критерий качества, как известно, определяется потребителем информации, например, среднеквадратическое отклонение

eср=m{[ x(t)- x*(t)]2} , (42)

или дисперсия ошибки

.

Эпсилон-энтропией He(x)( e- энтропией) называется минимальное количество информации, которое должно содержаться в выходном сигнале x*(t) о входном сигнале x(t), чтобы этот сигнал можно было восстановить с заданной точностью eср.

He(x)=min I(x,x*)=H(x)- max H(x/x*), (43)

где

I(x,x*)-взаимная информация x и x* ;

H(x) и H(x/x*)- соответственно, дифференциальная энтропия сигнала x(t) и условная энтропия x(t), когда x*(t) известно;

min и max берутся по всевозможным условным распределениям w(x/x*).

В общем случае, когда сигнал (или сообщение) x(t) является гауссовским с дисперсией , ошибка e(t) также является гауссовской с дисперсией , а с учетом аддитивного характера ошибки e(t) условная энтропия H(x/x*) полностью определяется дифференциальной энтропией H(e). Соответственно, max H(x/x*)= max H(e)= .

Тогда e- энтропия одного сечения гауссовского источника (e- энтропия одного отсчета)

He(x)= - = . (44)

Величина показывает отношение мощности(дисперсии) сигнала x(t) к мощности (дисперсии) ошибки, при котором среднеквадратическое отклонение сигналов x(t) и x*(t) не превышает se.

Следовательно, производительность источника непрерывных сообщений можно определить как количество информации, которое необходимо передавать в единицу времени, чтобы восстановить сообщение с заданной точностью.

H’e(x)=v× He(x), (45)

где v=1/Dt - скорость передачи отсчетов на выходе источника, Dt - интервал между отсчетами.

Для стационарного сигнала с ограниченным спектром Dt=1/(2Fmax), тогда H’e(x)= 2Fmax × He(x).

Если, кроме того, источник является гауссовским, то

H’e(x)= Fmax . (46)

Количество информации, выдаваемое гауссовским источником за время Tc , равно Tc × H’e(x)= Tc × Fmax , (47)

что совпадает с формулой для объёма сигнала, когда динамический диапазон сигнала Dc= .

Это значит, что объем сигнала на выходе источника равен количеству информации (46), которое содержится в сигнале для его воспроизведения с заданной точностью.

Для канала с пропускной способностью С, на входе которого подключен источник с производительностью H’e(x), теорема К.Шеннона для канала с шумами принимает вид:

Если при заданном критерии точности источника (например,se) его эпсилон- производительность меньше пропускной способности канала H’e(x)< С, то существует способ кодирования (преобразования сигнала), при котором неточность воспроизведения сколь угодно близка к se; при H’e(x)> С такого способа не существует.

Теорема К.Шеннона определяет предельные возможности согласования источника непрерывных сообщений с каналом связи. Практически это достигается применением помехоустойчивых видов модуляции и кодирования.

Вопросы

1. Что такое эпсилон-энтропия?
2. Как вычисляется эпсилон -энтропия источника непрерывных сигналов?
3. Как определяется эпсилон -производительность источника стационарных сигналов?
4. Как определяется эпсилон- энтропия и производительность гауссовского источника?
5. Что утверждает теорема Шеннона для канала связи, на входе которого подключен источник с известной эпсилон- производительностью?