Вы нашли то, что искали?
Главная Разделы

Добавить страницу в закладки ->

12. Эпсилон-энтропия источника непрерывных сообщений. Основы теории информации

Основы теории информации

12. Эпсилон-энтропия источника непрерывных сообщений

Сигнал на выходе источника (И) непрерывных сообщений(например, микрофона, телефона, датчика температуры и пр.) представляет собой непрерывный случайный процесс, энтропия которого в любом из сечений в общем случае равна бесконечности как это было показано в разделе 2.4. Такое количество информации не может быть передано по реальному каналу связи, пропускная способность которого всегда ограничена. Это и не нужно, так как скорость восприятия информации любым потребителем на выходе канала всегда ограничена его физическими возможностями. Поэтому непрерывный сигнал на выходе канала связи даже без помех отличается от сигнала на входе, так как содержит не всю информацию о нём (причём под каналом связи можно понимать любое преобразование одного ансамбля сигналов в другое: модуляцию, усиление, дискретизацию и пр.). Уже преобразование непрерывного сообщения в сигнал соответствующим устройством(микрофоном или др. датчиком сигнала) связано с потерей части информации, а сигнал отображает сообщении лишь с некоторой точностью

где x(t) - сигнал на входе преобразователя; – сигнал на выходе преобразователя (Пр) или оценка входного сигнала преобразователем, который всегда представляет собой некоторое решающее устройство, работающее по определенному правилу и заданному критерию качества.

Пр

 

И

 
x(t)

Рисунок 9

Критерий качества, как известно, определяется потребителем информации, например, среднеквадратическое отклонение

или дисперсия ошибки

Эпсилон-энтропией Hε(x)(ε-энтропией) называется минимальное количество информации, которое должно содержаться в выходном сигнале о входном сигнале x(t), чтобы этот сигнал можно было восстановить с заданной точностью εср.

где

I(x, )-взаимная информация x и ;

h(x) и h(x/ )-соответственно, дифференциальная энтропия сигнала x(t) и условная энтропия x(t), когда известно; min и max берутся по всевозможным условным ФПВ w(x/ ).

В общем случае, когда сигнал (или сообщение) x(t) является гауссовским с дисперсией , ошибка ε(t) также является гауссовской с дисперсией , а с учётом аддитивного характера ошибки ε(t) условная энтропия h(x/ ) полностью определяется дифференциальной энтропией h(ε). Соответственно, maxh(x/ )=maxh(ε)= .

Тогда ε – энтропия одного сечения гауссовского источника(ε – энтропия одного отсчёта)

hε(x)= - =0,5 .

Величина показывает отношение мощности(дисперсии) сигнала x(t) к мощности(дисперсии) ошибки, при котором среднеквадратическое отклонение сигналов x(t) и не превышает .

Следовательно, производительность источника непрерывных сообщений можно определить как количество информации, которое необходимо передавать в единицу времени, чтобы восстановить сообщение с заданной точностью.

hε(x)=vhε(x),

где v=1/ - скорость передачи отсчетов на выходе источника, – интервал между отсчетами.

Для стационарного сигнала с ограниченным спектром =1/(2Fmax), тогда hε(x)=2Fmax hε(x).

Если, кроме того, что источник является гауссовским, то

hε(x)= Fmax .

Количество информации, выдаваемое гауссовским источником за время Tc, равно Tc hε(x)= TcFmax , что совпадает с формулой для объёма сигнала, когда динамический диапазон сигнала

Dc= .

Это значит, что объём сигнала на выходе источника равен количеству информации, которое содержится в сигнале для его воспроизведения с заданной точностью.

Для канала с пропускной способностью C, на выходе которого подключен источник с производительностью hε(x), теорема К. Шеннона для канала с шумами принимает вид:

Если при заданном критерии точности источника (например, ) его эпсилон-производительность меньше пропускной способности канала hε(x)<C, то существует способ кодирования (преобразования сигнала), при котором неточность воспроизведения сколь угодно близка к ; при hε(x)>C такого способа не существует.

Теорема К. Шеннона определяет предельные возможности согласования источника непрерывных сообщений с каналом связи. Практически это достигается применением помехоустойчивых видов модуляции и кодирования.

Основы теории информации





Добавить страницу в закладки ->
© Банк лекций Siblec.ru
Электронная техника, радиотехника и связь. Лекции для преподавателей и студентов. Формальные, технические, естественные, общественные и гуманитарные науки.

Новосибирск, Екатеринбург, Москва, Санкт-Петербург, Нижний Новгород, Ростов-на-Дону, Чебоксары.

E-mail: formyneeds@yandex.ru