Как было показано в разделах (2 и 3), энтропия максимальна при равновероятном выборе элементов сообщений и отсутствии корреляционных связей. При неравномерном распределении вероятностей и при наличии корреляционных связей между буквами энтропия уменьшается.
Чем ближе энтропия источника к максимальной, тем рациональнее работает источник. Чтобы судить о том, насколько хорошо использует источник свой алфавит, вводят понятие избыточности источника сообщений
(9)
или
.
Наличие избыточности приводит к загрузке канала связи передачей лишних букв сообщений, которые не несут информации ( их можно угадать и не передавая).
Однако, преднамеренная избыточность в сообщениях иногда используется для повышения достоверности передачи информации — например, при помехоустойчивом кодировании в системах передачи информации с исправлением ошибок. Большую избыточность имеет любой разговорный язык. Например, избыточность русского языка (как и других) - около 50%. Благодаря избыточности облегчается понимание речи при наличии дефектов в произношении или при искажениях речевых сигналов в каналах связи.
Вопросы
- Что такое избыточность источника?
- Какие факторы увеличивают избыточность источника?
- Чему равна избыточность русского языка?
- Большая избыточность – это хорошо или плохо для систем передачи информации по каналам связи?