Корреляционные связи могут существовать между (L+1) символами, тогда источник имеет память на L символов.
Свойства двоичных источников информации
Пусть символы источника есть
Случай независимых равновероятных символов
Вероятности
Таким образом, 1 бит – это максимальное среднее количество информации, которое может переносить один символ источника двоичных сообщений.
Случай независимых неравновероятных символов
Вероятности
Зависимость (7) показана на рис. 1.4. Максимум энтропии достигается при
Пример: Пусть
Рис. 1.4. Энтропия двоичного источника сообщений
с неравновероятными символами
Случай коррелированных равновероятных символов
Пусть
Например, если
При некоррелированных равновероятных символах двоичного источника энтропия равна
Задание: Получить выражение для энтропии и избыточности двоичного источника с коррелированными неравновероятными символами.
Указание:
Записать формулу и найти
1.3. Принципы кодирования информации
Принципы обнаружения и исправления ошибок |
Теорема Шеннона для эффективных кодов (без доказательства): для канала без помех всегда можно создать систему эффективного кодирования дискретных сообщений, у которой среднее количество двоичных кодовых сигналов на один символ сообщения будет приближаться как угодно близко к энтропии источника сообщений.
Корректирующее (помехоустойчивое) кодирование имеет целью повышение верности передачи информации путём обнаружения и исправления ошибок.
Теорема Шеннона для корректирующих кодов (без доказательства): для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно высокой степенью верности, если только производительность источника сообщений не превышает пропускной способности канала.
При кодировании каждый символ дискретного сообщения пронумеровывается, и передача сообщений сводится к передаче последовательности чисел.
Например, для передачи русских букв нужно передавать числа от 1 до 32.
Если основание системы счисления есть g , то n – разрядное число X можно записать в виде полинома
где
Кодом
называется полная совокупность условных символов, которую применяют для кодирования сообщений.