Основы теории информации и передачи сигналов
Основы теории информации и теории сигналов - часть 6
Для источников с независимыми символами
.
Корреляционные связи могут существовать между (L+1) символами, тогда источник имеет память на L символов.
Свойства двоичных источников информации
Пусть символы источника есть
, 
(m = 2), вероятности их появления 
,
. Условные вероятности обозначим 
, 
, 
, 
.
Случай независимых равновероятных символов
Вероятности
, условные вероятности равны нулю. Энтропия такого источника максимальна:
.
Таким образом, 1 бит – это максимальное среднее количество информации, которое может переносить один символ источника двоичных сообщений.
Случай независимых неравновероятных символов
Вероятности
условные вероятности равны нулю. Энтропия такого источника равна
. (7)
Зависимость (7) показана на рис. 1.4. Максимум энтропии достигается при
. Поскольку 
при 
,
то производительность такого источника меньше максимальной. Избыточность
Пример: Пусть
Тогда
Рис. 1.4. Энтропия двоичного источника сообщений
с неравновероятными символами
Случай коррелированных равновероятных символов
Пусть
, условные вероятности отличны от нуля и равны
. Условная энтропия с учетом соотношения (2) равна
Например, если
, то
При некоррелированных равновероятных символах двоичного источника энтропия равна
. Следовательно, наличие статистических связей между символами приводит к уменьшению энтропии и увеличению избыточности источника.
Задание: Получить выражение для энтропии и избыточности двоичного источника с коррелированными неравновероятными символами.
Указание:
Принять 
Записать формулу и найти
[бит/симв]. Сравнить со случаем некоррелированных равновероятных символов.
1.3. Принципы кодирования информации
| Принципы обнаружения и исправления ошибок |
Теорема Шеннона для эффективных кодов (без доказательства): для канала без помех всегда можно создать систему эффективного кодирования дискретных сообщений, у которой среднее количество двоичных кодовых сигналов на один символ сообщения будет приближаться как угодно близко к энтропии источника сообщений.
Корректирующее (помехоустойчивое) кодирование имеет целью повышение верности передачи информации путём обнаружения и исправления ошибок.
Теорема Шеннона для корректирующих кодов (без доказательства): для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно высокой степенью верности, если только производительность источника сообщений не превышает пропускной способности канала.
При кодировании каждый символ дискретного сообщения пронумеровывается, и передача сообщений сводится к передаче последовательности чисел.
Например, для передачи русских букв нужно передавать числа от 1 до 32.
Если основание системы счисления есть g , то n – разрядное число X можно записать в виде полинома
(8)
где
– целые числа, 
В двоичной системе, очевидно, 
= 0 или 1.
Кодом
называется полная совокупность условных символов, которую применяют для кодирования сообщений.