Основы теории информации и передачи сигналов
Основы теории информации и теории сигналов - часть 5
Эти потери информации характеризуются коэффициентом избыточности
,
– максимальное количество информации, которое может переносить один символ, H – количество информации, которое переносит один символ в реальных сообщениях (например, для европейских языков 
).
Наиболее часто основание логарифма в (1) принимают равным 2. При этом единицей количества информации является бит (binary digit).
Производительностью источника сообщений называется среднее количество информации, выдаваемой источником в единицу времени, а именно
[бит/с].
Для каналов передачи информации вводят аналогичную характеристику – скорость передачи информации C. Максимальное её значение называется пропускной способностью канала. Для дискретного канала
[бит/с], (3)
где V– скорость передачи электрических кодовых сигналов.
1.2. Информационные характеристики источников дискретных сообщений
| Свойства двоичных источников информации |
Примем для простоты, что появление символа
связано только с тем, какой был предыдущий символ 
(процесс формирования сообщений – простая цепь Маркова). Энтропия совместного появления двух символов
, (4)
где
– вероятность совместного появления символов 
и 
. Количество информации, которое приходится на слог 
равно 
.
Учитывая, что
,
запишем
(5)
Учитывая условие нормировки
,
перепишем последнее выражение для энтропии совместного появления двух символов в форме
, (6)
где H(A) – энтропия источника, которая определена в (1) и соответствует первому слагаемому в (5),
– условная энтропия источника, определяемая выражением (2).
Среднее количество информации, которое переносят два соседних символа, равно сумме среднего количества информации, которое переносит первый из них, и среднего количества информации, которое переносит второй при условии, что первый уже появился.
Условная энтропия одного символа есть среднее количество информации, которое переносит последующий символ при условии, что предыдущий уже известен:
.
взаимозависимы, то 
.