Основы теории информации и передачи сигналов

           

максимальное количество информации, которое может


Эти потери информации характеризуются коэффициентом избыточности
,
– максимальное количество информации, которое может переносить один символ, H – количество информации, которое переносит один символ в реальных сообщениях (например, для европейских языков 
). Наиболее часто основание логарифма в (1) принимают равным 2. При этом единицей количества информации является бит (binary digit). Производительностью источника сообщений называется среднее количество информации, выдаваемой источником в единицу времени, а именно
[бит/с]. Для каналов передачи информации вводят аналогичную характеристику – скорость передачи информации C. Максимальное её значение называется пропускной способностью канала. Для дискретного канала
[бит/с], (3) где V– скорость передачи электрических кодовых сигналов.   1.2. Информационные характеристики источников дискретных сообщений
Свойства двоичных источников информации 
Рассмотрим свойства условной энтропии с учётом неравновероятного появления символов и статистической взаимосвязи между ними. Примем для простоты, что появление символа
связано только с тем, какой был предыдущий символ 
(процесс формирования сообщений – простая цепь Маркова). Энтропия совместного появления двух символов
, (4) где 
– вероятность совместного появления символов 
и 
. Количество информации, которое приходится на слог 
равно 
. Учитывая, что
, запишем
(5) Учитывая условие нормировки
, перепишем последнее выражение для энтропии совместного появления двух символов в форме
, (6) где H(A) – энтропия источника, которая определена в (1) и соответствует первому слагаемому в (5), 
– условная энтропия источника, определяемая выражением (2). Среднее количество информации, которое переносят два соседних символа, равно сумме среднего количества информации, которое переносит первый из них, и среднего количества информации, которое переносит второй при условии, что первый уже появился. Условная энтропия одного символа есть среднее количество информации, которое переносит последующий символ при условии, что предыдущий уже известен:
. Если символы 
и 
взаимозависимы, то 
.

Содержание  Назад  Вперед