Основы теории информации и передачи сигналов



             

Основы теории информации и теории сигналов - часть 5


Эти потери информации характеризуются коэффициентом избыточности

,

– максимальное количество информации, которое может переносить один символ, H – количество информации, которое переносит один символ в реальных сообщениях (например, для европейских языков 
).

Наиболее часто основание логарифма в (1) принимают равным 2. При этом единицей количества информации является бит (binary digit).

Производительностью источника сообщений называется среднее количество информации, выдаваемой источником в единицу времени, а именно

[бит/с].

Для каналов передачи информации вводят аналогичную характеристику – скорость передачи информации C. Максимальное её значение называется пропускной способностью канала. Для дискретного канала

[бит/с], (3)

где V– скорость передачи электрических кодовых сигналов.

 

1.2. Информационные характеристики источников дискретных сообщений

Свойства двоичных источников информации 
Рассмотрим свойства условной энтропии с учётом неравновероятного появления символов и статистической взаимосвязи между ними.

Примем для простоты, что появление символа

связано только с тем, какой был предыдущий символ 
(процесс формирования сообщений – простая цепь Маркова). Энтропия совместного появления двух символов

, (4)

где 

– вероятность совместного появления символов 
и 
. Количество информации, которое приходится на слог 
равно 
.

Учитывая, что

,

запишем

(5)

Учитывая условие нормировки

,

перепишем последнее выражение для энтропии совместного появления двух символов в форме

, (6)

где H(A) – энтропия источника, которая определена в (1) и соответствует первому слагаемому в (5), 

– условная энтропия источника, определяемая выражением (2).

Среднее количество информации, которое переносят два соседних символа, равно сумме среднего количества информации, которое переносит первый из них, и среднего количества информации, которое переносит второй при условии, что первый уже появился.

Условная энтропия одного символа есть среднее количество информации, которое переносит последующий символ при условии, что предыдущий уже известен:

.

Если символы 

и 
взаимозависимы, то 
.


Содержание  Назад  Вперед