максимальное количество информации, которое может

Эти потери информации характеризуются коэффициентом избыточности

– максимальное количество информации, которое может переносить один символ, H – количество информации, которое переносит один символ в реальных сообщениях (например, для европейских языков

). Наиболее часто основание логарифма в (1) принимают равным 2. При этом единицей количества информации является бит (binary digit). Производительностью источника сообщений называется среднее количество информации, выдаваемой источником в единицу времени, а именно

[бит/с]. Для каналов передачи информации вводят аналогичную характеристику – скорость передачи информации C. Максимальное её значение называется пропускной способностью канала. Для дискретного канала

[бит/с], (3) где V– скорость передачи электрических кодовых сигналов. 1.2. Информационные характеристики источников дискретных сообщений

Свойства двоичных источников информации

Рассмотрим свойства условной энтропии с учётом неравновероятного появления символов и статистической взаимосвязи между ними. Примем для простоты, что появление символа

связано только с тем, какой был предыдущий символ

(процесс формирования сообщений – простая цепь Маркова). Энтропия совместного появления двух символов

, (4) где

– вероятность совместного появления символов

. Количество информации, которое приходится на слог

равно

. Учитывая, что

, запишем

(5) Учитывая условие нормировки

, перепишем последнее выражение для энтропии совместного появления двух символов в форме

, (6) где H(A) – энтропия источника, которая определена в (1) и соответствует первому слагаемому в (5),

– условная энтропия источника, определяемая выражением (2). Среднее количество информации, которое переносят два соседних символа, равно сумме среднего количества информации, которое переносит первый из них, и среднего количества информации, которое переносит второй при условии, что первый уже появился. Условная энтропия одного символа есть среднее количество информации, которое переносит последующий символ при условии, что предыдущий уже известен:

. Если символы

взаимозависимы, то

.

Содержание Назад Вперед

Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий