Основы теории информации и передачи сигналов



Каналы передачи информации - часть 5


Следовательно, для обеспечения сколь угодно высокой вероятности передачи информации в реальных каналах должно выполняться неравенство

(22)

Таким образом, для обеспечения сколь угодно высокой верности передачи информации в реальных каналах с ростом потерь информации 

из-за помех должны возрастать средняя длина кодовой комбинации и избыточность кода.

Пропускная способность реальных каналов

Определим с помощью соотношения (14) пропускную способность реального двоичного симметричного канала без памяти. Предположим, что известна вероятность 

появления ошибки в канале.

Определим значение 

. Для двоичного канала 
Условная энтропия 
– это энтропия помехи, которая определяется по формуле условной энтропии двоичного источника с коррелированным неравновероятными символами:

(23)

Подставив значения условных вероятностей появления ошибок, получим

Так как по условию нормировки сумма вероятностей в первом сомножителе равна единице, то

(24)

Пропускная способность двоичного реального канала

(25)

Анализ зависимости 

показывает, что в диапазоне изменений 
функция 
является монотонно убывающей. При 
, это означает, что из-за высокого уровня помех в канале кодовые сигналы на входе и на выходе канала становятся независимыми (принимаемые сигналы не несут информации о передаваемых).

Пропускную способность m-ичного реального канала определяют аналогично

(26)

Из (26) как частный случай следует (25) при 

Если 
, то пропускная способность реального канала стремится к пропускной способности идеального канала (4).

Средняя длина кодовых комбинаций в двоичном и m-ичном реальных каналах определяется неравенством (19):

(27)

Следовательно, минимальная средняя длина кодовых комбинаций в реальных каналах определяется энтропией источника, основанием кода и вероятностью появления ошибки в канале при передаче одного кодового сигнала.

Избыточность двоичного кода (см. (22)):

, (28)

избыточность многопозиционного кода

3.3. Критерии верности передачи дискретных сообщений

Критерий среднего риска 
Критерий идеального наблюдателя 
Критерий минимума суммы условных вероятностей ошибок 
Критерий Неймана-Пирсона 
Критерий максимального правдоподобия 
Информационный критерий 
При известных характеристиках линий передачи информации важное значение имеют методы оптимального приёма сообщений, которые во многом определяют достоверность и скорость получения информации.

Принято различать три задачи:

  • Обнаружение сообщения, когда требуется установить, имеется ли на входе информационный сигнал и помеха или только помеха.


    Содержание  Назад  Вперед