Основы теории информации и передачи сигналов



             

Основы теории информации и теории сигналов - часть 4


как мера количества информации. Формула Хартли не отражает случайного характера формирования сообщений. Чтобы устранить этот недостаток, необходимо связать количество информации в сообщениях с вероятностью появления символов. Эта задача была решена К. Шенноном в 1948 г.

Следует упомянуть работы академика В. А. Котельникова о пропускной способности эфира и проволоки в электросвязи (1937 г.) и оптимальному приёму сигналов на фоне помех (1946 г.).

Определение количества информации

Пусть сообщение состоит из одного символа. Если вероятности появления всех символов одинаковы и равны P = 1/m, то количество информации, которое переносит символ, можно выразить как

.

Здесь количество информации связано с вероятностью появления символа. В реальных сообщениях символы 

появляются с различными вероятностями 
, поэтому

.

Среднее количество информации H(A), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита

. (1)

Эта величина называется энтропией источника дискретных сообщений. Формула (1) носит название формулы Шеннона.

Энтропия рассматривается как мера неопределенности в поведении источника сообщений. При вероятностном подходе состояние источника информации характеризуется неопределенностью. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности.

Энтропия является непрерывной функцией от вероятностей появления символов и обладает следующими свойствами:

  • Энтропия источника дискретных сообщений есть величина вещественная, ограниченная и неотрицательная.
  • Энтропия равна нулю, если с вероятностью единица выбирается один и тот же символ (неопределенность в поведении источника отсутствует).
  • Энтропия максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:
. Если символы являются взаимосвязанными (коррелированными друг с другом), то используется понятие условной энтропии

, (2)

где

– условная вероятность появления символа 
после символа 
.

Из-за корреляционных связей символов и неравновероятного их появления в реальных сообщениях снижается среднее количество информации, которое переносит один символ.


Содержание  Назад  Вперед