Основы теории информации и передачи сигналов

           

как мера количества информации. Формула


как мера количества информации. Формула Хартли не отражает случайного характера формирования сообщений. Чтобы устранить этот недостаток, необходимо связать количество информации в сообщениях с вероятностью появления символов. Эта задача была решена К. Шенноном в 1948 г. Следует упомянуть работы академика В. А. Котельникова о пропускной способности эфира и проволоки в электросвязи (1937 г.) и оптимальному приёму сигналов на фоне помех (1946 г.). Определение количества информации Пусть сообщение состоит из одного символа. Если вероятности появления всех символов одинаковы и равны P = 1/m, то количество информации, которое переносит символ, можно выразить как
. Здесь количество информации связано с вероятностью появления символа. В реальных сообщениях символы 
появляются с различными вероятностями 
, поэтому
. Среднее количество информации H(A), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита
. (1) Эта величина называется энтропией источника дискретных сообщений. Формула (1) носит название формулы Шеннона. Энтропия рассматривается как мера неопределенности в поведении источника сообщений. При вероятностном подходе состояние источника информации характеризуется неопределенностью. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности. Энтропия является непрерывной функцией от вероятностей появления символов и обладает следующими свойствами:
  • Энтропия источника дискретных сообщений есть величина вещественная, ограниченная и неотрицательная.
  • Энтропия равна нулю, если с вероятностью единица выбирается один и тот же символ (неопределенность в поведении источника отсутствует).
  • Энтропия максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:
. Если символы являются взаимосвязанными (коррелированными друг с другом), то используется понятие условной энтропии
, (2) где
– условная вероятность появления символа 
после символа 
. Из-за корреляционных связей символов и неравновероятного их появления в реальных сообщениях снижается среднее количество информации, которое переносит один символ.

Содержание  Назад  Вперед