Основы теории информации и передачи сигналов
Основы теории информации и теории сигналов - часть 4
как мера количества информации. Формула Хартли не отражает случайного характера формирования сообщений. Чтобы устранить этот недостаток, необходимо связать количество информации в сообщениях с вероятностью появления символов. Эта задача была решена К. Шенноном в 1948 г.
Следует упомянуть работы академика В. А. Котельникова о пропускной способности эфира и проволоки в электросвязи (1937 г.) и оптимальному приёму сигналов на фоне помех (1946 г.).
Определение количества информации
Пусть сообщение состоит из одного символа. Если вероятности появления всех символов одинаковы и равны P = 1/m, то количество информации, которое переносит символ, можно выразить как
.
Здесь количество информации связано с вероятностью появления символа. В реальных сообщениях символы
появляются с различными вероятностями 
, поэтому
.
Среднее количество информации H(A), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита
.
(1)
Эта величина называется энтропией источника дискретных сообщений. Формула (1) носит название формулы Шеннона.
Энтропия рассматривается как мера неопределенности в поведении источника сообщений. При вероятностном подходе состояние источника информации характеризуется неопределенностью. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности.
Энтропия является непрерывной функцией от вероятностей появления символов и обладает следующими свойствами:
- Энтропия источника дискретных сообщений есть величина вещественная, ограниченная и неотрицательная.
- Энтропия равна нулю, если с вероятностью единица выбирается один и тот же символ (неопределенность в поведении источника отсутствует).
- Энтропия максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:
.
Если символы являются взаимосвязанными (коррелированными друг с другом), то используется понятие условной энтропии
, (2)
где
– условная вероятность появления символа 
после символа 
.
Из-за корреляционных связей символов и неравновероятного их появления в реальных сообщениях снижается среднее количество информации, которое переносит один символ.