Следует упомянуть работы академика В. А. Котельникова о пропускной способности эфира и проволоки в электросвязи (1937 г.) и оптимальному приёму сигналов на фоне помех (1946 г.).
Определение количества информации
Пусть сообщение состоит из одного символа. Если вероятности появления всех символов одинаковы и равны P = 1/m, то количество информации, которое переносит символ, можно выразить как
Здесь количество информации связано с вероятностью появления символа. В реальных сообщениях символы
Среднее количество информации H(A), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита
Эта величина называется энтропией источника дискретных сообщений. Формула (1) носит название формулы Шеннона.
Энтропия рассматривается как мера неопределенности в поведении источника сообщений. При вероятностном подходе состояние источника информации характеризуется неопределенностью. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности.
Энтропия является непрерывной функцией от вероятностей появления символов и обладает следующими свойствами:
где
Из-за корреляционных связей символов и неравновероятного их появления в реальных сообщениях снижается среднее количество информации, которое переносит один символ.