Основы теории информации и передачи сигналов



             

Основы теории информации и теории сигналов - часть 3


Пример графа информационной сети (пунктир – возможные линии связи, сплошные – примеры выбранных оптимальных линий связи)

Виды сообщений в информационных системах

Дискретное сообщение является конечной последовательностью отдельных символов. Для преобразования дискретного сообщения в сигнал необходимо выполнить операцию кодирования сообщения, при котором повышается скорость и помехоустойчивость передачи информации.

Непрерывное сообщение определяется непрерывной функцией времени. Непрерывные сообщения можно передавать дискретными методами. Для этого непрерывный сигнал (сообщение) подвергаютдискретизации во времени и квантованию по уровню. На приёмной стороне выполняется восстановление непрерывной функции по дискретным отсчётам.

При математическом описании сообщений формирование дискретных сообщений рассматривают как последовательный случайный выбор того или иного символа из алфавита источника сообщений, т.е. как формирование дискретной случайной последовательности.

Формирование непрерывных сообщений представляет собой выбор реализаций (случайных функций) непрерывного случайного процесса.

Основными информационными характеристиками являются количество информации в сообщениях, избыточность сообщений, энтропия, производительность источника сообщений, скорость передачи информации.

Указанные характеристики рассмотрим для случая дискретных сообщений.

Пусть объем алфавита A составляет m дискретных сообщений. Каждое сообщение включает n символов. В принятых обозначениях общее количество дискретных символов составляет 

. Покажем, как определяется количество информации в сообщениях такого источника.

При определении количества информации должны быть выполнены следующие условия:

  • сообщения большей протяжённости содержат, как правило, большее количество информации;
  • если алфавит имеет больший объём, то каждое отдельное сообщение содержит больше информации;
  • информация, полученная в нескольких сообщениях, должна удовлетворять условию аддитивности.
Удобной характеристикой сообщений является логарифмическая мера количества информации I, удовлетворяющая перечисленным выше требованиям, а именно

.

Эта формула предложена Р.Хартли в 1928 г.


Содержание  Назад  Вперед