Основы теории информации и передачи сигналов
Основы теории информации и теории сигналов - часть 8
Например, если
то 
.
Методика исправления ошибок состоит в том, что, обнаружив ошибку, вычисляют расстояние от полученной запрещённой комбинации
до всех разрешённых 
В качестве переданной принимают ту из разрешённых комбинаций, до которой расстояние является наименьшим.
Например, если
то полагают, что была передана комбинация 
.
1.4. Взаимосвязь теории информации, теории вероятностей и спектральной теории сигналов
Информационные характеристики сообщений, как было показано, определяются на основе их вероятностных характеристик.
Рассмотрим понятие энтропии в обобщенном виде.
Пусть
– совокупность дискретных отсчётов случайного процесса 
в точках 
, где 
– 
– векторы-столбцы, компоненты которых являются случайными величинами – значениями N
случайных функций, т.е. реализаций случайного процесса , в сечениях 
(рис. 1.5).
Пусть
– совместная вероятность значений отсчётов. Совокупность возможных значений дискретных отсчетов 
при квантовании по уровню можно рассматривать как “алфавит”, из которого выбирают “символы” (конкретные дискретные значения отсчётов). Если “объём алфавита” равен m, то это означает, что отсчёты квантованы по m
уровням. Каждое значение сигнала
, представляет собой символ 
. Тогда, по определению, энтропия отсчётов процесса равна
(10)
Формула (10) в принципе позволяет рассчитать, хороша ли система передачи информации или нет (в битах на символ), но из формулы не следуют непосредственные рекомендации, как улучшить эту систему. Физическими носителями информации являются сигналы, их значения, а не вероятности. Поэтому ясно, что именно свойства сигналов должны влиять на эффективность передачи информации.
Рассмотрим сущность этого влияния подробнее.
Для полной совокупности дискретных отсчётов
можно вычислить корреляционную матрицу
, (11)
где
скобки 
обозначают усреднение по ансамблю реализаций.
Рис. 1.5. Реализации 
и сечения в точках
; реализации 
, при квантовании принимают