Методика исправления ошибок состоит в том, что, обнаружив ошибку, вычисляют расстояние от полученной запрещённой комбинации
Например, если
1.4. Взаимосвязь теории информации, теории вероятностей и спектральной теории сигналов
Информационные характеристики сообщений, как было показано, определяются на основе их вероятностных характеристик.
Рассмотрим понятие энтропии в обобщенном виде.
Пусть
Пусть
Формула (10) в принципе позволяет рассчитать, хороша ли система передачи информации или нет (в битах на символ), но из формулы не следуют непосредственные рекомендации, как улучшить эту систему. Физическими носителями информации являются сигналы, их значения, а не вероятности. Поэтому ясно, что именно свойства сигналов должны влиять на эффективность передачи информации.
Рассмотрим сущность этого влияния подробнее.
Для полной совокупности дискретных отсчётов
где
Рис. 1.5. Реализации и сечения в точках