Основы теории информации и передачи сигналов

       

Основы теории информации и теории сигналов


1. Основы теории информации и теории сигналов
1.1. Основные понятия теории информации
1.2. Информационные характеристики источников дискретных сообщений
1.3. Принципы кодирования информации
1.4. Взаимосвязь теории информации, теории вероятностей и спектральной теории сигналов
1.5. Элементы спектральной теории сигналов
1.6. Принципы дискретизации непрерывных сигналов
1.1. Основные понятия теории информации
Объекты информационной техники
Виды сообщений в информационных системах
Определение количества информации
В теории информации и передачи сигналов подинформацией понимают совокупность сведений о каких-либо событиях, процессах, явлениях и т.п., рассматриваемых в аспекте их передачи в пространстве и во времени.

Информацию передают в виде сообщений. Сообщением называют информацию, выраженную в определенной форме и предназначенную для передачи от источника к адресату. Примерами сообщений служат тексты телеграмм, речь, музыка, телевизионное изображение, данные на выходе компьютера, команды в системе автоматического управления объектами и т.п.

Сообщения передают с помощью сигналов, которые являются носителями информации. Основным видом сигналов являются электрические сигналы. В последнее время всё большее распространение получают оптические сигналы, например, в волоконно-оптических линиях передачи информации.

В теории информации изучают свойства процессов, которые имеют место при передаче информации на расстояние при помощи сигналов. При этом важное значение имеют понятия качества и скорости передачи информации.

Качество передачи информации тем выше, чем меньше искажения информации на приёмной стороне. С увеличением скорости передачи информации требуется принимать специальные меры, препятствующие потерям информации и снижению качества передачи информации.

Объекты информационной техники

По функциональному назначению можно выделить основные классы объектов информационной техники:

  • сети и системы связи и телекоммуникаций (телеграфные, телефонные, телевизионные, компьютерные и т.п.);
  • информационно-измерительные системы (радионавигационные, радиолокационные, телеметрические и т.п.);
  • системы преобразования информации (аналого-цифровые, цифро-аналоговые преобразователи, цифровые компьютеры и др.);
  • информационно-поисковые системы и системы хранения информации на основе баз данных;
  • системы экспериментального наблюдения и управления объектами.
Обобщённая структурная схема системы передачи информации показана на рис.1.1.

 

Основы теории информации и теории сигналов

Рис. 1.1.
Структурная схема системы передачи информации
Передатчик преобразует исходное сообщение A(x) в сигнал

Основы теории информации и теории сигналов
, где x – независимая переменная. Сообщения и сигналы чаще всего рассматриваются в зависимости от времени. Роль линии связи может выполнять любая физическая среда (воздух, провода, оптическое волокно). В приёмнике полученный сигнал
Основы теории информации и теории сигналов
, искаженный влиянием помех, преобразуется в копию сообщения B(x), которая должна быть по возможности наиболее близка к оригиналу A(x). Многоканальная система передачи информации обеспечивает одновременную и взаимно независимую передачу сообщений от многих отправителей по одной общей линии связи. Структурная схема такой системы показана на рис.1.2. Узел связи (информационный узел) является более сложной системой, поскольку помимо многоканальной передачи (приёма) информации он обеспечивает:
  • выбор кратчайшего пути между источником и получателем сообщения;
  • соблюдение системы приоритетов;
  • накопление и хранение информации при отсутствии свободных каналов передачи;
  • компьютерное управление всеми перечисленными функциями в автоматическом режиме.
Информационная сеть является совокупностью информационных узлов, соединенных линиями связи. На рис.1.3. показан пример графа информационной сети.
Основы теории информации и теории сигналов
Рис. 1.2. Структурная схема многоканальной системы.
ИС, ПС – источники и получатели сообщений,
К – кодеры, М – модуляторы, Дк – декодеры, Дм – демодуляторы. Вершины графа 
Основы теории информации и теории сигналов
определяют информационные узлы, дуги – линии связи, координатами которых 
Основы теории информации и теории сигналов
являются пропускная способность, интенсивность потока сообщений, стоимость канала связи и т.п. Информационную сеть рассматривают как сетевую систему массового обслуживания. При создании информационных сетей требуется решать задачи анализа, синтеза, оптимизации. Основными классами задач являются:
  • Анализ информационных характеристикисточников сообщений.
  • Анализ и синтез сигналов и помех.
  • Анализ и синтез помехоустойчивости методов передачи информации.
  • Анализ и синтез корректирующих кодов (обнаружение и исправление ошибок).
  • Анализ и синтез каналов передачи информации.
Основы теории информации и теории сигналов
Рис. 1.3.


Пример графа информационной сети (пунктир – возможные линии связи, сплошные – примеры выбранных оптимальных линий связи)
Виды сообщений в информационных системах Дискретное сообщение является конечной последовательностью отдельных символов. Для преобразования дискретного сообщения в сигнал необходимо выполнить операцию кодирования сообщения, при котором повышается скорость и помехоустойчивость передачи информации. Непрерывное сообщение определяется непрерывной функцией времени. Непрерывные сообщения можно передавать дискретными методами. Для этого непрерывный сигнал (сообщение) подвергаютдискретизации во времени и квантованию по уровню. На приёмной стороне выполняется восстановление непрерывной функции по дискретным отсчётам. При математическом описании сообщений формирование дискретных сообщений рассматривают как последовательный случайный выбор того или иного символа из алфавита источника сообщений, т.е. как формирование дискретной случайной последовательности. Формирование непрерывных сообщений представляет собой выбор реализаций (случайных функций) непрерывного случайного процесса. Основными информационными характеристиками являются количество информации в сообщениях, избыточность сообщений, энтропия, производительность источника сообщений, скорость передачи информации. Указанные характеристики рассмотрим для случая дискретных сообщений. Пусть объем алфавита A составляет m дискретных сообщений. Каждое сообщение включает n символов. В принятых обозначениях общее количество дискретных символов составляет 
Основы теории информации и теории сигналов
. Покажем, как определяется количество информации в сообщениях такого источника. При определении количества информации должны быть выполнены следующие условия:
  • сообщения большей протяжённости содержат, как правило, большее количество информации;
  • если алфавит имеет больший объём, то каждое отдельное сообщение содержит больше информации;
  • информация, полученная в нескольких сообщениях, должна удовлетворять условию аддитивности.
Удобной характеристикой сообщений является логарифмическая мера количества информации I, удовлетворяющая перечисленным выше требованиям, а именно
Основы теории информации и теории сигналов
. Эта формула предложена Р.Хартли в 1928 г.


как мера количества информации. Формула Хартли не отражает случайного характера формирования сообщений. Чтобы устранить этот недостаток, необходимо связать количество информации в сообщениях с вероятностью появления символов. Эта задача была решена К. Шенноном в 1948 г. Следует упомянуть работы академика В. А. Котельникова о пропускной способности эфира и проволоки в электросвязи (1937 г.) и оптимальному приёму сигналов на фоне помех (1946 г.). Определение количества информации Пусть сообщение состоит из одного символа. Если вероятности появления всех символов одинаковы и равны P = 1/m, то количество информации, которое переносит символ, можно выразить как
Основы теории информации и теории сигналов
. Здесь количество информации связано с вероятностью появления символа. В реальных сообщениях символы 
Основы теории информации и теории сигналов
появляются с различными вероятностями 
Основы теории информации и теории сигналов
, поэтому
Основы теории информации и теории сигналов
. Среднее количество информации H(A), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита
Основы теории информации и теории сигналов
. (1) Эта величина называется энтропией источника дискретных сообщений. Формула (1) носит название формулы Шеннона. Энтропия рассматривается как мера неопределенности в поведении источника сообщений. При вероятностном подходе состояние источника информации характеризуется неопределенностью. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности. Энтропия является непрерывной функцией от вероятностей появления символов и обладает следующими свойствами:
  • Энтропия источника дискретных сообщений есть величина вещественная, ограниченная и неотрицательная.
  • Энтропия равна нулю, если с вероятностью единица выбирается один и тот же символ (неопределенность в поведении источника отсутствует).
  • Энтропия максимальна, если все символы источника появляются независимо и с одинаковой вероятностью:
Основы теории информации и теории сигналов
. Если символы являются взаимосвязанными (коррелированными друг с другом), то используется понятие условной энтропии
Основы теории информации и теории сигналов
, (2) где
Основы теории информации и теории сигналов
– условная вероятность появления символа 
Основы теории информации и теории сигналов
после символа 
Основы теории информации и теории сигналов
. Из-за корреляционных связей символов и неравновероятного их появления в реальных сообщениях снижается среднее количество информации, которое переносит один символ.


Эти потери информации характеризуются коэффициентом избыточности
Основы теории информации и теории сигналов
,
Основы теории информации и теории сигналов
– максимальное количество информации, которое может переносить один символ, H – количество информации, которое переносит один символ в реальных сообщениях (например, для европейских языков 
Основы теории информации и теории сигналов
). Наиболее часто основание логарифма в (1) принимают равным 2. При этом единицей количества информации является бит (binary digit). Производительностью источника сообщений называется среднее количество информации, выдаваемой источником в единицу времени, а именно
Основы теории информации и теории сигналов
[бит/с]. Для каналов передачи информации вводят аналогичную характеристику – скорость передачи информации C. Максимальное её значение называется пропускной способностью канала. Для дискретного канала
Основы теории информации и теории сигналов
[бит/с], (3) где V– скорость передачи электрических кодовых сигналов.   1.2. Информационные характеристики источников дискретных сообщений
Свойства двоичных источников информации 
Рассмотрим свойства условной энтропии с учётом неравновероятного появления символов и статистической взаимосвязи между ними. Примем для простоты, что появление символа
Основы теории информации и теории сигналов
связано только с тем, какой был предыдущий символ 
Основы теории информации и теории сигналов
(процесс формирования сообщений – простая цепь Маркова). Энтропия совместного появления двух символов
Основы теории информации и теории сигналов
, (4) где 
Основы теории информации и теории сигналов
– вероятность совместного появления символов 
Основы теории информации и теории сигналов
и 
Основы теории информации и теории сигналов
. Количество информации, которое приходится на слог 
Основы теории информации и теории сигналов
равно 
Основы теории информации и теории сигналов
. Учитывая, что
Основы теории информации и теории сигналов
, запишем
Основы теории информации и теории сигналов
(5) Учитывая условие нормировки
Основы теории информации и теории сигналов
, перепишем последнее выражение для энтропии совместного появления двух символов в форме
Основы теории информации и теории сигналов
, (6) где H(A) – энтропия источника, которая определена в (1) и соответствует первому слагаемому в (5), 
Основы теории информации и теории сигналов
– условная энтропия источника, определяемая выражением (2). Среднее количество информации, которое переносят два соседних символа, равно сумме среднего количества информации, которое переносит первый из них, и среднего количества информации, которое переносит второй при условии, что первый уже появился. Условная энтропия одного символа есть среднее количество информации, которое переносит последующий символ при условии, что предыдущий уже известен:
Основы теории информации и теории сигналов
. Если символы 
Основы теории информации и теории сигналов
и 
Основы теории информации и теории сигналов
взаимозависимы, то 
Основы теории информации и теории сигналов
.


Для источников с независимыми символами
Основы теории информации и теории сигналов
. Корреляционные связи могут существовать между (L+1) символами, тогда источник имеет память на L символов. Свойства двоичных источников информации Пусть символы источника есть 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
(m = 2), вероятности их появления 
Основы теории информации и теории сигналов
,
Основы теории информации и теории сигналов
. Условные вероятности обозначим 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
. Случай независимых равновероятных символов Вероятности 
Основы теории информации и теории сигналов
, условные вероятности равны нулю. Энтропия такого источника максимальна:
Основы теории информации и теории сигналов
. Таким образом, 1 бит – это максимальное среднее количество информации, которое может переносить один символ источника двоичных сообщений. Случай независимых неравновероятных символов Вероятности 
Основы теории информации и теории сигналов
условные вероятности равны нулю. Энтропия такого источника равна
Основы теории информации и теории сигналов
. (7) Зависимость (7) показана на рис. 1.4. Максимум энтропии достигается при 
Основы теории информации и теории сигналов
. Поскольку 
Основы теории информации и теории сигналов
при 
Основы теории информации и теории сигналов
, то производительность такого источника меньше максимальной. Избыточность
Основы теории информации и теории сигналов
Пример: Пусть 
Основы теории информации и теории сигналов
Тогда
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Рис. 1.4. Энтропия двоичного источника сообщений
с неравновероятными символами Случай коррелированных равновероятных символов Пусть
Основы теории информации и теории сигналов
, условные вероятности отличны от нуля и равны
Основы теории информации и теории сигналов
. Условная энтропия с учетом соотношения (2) равна
Основы теории информации и теории сигналов
Например, если 
Основы теории информации и теории сигналов
, то
Основы теории информации и теории сигналов
При некоррелированных равновероятных символах двоичного источника энтропия равна 
Основы теории информации и теории сигналов
. Следовательно, наличие статистических связей между символами приводит к уменьшению энтропии и увеличению избыточности источника. Задание: Получить выражение для энтропии и избыточности двоичного источника с коррелированными неравновероятными символами. Указание: 
Основы теории информации и теории сигналов
Принять 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Записать формулу и найти 
Основы теории информации и теории сигналов
[бит/симв]. Сравнить со случаем некоррелированных равновероятных символов. 1.3. Принципы кодирования информации
Принципы обнаружения и исправления ошибок 
Эффективное (статистическое) кодирование осуществляется с целью повышения скорости передачи информации и приближения её к пропускной способности канала. Теорема Шеннона для эффективных кодов (без доказательства): для канала без помех всегда можно создать систему эффективного кодирования дискретных сообщений, у которой среднее количество двоичных кодовых сигналов на один символ сообщения будет приближаться как угодно близко к энтропии источника сообщений. Корректирующее (помехоустойчивое) кодирование имеет целью повышение верности передачи информации путём обнаружения и исправления ошибок. Теорема Шеннона для корректирующих кодов (без доказательства): для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно высокой степенью верности, если только производительность источника сообщений не превышает пропускной способности канала. При кодировании каждый символ дискретного сообщения пронумеровывается, и передача сообщений сводится к передаче последовательности чисел. Например, для передачи русских букв нужно передавать числа от 1 до 32. Если основание системы счисления есть g , то n – разрядное число X можно записать в виде полинома
Основы теории информации и теории сигналов
(8) где
Основы теории информации и теории сигналов
– целые числа, 
Основы теории информации и теории сигналов
В двоичной системе, очевидно, 
Основы теории информации и теории сигналов
= 0 или 1. Кодом называется полная совокупность условных символов, которую применяют для кодирования сообщений.


Число различных символов в коде называется основанием кода. Код с основанием 2 – бинарный, с другими основаниями – многопозиционный. Пример:
Основы теории информации и теории сигналов
Кодовая комбинация – это последовательность кодовых символов, соответствующих одному элементу (символу) дискретного сообщения, т.е. число, записанное в выбранной системе счисления. Число символов в кодовой комбинации называется значностью кода. Оператор кодирования показывает, какую кодовую комбинацию присваивают каждому элементу сообщения. Если все кодовые комбинации содержат одинаковое число символов, код называют равномерным, в иных случаях – неравномерным. Для равномерного кода общее число различных кодовых комбинаций равно 
Основы теории информации и теории сигналов
где b – основание кода, n – значность кода. Примеры: Равномерный код Бодеb = 2, n = 5, N = 32. Код Морзе – неравномерный (наиболее часто встречающиеся буквы кодируются наиболее короткими кодовыми комбинациями). Принципы обнаружения и исправления ошибок. Идея обнаружения ошибок заключается в том, что для передачи сообщений используют не все N кодовых комбинаций, а только часть из них 
Основы теории информации и теории сигналов
, которые называются разрешёнными. Оставшиеся 
Основы теории информации и теории сигналов
комбинаций называют запрещёнными. Ошибки обнаруживают тогда, когда на приёмной стороне получают запрещённую комбинацию. Доля обнаруживаемых ошибок
Основы теории информации и теории сигналов
Если 
Основы теории информации и теории сигналов
т.е. 
Основы теории информации и теории сигналов
, то код не способен обнаруживать ошибки и его называют примитивным (безызбыточным). Избыточность корректирующего кода определяется формулой
Основы теории информации и теории сигналов
. Очевидно, что доля обнаруживаемых ошибок растёт с увеличением избыточности кода. Исправление ошибок корректирующими кодами основано на определении “расстояния” между кодовыми комбинациями и отыскании минимального расстояния до разрешённой кодовой комбинации. Расстоянием
Основы теории информации и теории сигналов
между кодовыми комбинациями 
Основы теории информации и теории сигналов
и 
Основы теории информации и теории сигналов
называют результат сложения по модулю b одноименных разрядов кодовых комбинаций
Основы теории информации и теории сигналов
(9) где 
Основы теории информации и теории сигналов
и 
Основы теории информации и теории сигналов
– k-й разряд кодовых комбинаций, n – значность кода. При суммировании по модулю результат равен модулю суммы разрядов, если этот модуль меньше b. Если модуль суммы разрядов больше b, то результат получают вычитанием b из суммы. Аналитическая запись сложения по модулю b имеет вид
Основы теории информации и теории сигналов
Таким образом, расстояние между кодовыми комбинациями получают поразрядным суммированием по модулю с последующим обычным суммированием (вычитанием). Для равномерного двоичного кода кодовое расстояние – это число символов, на которое отличается одна комбинация от другой.


Например, если 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
то 
Основы теории информации и теории сигналов
. Методика исправления ошибок состоит в том, что, обнаружив ошибку, вычисляют расстояние от полученной запрещённой комбинации 
Основы теории информации и теории сигналов
до всех разрешённых 
Основы теории информации и теории сигналов
В качестве переданной принимают ту из разрешённых комбинаций, до которой расстояние является наименьшим. Например, если 
Основы теории информации и теории сигналов
то полагают, что была передана комбинация 
Основы теории информации и теории сигналов
. 1.4. Взаимосвязь теории информации, теории вероятностей и спектральной теории сигналов Информационные характеристики сообщений, как было показано, определяются на основе их вероятностных характеристик. Рассмотрим понятие энтропии в обобщенном виде. Пусть 
Основы теории информации и теории сигналов
– совокупность дискретных отсчётов случайного процесса 
Основы теории информации и теории сигналов
в точках 
Основы теории информации и теории сигналов
, где 
Основы теории информации и теории сигналов
– 
Основы теории информации и теории сигналов
– векторы-столбцы, компоненты которых являются случайными величинами – значениями N случайных функций, т.е. реализаций случайного процесса 
Основы теории информации и теории сигналов
, в сечениях 
Основы теории информации и теории сигналов
(рис. 1.5). Пусть 
Основы теории информации и теории сигналов
– совместная вероятность значений отсчётов. Совокупность возможных значений дискретных отсчетов 
Основы теории информации и теории сигналов
при квантовании по уровню можно рассматривать как “алфавит”, из которого выбирают “символы” (конкретные дискретные значения отсчётов). Если “объём алфавита” равен m, то это означает, что отсчёты квантованы по m уровням. Каждое значение сигнала
Основы теории информации и теории сигналов
, представляет собой символ 
Основы теории информации и теории сигналов
. Тогда, по определению, энтропия отсчётов процесса равна
Основы теории информации и теории сигналов
(10) Формула (10) в принципе позволяет рассчитать, хороша ли система передачи информации или нет (в битах на символ), но из формулы не следуют непосредственные рекомендации, как улучшить эту систему. Физическими носителями информации являются сигналы, их значения, а не вероятности. Поэтому ясно, что именно свойства сигналов должны влиять на эффективность передачи информации. Рассмотрим сущность этого влияния подробнее. Для полной совокупности дискретных отсчётов 
Основы теории информации и теории сигналов
можно вычислить корреляционную матрицу
Основы теории информации и теории сигналов
, (11) где 
Основы теории информации и теории сигналов
скобки 
Основы теории информации и теории сигналов
обозначают усреднение по ансамблю реализаций.
Основы теории информации и теории сигналов
Рис. 1.5. Реализации 
Основы теории информации и теории сигналов
и сечения в точках 
Основы теории информации и теории сигналов

случайного процесса
Основы теории информации и теории сигналов
; реализации 
Основы теории информации и теории сигналов
, при квантовании принимают



одно из m возможных значений. В теории стационарных случайных процессов одной из основополагающих является теорема Винера–Хинчина, устанавливающая взаимосвязькорреляционной функции R(c), где c – интервал, на котором вычисляется статистическая взаимосвязь значений сигнала, и спектральной плотности G(u) сигнала, зависящей от частоты u, в форме
Основы теории информации и теории сигналов
, где F{Ч } – оператор преобразования Фурье. Таким образом, можно заключить, что спектральная плотность мощности (т.е. распределение мощностисигнала по частотам) характеризует корреляционную функцию, для дискретных процессов – корреляционную матрицу (11). В свою очередь, можно показать, что корреляционная матрица полностью определяет совместную вероятность значений совокупности отсчётов гауссовского процесса. При известной совместной вероятности можно вычислить энтропию (10). Такие рассуждения позволяют выполнить математические преобразования и получить формулу, связывающую энтропию отсчётов гауссовского процесса и спектральную плотность, а именно
Основы теории информации и теории сигналов
, (12) где 
Основы теории информации и теории сигналов
– значения спектральной плотности для значений частоты
Основы теории информации и теории сигналов
. Замечания:
  1. В последней формуле подразумевается, что вся мощность сигнала сосредоточена на частотах 
    Основы теории информации и теории сигналов
    (что характерно, например, для случайных сигналов в виде суммы периодических сигналов).
  2. Следует различать понятие спектра мощности и амплитудного спектра. Последнее понятие используется для анализа детерминированных сигналов в частотной области. Эти две величины, как будет показано далее, имеют разные физические размерности.
Таким образом показано, что энтропия источника сообщений, рассматриваемых как реализации гауссовского случайного процесса, определяется спектральной плотностью процесса. Для гауссовского процесса энтропия вычисляется по формуле (12). Следовательно, информационные характеристики передаваемых сообщений определяются спектральными характеристиками сигналов. 1.5. Элементы спектральной теории сигналов
Ряды Фурье 
Преобразование Фурье 
Дискретное преобразование Фурье
Финитное преобразование Фурье 
Математическое описание систем передачи и обработки сигналов 
Детерминированные и стохастические сигналы сигналов 
Спектральное представление позволяет перейти от описания сигналов в области независимой переменной (времени) к частотной области.


Теорема о производной. Если 
Основы теории информации и теории сигналов
то
Основы теории информации и теории сигналов
(27) 5. Свойство четности и нечетности. Если
Основы теории информации и теории сигналов
то в случае, когда s(x) четная функция, имеем 
Основы теории информации и теории сигналов
– четная функция; при s(x) нечетной 
Основы теории информации и теории сигналов
– нечетная функция. 6. Свойство подобия.
Основы теории информации и теории сигналов
(28) где a – постоянная. 7. Сохранение энергии.
Основы теории информации и теории сигналов
(29) Из этого соотношения следует, что
Основы теории информации и теории сигналов
для любых сигналов 
Основы теории информации и теории сигналов
и 
Основы теории информации и теории сигналов
, имеющих спектры 
Основы теории информации и теории сигналов
и 
Основы теории информации и теории сигналов
. 8. Спектр свертки:
Основы теории информации и теории сигналов
(30) Таким образом, преобразование Фурье, примененное к свертке двух сигналов, равно произведению спектров этих сигналов. Дискретное преобразование Фурье При обработке последовательности отсчётов сигнала интегральные соотношения следует заменить соответствующими операциями дискретного суммирования. Алгоритмы преобразования Фурье дискретной последовательности отсчётов s(p), имеющей конечную длину, 
Основы теории информации и теории сигналов
сводятся к вычислению конечного числа коэффициентов S(q), 
Основы теории информации и теории сигналов
согласно соотношению
Основы теории информации и теории сигналов
(31) Обратимся к выражению (21) и сравним его с (31). Формула (31) представляет собой дискретную аппроксимацию преобразования (21), при которой функция s(x) заменяется ступенчатой функцией 
Основы теории информации и теории сигналов
в пределах протяженности элемента дискретизации. Таким образом, следует помнить, что выражение (31) есть приближение, качество которого должно улучшаться при увеличении N и соответствующем уменьшении шага дискретизации Dx. Дискретное преобразование Фурье (ДПФ) обычно вычисляют при условии 
Основы теории информации и теории сигналов
, т.е.
Основы теории информации и теории сигналов
(32) где 
Основы теории информации и теории сигналов
Можно доказать, что для ядра преобразования (32) выполняется следующее тождество:
Основы теории информации и теории сигналов
При этом обратное ДПФ (ОДПФ) определяется в форме
Основы теории информации и теории сигналов
(33) Свойства ДПФ можно получить из формул (24) – (30), имея в виду дискретный характер последовательности отсчётов сигнала. Финитное преобразование Фурье Всякий реальный сигнал имеет ограниченную протяженность. При этом вместо обычного преобразования Фурье
Основы теории информации и теории сигналов
(34) имеем финитное преобразование в конечных пределах
Основы теории информации и теории сигналов
где 2X – интервал регистрации сигнала. Для случая непрерывного изменения независимой переменной x с учётом (30) можно записать:
Основы теории информации и теории сигналов
, (35) где 
Основы теории информации и теории сигналов
– прямоугольная функция протяженностью 2X. Отличие (35) от идеального преобразования Фурье (21) иллюстрируется на рис. 1.6 для отрезка сигнала протяженности L=2X. Заметим, что середина отрезка L при этом смещена по горизонтальной оси на интервал X.


Согласно свойству преобразования Фурье (25), это вызывает фазовый сдвиг 2p uX, пропорциональный значениям частоты u, но не изменяет модуль спектра.
Основы теории информации и теории сигналов
Рис. 1.6. Изменения спектра при ограниченной протяженности сигнала Для случая дискретных отсчётов, взятых в точках 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
получим спектральные линии на дискретных частотах 
Основы теории информации и теории сигналов
Частота 
Основы теории информации и теории сигналов
называется фундаментальной частотой финитного преобразования Фурье. При этом
Основы теории информации и теории сигналов
(36) т.е. финитное преобразование Фурье связано с коэффициентами
Основы теории информации и теории сигналов
ряда Фурье, а именно:
Основы теории информации и теории сигналов
Иначе говоря, финитное преобразование Фурье сводится к нахождению коэффициентов ряда Фурье для функции s(x), периодически продолженной с периодом 
Основы теории информации и теории сигналов
(рис. 1.7). При нецелом числе периодов, укладывающихся на отрезке L, происходит искажение спектра.  
Основы теории информации и теории сигналов
Рис. 1.7. Трансляция отрезков сигнала ограниченной протяженности Математическое описание систем передачи и обработки
сигналов В системах передачи и обработки сигналов осуществляется преобразование входных сигналов
Основы теории информации и теории сигналов
в выходные 
Основы теории информации и теории сигналов
. Характеристики преобразования могут быть заданными (например, при фильтрации сигналов) или должны быть исследованы (например, при анализе характеристик линий передачи информации). Во всех случаях используются основные положения теории систем. Наиболее важными являются линейные системы, подчиняющиеся принципу суперпозиции:
Основы теории информации и теории сигналов
, (37) где a и b – постоянные, T – оператор системы. Импульсной характеристикой (реакцией) системы, по определению, называется функция
Основы теории информации и теории сигналов
, (38) где 
Основы теории информации и теории сигналов
– дельта-функция. Обычно независимой переменной x является время. Систему называют стационарной или инвариантной во времени, если при выполнении условия
Основы теории информации и теории сигналов
(39) следует, что
Основы теории информации и теории сигналов
, где c - произвольный сдвиг. Импульсная характеристика инвариантной во времени системы с учетом (38), очевидно, подчиняется соотношению
Основы теории информации и теории сигналов
. Входной сигнал можно представить последовательностью дельта-функций:
Основы теории информации и теории сигналов
, (40) где 
Основы теории информации и теории сигналов
. Сигнал на выходе системы из (38) – (40) определяется выражением
Основы теории информации и теории сигналов
. В результате выходной сигнал определяется интегралом свёртки
Основы теории информации и теории сигналов
. (41) Пусть существует преобразование Фурье сигнала 
Основы теории информации и теории сигналов
и импульсной характеристики системы 
Основы теории информации и теории сигналов
.


Используя свойства преобразования Фурье, можно доказать теорему о свёртке (30):
Основы теории информации и теории сигналов
. Поскольку 
Основы теории информации и теории сигналов
, то в спектральной области
Основы теории информации и теории сигналов
. (42) Функция
Основы теории информации и теории сигналов
(43) называется частотной характеристикой системы. Детерминированные и стохастические сигналы Преобразование Фурье (21) содержит полную информацию о сигнале s(x) в частотном представлении. Если сигнал s(x) является реализацией случайного процесса {s(x)}, то результат преобразования (21) будет изменяться от сигнала к сигналу (“от опыта к опыту”). Неизменной характеристикой ансамбля реализаций {s(x)} стационарного эргодического случайного процесса является спектральная плотность
Основы теории информации и теории сигналов
(44) где угловые скобки обозначают усреднение по ансамблю реализаций (индексу k). Спектральная плотность характеризует значение среднего квадрата процесса: площадь под графиком спектральной плотности на произвольном частотном интервале 
Основы теории информации и теории сигналов
равна среднему квадрату процесса в этой полосе частот. Наряду с понятием спектральной плотности часто используют соответствующее понятие энергетического спектра. Спектральная плотность стационарного эргодического случайного процесса связана с корреляционной функцией 
Основы теории информации и теории сигналов
этого процесса преобразованием Фурье:
Основы теории информации и теории сигналов
(45) где
Основы теории информации и теории сигналов
(46) Соотношение (45) носит название теоремы Винера-Хинчина. Поскольку автокорреляционная функция (46) является чётной функцией, спектральная плотность (45) является действительной чётной функцией. Таблица 1. Основные величины и типичные единицы их измерения
Величина Обозначение Единица измерения
1. Сигнал s(x) В (Вольт)
2. Амплитудный спектр (АС)
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
3. Квадрат модуля АС
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
4. Спектральная плотность
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
5. Корреляционная функция
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
1.6. Принципы дискретизации непрерывных сигналов
Дискретизация узкополосных сигналов 
Влияние формы элемента дискретизации 
Пусть функция s(x) определяет исходный непрерывный сигнал. Операция дискретизации заключается в выполнении преобразования вида
Основы теории информации и теории сигналов
где в простейшем случае апертурная функция элемента дискретизацииh(x) имеет вид
Основы теории информации и теории сигналов
(47) 2b – ширина элемента дискретизации,
Основы теории информации и теории сигналов
–функция дискретизации, D x – шаг дискретизации, 
Основы теории информации и теории сигналов
– нормирующий множитель, такой, что площадь под графиком d(x) равна единице. Вид функций h(x) и d(x) иллюстрируются на рис. 1.8.  
Основы теории информации и теории сигналов
Рис. 1.8.


Прямоугольная функция элемента дискретизации (а)

и функция дискретизации (б) Сигнал s(x) можно представить последовательностью импульсов протяженностью 
Основы теории информации и теории сигналов
имеющих амплитуды, равные значениям сигнала в точках 
Основы теории информации и теории сигналов
. Тогда получим ступенчатую функцию, показанную на рис. 1.9, а именно
Основы теории информации и теории сигналов
(48)
Основы теории информации и теории сигналов
  Рис. 1.9. Ступенчатая аппроксимация непрерывного сигнала После перехода к пределу при 
Основы теории информации и теории сигналов
получим
Основы теории информации и теории сигналов
(49) Такое преобразование является операцией свертки, которая имеет следующие важные свойства:
  • дистрибутивность
Основы теории информации и теории сигналов
  • коммутативность
Основы теории информации и теории сигналов
  • ассоциативность
Основы теории информации и теории сигналов
Подчеркнем, что при условии существования интеграла (49) операция свертки не вносит ограничений на вид апертурной функции элемента дискретизации h(x). Процесс дискретизации удобно рассматривать в частотном представлении, получаемом в результате преобразования Фурье исходного сигнала. Функция дискретизации определяется в частотной области следующим выражением:
Основы теории информации и теории сигналов
(50) где
Основы теории информации и теории сигналов
обозначает операцию преобразования Фурье, 
Основы теории информации и теории сигналов
. Вид функции D(u) показан на рис. 1.10. Таким образом, процесс выборки дискретных значений сигнала вызывает появление спектральных порядков 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Рис. 1.10. Функция дискретизации и её частотное представление Дискретизованный сигнал имеет вид произведения двух функций, поэтому, согласно теореме о свертке, его спектр равен свертке спектров:
Основы теории информации и теории сигналов
. Поскольку с учетом (50) и свойств частотной симметрии преобразования Фурье (см. разд 1.5) можно записать, что
Основы теории информации и теории сигналов
, спектр дискретизованного сигнала представляет собой спектр исходного сигнала, периодически повторенного (перенесенного) по частотной оси с шагом 
Основы теории информации и теории сигналов
, как это иллюстрируется на рис. 1.11, включая диапазон отрицательных частот. Теорема дискретизации формулируется следующим образом: Для того, чтобы спектр исходного сигнала в области частот 
Основы теории информации и теории сигналов
не искажался в процессе дискретизации, необходимо и достаточно выполнение неравенства 
Основы теории информации и теории сигналов
, где 
Основы теории информации и теории сигналов
– наибольшая частота в спектре синала. Спектр сигнала, очевидно, можно выразить в форме
Основы теории информации и теории сигналов
(51) Выделим из этого спектра частотный интервал 
Основы теории информации и теории сигналов
и выполним обратное преобразование Фурье.


В результате получим
Основы теории информации и теории сигналов
(52) Отсюда следует  теорема Шеннона: если для частоты дискретизации 
Основы теории информации и теории сигналов
справедливо неравенство 
Основы теории информации и теории сигналов
то сигнал s(x) восстанавливается однозначно по его дискретным значениям 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Рис. 1.11. Формирование спектра при дискретизации сигнала Функция
Основы теории информации и теории сигналов
называется интерполяционной функцией Шеннона. Дискретизация узкополосных сигналов Модель типичного узкополосного сигнала имеет вид
Основы теории информации и теории сигналов
(53) где
Основы теории информации и теории сигналов
– фоновая составляющая, 
Основы теории информации и теории сигналов
– огибающая, изменяющиеся медленно по сравнению с периодом 
Основы теории информации и теории сигналов
e – начальная фаза в точке x = 0, 
Основы теории информации и теории сигналов
– частота, n(x) – аддитивный шум. В результате дискретизации получаем сигнал
Основы теории информации и теории сигналов
при этом спектр сигнала определяется выражением
Основы теории информации и теории сигналов
(54) Здесь N(u) обозначает амплитудный спектр аддитивного шума, H(u) – преобразование Фурье апертурной функции элемента дискретизации. Для функции вида (47) прямоугольной формы и 
Основы теории информации и теории сигналов
нулевые значения H(u) имеют место на частотах 
Основы теории информации и теории сигналов
. Спектр дискретизованного сигнала имеет вид, показанный на рис. 1.12. При обработке спектра обычно выделяют составляющую 
Основы теории информации и теории сигналов
Основы теории информации и теории сигналов
Рис. 1.12. Формирование спектра при дискретизации узкополосного сигнала Рассмотрим методику выбора шага дискретизации узкополосного сигнала. Если частота 
Основы теории информации и теории сигналов
гармонической составляющей априорно известна, то шаг дискретизации Dx определяется согласно теореме дискретизации, а именно, нужно выполнить условие 
Основы теории информации и теории сигналов
, т.е. 
Основы теории информации и теории сигналов
. Таким образом, шаг дискретизации должен быть меньше половины периода гармонического сигнала. Если сигнал s(x) не является строго гармоническим и имеет протяженный спектр с граничной частотой 
Основы теории информации и теории сигналов
, то выбор шага дискретизации определяется по теореме дискретизации: 
Основы теории информации и теории сигналов
. Для уменьшения влияния спектра шума, попадающего из соседних спектральных порядков (рис. 1.12), нужно настолько уменьшить шаг дискретизации, чтобы он не превышал значения 
Основы теории информации и теории сигналов
, где 
Основы теории информации и теории сигналов
– составляющая шума с наибольшей частотой. Следует иметь в виду, что вследствие стохастического характера шума можно строго определить его спектр мощности, но не амплитудный спектр.


Поэтому результат преобразования Фурье шума может существенно изменяться от реализации к реализации. Некоррелированный шум имеет спектр бесконечной протяженности. Поэтому перед дискретизацией сигнала необходимо выполнить низкочастотную фильтрацию для получения “окрашенного” шума с граничной частотой 
Основы теории информации и теории сигналов
. Влияние формы элемента дискретизации Операция дискретизации определяется формулой
Основы теории информации и теории сигналов
Выше был рассмотрен случай ступенчатой аппроксимации нулевого порядка, как это показано на рис. 1.9. Функция h(x), вообще говоря, может иметь произвольную форму. Однако в любом случае нужно иметь в виду, что форма и протяженность функции h(x) влияют на спектр сигнала за счет умножения спектра этого сигнала на функцию 
Основы теории информации и теории сигналов
(рис. 1.12). Приведем простой пример. Пусть 
Основы теории информации и теории сигналов
Соответствующая функция в спектральной области будет равна
Основы теории информации и теории сигналов
В этом несложно убедиться непосредственным интегрированием функции косинуса:
Основы теории информации и теории сигналов
Поэтому составляющие спектра сигнала при u > 0 будут ослаблены вплоть до полного подавления на частоте 
Основы теории информации и теории сигналов
(рис. 1.12). Таким образом, можно сделать следующие выводы. Влияние размера элемента дискретизации на спектральную составляющую с частотой u тем меньше, чем меньше отношение 
Основы теории информации и теории сигналов
, где 
Основы теории информации и теории сигналов
– период этой составляющей. Во избежание энергетических потерь при дискретизации непрерывного сигнала уменьшение размера элемента дискретизации должно сопровождаться соответствующим повышением частоты дискретизации.
 
 

Содержание раздела