МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени ШАКАРИМА г. Семей

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РЕСПУБЛИКИ КАЗАХСТАН
ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени ШАКАРИМА г. Семей
Документ СМК 3уровня
УМКД
УМКД
Учебно-методические
материалы по дисциплине
“Теория информации”
Редакция №1
УМКД 042-1811.1.20.89/03-2013
УЧЕБНО-МЕТОДИЧЕСКИЙ КОМПЛЕКС
ДИСЦИПЛИНЫ
«Теория информации»
для специальности 5В070400-Вычислительная техника и программное
обеспечение
Учебно-методические материалы
Семей
2013
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 2 из 111
СОДЕРЖАНИЕ
1 Глоссарий
2 Лекции
3 Практические занятия
4 Самостоятельная работа студента
5. Блок контроля знаний
3
4
71
97
98
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 3 из 111
1 Глоссарий
Информация – в общем случае, совокупность сведений о каких-либо
событиях, явлениях, предметах, получаемых в результате взаимодействия с
внешней средой. Формой представления информации является сообщение.
Сообщение – любые сведения или данные, поступающие от отправителя
(источника) сообщений на вход системы связи для передачи получателю. Для
представления информации (хранения, обработки, преобразования и т.д.)
используют различные символы, позволяющие выразить ее в определенной форме
(текст, речь, рисунок, колебания, цифры, числа, символы, жесты и т.д.).
Информация от источника к приемнику передается с помощью сигнала.
Сигнал – физический процесс, отображающий сообщение. Носителем
информации может быть только такой сигнал, изменение которого во времени
точно предсказать нельзя. Априорно известный сигнал не содержит информации.
Информация – лишь те сведения в сообщении, которые неизвестны получателю,
т.е. не всякое сообщение несет информацию. Информация характеризуется
рядом показателей: количеством, скоростью передачи, надежностью передачи,
достоверностью и т.д.
Кодирование – преобразование сообщения в сигнал, т.е. отображение
сообщений сигналами в виде определенного сочетания элементарных дискретных
символов, называемых кодовыми комбинациями (кодовыми словами).
Код – правило, согласно которому каждому сообщению однозначно ставится
в соответствие некоторая кодовая комбинация. Кодер – устройство,
осуществляющее кодирование.
Кодер источника (КИ) – кодер, использование которого позволяет путем
устранения избыточности существенно снизить среднее число символов на букву
сообщения (такое кодирование называется оптимальным или эффективным). При
отсутствии помех это дает выигрыш во времени передачи или в объеме ЗУ, т.е.
повышает эффективность системы передачи данных.
Кодер канала (КК) – позволяет путем внесения избыточности обеспечить
достоверность передачи данных при наличии помех (такое кодирование называется
помехоустойчивым).
Канал – совокупность средств, предназначенных для передачи сигнала от
передатчика к приемнику информации (передатчик, приемник, линия связи и т.д.).
Канал связи может быть односторонний (симплексный) и двухсторонний
(дуплексный).
Передатчик – служит для преобразования электрического сигнала в сигнал,
пригодный для передачи по линии связи.
Модуляцией называется изменение параметров переносчика сигнала в
соответствии с функцией, отображающей сообщение. Несущим сигналом может
быть ток (телеграфия), гармонические низкочастотные или высокочастотные
колебания (телефония и т.д.), высокочастотные импульсы (радиорелейная связь и
т.д.). Модулируемые параметры называются информативными и могут быть
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 4 из 111
амплитудой, частотой, фазой и т.д. Модулятор – устройство, осуществляющее
модуляцию.
При передаче по каналу связи происходит ослабление и искажение
передаваемого сигнала, вносимых каналом и действием помех.
Линейные искажения – определяются частотными и временными
характеристиками
канала.
Нелинейные
искажения
–
определяются
нелинейностью звеньев канала и видом модуляции.
Система передачи информации – совокупность технических средств для
передачи информации от источника к приемнику информации
2 Лекции
Лекция №1. Прикладная теория информации. Основные понятия и
определения.
В практическом смысле, под информацией понимают совокупность сведений
об окружающем мире, являющейся объектом передачи, хранения и
преобразования. Информация основана на однозначной связи знаков или сигналов
с объектами реального мира называется – семантической или смысловой.
информация, заключенная в характере следования знаков сообщений называется –
синтаксической. Рассмотрению подлежат вопросы доставки получателю
информации как совокупности из знаков. При этом последовательностью
игнорируется смысловое ее содержание. Синтаксическая информация имеет
практическую ценность, потому что интересующая в конечном итоге получателя
синтаксическая информация заключена в заданной последовательности знаков.
Чем больше знаков передается в определенный интервал времени, тем больше
передается смысловая информация.
Информация передается и хранится в виде сообщений. Под сообщением
понимают совокупность знаков или первичных сигналов содержащих
информацию. Сообщение – это определение состояния системы. Система
случайным образом с некоторой вероятностью может оказаться в том или ином
состоянии. Следовательно, множество состояний системы можно рассмотреть как
множество случайных сообщений. Две системы будут называть статически
зависимыми, если состояние одной из них влияет на вероятность состояния другой.
Изменяющийся во времени физический процесс, отражающий передаваемое
сообщение, называется сигналом. Сигнал – это материальный переносчик
информации в пространстве и во времени. Сигналы могут быть динамическими и
статическими. Динамические сигналы предназначены для передачи информации в
пространстве (электромагнитные волны). Статические сигналы предназначены для
передачи информации во времени (магнитная лента). Сигнал всегда является
функцией времени. В зависимости от того, какие значения может принимать
аргумент, уровни сигналов делятся на 4 типа:
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 5 из 111
Таблица 1.
1) Непрерывный (аналоговый) сигнал. Они определенны для
всех значений времени и могут принимать все значения из
заданного диапазона.
Физические процессы, порождающие такие сигналы,
являются как правило непрерывными
2) Дискретизированный или дискретно-непрерывный
сигнал.
Случайные сигналы этого типа называются процессами
дискретным временем или с непрерывными случайными
последователями. Они определены лишь в определенные
моменты времени и могут иметь любые значения по уровню
(по величине). Временной интервал Δt между соседними
отсчетами называется шагом дискретизации. Такие сигналы
еще называют дискретными по времени.
3) Дискретные по уровню или квантовые сигналы.
Они определенны для всех моментов времени и принимают
лишь разрешенные значения по уровню отделенных друг от
друга на величину шага квантования Δx.
4) Дискретные по уровню и по времени.
Они определенны в отдельные разрешенные моменты
времени и могут принимать лишь разрешенные моменты
уровней.
В процессе преобразования дискретных сообщений в сигнал происходит
кодирование сообщений. Кодирование – это отображение дискретных сообщений
сигналами
в
виде определенных
сочетаний
символов. Устройство,
осуществляющее кодирование называется кодером. Так как алфавит символов
меньше алфавита знаков, то каждому знаку соответствует некоторая
последовательность символов, называющаяся кодовой комбинацией. Число
символов в каждой комбинации называют ее значностью. Число ненулевых
символов – весом. Для операции сопоставления символов со знаками исходного
алфавита используют термин «декодирование», технически реализуется
устройством – декодером. В передающем устройстве осуществляется воздействие
на один или несколько параметров переносчика информации по закону, принятому
при кодировании сообщений. Этот процесс называется модуляцией, а
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 6 из 111
модулируемые параметры – информативными. Под линией связи понимают любую
физическую среду (воздух, магнитная лента и т.д.) обеспечивающую поступление
сигналов от передатчика к приемнику. Сигналы на входе линии связи могут
отличаться от переданных в следствии воздействия помех. Под помехами
подразумевают любые мешающие внешние воздействия или возмущения, а также
искажения сигнала в самой аппаратуре – аппаратные помехи, вызывающие
случайные отклонения принятого сигнала от передаваемого. Из смеси сигнала и
помехи приемное устройство выделяет сигнал и посредствам декодера
восстанавливает сообщение. которое может отличаться от посланного. Меру
соответствия принятого сообщения посланному называют верностью передачи.
Совокупность средств, предназначенных для передачи сигнала, называют
каналом связи. Линия связи может обуславливать несколько сигналов. Структурная
схема одноканальной системы передачи информации следующая:
Рисунок 1.
Совокупность технических средств используемых для передачи сообщения
от источника к потребителю информации называется системой связи. При синтезе
систем передачи информации решают две основные проблемы:
1) Обеспечение помехоустойчивой передачи сообщений.
2) Обеспечение высокой эффективности передачи сообщений.
Под помехоустойчивостью понимают способность информационной системы
противостоять вредному действию помех. Под эффективностью системы понимают
способность системы обеспечить передачу данного количества информации с
наименьшими затратами мощности сигнала времени и полосы частот. Теория
информации – это наука о получении, преобразовании, накоплении, отображении и
передачи информации. Изучает такие вопросы, как:
1) Анализ сигналов как средство передачи сообщений, включающее вопросы
оценки переносимого, имя, количество информации.
2) Анализ информационных характеристик источников сообщения и каналов
связи и обоснование принципиальной возможности кодирования и декодирования
сообщений.
3) Применение различных кодов и их сравнительные характеристики.
4) Фильтрация сигналов от помех.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 7 из 111
Если теория информации связанна с рассмотрением проблемы разработки
конкретных методов и средств кодирования сообщений, то совокупность
излагаемых вопросов называется ПТИ.
Вопросы для самоконтроля
1.
В чем сущность принципиальных различий в трактовке понятия
информации?
2. Каковы основные этапы обращения информации?
3. Совокупность, каких объектов составляет систему передачи информации?
4. Что понимают под сообщением и сигналом?
5. В чем различие между линией и каналом связи?
6. Объясните разницу в уровнях проблем передачи информации.
7. Каковы основные задачи теории информации?
Лекция №2. Математические модели детерминированных сигналов
1) Общая характеристика сигналов.
Сигнал – это изменяющаяся физическая величина, обеспечивающая передачу
информации по линии связи.
Сигналы делятся на:
1) Детерминированные – это сигналы в любые моменты времени, их
значения являются известными величинами.
2) Случайные – это сигнал, значение которого в любой момент времени
случайные величины.
Деление сигналов – условное. Так как детерминированных сигналов в точном
их понимании в природе нет и любой реальный сигнал – случаен в силу
воздействия на него многочисленных случайных факторов. Поэтому выводы,
полученные в результате детерминированных сигналов, могут быть использованы
для анализа случайных сигналов. Сигналы могут иметь как дискретный так и
непрерывный характер.
Дискретные сигналы могут представляться в виде отдельных простейших
элементов – посылок или совокупность посылок. Такими элементами могут быть:
однополярные импульсы напряжения и тока,
синусоидально изменяется напряжение и ток определенной длительности,
периодическая последовательность импульсов напряжения и тока
определенной длительности,
пауза (отсутствие тока и напряжения).
Для однополярных импульсов качественными признаками являются:
величина, длительность, временное положение импульсов.
Для гармонических импульсов качественными признаками являются
следующие: амплитуда, частота и фаза колебаний, длительность и временное
положение посылки.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 8 из 111
Для периодической последовательности импульсов качественные признаки
следующие: амплитуда, длительность, полярность, частота следования, фаза
импульса, длительность и временное положение посылки.
В случае представления сигналов в виде совокупности элементарных
посылок, отдельным сообщениям соответствует определенная комбинация
посылок – кодовая комбинация. При этом должны быть приняты меры для
разделения посылок в комбинациях различают следующие способы разделения
посылок:
Таблица 2.
1) Полярное разделение, при котором
посылки следуют в различной полярности
друг за другом.
2) Амплитудное
посылки имеют
амплитуд
разделение.
различные
Смежные
величины
3) Фазовое разделение, используемое для
посылок в виде синусоидальных колебаний.
При этом смежные посылки различаются
фазой колебаний, обычно 1800
4) Временное разделение, при котором
посылки разделены друг от друга
временным интервалом.
5) Частное разделение – смежные посылки
имеют различные частоты.
6) Простое разделение, при котором
посылки сигнала передаются одновременно
по разным каналам связи.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 9 из 111
В зависимости от метода анализа информационных систем, применяются
следующие способы представления сигналов:
1. Представление сигнала в виде некоторой функции времени X(t)
2. Представление сигнала в операторной форме X(p).
3. Представление сигнала в виде некоторой функции частоты X(ω).
При анализе процесса прохождения произвольного, детерминированного
прохождения сигнала через линейную систему, его представления в виде
выбранной совокупности элементарных сигналов. К элементарным сигналам
относят единичный импульс, единичную функцию, синусоидальное воздействие.
Единичный импульс или  функция, определяется:
0, приt   

00, приt   
 (t   )  
t
  (t   )dt  1(t   )
0<  <1 где
 (t   ) дельта
функция t-время
 - момент
0
воздействия импульса 1(t-  ) – единичная функция.
Единичный импульс – это идеализированный сигнал, характеризуемый
бесконечно малой длительностью, бесконечно большим уровнем и площадью,
равной единице.
Свойство единичной функции определяется соотношением:
0, приt   

1, приt   
 (t   )  
Синусоидальные элементарные сигналы
пропускной способности и селективности систем.
используются
при
анализе
2) Частное представление детерминированных систем
В частном виде могут представляться как периодические, так и не
периодические сигналы, т.е. единичные.
Периодические сигналы: рассмотренный сигнал, выраженный в производной
периодической функции времени. Всякая периодическая функция удовлетворяет
условиям Дирихле (т.е кусочно непрерывна, и имеющая конечное число
экстремумов) может быть представлена в виде суммы гармонических
составляющих сигнала рядом Фурье.
Тригонометрическая функция разложения


1
Ak cos( k
Ao +
x(t ) 
2
K 1
 k ) (1)
где ½ Ао – постоянная составляющая функции x(t)
Ak,  0 ,  a - Амплитуда, фаза и частота k – ой составляющей.
Где  0 
2
- Частота первой гармоники, T – период
T
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 10 из 111
Совокупность амплитуд и соответствующих частот гармоники называется
спектром амплитуд. Совокупность начальных фаз, т.е.  и соответствующих
частот гармоники называется спектром фаз.
Спектр амплитуд и спектр фаз однозначно определяют сигнал.
Спектр амплитуд
спектр фаз
Рисунок 1
Отдельные спектральные составляющие в графическом изображении
называются
спектральными
линиями.
Расстояние
между отдельными
спектральными линиями одинаковое, и равно частоте основной гармоники.
В математическом отношении удобно оперировать комплексной формой ряда
Фурье.

X(t)=u(t)=1/2
A(jk  0 ) =
t2
2
u (t )e jk 0t dt
T t1
 A(k )e
k 1
0
jk 0
(1.1)
- комплексный спектр, где функция A(jk  0 ) -
называется комплексным спектром.
Запишем этот комплексный спектр в другом виде:
A ( jk0 ) - называют комплексным спектром.
Т.к. A и  неравны нулю только при целых k,, то спектры являются
дискретными. Выразим комплексный спектр A(jk  0 ) в виде действительной
мнимой части, используя формулу Эйлера.
e jt  cos t  j sin t - (1.2)
Спектр амплитуд будет равен A 
спектр фаз   arctg Bk/Ak.
Ak2  Bk2 ,
t2
При k=0 получаем постоянную составляющую A0  2 / T  u (t )dt
t1
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 11 из 111
Рассмотрим спектры периодических сигналов при различных видах
модуляции:
1. Амплитудно-модулированный гармонический сигнал.
x(t )  A(t ) sin( t  0 )
При амплитудной модуляции амплитуда изменяется по следующему закону:
A(t )  A0  Af (t ) , где A0 - постоянная составляющая амплитуд.
A - наибольшее изменение амплитуды модуляции, f(t) – нормированная
функция.
Частота модулирующего напряжения определяет скорость мгновенного
изменения девиации. Частотно-модулированный сигнал можно передать в
следующей форме:
t
t
0
0
x(t )  A0 sin  (t )  A0 sin[   (t )dt   0 ] A0 sin[  0 t   0 t   0 m  f (t )dt   0 ]
где  (t ) -текущая фаза гармонического сигнала.
 0 -начальная фаза гармонического сигнала.
Когда модуляция частоты изменяющаяся по гармоническому закону,
частотно-модулированный сигнал будет представлен в следующем виде:
t
x(t )  A0 sin[  0 t   0 m  cos t  0 ]  A0 sin(  0t   sin t )
0



- индекс частотной модуляции.
Сигнал такого вида представляется следующей формулой:

x(t )  A0 [ J 0 (  ) sin  0 t   J k (  )[sin(  0  k)t  (1) k sin(  0  k)t ]
k 1
где J 0 (  ) - функция Бесселя нулевого порядка.
Ju (  ) - функция Бесселя K-того порядка.
Спектр амплитуд модулированного по частоте сигнала Ak ( )
Будет иметь следующий вид:
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 12 из 111
Рисунок 2
Дискретный спектр состоит из колебаний несущей частоты  0 и
бесконечного количества верхних и нижних боковых составляющих  0  k .
Распределение амплитуд гармонических составляющих зависит от индекса
частотной модуляции  . При малом индексе частотной модуляции, т.е.
когда   0 , спектр не отличается от спектра амплитудной модуляции сигнала, т.е.
состоит из 3 гармоник.
3. Фазомодулированный гармонический сигнал представляется
выражением следующего вида:
x(t )  A0 sin[  t   (t )]
Фаза гармонического сигнала  (t ) изменяется по следующему закону:
 (t )  0 [t  mf (t ) (8)

, m - глубина фазовой модуляции или коэффициент фазовой
0
модуляции.  - наибольшее изменение фазы при модуляции. Сигнал с фазовой
m 
модуляцией будет определяться выражением:
x(t )  A0 sin[  0 t 0   0 mf (t )   0 ] (9)
Для гармонически модулированного сигнала:
 (t )   0 t   0 m cos t   0 (10)
Фазомодулированные колебания запишутся следующим образом:
x(t )  A0 sin[  0 t   0 m cos t   0 ] (11)
Мгновенное значение частоты:
d (t )
 (t ) 
  0   sin t   0    sin t
dt
 b   - девиация (изменение) частоты фазомодулированного сигнала.
По внешнему виду сигнала нельзя заключить, как модулирован сигнал, по частоте
или по фазе, т.е. принципиального различия между ними нет.
Вопросы для самоконтроля
1. В чем относительность сигнала и помехи?
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 13 из 111
2. Охарактеризуйте основной метод исследования сигналов.
3. Что понимают под детерминированным сигналом?
4. Назовите различные формы представления моделей сигналов.
5. В чем сущность спектрального представления сигналов?
6. Запишите условия ортогональности и ортонормированности системы
функций.
7. Назовите преимущества частотного представления сигналов
Лекция №3. Спектральная плотность детерминированного сигнала
Спектры периодических сигналов. Спектры непериодических сигналов.
Энергия спектра. Практическая ширина спектра сигнала
Временная форма представления сигнала
Называют такое разложение, в котором в качестве базиса используются
единичные импульсные функции – дельта - функции:
приt  0
0приt  0
 (t )  
(3.1)

  (t )dt  1 , где  (t ) отличается от нуля в начале координат.

приt  1
0приt  1
 (t  1 )  

  (t   )dt  1
(3.2)

Импульс бесконечно малой длительности и бесконечно большой величины.
С помощью (1 – 10) можно выразить значение реального U (t ) в конкретный
момент времени 1 .

U ( 1 )   U (t ) (t   1 )dt
(3.3)





U (t )   U ( ) (  t )d   U ( ) (t   )d
(3.4)
Установив реакцию на элементарный входной сигнал в виде дельта –
функции (импульсная переходная функция) можно легко определить реакцию
системы на произвольный входной сигнал как суперпозицию реакций на
бесконечную последовательность смещенных дельта – импульсов с «площадями»,
равными соответствующим значениям входного сигнала.
С помощью дельта – функции можно представить периодическую
последовательность идеализированных импульсов с постоянными или
меняющимися уровнями U n (t ) - функция, равная U (kt ) в точках t  kt и нулю в
остальных.
U n (t ) 

U (t ) (t  kt )
k  
t - период следования импульсов.
(3.5)
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 14 из 111
Частотная форма представления сигнала
Рассмотрим, какие функции нужно выбирать в качестве базисных при
анализе инвариантных по времени линейных системах.
Решения всегда содержат комплексные экспоненциальные функции времени.
Инвариантные линейные системы не изменяют характера сигналов,
представленных экспоненциальными функциями времени.
(Инвариантность класса экспоненциальных функций относительно операций
дифференцирования и интегрирования)
Представление сигналов с применением базисных функций e pt :
как при p   j (преобразование Фурье)
так и p  s  j (преобразование Лапласа).
Использование экспоненциальных базисных функций в преобразовании
Фурье комплексно-сопряженными парами (с   ) позволяет в соответствии с
формулой Эйлера
e j
2
e
 j
2
 cos t
(3.6)
представить сложный детерминированный сигнал в виде суммы гармонических
составляющих.  - в этом случае имеет смысл круговой частоты, форма
представления называется частотной.
Разложение сигнала с применением гармонических базисных функций –
основа классической спектральной теории сигналов.
Спектры периодических сигналов (представляем вместо реального)
ММ – периодическая функция времени. Далее рассматривается
представление таких функций как в виде суммы экспоненциальных составляющих,
так и с преобразованием их в гармонические.
Пусть функция U (t ) , заданная в интервале t1  t  t 2 и удовлетворяющая
условию Дирихле
U (t 0 )  0,5U (t 0  0)  U (t 0  0)
В любом конечном интервале функция должна быть непрерывна или иметь
конечное число точек разрыва первого рода, а также конечное число
экстремальных точек. В точках разрыва t 0 функция U (t ) повторяется с периодом
T  2 / 1  t 2  t1 на протяжении времени от   до   .
Если в качестве базисных функций - экспоненциальные, то (1.5) запишется
U (t ) 
1 
A( jk 1 )e jk1t

2 k  
(3.7)
t
2 2
A( jk1 )   U (t )e  jk1t dt
T t1
(3.8)
(3.7) – ряд Фурье в комплексной форме.
(3.8) – называется комплексным спектром периодического сигнала U (t ) .
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 15 из 111
Спектр дискретный, так как A( jk1 ) определена на числовой оси для целых
значений k . A( jk1 ) для конкретных k называется комплексной амплитудой.
Огибающая комплексного спектра A( j ) имеет вид:
t
2 2
A( j )   U (t )e  jt dt
T t1
(3.9)
Запишем комплексный спектр в форме
A( jk )  A(k1 )e  j ( k1 )
(3.10)
A(k1 ) - спектр амплитуд;
 (k1 ) - спектр фаз.
Если известны спектр амплитуд и спектр фаз, то он восстанавливается
однозначно. Воспользуемся формулой Эйлера
e  jkt  cos kt  j sin kt
выразим A( jk1 ) в виде действительной и мнимой части
t
t2

2 2
A( jk1 )    U (t ) cos k1tdt  j  U (t ) sin k1tdt   Ak  jBk
T  t1

t1
(3.11)
Спектр амплитуд A(k1 )  Ak 2  Bk 2 является четной функцией k , т.е.
A(k1 )  A(k1 )
(3.12)
Ak и Bk имеют противоположную четность, спектр фаз
 (k1 )  arctg
Bk
- функция нечетная
Ak
 (k1 )   (k1 )
(3.13)
при k  0 получаем постоянную составляющую
t
A0 1 2

U (t )dt
2 T t1
(3.14)
Переход от 2-х к 1 ст. (3.6)
(*) Ряд Фурье в тригонометрической форме
U (t ) 


A0
 0,5 A( jk1 )e jk1t  A( jk1 )e  jk1t
2
k 1

(3.15)
Учитывая (3.7) и (3.8)
U (t ) 
или


A0
 0,5 A(k1 )e  j ( k1 ) e jk1t  A(k1 )e j ( k1 ) e  jk1t
2
k 1
A0
e j k 1t  ( k1 )   e  j k1t  
U (t ) 
  A(k1 )(
2
2

УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 16 из 111
Обозначим  (k1 ) , при  k получим из формулы Эйлера
U (t ) 

A0
  ( Ak cos k 1t  Bk sin k 1t )
2 k 1
(3.16)
U (t ) 
A0 
  A(k1 ) cos( k1t )   k )
2 k 1
(3.17) (*)
Отдельные составляющие в представлениях (3.12) и (3.13) называются
гармониками.
Как спектр амплитуд, так и спектр фаз периодического сигнала удобно
представлять спектральными диаграммами. На диаграмме каждой гармонике
ставится в соответствие вертикальный отрезок, длина  амплитуде, расположение
на оси абсцисс  (Линейный спектр).
Пример 1.
Определить спектры амплитуд и фаз периодической последователь-ности
прямоугольных импульсов длительностью  и амплитудой U 0 , следующих с
частотой  1 
2
T
U
U (t )   0
0
при t1  t  t 2  t1  
при t 2  t  t 3  t1  T
В соответствии с A( jk )  A(k1 )e  j ( k )
1
2
A( jk1 ) 
T
или
A( jk1 ) 
 jk1t
t1 
U e
0
t1

2U 0 e  j1t1  e  jk1 (t  )
dt 
T 2 j (k1 / 2)

2U 0 sin( k1 / 2)  jk1 (t1  / 2)
e
T
k1 / 2
(3.18)
Амплитуды гармоник, включая постоянную составляющую A0 / 2 , определим
из выражения
A(k1) 
при k=0,1,2
Огибающая
2U 0 sin( k1t / 2)
T
k1 / 2
(3.19)
2U 0  sin(  / 2) 
T   / 2 
A0  2U 0 / T (*)
A( ) 
(3.20)
при   0,
Характер изменения амплитуд диктуется функцией sin x / x и не зависит от
частоты следования импульсов. На частотах, кратных 2 /  , огибающая равна 0.
 4  k1
k
A(k1 )
Составляющие
УМКД 042-18-11.1.20.43/03-2013
0
Редакция № 1
1
0
0
3

5
0
T /   31  2 /(3 ) * - фаза
U0
2
U0

2
U0
3
2
U0
5
Страница | 17 из 111
U (t )  U 0 / 2
2
U 1 (t )  U 0 cos  1t

2
U 3 (t ) 
U 0 cos(3 1t   )
3
2
U 5 (t ) 
U 0 cos 5 1t
5
На основании формулы (3.18) и принимая во внимание, что знаки функции
sin( k1 / 2) на последовательности интервалов частот   2 /  чередуются,
выражение для спектра фаз запишем:
(3.21)
 k  k1 (t1   / 2)  (n  1)
n - номер интервала частот;
  2 /  -отсчет от   0 .
Спектр фаз зависит от выбора начала отсчета. Если передний фронт
прямоугольного импульса ИА – начало отсчета времени, то на каждом интервале
  2 /  фазы возрастают линейно. Диаграмма для случая T /   3, t1  0.
Пример 2.
Вычислить несколько членов ряда Фурье для периодической
последовательности прямоугольных импульсов. Длительность  равна половине
периода T , примем t1  0.
  T / 2, t1  0 ,
A0  2U 0 / T ,
A(k1 ) 
2U 0
T
 k1t / 2 
sin
,
k


/
2
1


 k  k1 (t1   / 2)  (n  1) .
n - номер интервала частот
  2 /  от   0
Распределение энергии в спектре
Рассмотрим распределение энергии сложного периодического сигнала по его
спектральным составляющим. По временной функции U (t ) – электрическое
напряжение на резисторе в 1 ом.
WT , выделяемая на резисторе за время, равное периоду колебаний Т
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
T
Страница | 18 из 111
2
WT   U (t ) dt
(3.22)
0
Используем представление U (t ) в виде ряда Фурье.
2
 1 

Wt     A( jk1 )e jk1t  dt 
2 

0 
T

2 ( k  l ) t
T
j

1   
T
A
(
jk

)
A
(
jl

)
e
 
dt 
1
1

4 0 k   l  


j
1  
   A( jk1 ) A( jl1 )  e
4 k   l  
0
T
2 ( k  l ) t
T

dt 

(3.23)
Определим значение интеграла в (3.23)
T
e
j
2 ( k l ) t
T
T
dt   cos
0
0
2 (k  l )t
2 (k  l )t
sin 2 (k  l )
dt  j  sin
dt  T

T
T
2 (k  l )
0
T
k l  0
0
  при
k  l
T
(3.24)
Так как A( jk1 ) и A( jk1 ) комплексно сопряжены, то
A( jk1 ) A( jk1 )  A(k 1 )
2
(3.25)
С учетом выражений для ряда Фурье

U (t )  A0 / 2   ( Ak cos k 1t  Bk sin k 1t )
k 1
2U 0 sin( k1 / 2)  jk1 (t1  / 2)
A( jk1 ) 
e
T
k1 / 2
Выражение для Wt упрощается
2
2

T 
T  A0
Wt   A(k 1 )  
  A(k 1
4 k  
2  2
k 1
2



(3.26)
Средняя за период энергия сложного периодического сигнала равна сумме
средних энергий, выделяемых каждой гармоникой на резисторе в 1 Ом.
С течением времени выделяемая энергия безгранично растёт, при этом
средняя мощность остаётся постоянной:
Pср 
2
А02 1 
  A(k1 )
4 2 k 1
(3.27)
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 19 из 111
Энергия не зависит от фаз отдельных гармоник, следовательно, будет
сохранять своё значение при изменениях формы сигнала.
ПРАКТИЧЕСКАЯ ШИРИНА СПЕКТРА СИГНАЛА
Практической шириной спектра сигнала называется та полоса частот, в
пределах которой передается подавляющая часть энергии сигнала.
Предположим, что полная энергия сигнала Е0. Для определения практической
ширины спектра надо определить =Е1100%/Е0 - % энергии, который мы хотим
передать по каналу.
Е1 < Е0 - передаваемая энергия сигнала.
Для определения п пользуются уравнением Парсеваля:
п
E1 

2
s( ) d .
0
1. Определяем Е0.
2. Задаемся коэффициентом .
3. Находим п.
Пример.
Определим п спектра одиночного импульса (рис.3).
x(t)
h
0

t

Рисунок 3
Определяем спектральную плотность (рис.4)
s( j ) 

 x(t )e

 jt
 /2
dt 
 he
 /2
 jt
e  jt
h  jt  / 2
dt  h 
d (  j )  
e



/
2

j

j

 / 2
 /2
sin  / 2
2h e j / 2  e  j / 2 2h


sin  / 2  h
.

2j

 / 2
Для передачи 90 % энергии одиночного импульса целесообразно выбрать
п=2/. Следовательно, чем меньше  , тем больше надо п.
УМКД 042-18-11.1.20.43/03-2013
S(j 
Редакция № 1
Страница | 20 из 111
 100%E 1/E 0
S 
100%
S 
90%








Рисунок 4
Вопросы для самоконтроля
1 Дайте определение спектру амплитуд и спектру фаз.
2. В чем различие спектров периодического и непериодического сигналов?
3. Дайте определение практической ширины спектра периодического и
непериодического сигналов.
4. Как связаны между собой длительность сигнала и ширина его
спектра?
5. Каковы причины использования случайного процесса в качестве
модели сигнала?
6. Назовите разновидности случайных функций времени.
7. В чем трудности точного математического описания случайного
процесса?
8.
Как
определить
математическое
описание,
дисперсию
и
корреляционную функцию случайного процесса?
Лекция №4. Энтропия как мера неопределенности информации.
Свойства энтропии. Условная энтропия и ее свойства.
Предположим, что источник сообщений может в каждый момент времени
случайным образом принять одно из конечного множества возможных состояний.
Такой источник называют дискретным источником сообщений. При этом принято
говорить, что различные состояния реализуются вследствие выбора их источника.
Каждому состоянию источника U ставиться в соответствие условное обозначение в
виде знака. Совокупность знаков u1, u2,:,ui,:,uN соответствующих всем N
возможным состояниям источника называют его алфавитом, а количество
состояний N объемом алфавита. Формирование таким источником сообщений
сводиться к выбору им некоторого состояния ui и выдачи соответствующего знака.
Таким образом, под элементарным дискретным сообщением будем понимать
символ ui выдаваемое источником, при этом в течение некоторого времени Т
источник может выдать дискретное сообщение в виде последовательности
элементарных дискретных сообщений, представляющей сбой набор символов ui
(например, u5, u1, u3) каждый из которых имеет длительность ti секунд. В общем
случае необязательно одинаковую для различных i. Такая модель источника
сообщений соответствует реальной ситуации имеющей место в телеграфии и
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 21 из 111
передаче данных (ti=const). Отдельные состояния источника могут выбираться им
чаще, другие реже. Поэтому в общем случае он храниться дискретным ансамблем
U т.е. полной совокупностью состояний с вероятностями их появления,
составляющими в сумме 1.
,
(4.1),
где P(ui) это вероятность выбора источником состояния u i. При выдаче
источником сообщений в виде последовательности элементарных дискретных
сообщений, полным вероятностным описанием является вероятность совместного
появления набора различных символов ui в момент t1, t2,...,tn, где n - длина
последовательности
.
Располагая такими сведениями об источнике можно вычислить вероятность
любого отрезка сообщения длиной меньше n. Если функция
не меняется
во времени, если она
при любых τ, то источник называется
стационарным.
Если
при
определении
вероятностных
характеристик
стационарного источника усреднение по ансамблю можно заменить усреднением
по времени, то такой источник называется эргодическим. Вероятностные свойства
эргодического источника можно оценить, рассматривая лишь одну его достаточно
длинную реализацию. В каждом элементарном сообщении содержится для его
получателя определенная информация, совокупность сведений о состоянии
дискретного источника сообщения. Определяя количественную меру этой
информации, мы совершенно не будем учитывать ее смысловое содержание, так же
ее значени для конкретного получателя. Очевидно, что при отсутствии сведений о
состоянии источника имеется неопределенность относительно того, какое
сообщение ui из числа возможных им выбрано, а при наличии этих сведений
данная неопределенность полностью исчезает. Естественно количество
информации содержащейся в дискретном сообщении измерять величиной
исчезнувшей неопределенности. Введем меру этой неопределенности, которую
можно рассматривать и как меру количественной информации. Мера должна
удовлетворять ряды естественных условий, одним из них является необходимость
ее монотонного возрастания с увеличением возможности выбора, т.е. объема
алфавита источника N. Кроме того, желательно, чтобы вводимая мера обладала
свойством аддитивности заключающееся в следующем: если 2 независимых
источника с объемами алфавита N и M рассматривать как один источник,
одновременно реализующий пары состояний ni и mi, то в соответствии с
принципом аддитивности полагают, что неопределенность объединенного
источника равна сумме неопределенностей исходных источников. Поскольку
объемы алфавита объединенного источника =N · M, то искомая функция при
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 22 из 111
равной вероятности состояний источников должна удовлетворять условию
f(N·M)=f(N)+f(M). Можно математически строго показать, что единственной
функцией, при перемножении аргументов которой значение функций
складываются, является логарифмическая функция. Поэтому перечисленные
требования выполняются, если в качестве меры неопределенности источника с
равновероятными состояниями и характеризующего его ансамбля U принять
логарифм объема алфавита источника
(4.2)
Легко видеть, что:
а) с ростом N величина H(U) монотонно возрастает;
б) в случае если, объем алфавита источника N равен 1, т.е. когда
неопределенность отсутствует,то
;
в) величина H(U) обладает свойством аддитивности, поскольку
.
Впервые данная мера была предложена Хартли в 1928г. Основание
логарифма в (9.2) не имеет принципиального значения и определяет только
масштаб или единицу количества информации. Чаще всего в качестве основания
используют число 2, при этом единица количества информации называется
двоичной единицей или битом, и представляет собой информацию, содержащуюся
в одном дискретном сообщении источника равновероятных сообщений с объемом
алфавита равным двум. При выборе в (9.2) основания логарифма равным 10
получаем десятичную единицу называемую дитом. Иногда используют
натуральную единицу количества информации называемую натом, при этом
основание
логарифма
в
(9.1)
равно
е=2,7.
Рассматриваемая мера количества информации может иметь лишь
ограниченное применение, поскольку предполагает равную вероятность выбора
источником любого из возможных его состояний. В более общем случае, когда
вероятности различных состояний источника не одинаковы, степень
неопределенности конкретного состояния зависит не только от объема алфавита
источника, но и от вероятности этого состояния. В такой ситуации количество
информации, содержащееся в одном дискретном сообщении uk целесообразно
определить как функцию вероятности появления этого сообщения P(uk) и
характеризовать величиной
(4.3)
Основание логарифма в (9.3) выбирается из тех же соображений что и в (9.2).
Знак минус в первом равенстве (9.3) необходим для того, чтобы количество
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 23 из 111
информации
было неотрицательным числом, т.к. всегда
. Очевидно
что, так же как и мера H(U) определяемая (9.2) величина
обладает свойством
аддитивности. И в случае достоверного сообщения, когда
,
.
Однако, теперь количество информации, содержащееся в дискретном сообщении,
зависит от степени неожиданности этого сообщения, характеризуемой
вероятностью его появления. Количество информации в сообщении тем больше,
чем оно более неожиданно. Если источник выдает последовательность зависимых
между собой элементарных сообщений, то наличие предшествующих сообщений
может изменить вероятность последующего, а, следовательно, и количество
информации в нем. Оно должно определяться по условной вероятности
выдачи сообщений при известных предшествующих сообщений
, тогда количество информации
.
(4.4)
Определения (9.3) и (9.4) количества информации являются случайной величиной,
поскольку сами сообщения являются случайными. Его распределение вероятностей
определяется распределением вероятностей сообщений в данном ансамбле для
цифровой характеристики всего ансамбля или источника сообщения используется
математическое ожидание количества информации в отдельных сообщениях
называемых энтропией
.
(4.5)
Чем больше энтропия источника, тем больше степень неожиданности
выдаваемых им сообщений в среднем, т.е. тем более неопределенным является
ожидание сообщений. Впервые мера (9.5) была предложена Клодом Шенноном в
его фундаментальной работе "Математические основы теории связи"
опубликованной в 1948г, в которой были заложены основы современной теории
информации. Предполагающая мера была названа энтропией не случайно. Дело в
том, что вид формулы (9.5) совпадает с полученным ранее результатом Больцмана,
выражением для энтропии термодинамической системы. Рассмотрим взаимосвязь
меры Шеннона с мерой Хартли, если в источнике может быть реализовано h
равновероятных состояний, то вероятность каждого из них
. С учетом этого
меру неопределенности источника Хартли
можно
трактовать, как количество информации, приходящей на одно дискретное
сообщение (поскольку все сообщения источника равновероятные количества
информации в каждом из них равны). В тоже время энтропия по Шеннону –это
среднее количество информации, содержащееся в одном из не- равновероятных
состояний. Она позволяет учесть статистические свойства источника информации.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 24 из 111
Условная энтропия и взаимная информация
Определенная равенством (9.5) энтропия характеризует информационные
свойства одного дискретного источника или ансамбля. Однако, в технике связи
очень часто представляет интерес выявление количества информации
содержащегося в одном ансамбле сообщений u с объемом алфавита N,
относительно другого, в общем случае зависящего от него ансамбля Z, с объемом
алфавита M. В качестве U и Z можно рассматривать, например ансамбль
сообщений U и сигналов Z, с помощью которых передают сообщения Z. Для
определения такой информационной характеристики введем понятие условной
энтропии, которое будем обозначать H(U/Z), определяющей среднее количество
информации, даваемое сообщением ансамбля U при условии, что сообщение
ансамбля Z уже известно. Если оба ансамбля имеют независимые элементы, то
мера неопределенности H(U/Z) находится усреднением по всем значениям Zj
средней неопределенности элементов ансамбля H(U/Zj) при данном Zj. Последнее
находится аналогично энтропии H(u) заменой безусловных вероятностей P(Uk)
(появление сообщения Uk) на условные вероятности появления Uk при условии Zj
P(Uk/Zj).
.
(4.6)
По теореме умножения вероятности имеем
,
(4.7)
где
- вероятность совместного появления сообщений uk и zj.
С учетом выражения (10.7), выражение (10.6) можно переписать в виде
.
Возможно также другое представление (10.7) и (10.8)
,
где М{}-символ математического
удовлетворяет неравенству
,
ожидания.
(4.8)
(4.9)
Условная
энтропия
(4.10)
причем
, когда по реализации ансамбля Z можно точно установить
реализацию ансамбля U (канал без помех).
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 25 из 111
, когда ансамбли U и Z независимы и знание реализации Z
ничего не говорит о реализации U. В общем случае
и знание
реализации Z снижает первоначальную неопределенность U. На основании этого
можно ввести информационную характеристику двух ансамблей U и Z,
называемую взаимной информацией между U и Z или количеством информации,
содержащимся в Z относительно U, которая определяется, как
.
(4.11)
Взаимная информация измеряется в тех же единицах что и энтропия,
например, в битах. Величина
показывает, сколько в среднем бит информации
о реализации ансамбля u дает наблюдение о реализации ансамбля z. Подставляя
(9.5) и (10.8) в (10.11) имеем
.
Учитывая, что
, последнее выражение можно записать
.
(4.12)
Взаимная информация обладает следующими свойствами:
а)
(10.13), причем равенство имеет место только в том случае, когда
u и z независимы между собой. Это следует из определения (4.11) и неравенства
(4.10);
б)
(10.14), т.е z содержит столько же информации относительно
u, сколько u содержит относительно z, это свойство вытекает из симметрии (4.11).
Поэтому можно так же записать
(4.15).
в)
реализации
z
можно
г) Полагая в (4.11)
(4.16), (4.17). Причем равенство имеет место, когда по
точно восстановить реализацию u или наоборот.
и учитывая, что
, получаем
.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 26 из 111
Это позволяет интерпретировать энтропию источника как его собственную
информацию
ансамбля
U
о
самом
себе.
Пусть U ансамбль дискретных сообщений, а Z ансамбль дискретных сигналов, в
которые преобразуется сообщение U, тогда
только в том случае, когда
преобразование U в Z обратимо, т.е. однозначно. При необратимом преобразовании
и разность
называют потерей информации или
ненадежностью
преобразования
U
в
Z.
Таким образом, информация не теряется только при обратимых преобразованиях,
величина
называется энтропией шума преобразования или
ложной информацией, создаваемой при образовании.
Вопросы для самоконтроля
1 Какова особенность определения энтропии непрерывного источника
информации?
2 Дайте определение дифференциальной энтропии и сформулируйте ее
основные свойства.
3.
Какие распределения обладают максимальной дифференциальной
энтропией:
4 при ограничении на диапазон изменения случайной величины?
5 при ограничении на дисперсию случайной величины
6. В чем сущность эпсилон - энтропии случайной величины?
7.
Охарактеризуйте
среднеквадратический
критерий
верности
воспроизведения
Лекция №5. Методы дискретизации посредством выборок. Равномерная
дискретизация. Теорема Котельникова. Теоретические и практические
аспекты применения теоремы Котельникова
При выполнении условия
ωd ≥2 ωm
(5.1)
слагаемые спектры дискретизированного сигнала либо не соприкасаются, либо
примыкают друг к другу, но не перекрываются. Перекрытие слагаемых спектров
происходит лишь в том случае, когда условие (5.1) не выполняется и ωd <2 ωm.
Очевидно, что при выполнении (5.1), используя идеальный фильтр низких частот с
частотной характеристикой вида
(5.2),
где C=const>0, и полагая ωгр=ωm можно по дискретизированному сигналу точно
восстановить спектр X(jw) функции x(t), а, следовательно, и саму эту функцию,
отфильтровав все боковые спектры
. Математически это
УМКД 042-18-11.1.20.43/03-2013
преобразование
Редакция № 1
описывается
Страница | 27 из 111
следующим
образом:
(5.3)
где X*(jw) - спектр сигнала на выходе восстанавливающего фильтра.
Равенство
, получающееся при
означает, что
где
- сигнал на выходе фильтра, так как одна и та же спектральная
плотность не может соответствовать двум различным временным функциям.
Графическая иллюстрация восстановления показана на рисунке 5.1
Из условия
т.е.
уточним коэффициент передачи фильтра: так как
, то
,
(5.4).
Если неравенство (5.1) не выполняется, то из-за взаимного перекрытия
слагаемых Х[j(w-nw0)] происходит изменение формы спектра ХΔ(jw) и точное
восстановление Х(jw), а следовательно и x(t) невозможно. Таким образом, при
выполнении неравенства (5.1) процесс с дискретным временем xd(t), являющийся
результатом дискретизации непрерывного процесса х(t), теоретически содержит
всю информацию о всех значениях непрерывного процесса х(t).
Рисунок 5.1
Данное утверждение и составляет основное содержание теоремы
Котельникова, которая обычно формируется так: непрерывная функция времени,
не содержащая в своем спектре частот свыше wm, полностью определяется
последовательностью своих дискретных отсчетов x(k• Δt), следующих с
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 28 из 111
частотой
. Проведенные рассуждения составляют один из
возможных вариантов доказательства этой теоремы.
5.2 Оценка ошибок дискретизации
Рисунок 5.2
Рассуждения, которые привели нас к теореме Котельникова, построены на
основе трех чисто математических абстракций:
1) Понятия функции с ограниченным спектром (как упрощенной модели
реальных сигналов);
2) Понятия идеального фильтра нижних частот;
3) Понятия процесса с дискретным временем (как предельного случая AИM колебания с импульсами нулевой длительности).
В действительности ни одно из этих предложений не выполняется, что
обуславливает возникающие за счет этого погрешности.
5.3 Оценка ошибок квантования
Будем рассматривать квантование с равномерным шагом Δx=const, т.е.
равномерное квантование. Как было отмечено в процессе квантования неизбежно
возникает ошибка квантования ε. Последовательность ошибок квантования ε(k•Δt),
возникающая при квантовании процесса с дискретным временем, называется
шумом квантования. Обычно шум квантования предполагают стационарным
эргодическим
случайным
процессом.
Чаще всего интерес представляют максимальное значение ошибки квантования, ее
среднее значение e, равное математическому ожиданию шума и
среднеквадратическое отклонение se, равное квадратному корню из дисперсии
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 29 из 111
шума (она характеризует мощность шума квантования). Все эти величины зависят
от способа округления, применяемого при квантовании, кроме того и se зависят
от закона распределения w(ε) мгновенных значений сигнала в пределах шага
квантования.
Считая шаг квантования Δx малым по сравнению с диапазоном изменения сигнала,
плотность w(x) в пределах этого шага можно принять равномерной,
т.е.
.
Различают квантование с округлением, с усечением и с усечением модуля.
При квантовании с округлением истинному значению отсчета приписывает
ближайший разрешенный уровень квантования независимо от того, находится он
сверху или снизу. Очевидно, что при этом
εmax=0.5•Δx,
(5.5)
Квантование с округлением требует определенной сложности в реализации.
Проще выполняется квантование с усечением, при котором истинному значению
отсчета приписывается ближайший нижний уровень. При этом
εmax=Δx,
т.е. максимальное значение погрешности в 2 раза больше, а
, что приводит к
накоплению погрешности квантования при дальнейшей обработке квантованной
последовательности. Промежуточное положение по точности и сложности
реализации занимает квантование с усечением модуля, которое для положительных
отсчетов является таким же, как и квантование с усечением. Отрицательным
отсчетам
приписывается
ближайший
верхний
уровень.
При
этом
то есть накопление погрешностей не
происходит, но в 2 раза увеличивается максимальная погрешность, и в 2 раза -
УМКД 042-18-11.1.20.43/03-2013
мощность шума квантования
квантования
N,
Редакция № 1
Страница | 30 из 111
. Выбирая достаточно большее число уровней
шаг
квантования.
, и следовательно, все рассмотренные погрешности можно
сделать необходимо малыми. При неравномерном законе распределения
мгновенных значений сигнала квантования с постоянным шагом
не является
оптимальным по критерию минимума среднеквадратической ошибки
. Квантуя
участки с менее вероятными значениями сигнала с большим шагом значение
можно уменьшить, при этом же количестве уровней квантования.
Вопросы или тесты для самоконтроля
1. В чем сущность процессов дискретизации и квантования?
2. Охарактеризуйте преимущества дискретной и цифровой передач
информации.
3. Сформулируйте общую постановку задачи дискретизации.
4. Каковы основные методы получения координат сигнала?
5.
Сравните
интерполяционные
и
экстраполяционные
способы
восстановления сигнала.
6. Что понимают под среднеквадратическим критерием восстановления
сигнала?
7. Сформулируйте теорему Котельникова
Лекция №6. Квантование сигналов. Шум квантования. Квантование
сигналов при наличии помех. Уровни квантования
6.1 Непрерывные сообщения. Квантование и дискретизация
В данном разделе мы будем рассматривать источники непрерывных
сообщений, которые в каждый момент времени могут случайным образом принять
одно из бесконечного множества возможных состояний. Под непрерывным
сообщением будем понимать непрерывную случайную величину, однозначно
соответствующую состоянию источника. Вероятностное описание такого
сообщения задается его плотностью распределения. В зависимости от характера
изменения во времени переменные сообщения могут представлять собой либо
непрерывные случайные процессы, либо процессы с дискретным временем, подругому называемые случайными. Возможны два подхода к организации передачи
непрерывных сообщений по каналам связи:
1) преобразование непрерывных сообщений в дискретные и передача их по
дискретным каналам;
2) передача по непрерывным каналам.
Рассмотрим вначале непрерывное сообщение, представляющее собой
процесс X(kΔt) с дискретным временем, т.е. совокупность отсчетов непрерывной
случайной величины Х. Одна из возможных реализаций такого процесса
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 31 из 111
представлена на рисунке 6.1. Предположим, что все возможные (или по крайней
мере наиболее вероятные) значения отсчетов процесса сосредоточены в диапазоне
от xmin до xmax. Разобьем весь этот диапазон на конечное число
(6.1)
интервалов
и границы этих интервалов хк-1, хк, хк+1 и т.д., будем считать
разрешенными значениями уровней отсчетов процесса. При этом число
разрешенных уровней
Ny=N-1.
(6.2)
Рисунок 6.1
Процедура округления истинного значения отсчета до значения ближайшего
разрешенного уровня называется квантованием или дискретизацией по значению
(уровню) (округленные значения сигнала на рисунке показаны кружочками).
Очевидно, что после осуществления операции квантования непрерывная случайная
величина Х превращается в дискретную, т.е. имеющую конечное число возможных
значений, а непрерывное сообщение - в последовательность элементарных
дискретных сообщений источника с объемом алфавита Nу. Из определения
операции квантования следует, что ей присуща неизбежная потеря информации,
обусловленная наличием погрешности квантования
. Значение
погрешности ( следовательно, и количество теряемой из-за нее информации) может
быть сделано необходимо малым путем выбора достаточного количества Nу
(вследствие
соответствующего
уменьшения
шага
квантования
).
Другой тип непрерывных сообщений, описываемый процессами с
непрерывным временем. Реализация такого процесса x(t) показана на рисунке 6.2
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 32 из 111
Рисунок 6.2
Дискретизация-замена всей совокупности значений процесса отдельными его
мгновенными значениями, выбранными в определенные "разрешенные" моменты
времени
. Ввиду особой важности процедуры дискретизации для процессов
передачи и преобразования непрерывных сообщений рассмотрим ее более
подробно.
6.2 Амплитудно-импульсно-модулированный сигнал( АИМ ) - сигнал и
его спектр
Практическая реализация процесса дискретизации может быть осуществлена
с помощью упрощенной схемы, показанной на рисунке 6.3 а),
временные диаграммы, характеризующие ее работу даны на рисунке 6.3.б).
а)
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 33 из 111
б)
Рисунок 6.3
Электронный ключ управляется последовательностью коротких, но имеющих
конечную длительность t, импульсов uу(t), следующих с периодом Δt, равным шагу
дискретизации, т.е. интервалу времени между соседними выбираемыми в процессе
дискретизации значениями сигнала. На время действия импульса ключ замыкается,
и выход схемы оказывается подключенным ко входу. В результате графики
сигналов на входе и выходе схемы будут иметь вид, показанный на рисунке 6.3.б.
Для математического описания рассмотренного процесса введем функцию
(6.3),
описывающую коэффициент передачи данной схемы, изменяющейся во времени. И
функцию K1(t), показанную на рисунке 6.4, описывающую значение
Рисунок 6.4
коэффициента передачи для случая, соответствующего подаче на управляющий
вход ключа не последовательности, а одного управляющего импульса.


 A  0 t  2
K1 (t )  
 0    t  t

2
2
(6.4)
При этом, если начало координат на рисунке (6.3.б) сместить по оси времени в
середину одного из управляющих импульсов, в предположении бесконечного
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 34 из 111
времени работы схемы можно записать:
K (t )  K1 (t}  K1 (t  t )  K1 (t  2t )  ..  K1 (t  t )  K1 (t  2t )  .. 
В итоге с учетом (4.2) и (4.4) выходной сигнал
виде:
~
xд (t )  x(t )  K (t )  x(t ) 

 K (t  j  t ) (6.5)
j  
1
теперь можно представить в

 K (t  jt )
j  
1
(6.6)
Функция
, получаемая в результате реально выполнимой дискретизации
(т.е. при конечной длительности t), называется амплитудно-импульсномодулированным сигналом (сокращенно АИМ-сигналом).
Вопросы для самоконтроля
1. Запишите
выражение
для
среднеквадратической
ошибки
равномерного квантования.
2. Что такое шум квантования?
3. Как рассчитать шаг квантования сигнала при наличии помехи?
4. Какие совокупности координат сигнала используются при его
геометрическом представлении?
5. Запишите соотношения для определения расстояния между концами
векторов, отображающих сигналы в евклидовом и гильбертовом
пространствах
Лекция №7. Модели источника дискретных сообщений. Избыточность.
Производительность источника дискретных сообщений.
ДИСКРЕТНЫЕ ИСТОЧНИКИ СООБЩЕНИЙ И ИХ ОПИСАНИЕ
ЭРГОДИЧЕСКИЕ ИСТОЧНИКИ
Источник будем называть эргодическим, если его вероятностные параметры
можно оценить по одной достаточно длинной реализации, которую он
вырабатывает. При неограниченном возрастании длины реализации (п) оценка
параметра (результат измерения) совпадает с его истинным значением с
вероятностью, равной единице. Например, при бросании игральной кости можно
оценить вероятность выпа-дания какой-либо цифры через относительную частоту
ее появления в достаточно длинной серии испытаний. Указанная серия испытаний
представляет собой ту самую реализацию, по которой осуществляется оценка
вероятности (параметра). Реализации, по которым можно оценить закон
распределения, являются типичными. Поэтому эргодическим источником можно
назвать источник, который вырабатывает типичные последовательности. Типичная
последовательность несет сведения о структуре источника, то есть является
типичной для данного источника. Если два источника различаюгся своей
структурой (значением оцениваемого параметра), то, наблюдая реализацию, можно
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 35 из 111
определить, какому из них она принадлежит. Источник, эргодический по одному
параметру, может оказаться не эргодическим по другому параметру.
ПРОИЗВОДИТЕЛЬНОСТЬ ДИСКРЕТНОГО ИСТОЧНИКА СООБЩЕНИЙ
Кодовое слово, которое вырабатывает источник, будем записывать в виде
x , x ,... x ,..., x , где x  i  ÿ буква
i1
i2
ik
in
iл
k
(символ) алфавита с k порядковым номером в слове. Например, пусть k=5, a i5==3.
Это значит, что пятой буквой в слове является третья буква алфавита. Обозначим
через Хk множество букв (алфавит), из которых выбирается k-ÿ буква
слова. В нашем случае все множества Xk(k=1,n) состоят из одних и тех же тx букв.
Когда не требуется указывать место буквы в слове, i-þ букву алфавита будем
обозначать через xi.
Количество информации, которое в среднем несет отдельное слово, равно
энтропии
H ( X 1 ,..., X n )   p(xi ,... xi ) log p(xi ,... xi ) ,
1
n
1
где суммирование ведется по всему множеству
производительность источника НИ как предел отношения
n
слов.
Определим
количества информации, которое в среднем несет отдельно слово, к числу букв в
слове п при неограниченном возраста нии п:
H И  lim
H ( X 1 ,..., X n )
n
n
(1)
Если буквы в слове статистически независимы (вероятность выбора очередной
буквы не зависит от состава пред шествующих ей букв), то
H ( X 1 ,..., X n )  H ( X 1 )... H ( X k )... H ( X n ),
где
mX
H ( X )    p(x ) log p(x )
k
ik 1
ik
(2)
ik
Источник со статистически независимыми буквами сообщений будет
стационарным, если вероятность выбора 1-й буквы алфавита не зависит от того,
какое место в слове она занимает ( p(x )  p(x )) .
ik
i
В этом случае
H(X1,...,Xn)=nH(x)
н производительность источника (бит/символ)
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
m
Страница | 36 из 111
X
H И  H ( X )    p( xi ) log p( xi ) .
i 1
Часто производительность источника измеряется количеством информации
H ( X ) , которое он вырабатывает за одну секунду (  —количество букв за одну
секунду). Максимальная производительность источника достигается, когда все буквы алфавита появляются с равными вероятностями. В этом случае H  log m .
И
X
МАРКОВСКИЕ ИСТОЧНИКИ СООБЩЕНИЙ
Рассмотренная модель дискретного источника сообщений имеет сравнительно
узкую область применения, поскольку реальные источники вырабатывают слова
при наличии статистической зависимости между буквами. В реальных источниках
вероятность выбора какой-либо очередной буквы зависит от всех предшествующих
букв. Многие реальные источники достаточно хорошо описываются марковскими
моделями источника сообщений. Согласно указанной модели условная вероятность
выбора источником очередной x , буквы зависит
ik
только от  предшествующих. Математической моделью сообщений,
вырабатываемых таким источником, являются цепи Маркова  -ãî порядка. В
рамках указанной модели условная вероятность выбора ik -й буквы
p(xi | xi
k
k 
..., xi
k   1
,..., xi )  p(xi | xi
1
k 1
k
,..., xi
k 
).
Если последнее равенство не зависит от времени, то есть справедливо при любом
значении k, источник называется однородным. Однородный марковский источник
называется стационарным, если безусловная вероятность выбора очередной буквы
не зависит от k ( p(x )  p(x )) . В дальнейшем будем иметь дело только со
ik
i
стационарными источниками. Вычислим производительность
простой цепи Маркова (  =l). В этом случае вероятность
p(xi ,..., xi )  p(xi ) p(xi | xi )... p(xi | xi
1
n
1
2
1
для
).
n 1
n
источника
Прологарифмировав последнее равенство, получим
 log p(xi ... xi )   log p(xi )  log p(xi | xi )... log(xi | xi
1
n
1
2
1
n
n 1
).
Это равенство показывает, что индивидуальное количество информации, которое
несет слово, равно количеству информации, которое неcет первая буква, плюс
количество информации, которое несет вторая буква при условии, что первая буква
уже принята, и т. д.
Усредняя равенство по всем словам, получим количество информации, которое в
среднем несет каждое слово:
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 37 из 111
H ( X 1 ,..., X n )  H ( X 1 )  H ( X 2 | X 1 )... H ( X n | X n1 ) .
Поскольку источник стационарный, то энтропия не зависит от k и равна
H ( X 1 ,..., X n )  H ( X 1 )  (n  1)H ( X k | X k 1 )  nH ( X ) .
Подставляя полученный результат в (6) и учитывая, что всегда H ( X )  log m ,
X
имеем
 H(X ) n  1

H  lim

H ( X | X )  H ( X | X ) .
И
k
k 1 
k
k 1
n 
n
n
В случае марковской цепи  -ãî порядка Hи вычисляется аналогично и равна
НИ=Н(Х  +1|X  ,..., X1).
Таким
образом,
производительность
марковского
источника
равна
неопределенности выбора очередной буквы при УСЛОВИИ, что известны v
предшествующих.
Для производительности
неравенство
марковского
источника
всегда
справедливо
H И  H ( X )  logm X .
Максимального значения, равного logmX, производительность источника достигает,
когда отсутствует статистическая зависимость между буквами в слове и когда все
буквы алфавита вырабатываются с равными вероятностями. Очевидно,
максимальная производительность источника полностью определяется размером
алфавита тX .
Для того чтобы характеризовать, насколько полно использует источник
возможности алфавита, вводится параметр
r
H max ( X )  H И
H max ( X )
называемый и з б ы т о ч н о с т ь ю.
Для передачи заданного количества информации, равного I, требуется п=I/HИ
букв, если производительность источника равна HИ. В случае, когда
производительность источника достигает своего максимального значения, равного
Hmax (X)= =logmX, для передачи того же количества информации I требуется
минимальное количество букв, равное п0=I/Нmax(X).
Отсюда I=пНИ=п0Нmax
или
HИ
H max ( X )

n0
n
. Учитывая последнее равенство,
выражение для. избыточности можно записать в виде
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
r  1
HИ
H max ( X )

Страница | 38 из 111
n  n0
n
.
Таким образом, избыточность показывает, какая часть букв в слове не загружена
информацией.
Вопросы для самоконтроля
1. Какие источники сообщения называются эргодическими.
2. Что такое типичная последовательность знаков.
3. Что такое Марковская модель источника сообщения.
Лекция №8. Модели дискретных каналов связи. Скорость передачи по
дискретному каналу связи. Пропускная способность дискретного канала без
помех. Пропускная способность дискретного канала связи с помехами
Для общего описания канала связи и построения теории информации
используется одна и та же модель. Канал называется д и с к р е т н ы м
(непрерывным), если множества Х и Y дискретны (непрерывны), и п о л у н е п р е
р ы в н ы м , если одно из множеств дискретно, а другое непрерывно. Ниже
рассматриваются только дискретные каналы.
Канал полностью описывается условными вероятностями p( y | x ,..., x )
jk
i1
ik
того, что k-ì принятым символом будет
jk-й символ множества Y (jk=1,my).
Указанную вероятность можно рассматривать как функцию y
jk
и xi ,..., xi ,
k
k
вид которой отражает состояние канала, в частности, характер взаимодействия
помехи и сигнала. Если
p( y j | xi ,..., xi )  p( y j | xi )
k
1
( jk  1, my ,
k
k
k
ik  1, mX ),
то соответствующий канал называется каналом без памяти. Если вероятность
p( y | x ) не зависит от k (от времени), то соответствующий канал называется
jk
ik
стационарным. Ограничимся рассмотрением только стационарных каналов без
памяти. Определим скорость передачи информации как предел:
 
I ( X ,Y )
R  lim
,
n
n
 
 
где I ( X , Y ) - средняя взаимная информация между переданным x  X и
 
принятым y  Y . В случае отсутствия помех H(X/Y)=0, следовательно, R =H(X).
Этот предел в случае канала без памяти равен взаимной информации:
R=I(X,Y)=H(X) -H(X|Y)=H(Y) -H(Y|X) .
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 39 из 111
Скорость передачи информации R полностью определяется
вероятностями p(x ) и p( y | x ) (i  1, m ) . Поэтому изменять величину R мы
i
j
i
x
можем только за счет изменения вида распределения p( x ) , поскольку p( y | x )
i
j
i
— характеристика неуправляемого канала. Определим пропускную способность
канала С как максимальную по p ( x ) Скорость передачи информации:
i
C  max R  max I ( X , Y ) .
p(x )
i
p(x )
i
В случае отсутствия помех
C  max H ( X )  log mx .
p( x )
i
ВЫЧИСЛЕНИЕ ПРОПУСКНОЙ СПОСОБНОСТИ СИММЕТРИЧНЫХ
КАНАЛОВ
Существует класс каналов, для которых пропускная способность С легко
вычисляется. Канал полностью описывается так называемой стохастической
матрицей
 p ( y1 | x1 ), ..., p ( y m | x1 )
Y

 p ( y | x ), ..., p ( y | x
1
m
m
m

X
Y
X

,
)

в которой сумма всех элементов, образующих строку, рвана единице.
Канал называется с и м м е т р и ч н ы м п о в х о д у , если строки матрицы
различаются только порядком расстановки некоторого множества чисел
p1 , ..., pm
Y
Для симметричных по входу каналов частная условная энтропия
m
Y
m
Y
j 1
j 1
H (Y | xi )    p( y j | xi ) log( y j | xi )    p j log p j .
Она не зависит от номера передаваемой буквы и может быть вычислена по любой
строке матрицы. Поэтому условная энтропия
mX
mY
i 1
j 1
H (Y | X )   p( x ) H (Y | x )    p log p .
i
i
j
j
Канал называется с и м м е т р и ч н ы м п о в ы х о д у, если столбцы матрицы
различаются только порядком расстановки некоторого множества чисел
q ,..., q .
1
mX
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Если распределение источника равномерное ( p ( x ) 
i
Страница | 40 из 111
1
),
m
X
то распределение p( y ) на выходе симметричного по выходу канала также будет
j
равномерным. При этом энтропии Н(Х) и H(Y) достигают своего максимального
значения. В этом легко убедиться, если доказать, что вероятность p( y ) не зависит
j
от уj. Представим вероятность p( y ) в виде
j
m
X
p ( y j )   p ( xi ) p( y j | xi ).
i 1
p( x ) 
Поскольку
i
1
m
и p ( y | x )  q , то
j
i
i
X
1 mX
p( y ) 
q .
j
m X i 1 i
Сумма
mX
 qi
не зависит от номера столбца j и в общем
i 1
случае не равна единице. Поэтому вероятность p( y ) также
j
не зависит от j и равна p( y ) 
j
1
. При этом
m
Y
H ( X )  log mX , H (Y )  log mY .
Канал называется симметричным, если он симметричен по входу и выходу. Для
симметричного канала H(Y|X) не зависит от распределения источника сообщений,
поэтому пропускная способность
C  max[ H (Y )  H (Y | X )]  max H (Y )  H (Y | X ) 
p ( xi )
p ( xi )
mY
 log mY   pi log pi .
j 1
В качестве примера вычислим пропускную способность симметричного канала,
который описывается матрицей
p
p 

e
e
1  p ,

, ...,
e
m

1
m

1


 . . . . . . . . . . ,


p
 e


, ...,
1  pe 
m1

УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 41 из 111
где m=mX =mY . В этом случае
 1  pe , i  j ,

p( y | x )   p e
j
i
, i  j.

 m1
0,2
Вероятность 1-pe равна вероятности правильного приема символа. Вероятность
ошибки pe равна вероятности приема yj c j  i при условии, что было передано xi .
Тогда
C  log m  (1  pe ) log(1  pe )  pe log
pe
m1
.
Широкое распространение получил двоичный симметричный канал (ДСК) (m=2)
, для которого пропускная способность (Рис. 3)
C  1  (1  pe ) log(1  pe )  pe log pe .
Максимальная скорость передачи информации, равная единице,
получается при ре=0 и при ре=1. В этом случае множества Х и Y находятся во
взаимно однозначном соответствии, и по принятому уj (j=1, 2) всегда можно
определить
Вопросы для самоконтроля
1. Какие допущения приняты в модели, известной как гауссовый канал?
2. Как определяют скорость передачи информации и пропускную
способность канала?
3. Напишите и поясните выражение для пропускной способности гауссова
канала.
4. Какой канал называется симметричным по входу.
5. Какой сигнал называется симметричным по выходу.
Лекция №9. Кодирование как процесс выражения информации в
цифровом виде. Эффективное кодирование. Основная теорема Шеннона о
кодировании для канала без помех
Эффективное или статистическое кодирование
Дискретный канал, вероятность возникновения ошибки в котором близка к
нулю (в идеале = 0) называют идеальным каналом или каналом без шума.
Пропускная способность канала определяется
. При наличии
идеального канала определим возможность передачи по нему без потерь
информации от произвольного дискретного источника U производительностью
H'(U) со скоростью равной пропускной способности канала. Схема такой системы
передачи информации показана на рисунке 14.1.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 42 из 111
Рисунок 9.1
Для того, чтобы скорость передачи информации в канале была равна его
пропускной способности, на входе канала должен действовать дискретный
источник с определенными статистическими свойствами, максимизирующими
величину I(Z,Z*). В случае идеального канала без помех, такой источник должен
обладать максимальной энтропией или нулевой избыточностью, т.е. выдавать
независимые равновероятные сообщения. В случае передачи сообщения от
произвольного источника с любыми статистическими свойствами, т.е. имеющего
ненулевую избыточность, функцией кодера является согласование в статическом
смысле сообщений источника со входом канала, т.е. к устранению избыточности
сообщений. Кодер осуществляет кодирование сообщений, т.е. каждому
дискретному сообщению по определенному правилу ставят в соответствие
последовательность символов из алфавита объемом М. Возможность построения
кодера полностью устраняющего избыточность произвольного исходного
источника сообщений и определяет возможность решения поставленной задачи без
ошибочной передачи информации со скоростью, равной пропускной способности
канала. При полном ее решении оказывается справедливым равенство
H’(U) = υC·H(U) = υK ·log M = C
(9.1)
откуда имеем η = υK
9.2),
C
где H(U) - энтропия источника передаваемых сообщений, υK и υ C - средние
количества символов соответственно сообщения и кода, передаваемых в единицу
времени. η = υK
C - среднее количество символов кода приходящиеся на одно
сообщение. Степень приближения к точному выполнению равенств (9.1) и (9.2)
зависит от степени уменьшения избыточности источника сообщений.
Кодирование, позволяющее устранять избыточность источников сообщений,
называется эффективным или статистическим. Коды, получаемые в результате
такого кодирования, называются эффективными или статистическими.
Избыточность дискретных источников обуславливается двумя причинами:
а) памятью источника;
б) неравномерностью сообщений.
Универсальным способом уменьшения избыточности, обусловленной
памятью источника, является укрупнение элементарных сообщений. Кодирование
осуществляется длинными блоками. Вероятностные связи между блоками меньше
чем между отдельными элементами сообщений. При этом возрастает задержка
передачи сообщений, из-за формирования длинного блока, его кодировки и
передачи. Уменьшение избыточности, обусловленной неравномерностью
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 43 из 111
сообщений, может быть достигнута применением неравномерных кодов. Основная
идея построения таких кодов состоит в том, что наиболее вероятным сообщениям
ставятся в соответствие наиболее короткие блоки кодовых символов (кодовые
комбинации), а наименее вероятным более длинные. В силу неравномерности
таких кодов и случайного характера сообщения U передача без потерь информации
с постоянной скоростью следования кодовых символов υK может быть обеспечено
лишь при наличии буферного накопителя с большой памятью, и, следовательно,
при допустимости больших задержек.
9.2 Теорема Шеннона для канала без шума
Предельные возможности статистического кодирования раскрывается в
теореме Шеннона для канала без шума. Теорема формулируется следующим
образом. Пусть источник сообщений имеет производительность H’ U) = υC·H(U),
а канал имеет пропускную способность C = υK ·log M. Тогда можно закодировать
сообщения на выходе источника таким образом, чтобы получить среднее число
кодовых символов приходящихся на элемент сообщения
η = υK
C
9.3)
где ε - сколь угодно мало (прямая теорема).
Обратная часть теоремы утверждающая, что невозможно получить значение
η = υK / υC =( H(U)/ log M)
(9.4)
может быть доказана, если учесть, что неравенство (14.4) эквивалентно
неравенству υ C·H(U) > υ K· log M, H’ (U) > C. Последнее неравенство не может
быть выполнено, т.к. рассматриваемое кодирование должно быть обратимым
преобразованием (т.е. без потерь информации). Энтропия в секунду на входе
канала или производительность кодера не может превышать пропускную
способность канала.
9.3. Доказательство теоремы Шеннона для канала без шума. Метод
Фано. Оптимальные коды
Доказательство прямой теоремы предполагает способ эффективного
кодирования, который заключается в следующем: по-прежнему рассматриваем
сообщение αi представляющее собой последовательность элементарных сообщений
uj длинной К. Расположим все сообщения α i в порядке убывания их вероятностей,
пусть эти вероятности будут P1≥ P2 ≥ …≥ PL, где L=Nuk число сообщений αi. Пусть
, т.е. Qs накопленная вероятность до Ps-1 включительно. Закодируем все
сообщения в двоичную систему. Двоичный код для сообщения αs получиться путем
записи дробной части разложения Qs, как двоичного числа (при S=1, Qs=0).
Разложение производиться до ms позиции, где ms целое число, удовлетворяющее
соотношению
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
.
Страница | 44 из 111
(9.5)
Пример - Пусть мы имеем 4 сообщения
α1
1)
= 1/2
α2
2)
α3
= 1/4
3)
= 1/8
α4
4)
= 1/8
Q1 = 0
Q2 = 1/2
Q3 = 3/4
Q4 = 7/8
m1 = 1
m2 = 2
m3 = 3
m4 = 4
код 0
код 10
код 110
код 111
Коды, показанные в последней строчке таблицы - это коды Шеннона дробной
части.
Таким образом, высоко вероятные сообщения представляются короткими
кодами, а маловероятные - длинными. Из этих неравенств вытекает следующая
система неравенств
(9.6). Она показывает, что при выборе ms в
соответствии с системой неравенств (9.5) вероятность сообщения с номером s Ps не
меньше веса
последнего младшего разряда двоичного разложения Qs.
Вследствие этого код для Q s будет отличаться от всех последующих кодов одной и
более из своих ms позиций, т.к. все остающиеся Qi, по крайней мере, на величину
больше и поэтому их двоичное разложение отличается от кода для Qs, хотя бы в
младшем разряде. Это говорит об однозначности предложенного способа
кодирования. Среднее количество символов кода приходящихся на одно
сообщение ηс можно определить, как
(9.7), а среднее количество
символов кода, приходящихся на одно элементарное сообщение Uk
. Умножая все части системы неравенств (9.5) на
их по ансамблю сообщений αi приходим к неравенствам
,
но
и усредняя
(9.8)
,
где Нα - энтропия источника укрупненных сообщений α представляющих
собой объединение К элементных независимых сообщений Ui (рассматриваем
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 45 из 111
источник без памяти). Поэтому вследствие свойства аддитивности энтропии Hα =
K·H(U). В свою очередь
.
(9.9)
Таким образом, неравенство (14.3) можно записать в виде
H (U )   
1
 H (U ) .
K
(9.10)
Неравенство (9.10) показывает, что с неограниченным ростом значение К,
среднее количество η символов кода приходиться на одно элементарное сообщение
источника, сколь угодно близко приближается к значению энтропии этого
источника. Поскольку мы рассматривали двоичный код с объемом алфавита
равного 2 и log2M=log22=1 выполнение неравенства (9.10) эквивалентно
выполнению условия (9.3), это и доказывает прямую теорему.
Полученный
результат позволяет дать следующее толкование энтропии: энтропия источника
есть наименьшее количество двоичных символов на сообщение, на выходе
наилучшего кодера для этого источника при условии, что сообщения могут быть
восстановлены по выходу кодера сколь угодно точно. Этот способ доказательства
рассмотрен в той же трактовке, в которой он был дан Шенноном, а именно на
основе построения двоичного эффективного кода.
Вопросы для самоконтроля
1 В чем преимущества использования двоичных кодов при передаче,
хранении и обработке информации?
2. В чем суть эффективного статистического кодирования?
3. Сформулируйте и поясните основную теорему Шеннона о кодировании
для канала без помех.
4. Каковы причины эффективности кодирования длинных последовательных
знаков?
5. За счет чего при эффективном кодировании уменьшается средняя длина
кодовой комбинации?
6. До какого предела может быть уменьшена средняя длина кодовой
комбинации при эффективном кодировании?
Лекция №10. Блоковые коды. Общие принципы использования
избыточности. Связь корректирующей способности кода с кодовым
расстоянием. Показатели качества корректирующего кода.
Методика построения помехоустойчивых кодов. Информационный
предел избыточности
Кодирование с помощью которого можно устранять ошибки, обусловленные
наличием шума в канале, называется помехоустойчивым. Коды, способные
исправлять и обнаруживать ошибки, называются помехоустойчивыми кодами.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 46 из 111
Основная теорема кодирования Шеннона не конструктивна, она не
указывает способ построения конкретного оптимального помехоустойчивого кода,
обеспечивающего предельное согласование сигнала с каналом, существование
которого доказывает. Вместе с тем, теория Шеннона обеспечила разработку
конкретных кодов. В результате, в настоящее время, теория помехоустойчивого
кодирования превратилась в самостоятельную науку.
Рассмотрим основополагающие принципы, заложенные в основу построения
помехоустойчивых кодов. Как следует из доказательства основной теоремы
Шеннона, неприменимым свойством помехоустойчивых кодов является наличие
избыточности. При этом необходима не просто любая избыточность, а
специфическая, определяемая свойствами канала и правилом построения кода. И
позволяющая с минимальными затратами повысить вероятность передачи. В
ситуации когда источник сообщений обладает собственной существенной
избыточностью, которая в принципе тоже в определенной степени повышает
достоверность передачи информации, но не так эффектно как это возможно.
Поступают следующим образом: сначала с помощью эффективного кодирования
до минимума уменьшают избыточность источника сообщений, а затем, в процессе
помехоустойчивого кодирования, вносят в передаваемый сигнал избыточность,
позволяющую простыми средствами поднять вероятность принимаемого
сообщения. Таким образом, эффективное кодирование может сочетаться с
помехоустойчивым.
Помехоустойчивые коды можно подразделить на два больших класса
блочные и непрерывные. В случае блочных кодов, при кодировании, каждому
дискретному сообщению ставится в соответствие отдельный блок кодовых
символов называемого кодовой комбинацией. Непрерывные коды образуют
последовательность символов неразделяемых на кодовые комбинации.
Рассмотрим принцип построения помехоустойчивых блочных кодов. Избыточность
обуславливающая корректирующие свойства равномерного блочного кода обычно
вводится за счет выполнения неравенства mn >M (15.1), где m-основание кода, т.е.
объем алфавита используемых кодовых символов, n-длина или количество
разрядов кодовой комбинации, М-количество сообщений подлежащих
кодированию. Выполнение этого неравенства означает, что для передачи знаков
сообщения используют лишь часть М возможных кодовых комбинаций.
Используемые кодовые комбинации называют разрешенными. Неиспользуемые mn
-M комбинации являются запрещенными. На вход канала подаются только
разрешенные комбинации. Если вследствие помех один или несколько символов
приняты ошибочно, то на выходе канала появляется запрещенная комбинация, что
и говорит о наличии ошибки. Для того, чтобы обеспечить выполнение (14.10)
необходимо выбирать n > K , где К-минимальное целое, удовлетворяющее
неравенству mK M (15.2). Число К обычно называют количеством
информационных разрядов кодовой комбинации, поскольку, именно столько
разрядов должна содержать комбинация кода с основанием m, чтобы число разных
кодовых комбинаций было не меньше числа сообщений М подлежащих передаче.
R=n-K разрядов кодовой комбинации необходимых для передачи полезной
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 47 из 111
информации называются проверочными. Количество их и определяет
избыточность помехоустойчивого кода. При использовании помехоустойчивого
кода возможно декодирование с обнаружением и исправлением ошибок. В первом
случае, на основе анализа принятой комбинации выясняется, является ли она
разрешенной или запрещенной. После этого запрещенная комбинация либо
отбрасывается, либо уточняется путем посылки запроса на повторение переданной
информации. Во втором случае, при приеме запрещенной комбинации
определенным способом выявляются и исправляются содержащиеся в ней ошибки.
Максимальные числа ошибок в кодовой комбинации q и S которые могут быть
обнаружены (q) или исправлены (S) с помощью данного кода называются
соответственно обнаруживающей или исправляющей способностью кода. В
значении q и S определяются величиной dmin минимальным кодовым расстоянием
между ближайшими разрешенными комбинациями. Под кодовым расстоянием
понимают количество неодинаковых разрядов в кодовых комбинациях. Величина
dmin в помехоустойчивом коде зависит от соотношения n и К, т.е. от числа r
проверочных разрядов кода.
Рассмотрим информационный (т.е. базирующий на идеях Теории
Информации) подход позволяющий оценить необходимую минимальную
избыточность, выраженную в количестве проверочных разрядов rmin блочного
помехоустойчивого кода длиной n с заданной исправляющей способностью S.
Пусть имеется код с основанием m и с исправляющей способностью S. И
используется декодирование с исправлением ошибок. На приеме при
использовании такого кода возможно две ситуации: правильный прием сообщения
и неправильный. Осуществление с вероятностью PH. Неправильный прием может
произойти в том случае, когда из-за превышения числом ошибок пришедшей из
канала кодовой комбинации значение S она может превратиться в одну из других
разрешенных кодовых комбинаций. В свою очередь, правильный прием
осуществляется либо в том случае, когда в принимаемой комбинации отсутствуют
ошибки (обозначим вероятность такого сообщения Р0), либо Nправ в случаях когда в
принятой комбинации присутствуют ошибки которые могут быть исправлены
рассмотренным кодом. Вероятности таких случаев обозначим через P j j=1 ÷ Nправ.
Для решения поставленной задачи определим минимальное количество
информации, которой может быть описана совокупность событий, включающая
появление одной из конкретных ошибок и отсутствие ошибок или появление
некорректных ошибок. Зная эту величину и максимальное количество информации
которое может содержать один проверочный символ кода можно определить
минимальное
число
проверочных
символов.
Количество информации необходимо для описания указанных событий
.
(10.1)
(в случае отсутствия ошибки учтем включением нуля в предел
суммирования). Максимальное количество информации, которое может содержать
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 48 из 111
символ кода с основанием m равно log2m. Следовательно, число проверочных
разрядов в комбинации кода не может быть меньше, чем
(10.2).
Определенную таким образом величину rmin называют информационным
пределом избыточности. Найдем значение rmin для двоичного канала с
независимыми ошибками. В таком канале появление предыдущей ошибки не
влечет за собой появление последующей. В этой ситуации число R(i) ошибок
кратности i в кодовой комбинации длиной n равно числу сочетаний
.
.
(10.3)
Поскольку ошибки независимы вероятность P(i) возникновения в кодовой
комбинации ошибки кратности i равна
P(i)=Pi ·(1-P)n-i ,
(10.4)
где Р- вероятность ошибки в канале. Учитывая, что в данном случае Nпр = S
выражение (15.3) можно записать в виде.
Вторым слагаемым можно пренебречь поскольку, описываемая им функция,
не используется в процессе исправления ошибок. Поэтому имеем
.
(10.5)
Рассмотрим частный случай, когда возникновение конкретной ошибки
любой кратности и отсутствие ошибок имеют равную вероятность, т.е. Pi · (1-P)ni
=P1 при любом i. Величину Р1 определим из условия нормировки
,
(10.6)
отражающего тот факт, что вероятность появления ошибки какой-либо кратности,
включения и нулевую равна единице
Из (15.8) имеем следовательно
.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
.
Страница | 49 из 111
(10.7)
Поскольку под двоичной, то есть при m=2, имеем
.
Найденное таким образом значение rmin совпадает с оценками полученными
другим методами в частности с нижним пределом Хэмминга. Аналогичным
образом могут быть найдены информационные пределы избыточности для других
конфигураций ошибок в канале, например для пакетных ошибок, когда одиночные
ошибки группируются в пакеты различной кратности. Полученные при этом
результаты так же хорошо согласовывается с выводами полученными другими
методами.
Вопросы для самоконтроля
4. Что такое избыточность кода.
5. Как определяется информационный предел избыточности
6. Как определяется минимальное число проверочных символов.
Лекция №11. Линейное кодирование. Принципы линейного
кодирования. Блоковые коды. Многоуровневые коды. Манчестерский
код. Код Миллера. Код Хемминга
Линейное кодирование.
Причины линейного кодирования.
В своей основе цифровое сообщение представляет собой упорядоченную
последовательность символов обычно в двоичной форме вырабатываемого
источником сообщения либо кодером источника.
Сообщение преобразуется в электрический сигнал с помощью канального
кодера. При этом кодер устанавливает однозначное соответствие называемое
кодом между элементами сообщения и элементами сигнала на его выходе, т.е.
кодовыми символами.
Кодер выбирает различные символы из алфавита, содержащие более двух
различных символов и выдает символы со скоростью I.
Ограниченная полоса пропускания канала связи, помехи в нем накладывают
ограничения на максимальную скорость передачи информации.
При передаче в основной полосе частот канальный кодер называется
линейным кодером, а сигнал на его выходе – канальным кодом.
Цифровой сигнал, передаваемый в основной полосе частот может быть
представлен следующим образом:
S (t ) 


k  
a k g (t  kT )
Коэффициент Ak определяет К-тый
передаваемый по каналу связи символов.
символ
в
последовательности
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 50 из 111
При этом значения коэффициента принадлежит множеству из M дискретных
величин (М-алфавит).
Элементарный сигнал g(t) может быть прямоугольной или иной формой в
зависимости от каналов связи.
Длительность символа Т определяет символьную скорость передачи I.
I=1/T [бод]=[бит/с]
Длительность символа Т связанна с длительностью одного бита
передаваемой информации Tв соотношением:
Т=Тв log M
В свою очередь длительность бита определяет скорость передачи
информации (битовую скорость).
I=1/Тв
Линейное кодирование использует коды:
1)
2)
3)
4)
5)
6)
7)
RZ – код
NRZ – код
Многоуровневые коды
Манчестерский код
Код Миллера
ТВС
AMI
Коды 1-4 не требуют запоминание предшествующих значений сигнала.
Значение передаваемого символа 5-7 определяется не только символом на
входе в данный момент, но и предшествующим состоянием.
Вид элементарных символов g(t) и возможное значение коэффициента Ак для
основных способов линейного кодирования не использующих запоминание
следующее:
Таблица 11.1.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 51 из 111
Код Миллера.
Код Миллера использует запоминание значения сигнала. Его применяют в
системах магнитной записи. Для передачи данных служат два элементарных
сигнала:
S1(t) и S2 (t) и их инвертированные варианты:
S4(t)=-S1(t)
S3(t)=-S2(t)
Вид сигналов:
Рисунок 11.1
Выбор одного из четырех сигналов зависит от того, кодируется в данный момент 1
или 0, а также от того какой сигнал передавался на предыдущем этапе.
Предположим что на предыдущем этапе был сформирован сигнал S1. Если
теперь на вход кодера поступит 1, то будет сформирован сигнал S2, если же
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 52 из 111
поступит 0, то будет сформирован S4. Если предшествующим сигналом был S4 , то
за ним последует S1 при передаче нуля и S3 при передаче единицы.
Это исходит из диаграммы состояния:
Рисунок 11.2
Форма сигнала на выходе кода Миллера:
Рисунок 11.3
Хотя в коде Миллера длительность символа равна длительности бита (Т=Тв)
благодаря корреляции между соседними символами средняя длительность
положительных и отрицательных импульсов на выходе кодера несколько больше
длительности символа. Это определяет хорошие спектральные свойства кода
Миллера.
Код Миллера имеет узкий спектр и
относительно
небольшую
постоянную
составляющую. В основном используются в
узкополосных каналах, которые не пропускают
постоянную составляющую.
Код ТВС
Энергетический спектр Eternet RZ и
многоуровневого кода содержит постоянную
составляющую что недает возможность использовать их в сетях постоянного тока.
Один из методов обнуления постоянной составляющей заключается в
ведении корреляции между передаваемыми символами.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 53 из 111
Для того, чтобы при введении избыточности не увеличить символьную
скорость увеличивают количесво уровней сигнала. Примером такого кода служит
псевдотроичный код (ТВС) , который широко применяется в системах
электросвязи. Символы на выходе ТВС-кодера образуются по принципу, где биты
 к передаваемой информации принимает значения 0 либо 1. Символы ак имеют
алфавит состоящий из трех символов: +1; 0; -1.
Правила образования символов на выходе ТВС-кодера сводится к
следующему. При положительном переходе от 0 к 1 формируется +1, при
отрицательном переходе от 1 к 0 формируется -1. При отсутствии перехода 0.
Форма сигнала на выходе ТВС-кодера имеет вид:
Рисунок 11.4.
Т.к. на выходе ТВС-кодера передается один бит информации код является
псевдотроичным.
Структура ТВС-кодера и декодера.
Рисунок 11.5
Модуль 2 – оператор задержки на длительность одного бита. Приемник содержит
троичный анализатор с порогами принятия решения -1/2 ; +1/2.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 54 из 111
При использовании данного кодера среднее количество нулей в потоке вк на
выходе кодера равно среднему количеству единиц но соответственно среднее
количество символов +1; -1. В потоке Ак равны.
Если во входном потоке вк1 , присутствуют длинные цепочки из нулей и
единиц, то на выходе кодера будут преобразованы в длинные цепочки нулей. В
результатае постоянная составляющая на выходе ТВС-кодера отсутствует.
Линейный код AMI.
При использовании данного кода перед кодированием применяют диф.
Препарирование.
Структурная схема:
Рисунок 11.6
Блок сумматора 1 выполняет операцию сложения по модулю 2.
Если на входах действуют двоичные сигналы, сумматор по модулю 2
эквивалентен схеме «исключающей» или. И его работу можно определить можно
определить с помощью следующей таблицы истинности:
Входы Выходы
Работа
предкодера
описывается
соотношением

0
0
1
1
0
1
0
1
0
1
1
0
Cк  Вк искл.ИЛИ Ск 1
Ск – Символ на выходе предкодера, принимающее
значение 0 или 1.
Предкодер называется дифференциальным потому что его можно описать
следующим образом. Нулевой бит на входе не вызывает изменения выходного
бита, а единичный бит на входе ведет к изменению бита на выходе.
Дифференциальный посткодер восстанавливает исходный бит. Полный AMIкодер представляет собой комбинацию диф. Предкодера и псевдотроичного кода
ТВС.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 55 из 111
Рисунок 11.7
Сравнение свойств линейных кодов ENERZET. AMI и многоуровневого кода.
Сравним свойства этих кодов:
- Ширина полосы
- Наличие постоянной составляющей
- Чувствительность к полярности сигнала
- Помехоустойчивость
Представим спектры рассматриваемых сигналов на одном рисунке:
Рисунок 11.8
При сравнении кодов по ширине полосы оценивают их спектральную
эффективность, определяемая:   I B I – скорость передачи информации (бит /сек).
B – Ширина главного лепестка спектра (Гц).
Битовая скорость в свою очередь зависит от символьной скорости и от числа
бит (k) приходящихся на один символ.
Ширина спектра (в) также зависит от символьной скорости.
В зависимости от формы импульса ее значения лежат в пределах (B) от 0,5/T
до 1/T.
T- длительность символа.
При прямоугольной форме импульса B=1/T при NRZ и AMI кодировании
длительность символа совпадает с длительностью бита  I  1T
 NRZ   AMI
Отсюда
1
  T 1
1
T
При многоуровневом шифровании
УМКД 042-18-11.1.20.43/03-2013
I 2
Редакция № 1
Страница | 56 из 111
T
 С помощью многоуровневого кода можно передавать
2
 м ног  T  2
1
T
информацию в два раза больше в той же полосе пропускания.
Но многоуровневое шифрование имеет постоянную составляющую, что
затрудняет передачу сигналов переменного тока.
Спектр сигналов AMI не содержит постоянной составляющей, что является
основным его преимуществом.
Коды NRZ и многоуровневый чувствительны к полярности сигнала. При
неправильном подключении сигнала будут приняты ошибочно, код AMI
нечувствительный.
Наибольшую помехоустойчивость имеет многоуровневый код, т.к.
расстояние между уравняемыми сигналами в три раза меньше чем NRZ кода. В
результате вероятность ошибочного приема определяется:



P  1.5 1  F 0.5  SNR
- отношение средней энергии E приходящей на один бит информации к
SNR  E
N0
односторонней спектральной плоскости шума N0.
При приеме цифровых сигналов это отношение называется отношением
сигнал / шум.
F- функция Лапласа.
Вопросы для самоконтроля
7.
Классификация линейных кодов
8.
какой код использует запоминание значения сигнала.
9.
Для каких кодов длительность символа равна длительности бита.
10. Сравнительные характеристики линейных кодов.
Лекция №12. Обнаруживающие коды. Примеры обнаруживающих кодов
(код с контролем по паритету, корреляционный и инверсный коды)
Введение избыточности в передаваемый сигнал для борьбы с ошибками в
каналах с шумами реализуется применением корректирующих кодов. Так
называются коды, которые позволяют обнаруживать, и исправлять ошибки,
возникающие в канале. Наиболее часто применяют двоичные равномерные
корректирующие коды.
Для этого при записи (передаче) в полезные данные добавляют специальным
образом структурированную избыточную информацию, а при чтении (приеме) её
используют для того, чтобы обнаружить или исправить ошибки. Число ошибок,
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 57 из 111
которое можно исправить, ограничено и зависит от конкретного применяемого
кода.
С кодами, исправляющими ошибки, тесно связаны коды обнаружения
ошибок. В отличие от первых, последние могут только установить факт наличия
ошибки в переданных данных, но не исправить её.
Коды без избыточности обнаруживать, а тем более исправлять ошибки не
могут. Минимальное количество символов, в которых любые две комбинации кода
отличаются друг от друга, называется кодовым расстоянием Минимальное
кодовое расстояние - параметр, определяющий помехоустойчивость кода и
заложенную в коде избыточность. Минимальным кодовым расстоянием
определяются корректирующие свойства кодов.
В общем случае для обнаружения r ошибок минимальное кодовое расстояние
d 0  r  1.
Минимальное кодовое расстояние, необходимое для одновременного
обнаружения и исправления ошибок,
d 0  r  s  1,
где s - число исправляемых ошибок.
Для кодов, только исправляющих ошибки,
d 0  2s  1.
Для того чтобы определить кодовое расстояние между двумя комбинациями
двоичного кода, достаточно просуммировать эти комбинации по модулю 2 и
подсчитать число единиц в полученной комбинации.
Понятие кодового расстояния хорошо усваивается на примере построения
геометрических моделей кодов. На геометрических моделях в вершинах nугольников, где n-значность кода, расположены кодовые комбинации, а количество
ребер n-угольника, отделяющих одну комбинацию от другой, равно кодовому
расстоянию.
Геометрическая интерпретация блоковых корректирующих кодов.
Любая n-разрядная двоичная кодовая комбинация может быть интерпретирована
как вершина n-мерного единичного куба, т. е. куба с длиной ребра, равной 1.
При n = 2 кодовые комбинации располагаются в вершинах квадрата (рис.
6.4); при n = 3 — в вершинах единичного куба (рис. 6.5); при n = 4 — в вершинах
четырехмерного куба (рис. 6.6).
В общем случае n-мерный единичный куб имеет 2n вершин, что равно
наибольшему
возможному
числу
кодовых комбинаций.
Такая модель дает
простую
геометрическую
интерпретацию
и
кодовому расстоянию
между
отдельными
кодовыми комбинациями. Оно соответствует наименьшему числу ребер
единичного куба, которые необходимо пройти, чтобы попасть от одной
комбинации к другой.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 58 из 111
Если кодовая комбинация двоичного кода А отстоит от кодовой комбинации
В на расстоянии d, то это значит, что в коде А нужно d символов заменить на
обратные, чтобы получить код В, но это не означает, что нужно d добавочных
символов, чтобы код обладал данными корректирующими свойствами. В двоичных
кодах для обнаружения одиночной ошибки достаточно иметь 1 дополнительный
символ независимо от числа информационных разрядов кода, а минимальное
кодовое расстояние d 0  0.
Для обнаружения и исправления одиночной ошибки соотношение между
числом информационных разрядов n u и числом корректирующих разрядов n k
должно удовлетворять следующим условиям:
2 nk  n  1,
2n
nu
2 
,
n 1
при этом подразумевается, что общая длина кодовой комбинации
n  nu  n k .
Для практических расчетов при определении числа контрольных разрядов
кодов с минимальным кодовым расстоянием d 0  3 удобно пользоваться
выражениями:
nk1( 2)  [log 2 (n  1)],
если известна длина полной кодовой комбинации п, и
nk1( 2 )  [log 2 {( nu  1)  [log 2 (nu  1)]}],
если при расчетах удобнее исходить из заданного числа информационных
символов n u .
Для кодов, обнаруживающих все трехкратные ошибки (d 0  4),
nk1( 3)  1  log 2 (n  1),
или
nk1( 3)  1  log 2 [(nu  1)  log 2 (nu  1)].
Для кодов длиной в п символов, исправляющих одну или две ошибки (d 0  5),
nk2  log 2 (Cn2  Cn1  1).
Для практических расчетов можно пользоваться выражением

n 2  n  1
nk 2  log 2
.
2


Для кодов, исправляющих 3 ошибки (d 0  7),

n 3  n 2  n  1
nk3  log 2
.
6


Для кодов, исправляющих s ошибок (d 0  2s  1),
log 2 (Cns  Cns 1  ...  1)  nks  log 2 (Cn2s11  Cn2s12  ...  1).
Выражение слева известно как нижняя граница Хэмминга [16], а выражение
справа – как верхняя граница Варшамова – Гильберта [3]
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 59 из 111
Для приближенных расчетов можно пользоваться выражением

n s  n s 1  ...  1
nk s  log 2
.
s
!


Можно предположить, что значение n k будет приближаться к верхней
границе в зависимости от того, насколько выражение под знаком логарифма
приближается к целой степени двух.
По способу работы с данными коды, исправляющие ошибки делятся на
блоковые, делящие информ.ацию на фрагменты постоянной длины и
обрабатывающие каждый из них в отдельности, и сверточные, работающие с
данными как с непрерывным потоком.
Вопросы для самоконтроля
1. Какие коды относят к корректирующим.
2. Что называется кодовым расстоянием.
3. Что такой кодовая комбинация.
4. Какие коды относят к блоковым.
5. Какова связь между информационными и корректирующими символами,
в зависимости от кодового расстояния.
Лекция №13. Построение циклических кодов. Технические средства
кодирования и декодирования для циклических кодов. Итеративные коды.
Сверточные коды
Циклические коды.
ЦК – это разновидность линейно группового кода отн. к систематическому коду.
Циклический вектор двоичного кода удобно задавать в виде многочлена (а не
комбинации 0,1). F(x)=an-1xn-1(+)an-2an-2(+)…(+)a1x(+)a0 (*)
х – основание системы счисления, в которой строится код. ai, где i=0,(n-1) – это
цифры данной системы счисления. Например: x=3, ai=0,1,2. Мы рассм. Х=2, ai=0,1.
ПРИМЕР: представить числовую последовательность в виде многочлена
F(x)=1x3(+)0x2(+)0x(+)1, F(x)=x3(+)1. Представление двоичных векторов в виде
многочлена позволяет перейти от действий над векторами к действию над
многочленами. При этом сложение векторов предполагает сложение многочленов,
которое осуществляется как сумма по модулю х одноименных коэффициентов.
Умножение векторов соответствует умножению по правилу умножения
многочленов, деление векторов – это деление многочленов, причем операция “-“
преобразуется в операцию “+” по модулю. F1(x)=x3+x2+1, F2(x)=x+1.
1)
F1(x)+F2(x)=x3+x2+x
(в
двоичной
системе
2) F1(x)*F2(x)=(x3+x2+1)(x+1)=x3+x3+x3+x2+x+1=x4+x2+x+1,
3) F1(x)/F2(x)=x2.
Основным свойством циклического кода
является: если некоторый вектор принадлежит
циклическому коду, то любой другой вектор,
1+1=0),
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 60 из 111
полученный из данного путем произвольного числа циклических сдвигов также
принадлежит
циклическому коду. Идея построения циклического кода базируется на понятии
неприводимого многочлена, который делится только на самого себя и на единицу,
т.е. не может быть разложен на более простые многочлены. Сам же неприводимый
многочлен является делителем многочлена xn(+)1 без остатка. Неприводимые
многочлены в теории циклических кодов играют роль образующих многочленов
или полиномов. Эти полиномы табулированы. P(x)=x+1, P(x2)=x2+x+1,
P(x3)=x3+x+1, P(x4)=x3+x2+1. Вектор циклического кода по заданному
информационному слову строится следующим образом:
Пусть задано информационное слово Q(x) и многочлен P(xr ). Тогда, когда слово
F(x)=Q(x)*xr + Res [Q(x)xr / P(xr )], Q(x) – информационное слово, которое надо
закодировать. P(x) – порождающий многочлен.
Пример (КОДИРОВАНИЯ В ЦИКЛИЧЕСКОМ КОДЕ): число, которое подлежит
кодированию – 0111.
P(x3)=x3+x2+1, Q(x)=x2+x+1, r = 3, Q(x)*xr = x5+x4+x3,
P(x)=x5+x4+x3+R, столбиком делим Q(x)*xr / P(xr ) = x2+1, остаток R=1.
ОТВЕТ: F(x)=x5+x4+x3+1 => 0111 001.
Циклический код, как и всякий систематический код код может быть задан в виде
порождающей матрицы. Структура этой матрицы:
G(n, k) = ||ITk x k, Pk x (n-k)||, P – матрица проверочных разрядов.
ПРИМЕР: ПОСТРОИТЬ МАТРИЦУ G(7,4) ЦК
Q1(x)=1, Q2(x)=x, Q3(x)=x2, Q4(x)=x3.
P(x3)=x3+x2+1, Чтобы найти значения, которые потом вписать в правую часть
матрицы, надо произвести деления столбиком и найти остатки, которые потом в
соответствии с присутствующими степенями х преобразовать в двоичный вид и
записать в правую часть. Res[Q(x)x3/P(x3)] - ? Надо 4 раза поделить. Делим на P,
соответственно x3, потом x4, x5, x6.
Обнаружение и исправление ошибок в ЦК.
Любое кодовое слово ЦК делится на неприводимый многочлен без остатка,
поэтому признаком наличия ошибки в принятом слове является ненулевой остаток
от деления принятого слова на неприводимый многочлен. Однако наличие
ненулевого остатка лишь говорит о факте существования ошибки, т.е. ошибки
обнаруживаются, но по виду остатка нельзя судить о месте возникновения ошибки.
Для коррекции t и менее ошибок используется следующий алгоритм: 1) принятое
слово делится на неприводимый полином. 2) подсчитывается вес остатка. 3)Если
вес не превышает корректирующую способность кода (t), то остаток суммируется
с делимым и полученная сумма – есть правильное слово. Если вес остатка больше t,
то принятое слово циклически сдвигается влево на один разряд, делится на P(xr ) и
анализируется вес остатка. Если вес остатка не больше t, то
остаток
прибавляется к делимому. Полученная сумма циклически
сдвигается вправо на один разряд. Результат этой операции –
скорректированное слово. Если вес остатка больше t, то
делимое
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 61 из 111
еще раз сдвигается влево. ПРИМЕР: ЦК задан порождающей матрицей G=
P(x3)=x3+x2+1, t=1, dmin=3
Кодовое слово: A=0001101,
слово с ошибкой: A’=0011101=x4+x3+x2+1,
делим столбиком A’/ P =x,
остаток Res=x2+x+1, ω(Res)=3>t (исправлять не надо). Теперь сдвигаем
A’1y (сверху стрелка) = 0111010, и опять также делим Res=x+1 (ω=2)>t, опять
значит не то – сдвигаем опять влево и так далее, пока не станет Res=1 (ω=1=t).
Исправляем последний символ A’3y() на обратный и двигаем,а 3. Это будет
A=0001101.
Необнаруживаемые циклическим кодом ошибки.
Представим вектор одиночных ошибок в виде единичной матрицы с побочной сл.
диаг. К такой матрице добавим справа матрицу, полученную от деления каждого
вектора ошибок на порождающий многочлен. Дописываемая матрица называется
матрицей остатков и имеет r столбцов, где r – степень a4 a3 a2 a1 p1 p2 p3
порождающего многочлена. В итоге получим матрицу 00 00 00 00 00 01 10
M’,
которую будем анализировать. Матрица одиночных M’ = 00 00 00 01 10 00 00
ошибок:
0
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0 0
0 0
0 1
1 0
0 0
0 0
0 0
n*n
01
1 0
0 0
0 0
0 0
0 0
0 0
0
0
1
1
1
0
1
0
1
0
0
1
1
1
r
1
0
0
1
1
1
0
0 0 1 0 0 0 0
0 1 0 0 0 0 0
1 0 0 0 0 0 0
M’=|| In*nT*(ITr*r/R) ||
Не обязательно знать кодовое слово, достаточно знать ошибочную строку(слово
ошибок).
V=C+E.
Для изучения свойств кодов принятое слово представляем в виде суммы кодового
слова C и слова ошибки E. Известно, что при делении C на порождающий
многочлен остаток всегда равен 0. Т. о. для изучения свойств кода достаточно
изучать остаток от деления вектора E на порождающий многочлен. Именно на этом
основании и построена матрица M’. Как видно из матрицы остатков в M’, все
остатки ненулевые и различны, что одиночные ошибки исправляются 100%. Кроме
того, обнаруживаются 2-кратные ошибки, о чём можно узнать, построив матрицу
M’’, где в k-той строке будет по 2 ошибки. При этом подматрица остатков не будет
содержать 0-вых строк, однако среди них возникнут повторяющиеся строки.
Аналогично для любого циклического кода. Следует сказать, что фактическое
обнаруж. способность кода больше, чем гарантированная. Так для
рассматриваемого кода гарантированная обнаруживающая способность =2, из
общего количества 35 3-хкратных ошибок не обнаруживаются только 7, из 4хкратных - тоже 7, не обнаруживается единственная 7-кратная ошибка. Итого не
обнаруживается всего 15 ошибочных комбинаций.
Реализация схем кодирования и декодирования в ЦК.
Рассмотрим основные структуры кодеров и декодеров циклических кодов. Схемы,
построенные на основе регистров сдвига, называются цифровыми фильтрами.
Основа – циклический сдвиг. Чаще всего это D-триггер. n-разрядный регистр
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 62 из 111
сдвига используется для циклического сдвига многочлена xn-1. Каждый раз после
сдвига вычисляется x*V(x)(mod(xn-1)),
V(x) – некоторый начальный вектор, который помещен в этот регистр. Структура
определяет выражение по модулю xn-1, где n – количество регистров. х –
умножение, в логике – сдвиг. Умножение на х соответствует однократному
циклическому сдвигу V(x) вправо, причем старшие разряды слова находятся
справа.
Обобщенная схема делительного устройства:
Данная схема делит входной полином на порождающий многочлен g(x). В
начальном
состоянии все триггеры сброшены и первые
r сдвигов на выходе последнего триггера 0, т.е.
-g0
-g1
-g(r)
-g(r-1)
обратная связь разомкнута. Многочлен
+ Д
+
+
Д
d(x) проталкивается в схему начиная со
старших коэффициентов. После n сдвигов,
где n – степень многочлена d(x) на выходе схемы будет частное, a в самом
регистре будет записан остаток от деления d(x) на g(x).
g(x)=gr xr + …+g1x+g0.
Вопросы для самоконтроля
1. Что такое избыточность.
2. Классификация кодов, обнаруживающих и исправляющих ошибки.
3. Какие коды называются циклическими.
4. Какие коды называются сверточными
Лекция №14. Обнаружение ошибок кратности три и ниже. Методы
образования циклического кода. Матричная запись циклического кода.
Укороченные циклические коды. Мажоритарное декодирование
циклических кодов.
Линейными называются коды, в которых проверочные символы
представляют собой линейные комбинации информационных символов.
Для двоичных кодов в качестве линейной операции используют сложение по
модулю 2.
Правила сложения по модулю 2 определяются следующими равенствами:
0  0  0; 0  1  1; 1  0  1; 1  1  0.
Последовательность нулей и единиц, принадлежащих данному коду, будем
называть кодовым вектором.
Свойство линейных кодов: сумма (разность) кодовых векторов линейного
кода дает вектор, принадлежащий данному коду.
Линейные коды образуют алгебраическую группу по отношению к операции
сложения по модулю 2. В этом смысле они являются групповыми кодами.
Свойство группового кода: минимальное кодовое расстояние между
кодовыми векторами группового кода равно минимальному весу ненулевых
кодовых векторов.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 63 из 111
Вес кодового вектора (кодовой комбинации) равен числу его ненулевых
компонентов.
Расстояние между двумя кодовыми векторами равно весу вектора,
полученного в результате сложения исходных векторов по модулю 2. Таким
образом, для данного группового кода
W мин  d 0 .
Групповые коды удобно задавать матрицами, размерность которых
определяется параметрами кода n и и n k . Число строк матрицы равно n и , число
столбцов равно n и + n k = n :
C n;nu 
a11a12
a 21a 22
...
a nu 1 a nu 2
...
...
a1nu p11 p12
a 2 nu p 21 p 22
...
...
... a nu nu p nu 1 p nu 2
...
...
p1nk
p 2 nk
...
...
...
p nu nk
Коды, порождаемые этими матрицами, известны как ( n; k ) -коды, где k  nи , а
соответствующие им матрицы называют порождающими, производящими,
образующими.
Порождающая матрица С может быть представлена двумя матрицами И и П
(информационной и проверочной). Число столбцов матрицы П равно n k , число
столбцов матрицы И равно n и :
C n;nu 
a11a12
a 21a 22
... a1nu
... a 2 nu
p11 p12
p 21 p 22
...
...
p1nk
p 2 nk
...
a nu 1 a nu 2
... ...
... a nu nu
...
p nu 1 p nu 2
...
...
...
p nk n k
 И П.
Теорией и практикой установлено, что в качестве матрицы И удобно брать
единичную матрицу в канонической форме:
При выборе матрицы П исходят из следующих соображений: чем больше
единиц в разрядах проверочной матрицы П, тем ближе соответствующий
порождаемый код к оптимальному, с другой стороны, число единиц в матрице П
определяет число сумматоров по модулю 2 в шифраторе и дешифраторе, т. е. чем
больше единиц в матрице П, тем сложнее аппаратура.
Вес каждой строки матрицы П должен быть не менее WП  d 0  WИ , где WИ вес соответствующей строки матрицы И. Если матрица И - единичная, то WИ  1
(удобство выбора в качестве матрицы И единичной матрицы очевидно: при WИ  1
усложнилось бы как построение кодов, так и их техническая реализация).
При соблюдении перечисленных условий любую порождающую матрицу
группового кода можно привести к следующему виду:
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 64 из 111
называемому левой канонической формой порождающей матрицы.
Для кодов с d 0 =2 производящая матрица С имеет вид
Во всех комбинациях кода, построенного при помощи такой матрицы, четное
число единиц.
Для кодов с d 0  3 порождающая матрица не может быть представлена в
форме, общей для всех кодов с данным d 0 . Вид матрицы зависит от конкретных
требований к порождаемому коду. Этими требованиями могут быть либо минимум
корректирующих разрядов, либо максимальная простота аппаратуры.
Корректирующие коды с минимальным количеством избыточных разрядов
называют плотно упакованными или совершенными кодами.
Для кодов с d 0  3 соотношения п и n k . следующие: (3; 1), (7;4), (15; 11), (31;
26), (63; 57) и т. д.
Известны формулы, по которым определяется связь между n, nи и nк. В
частности, если известно количество информационных разрядов nи, то nк
вычисляется по формуле:
nк= [log{(nи+ 1)+ [log (nи+ 1)]}].
Квадратные скобки означают округление полученного числа до целого.
Если известно количество разрядов в коде, т. е. n, то количество
корректирующих разрядов равно:
nк= [log (n+1)].
Вопросы для самоконтроля
1. Какие коды относят к линейным.
2. Основные свойства линейного кода.
3. Как задаются групповые коды.
4. Как определяется вес кодовой комбинации
5. Какая связь между информационными и корректирующими символами.
Лекция №15. Информационные характеристики сигнала и канала.
Согласование физических характеристик сигнала и канала.
Практика построения современных систем передачи информации показывает,
что наиболее дорогостоящими звеньями трактов передачи являются линии связи
(кабельные, волоконно-оптические, сотовой мобильной радиосвязи, радиорелейной
и спутниковой связи и т.д.).
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 65 из 111
Поскольку экономически нецелесообразно использовать дорогостоящую
линию связи для передачи информации единственной паре абонентов, возникает
необходимость построения многоканальных систем передачи, обеспечивающих
передачу большого числа сообщений различных источников информации по общей
линии связи. (Часто используется также термин “множественный доступ”).
Многоканальная передача возможна в тех случаях, когда пропускная способность
линии C не меньше суммарной производительности источников информации
C
N
R
k 1
иk
,
(1)
где R и k - производительность k - го источника, а N - число каналов (независимых
источников информации). Многоканальные системы, так же как и одноканальные,
могут быть аналоговыми и цифровыми. Для унификации аналоговых
многоканальных систем за основной или стандартный канал принимают канал
тональной частоты, обеспечивающий передачу сообщений с полосой частот 300
3400 Гц, соответствующей спектру телефонного сигнала. В цифровых системах
передачи распространение получили цифровые каналы со скоростью 64 Кбит/с.
Многоканальные аналоговые системы формируются путем объединения
каналов тональной частоты в группы, обычно кратные 12 каналам. Цифровые
системы передачи, используемые на сетях связи, формируются в соответствии с
принятыми иерархическими структурами.
Общий принцип построения системы многоканальной передачи поясняет
структурная схема на рис.15. 1.
АОК
АРК
Пр1
ИС1
b1(t)
М1
Ф1
b1 (t )
Д1
ПС1
u1(t)
ИС2
М2
uN(t)
bN(t)
ИСN
Ф2

МN
М
ЛС
b 2 (t )
Пр2
sл(t)
uл(t)
uГ(t)
b2(t)
Д2
ПС2
П
sГ(t)
b N (t )
ПрN
ФN
ДN
ПСN
Рис. 15.1. Структурная схема многоканальной системы передачи информации
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 66 из 111
В этой системе первичные сигналы каждого источника b1 (t ), b 2 (t ),..., b N (t ), с
помощью
индивидуальных
передатчиков
(модуляторов)
M1 , M 2 , ..., M N
преобразуются в соответствующие сигналы u1 (t ), u 2 (t ),..., u N (t ) .
Совокупность канальных сигналов на выходе устройства объединения 
образует групповой сигнал u Г (t ) , связанный с сигналами u i (t ) оператором
N
объединения u Г ( t )   u i ( t ) .
i 1
Наконец, с учетом частотного диапазона линии связи сигнал u Г (t ) с помощью
группового передатчика M преобразуется в линейный сигнал u Л ( t ) , который и
поступает в линию связи (ЛС).
На данном этапе будем считать, что помехи в канале отсутствуют, а канал не
вносит искажения в принимаемый линейный сигнал s Л (t )    u Л (t ) , где  коэффициент передачи канала, который часто можно считать равным единице.
Тогда на приемном конце ЛС линейный сигнал s Л (t ) с помощью группового
приемника Пр может быть вновь преобразован в групповой сигнал s Г (t)    u i (t) .
Пр1 , Пр 2 , ..., Пр N
Канальными
или
индивидуальными
приемниками
из группового сигнала выделяются соответствующие канальные сигналы
si (t )   u i (t ) , ( i 1,2,..., N) , которые посредством детектирования преобразуются в
предназначенные
индивидуальным
получателям
сигналы
b1 (t ), b2 ( t ),..., bN (t ) .
Канальные передатчики вместе с устройствами объединения образуют
аппаратуру объединения (уплотнения) каналов (АОК).
Групповой передатчик, линия связи и групповой приемник Пр составляют
групповой тракт передачи, который вместе с аппаратурой объединения и
разделения каналов составляет систему многоканальной связи (множественного
доступа).
Индивидуальные приемники Пр системы, наряду с выполнением обычной
операции преобразования канальных сигналов si (t) в соответствующие первичные
сигналы b(t)i (?), должны обеспечить выделение сигналов si (t) из группового
сигнала с допустимыми искажениями. Аппаратуру индивидуальных приемников,
обеспечивающую эту операцию, называют аппаратурой разделения каналов
(АРК).
Для того чтобы разделяющие устройства были в состоянии различать
сигналы отдельных каналов, должны существовать определенные признаки,
присущие только сигналу данного канала. Такими признаками в общем случае
могут быть параметры переносчика, например, амплитуда, частота или фаза в
случае модуляции синусоидального переносчика, или временное положение,
длительность или форма сигнала при модуляции импульсных переносчиков.
Соответственно будут различаться и способы разделения сигналов: частотный,
временной, фазовый, разделение по форме сигналов и др.
Для разделения N канальных сигналов на приемной стороне требуется
соответствующее число N разделяющих устройств, причем k-е разделяющее
устройство должно выполнять операцию выделения своего k-го сигнала. В
идеальном случае это устройство должно откликаться (реагировать) только на
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 67 из 111
“свой” сигнал и давать нулевые отклики на сигналы всех других каналов. В
реальных случаях при разделении сигналов возникают переходные помехи.
Условие идеального разделения выполняется лишь для так называемых
ортогональных сигналов, удовлетворяющих условиям

 x i (t )  x j (t ) dt

K при i  j
 
,
0
при
i

j

(2)
во временной области, либо условиям

 Xi (f )  X j (f ) df

K при i  j
  1
,
0
при
i

j

(3)
в частотной области. В этих выражениях X k (f ) являются Фурье – образами
сигналов x k (t ) , а K , K1 - некоторые отличные от нуля константы.
Типичными
ортогональными
сигналами
являются
сигналы
с
неперекрывающимися спектрами, а также неперекрывающиеся во времени
сигналы.
Распределение по каналам, характеризующееся ортогональными спектрами,
для которых выполняется условие (2), называют уплотнением с временным
разделением (time-division multiplexing TDM) или множественным доступом с
временным разделением (time-division multiple access - TDMA). Распределение по
каналам, характеризующееся ортогональными сигналами, для которых
выполняется условие (3), называют уплотнением с частотным разделением
(frequency-division multiplexing FDM) или множественным доступом с частотным
разделением (frequency-division multiple access - FDMA).
Понятие о частотном, временном и фазовом разделении сигналов
А. Частотное разделение сигналов
Рассмотрим основные этапы преобразования сигналов, спектры которых
занимают неперекрывающиеся полосы частот (рис. 15.2)
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 68 из 111
SN(f)
fN
fN
S2(f)
f2
f2
S1(f)
f1
f1
SГ(f)
f
Рис. 15.2. Образование спектра группового сигнала при многоканальной
передаче информации с частотным разделением каналов
Сначала в
индивидуальные
соответствии с передаваемыми сообщениями первичные
b1 (t ), b 2 ( t ),..., b N ( t ),
сигналы
со
спектрами
S1 (f ), S2 (f ),..., SN (f ), модулируют переносчики – несущие частоты f k каждого канала.
Эта операция выполняется с помощью модуляторов M1 , M 2 ,..., M N канальных
передатчиков. Полученные на выходе частотных фильтров 1 ,  2 ,...,  N спектры
Sk (f ) канальных сигналов занимают соответственно полосы частот f1 , f 2 ,..., f N .
Необходимо выбирать несущие частоты f k так, чтобы полосы f1 , f 2 ,..., f N не
перекрывались – при этом условии сигналы
s k (t ) (k 1,2,..., N) взаимно
ортогональны. Спектры S1 (f ), S2 (f ),..., SN (f ) суммируются в 1-м устройстве
объединения сигналов и их совокупность SГ (t) поступает на 2-й групповой
модулятор M. Суммарная полоса частот группового сигнала
f Г  N  F . В
групповом модуляторе спектр SГ (t) с помощью колебания несущей частоты
f k переносится в область частот, отведенную для передачи данной группы каналов
– таким образом, групповой сигнал SГ (t) преобразуется в линейный сигнал S Л ( t ) .
При этом может использоваться любой вид модуляции, обеспечивающий
необходимую помехоустойчивость передачи.
На приемной стороне тракта линейный сигнал поступает на групповой
демодулятор (приемник Пр), который преобразует спектр линейного сигнала в
спектр группового сигнала SГ (f ) . Спектр группового сигнала затем с помощью
канальных приемников Пр k и входящих в них частотных фильтров  k вновь
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 69 из 111
разделяется на отдельные полосы f k и затем с помощью демодуляторов Д k
преобразуется в спектры сообщений Sbk (f ) , предназначенные получателям.
Для того чтобы без помех разделить сигналы при частотном разделении,
каждый из фильтров должен пропустить без ослабления лишь те частоты, которые
принадлежат сигналу данного канала и полностью подавить сигналы всех других
каналов. На практике это недостижимо и при разделении каналов возникают
взаимные помехи. Для снижения помех до допустимого уровня приходится
вводить защитные частотные интервалы (см. Рис. 15.3)
SГ(f)
fзащ
f
Рис. 15.3. Введение защитных частотных интервалов между отдельными каналами
В современных системах многоканальной телефонной связи каждому каналу
выделяется полоса частот 4 кГц, хотя ширина спектра передаваемых речевых
сигналов составляет 3,1 кГц.
Временной способ разделения каналов
При временном разделении каналов групповой тракт предоставляется
поочередно для передачи сигналов каждого канала многоканальной системы
посредством специального коммутатора.
Сначала передается сигнал 1-го канала, затем следующего и так далее до
последнего, после чего процедура многократно повторяется.
На приемной стороне устанавливается аналогичный коммутатор, который
подключает групповой канал поочередно к приемникам различных каналов.
Приемник i - го канала подключается только на время передачи i - го сигнала, и
отключается во время передачи других сигналов. Для нормальной работы системы
необходимо обеспечить синхронное переключение каналов на передающей и
приемной сторонах.
В качестве канальных сигналов в системах с временным разделением каналов
используются
неперекрывающиеся
во
времени
последовательности
модулированных импульсов (например, по амплитуде) si (t) ( i 1,2,..., N) .
Совокупность канальных сигналов образует групповой сигнал. На рис. 15.4
для простоты рассмотрена система с 2 каналами.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 70 из 111
SГ(t)
t
S2(t)
t
t2
S1(t)
t
t1
Рис. 15.4. Выделение полезного сигнала при временном разделении каналов
Групповой сигнал SГ поступает на коммутатор приемной стороны, действие
которого можно сравнить с “временным фильтром”; в результате временной
фильтрации на выходе i - го приемника выделяются лишь импульсы i - го канала.
Полученные после демодуляции сообщения поступают к получателю.
Для снижения уровня взаимных помех приходится вводить защитные
временные интервалы.
Системы с временным разделением каналов несколько уступают системам с
частотным разделением по эффективности использования частотного спектра,
однако имеют преимущество в простоте аппаратуры.
Системы с временным разделением каналов находят широкое применение
при передаче непрерывных сообщений с помощью аналоговых видов импульсной
модуляции, но особенно в цифровых системах с импульсно – кодовой модуляцией.
Разделение сигналов по фазе
При этом типе разделения каналов передаваемые сигналы отличаются по
фазе. Оказывается, что на одной несущей частоте при произвольных значениях
амплитуд и фаз колебаний можно обеспечить лишь двухканальную передачу (с
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 71 из 111
разностью фаз переносчиков  / 2 ), что существенно ограничивает область
использования данного типа разделения каналов.
Пропускная способность многоканальных систем передачи информации
Предельная пропускная способность системы передачи (бит/с) в пределах
полосы пропускания тракта передачи при наличии стационарного гауссовского
шума со средней мощностью Pш и сигналов со средней мощностью Pc определяется
по формуле Шеннона

P 
C  F log 1  c 
Pш 

.
(4)
При многоканальной передаче возникают специфические переходные помехи
между каналами, обусловленные неидеальностью разделяющих устройств на
приемной стороне, а также искажениями в групповом тракте передачи. С учетом
этого,
для многоканальных систем формула Шеннона должна быть
модифицирована и принимает вид


Pc

C  F log 1 
Pш    Pc 

.
(5)
где  - так называемый коэффициент взаимных переходных помех между
каналами, определяемый, как правило, экспериментальным путем, а F – общая
полоса пропускания многоканальной системы передачи информации.
Из формулы (5) следует, что переходные помехи ограничивают пропускную
способность многоканальной системы. При реальных значениях коэффициента 
увеличение мощности сигнала Pc сначала приводит к увеличению пропускной
способности (как и в одноканальном случае), но дальнейшее увеличение мощности
практически не приводит к увеличению С. Практика проектирования аппаратуры
многоканальной связи показывает, что для снижения уровня взаимных помех
приходится вводить защитные частотные интервалы между каналами, занимающие
до 20% общей полосы пропускания системы передачи информации.
Множественный доступ с частотным разделением
в спутниковых системах
Большинство спутников связи расположено геостационарной орбите, т.е. на
круговой орбите, лежащей в плоскости экватора на высоте от уровня моря
примерно 35,8 тыс. км. Эта орбита отличается тем, что находящийся на ней
спутник вращается синхронно с Землей и неподвижен относительно ее
поверхности (периоды обращения Земли и спутника равны). Три спутника,
расположенных через 120 градусов друг от друга, позволяют охватить территорию
всего земного шара (за исключением полярных областей (рис. 15.5)
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 72 из 111
Спутник 1
Земля
Спутник 2
Спутник 3
Рис. 15.5. Иллюстрация геостационарной орбиты (вид с полюса)
Большинство спутниковых систем связи используют ретрансляторы
(“транспондеры”) отличающиеся тем, что сигналы “земля – спутник” усиливаются,
сдвигаются по частоте и ретранслируются на Землю без обработки сигнала и
демодуляции. Согласно международным соглашениям разрешено использовать
любой спутник, работающий в диапазоне 500 МГц. Как правило, такой спутник
имеет 12 транспондеров с шириной полосы 36 МГц каждый. Наиболее
распространенные транспондеры работают в режиме FDM/FM/FDMA (уплотнение
с частотным разделением, частотная модуляция, множественный доступ с
частотным разделением). Это соответствует следующим этапам.
1. FDM. Сигналы обрабатываются с использованием FDM, в результате чего
формируется составной многоканальный сигнал
2. FM. Составной сигнал модулируется несущей и передается на спутник.
3. FDMA. Поддиапазоны полосы транспондера (36 МГц) могут
распределяться между различными пользователями. Каждому пользователю
выделяется определенная полоса, на которой он получает доступ к транспондеру.
Основным преимуществом технологии FDMA по сравнению с TDMA
является простота. Каналы FDMA не требуют синхронизации или
централизованного распределения времени, причем каждый из каналов независим
от остальных.
Множественный доступ с временным разделением
На рис. 6. приведен пример использования технологии TDMA в спутниковой
связи. Время разбито на интервалы, называемые кадрами (frame). Каждый кадр
делится на временные интервалы, которые могут быть распределены между
пользователями.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 73 из 111
Спутник
Кадры
Передаваемые пакеты энергии в
радиочастотном диапазоне
Наземные терминалы
Рис.15. 6. Иллюстрация технологии TDMA
Каждая наземная передающая станция транслирует информацию в виде
пакетов таким образом, чтобы они поступали на спутник в соответствии с
установленным расписанием. После принятия транспондером такие пакеты
ретранслируются на Землю вместе с информацией от других передающих станций.
Принимающая станция детектирует и разуплотняет данные соответствующего
пакета, после чего информация поступает к соответствующим пользователям.
Схема TDM/TDMA является чрезвычайно эффективной в том случае, когда
требования пользователя можно предвидеть, а поток данных значителен
(временные интервалы практически всегда заполнены). В случае неравномерного
или случайного потока данных этот метод себя не оправдывает.
Вопросы для самоконтроля
1. Что такое многоканальная система передачи информации. Когда она
возможна.
2. Как формируются многоканальные аналоговые системы
3. Какие сигналы относят к ортогональным.
4. Какое распределение информации называется уплотнением с временным
разделением.
5. Какое распределение информации называется уплотнением с частотным
разделением
6. Охарактеризуйте фазовое разделение сигналов.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 74 из 111
3 Практические занятия
Практическое занятие №1 Спектральное представление периодических
сигналов
Рассмотрим периодический сигнал xп(t) (рис..1).
xï(t)
Т
t
Рис..1
Такой сигнал можно представить в виде ряда Фурье:

A0
x п (t ) 
  A cos( k 0 t   k ) ,
2 k 1 k
2
A

где 0 T
(.1)
t1  T
x
t1
п
( t )dt - постоянная составляющая сигнала, 0=2/T.
Из выражения (5.1) следует, что периодический сигнал любой формы может
быть представлен в виде суммы гармонических составляющих с различными
амплитудами Ak , частотами k0 - и фазами k. Благодаря этому можно перейти от
представления сигнала во временной области к частотной, где Ak=Ak(k0) - спектр
амплитуд, k=k(k0) - спектр фаз.
Эти спектры являются линейчатыми (рис.5.2).
k
Ак


 T

Рис..2
Задача состоит в том, чтобы по виду сигнала xп(t) определить спектры
амплитуд (Ak) и фаз (k).
2
2
b

ak 
x ( t ) cos k 0 t dt ; k
T
T t п
t1  T
1
Ak ( k 0 )  a k2  bk2 ;
t1 T
 x (t )sin k t dt ;
п
t1
k(k0)=arctg bk/ak.
0
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 75 из 111
Любой периодический сигнал бесконечен во времени, что на практике не
осуществимо, поэтому периодический сигнал - математическая абстракция, и все
рассмотренное выше не применимо к реальным сигналам.
СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ НЕПЕРИОДИЧЕСКИХ СИГНАЛОВ
Любой реальный сигнал ограничен во времени и, следовательно, является
непериодическим. Однако, условно его можно рассматривать как периодический с
периодом Т. Тогда 0=2/T 0, а спектры амплитуд и фаз становятся
непрерывными (сплошными), сумма в разложении Фурье превращается в интеграл.
В результате переходим к
интегралу Фурье (обратное преобразование):

1
x( t ) 
s( j ) e jt d .
(2)

2 
В формуле s(j) - спектральная плотность сигнала, определяющая как
распределяются амплитуды и фазы по частотам непрерывного спектра.
От s(j) можно перейти к спектральной плотности амплитуд (s()) и фаз
(()). Для решения этой задачи используется прямое преобразование Фурье:

s( j ) 
 x(t ) e
 j t
dt.
(3)

Методика определения s() и ().
1. При помощи (5.3) определяется s(j).
2. s(j) представляется в виде действительной и мнимой частей:
s(j) = А() + jВ().
3. Определяются
s( ) 
2
A( )  B( )
2
и ()=arctg (B()/A()).
ОСНОВНЫЕ СВОЙСТВА АМПЛИТУД И ФАЗ
s()=s(-) - четная функция; () = -(-) - нечетная функция (рис.5.3).
S


Рис..3
Функции s() и () в нуль обратиться не могут, т.к. пределы интегрирования
в соответствии с (5.3) (от -  до +), следовательно любой сигнал имеет
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 76 из 111
бесконечную полосу частот. С другой стороны любой реальный канал имеет
ограниченную полосу пропускания. Следовательно, ни один реальный сигнал не
может быть передан по каналу без искажения. Вопрос может стоять только о том,
чтобы обеспечить допустимый уровень искажений. При решении этой задачи
используется понятие эффективной или практической ширины спектра сигнала.
ПРАКТИЧЕСКАЯ ШИРИНА СПЕКТРА СИГНАЛА
Практической шириной спектра сигнала называется та полоса частот, в
пределах которой передается подавляющая часть энергии сигнала.
Предположим, что полная энергия сигнала Е0. Для определения практической
ширины спектра надо определить =Е1100%/Е0 - % энергии, который мы хотим
передать по каналу.
Е1 < Е0 - передаваемая энергия сигнала.
Для определения п пользуются уравнением Парсеваля:
п
E1 

2
s( ) d .
0
4. Определяем Е0.
5. Задаемся коэффициентом .
6. Находим п.
Пример.
Определим п спектра одиночного импульса (рис.5.4).
x(t)
h
0

t

Рис.4
Определяем спектральную плотность (рис.5)
s( j ) 

 x(t )e

 jt
 /2
dt 
 he
 /2
 jt
e  jt
h  jt  / 2
dt  h 
d (  j )  
e



/
2

j

j

 / 2
 /2
sin  / 2
2h e j / 2  e  j / 2 2h


sin  / 2  h
.

2j

 / 2
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 77 из 111
Для передачи 90 % энергии одиночного импульса целесообразно выбрать
п=2/. Следовательно, чем меньше  , тем больше надо п.
S(j 
 100%E 1/E 0
S 
100%
S 
90%








Рис.5
ИСКАЖЕНИЕ ФОРМЫ СИГНАЛА ПРИ ОГРАНИЧЕНИИ ПОЛОСЫ ЧАСТОТ
СПЕКТРЫ МОДУЛИРОВАННЫХ СИГНАЛОВ
В системах передачи данных используется модем (модулятор - демодулятор).
Принцип модуляции: по каналу передается сигнал-переносчик и один из
параметров сигнала изменяется в соответствии с законом сообщения. Если
сообщение двоичное, то модуляция называется манипуляцией.
Если используется гармонический переносчик
x(t)=A sin(t+),
(4)
то возможна амплитудная (А), частотная () и фазовая модуляция ().
Рассмотрим амплитудную модуляцию (АМ):
x(t)=A(t) sin(0t+0),
(5)
A(t)=A0+A f(t)=A0[1+maf(t)],
(6)
где A(t) - var; 0 =const; 0=const; A0 - постоянная составляющая амплитуды;
A - девиация амплитуды; f(t) - нормированное сообщение (|f(t)| 1); ma - глубина
амплитудной модуляции.
СПЕКТР АМПЛИТУДНО-МОДУЛИРОВАННЫХ СИГНАЛОВ
Пусть сообщение f(t)=cos t, где  << 0.
Амплитудно-модулированный сигнал будет иметь следующий вид (рис.5.8):
x(t)
A
A0
t
Рис.6
и описывается следующим соотношением
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 78 из 111
x(t)=A0(1+ma cos t) sin(0t+0)=A0sin(0t+0)+(A0ma/2)sin[(0-)t+0]+
+ (A0ma/2)sin[(0+)t+0].
(5.7)
Из анализа (5.7) видно, что спектр амплитудно-модулированного сигнала для
сообщения f(t)=cos t состоит из трех гармонических составляющих с частотами
0, 0- и 0+. (рис.7).
Из рис.5.9 видно, что в результате модуляции исходное низкочастотное
сообщение на частоте W оказалось перенесенным в более высокую область частот
0.
Таким образом, модуляция позволяет переносить спектр исходного сообщения
в нужную область частот соответствующим выбором несущей частоты 0,
т.е.   от (0-) до (0+).
f(t)
t

x(t)
A 0ma/2
A0
A 0ma/2
t
 

 
Рис.7
В случае более сложного сообщения f(t), занимающего некоторую полосу
частот от 0 до , получаем спектр (8)
S( )


A 0ma/2
A0
A 0ma/2




Рис.8
Из рис.8 видно, что спектр модулированного сигнала по крайней мере в два
раза шире спектра исходного сигнала.
Для сужения используемой ширины канала используется однополосная
передача, при которой передается только одна боковая полоса, а несущая
частота и другая полоса подавляются с помощью фильтров. Эффект переноса
частот имеет место и при частотной и при фазовой модуляции источника
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 79 из 111
Задания или тестовые вопросы для контроля к занятию №1
1. Используя равенство Парсеваля определить частоту среза исходной
целевой функции, обеспечивающую 90-95% мощности сигнала при передачи
2. Используя разложение в ряд Фурье, построить спектр амплитуд и спектр
фаз целевой функции с учетом частоты среза.
3. получить отдельно вид каждой гармоники.
4. Получить вид сигнала на входе в приемник, определить как на качество
сигнала влияет изменение частоты среза и периода следования импульсов.
Целевая функция для всех вариантов имеет вид:
u( t) 
u0 if t1  T  t  t2  T
0 if t1  T  t  t2  T
Где t1, t2 – начало и конец следования импульса, Т – период следования.
Значения целевой функции выбираем по последней цифре зачетной книжки
Номер
t1
t2
T
u0
варианта
0
0
6
16
0.8
1
0
8
20
0.8
2
2
8
6
1.2
3
2
12
10
1.2
4
0
6
26
1.2
5
0
12
20
0.8
6
2
4
16
0.8
7
0
10
30
1.2
8
0
6
30
1.2
9
2
20
30
0.8
Примечание: задание выполнить в программе AutoCAD.
Практическое занятие №2 Передача данных на основе импульсно-кодовой
Модуляции
Цель - изучение и практическое освоение принципов импульсно-кодовой
модуляции.
Постановка задачи
Непрерывное сообщение X(t) подвергается импульсно-кодовой модуляции
(ИКМ). Автокорреляционная функция сообщения имеет вид
K x (t ) 
Q m t
e cos t ,
36
Q  D - диапазон амплитудных значений сигнала. Шаг временной
где
дискретизации сигнала равен tд. Дискретные во времени отсчеты сигнала
кодируются n - разрядным двоичным кодом. Требуется исследовать качество
передачи сообщения X(t) при помощи ИКМ.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 80 из 111
Подготовка к выполнению практического задания
Ознакомиться с лекционным материалом по данной тематике, изучить содержание
раздела 4 данного пособия, а также соответствующие разделы в литературных
источниках [2,3,4].
Порядок выполнения задания
1.Используя заданные значения Q, m, , tд, определить минимальную
разрядность n, при которой приведенная погрешность
J = 100 икм /D
(икм – средне - квадратичное отклонение результирующей погрешности ИКМ )
не превышает допустимого значения Jдоп, т.е. JJдоп. Для этого необходимо:
 рассчитать икм;
 определить погрешность дискретизации д;
 определить погрешность квантования кв;
 рассчитать шаг квантования;
 рассчитать число уровней квантования;
 найти разрядность n.
2.При заданных значениях Q, m и  получить семейство зависимостей n = n (tд)
для различных значений Jдоп.
3.Используя теорему Котельникова, определить минимальный объем памяти V,
требуемый для регистрации аналогового сигнала, в зависимости от его
длительности T (сек), эффективной полосы частот F (Гц) и числа разрядов n в
двоичном представлении отсчетов сигнала.
Варианты исходных данных
Таблица 4 - Параметры сигнала, шаг дискретизации, допустимое значение
погрешности, длительность аналогового сигнала, эффективная полоса частот и
число двоичных разрядов
Вар-нт
1
2
3
4
5
6
7
8
9
10
Q, в
1
2
3
4
5
6
7
8
9
10
m, 1/c
0,15
0,25
0,35
0,45
0,55
0,1
0,2
0,3
0,4
0,5
, 1/c
0,1
0,2
0,3
0,4
0,5
0,15
0,25
0,35
0,45
0,55
t д, c
0,1
0,2
0,1
0,2
0,1
0,1
0,2
0,1
0,2
0,1
Jдоп,%
3
6
5
8
6
4
5
6
7
6
Состав отчета по заданию
1. Постановка задачи.
T, c
10
20
30
40
50
10
20
30
40
50
F, кГц
5
4
3
2
1
2
3
4
5
9
n
10
9
8
7
6
12
11
10
9
8
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 81 из 111
2. Расчет минимальной разрядности n при заданных ограничениях на
результирующую погрешность ИКМ.
3. Семейство зависимостей n = n (tд).
4. Расчет минимального объема памяти V.
5. Выводы по работе.
Практическое занятие №3 Энтропия источника сообщений.
Цель - исследование избыточности источников дискретных сообщений с памятью и
без памяти.
Постановка задачи
Память троичного стационарного источника с символами х1,х2,х3 простирается на
два соседних символа и, следовательно, дискретная последовательность символов,
выдаваемых источником, описывается простой односвязной цепью Маркова с
матрицей переходных вероятностей
p11 p12 p13
p 21 p 22 p 23
p 31 p 32 p 33
где pij- вероятность передачи символа xi при условии, что ему предшествовал
символ xj (i = 1,2,3; j = 1,2,3).
Поскольку после передачи любого символа xj будет передан один из возможных
символов xi, сумма переходных вероятностей по столбцам равна 1, т.е.
n
p
ij
 1, j  1,2,3.
i 1
Требуется исследовать избыточность источника при различных вероятностях
появления символов.
Подготовка к выполнению практического задания
Ознакомиться с лекционным материалом по данной тематике, изучить
содержание раздела 3 данного пособия, а также соответствующие разделы в
литературных источниках
Задания к занятию №3
Порядок выполнения задания
1.Определить энтропию источника дискретных сообщений с памятью
3
3
H п ( x )   p j pijlb pij ,
j 1 i 1
(lb x = log2 x).
2.Определить коэффициент избыточности источника дискретных сообщений с
памятью
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 82 из 111
kn = (Hmax(x) - Hn(x))/ Hmax(x).
3.Определить энтропию
3
H б ( x )    pi lb pi
i 1
источника сообщений без памяти, но с теми же значениями вероятностей передачи
символов. Учесть, что безусловные вероятности появления символов источника
определяются через условные:
3
pi   pij p j , i  1,2,3.
j 1
При вычислении безусловных вероятностей систему из трех уравнений дополнить
четвертым уравнением p1+p2+p3=1, а затем, одно из трех первоначально
полученных уравнений из системы исключить.
4.Определить коэффициент избыточности источника дискретных сообщений без
памяти
kб = (Hmax(x) - Hб(x))/ Hmax(x).
1.
2.
3.
4.
5.
6.
Состав отчета по заданию 2
Постановка задачи.
Расчет энтропии источника дискретных сообщений с памятью.
Pасчет коэффициента избыточности источника дискретных сообщений с
памятью.
Расчет энтропии источника дискретных сообщений без памяти.
Расчет коэффициента избыточности источника дискретных сообщений без
памяти.
Выводы по работе.
Варианты исходных данных
Таблица 2 - Значения переходных вероятностей
Вариант p11
P21
p12
p22
p13
p23
1
0,1
0,3
0,2
0,2
0,3
0,2
2
0,2
0,2
0,2
0,1
0,4
0,1
3
0,1
0,3
0,2
0,3
0,3
0,3
4
0,3
0,1
0,3
0,2
0,3
0,4
5
0,2
0,4
0,1
0,5
0,3
0,4
6
0,5
0,1
0,4
0,3
0,1
0,6
7
0,1
0,2
0,3
0,4
0,5
0,4
8
0,2
0,3
0,4
0,5
0,1
0,8
9
0,8
0,1
0,4
0,4
0,3
0,6
10
0,6
0,2
0,3
0,4
0,6
0,3
Практическое занятие №4 Эффективное кодирование дискретных
сообщений
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 83 из 111
Цель - овладение навыками статистического кодирования по методам
Шеннона-Фано и Хаффмана
Методические указания к практическому занятию №4
Закодируйте по алгоритму Хаффмана строку с вашим именем, отчеством,
фамилией, датой и местом рождения (например, «Иванова Наталья Николаевна, 1
января 1980 года, город Семей»).
При кодировании не округляйте частоты менее, чем четыре знака после запятой –
сокращение точности понижает эффективность кодирования.
Подсчитайте коэффициент сжатия.
Наберите эту же строку в редакторе «Блокнот» и сохраните текст в txt-формате
(количество байт в файле должно в точности соответствовать числу знаков – букв,
цифр и служебных символов – в строке.
Примените к файлу любой архиватор и сравните его степень сжатия с алгоритмом
Хаффмана
Принцип кодирования по Хаффману
Сжатие данных производится в два этапа. На первом этапе считываются
данные, которые должны подвергнуться сжатию; на втором определяется частота
встречаемости отдельных байтов данных, которые могут принимать значения от 0
до 255.
Рассмотрим пример. Пусть требуется сжать словосочетание:
ПРОГРАММИРОВАНИЕ КОМПРЕССИИ БЕЗ ПОТЕРЬ
До сжатия данных каждая буква представляется числом, которое лежит
между 0 и 255. Если применяется так называемая альтернативная кодовая таблица
(содержащая знаки русского алфавита), то буквы имеют значения между 128 и 159
(а-я), между 160 и 175 (а-п) и между 224 и 239 (Р-я), а пробел - значение 32. Запись
приведенного словосочетания потребовала бы 38 байт - по одному байту на букву
или пробел. Чтобы снизить размеры файла при записи, определим вначале частоту
встречаемости отдельных букв:
№ п/п Символ Повтор Частота
Буква Частота
1
Р
5
0.132
П
3
2
О
4
0.105
Р
5
3
И
4
0.105
О
4
4
Е
4
0.105
Г
1
5
П
3
0.079
А
2
6
М
3
0.079
М
3
7
ПРОБЕЛ 3
0.079
И
4
8
А
2
0.0526
В
1
9
С
2
0.0526
Н
1
10
Г
1
0.0263
Е
4
11
В
1
0.0263
К
1
12
К
1
0.0263
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 84 из 111
13
Б
1
0.0263
С
2
14
З
1
0.0263
Б
1
15
Т
1
0.0263
З
1
16
Ь
1
0.0263
T
1
17
Н
1
0.0263
Ь
1
Пробел 3
Очевидно, что наиболее часто встречается буква Р. Другие буквы встречаются
реже, а многие вообще не встречаются. Конечно, весьма расточительно кодировать
каждую букву одинаковым числом бит. Было бы гораздо экономичнее кодировать
наиболее часто встречающиеся буквы короткими кодами, например, 0 или 1. При
этом на кодирование затрачивался бы всего один бит, т.е. в 8 раз меньше, чем
согласно использованной кодовой таблице. Соответственно, по мере снижения
частоты букв для их кодирования можно было бы использовать все более длинные
численные значения. В этом заключается принцип кодирования по Хаффману.
После определения частоты встречаемости знаков строится схема
кодирования, в которой наиболее часто встречаемые символы кодируются
меньшим числом бит, и, наоборот, символы, частота встречаемости которых
меньше, кодируются большим числом бит. Задача состоит в том, чтобы найти
эффективную схему кодирования /декодирования. В сжатый файл необходимо
записать поток битов и информацию о том, как этот поток следует
интерпретировать. В этом потоке битов отдельные знаки представляются уже не
фиксированным, а переменным числом битов, причем количество кодирующих
битов уменьшается с ростом частоты встречаемости символа.
Рассмотрим пример реализации алгоритма кодирования.
Построим таблицу частоты повторяемости символов, деля число повторений
символа на длину сообщения (38):
Произведем ряд последовательных преобразований исходной таблицы,
складывая строки с наименьшей частотой и проводя их сортировку по убыванию:
Шаг 1
1
2
3
4
5
6
7
8
9
10,11
12,13
14,15
16,17
0.132
0.105
0.105
0.105
0.079
0.079
0.079
0.0526
0.0526
0.0526
0.0526
0.0526
0.0526
Шаг 2
1
2
3
4
8,9
10,11,12,13
14,15,16,17
5
6
7
0.132
0.105
0.105
0.105
0.105
0.105
0.105
0.079
0.079
0.079
Шаг 3
6,7
1
2
3
4
8,9
10,11,12,13
14,15,16,17
5
0.158
0.132
0.105
0.105
0.105
0.105
0.105
0.105
0.079
УМКД 042-18-11.1.20.43/03-2013
Шаг 4
5,14,15,16,17
6,7
1
2
3
4
8,9
10,11,12,13
0.184
0.158
0.132
0.105
0.105
0.105
0.105
0.105
Шаг 7
5,6,7,14,15,16,17 0.342
1,2
0.237
8,9,10,11,12,13 0.210
3,4
0.210
Редакция № 1
Шаг 5
8,9,10,11,12,13
3,4
5,14,15,16,17
6,7
1
2
0.210
0.210
0.184
0.158
0.132
0.105
Страница | 85 из 111
Шаг 6
1,2
0.237
8,9,10,11,12,13 0.210
3,4
0.210
5,14,15,16,17 0.184
6,7
0.158
Шаг 8
Шаг 9
3,4,8,9,10,11,12,13 0.420
1,2,5,6,7,14,15,16,17 0.579
5,6,7,14,15,16,17 0.342
3,4,8,9,10,11,12,13 0.420
1,2
0.237
Теперь, пользуясь таблицами в обратной последовательности, построим
дерево кодирования. Из вершины начинаются две ветви, соответствующие
значениям вероятности появления в сообщении данной группы символов.
Ветви помечаются значениями 0 (левая, с меньшим значением слагаемого
вероятности) и 1 (правая, с большим). Дерево закончится каждым символом
алфавита сообщения, а значения, приписанные ветвям дерева на пути от вершины к
данному символу, образуют двоичный код данного символа.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 86 из 111
1
0
1
0.420
0
0.579
0
1
0.210
0.237
0.105
0.052
0
10
11
1
2
1
1
1
0
1
0
0
1
0.052
0.342
1
0
12
0
0.157
13
0
1
7
6
0.210
0.105
0
1
0
1
8
1
0.184
0
3
9
0
4
5
0.105
0
1
0.052
0
14
0.052
1
0
1
15
16
17
По результатам данных операций можно составить таблицу кодирования.
№ п/п Символ
1
2
3
4
5
6
7
8
9
10
11
12
13
Р
О
И
Е
П
М
ПРОБЕЛ
А
С
Г
В
К
Б
Двоичный
код
101
100
010
011
1110
1100
1101
0010
0011
00000
00001
00010
00011
1
УМКД 042-18-11.1.20.43/03-2013
14
15
16
17
Редакция № 1
З
Т
Ь
Н
Страница | 87 из 111
111100
111101
111110
111111
Подсчитаем полученную степень сжатия, умножая длину кода на сумму символов,
кодируемых кодом данной длины:
3(5+4+4+4) + 4(3+3+3+2+2) +5(1+1+1+1) + 6(1+1+1+1) = 147 бит (18.4 байт)
Таким образом, имеем коэффициент сжатия К=38/19=2
Практическое занятие №5 Помехоустойчивое кодирование двоичных
сообщений с использованием циклических кодов
Цель - изучение и практическое освоение принципов помехоустойчивого
кодирования дискретных двоичных сообщений.
Методические указания к практическому занятию №5
Построить групповой корректирующий код объемом Q слов
Разработать функциональную схему кодирующего устройства для построенного
группового корректирующего кода
Объем кода Q нужно выбрать по последней цифре номера зачетной книжки:
Последняя цифра 0
1
2
3
4
5
6
7
8
9
зачетной книжки
Q слов
5
6
7
8
10 11 12 13 14 15
Коды объемом 5,6 и 7 слов должны обеспечить исправление всех одиночных и
двойных ошибок
Коды объемом 8,10,..., и 15 слов должны обеспечить исправление всех одиночных
ошибок и обнаружение двойных ошибок
Для кодов, исправляющих все одиночные и двойные ошибки, декодирующее
устройство рекомендуется строить по мажоритарному принципу
Пример решения
Вариант 1
Определение правил построения корректирующего кода
Построение функциональной схемы кодирующего устройства
Вариант 2
Определение правил построения корректирующего кода
Построение функциональной схемы кодирующего устройства
Вариант 1
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 88 из 111
Построить групповой корректирующий код объёмом 9 слов. Разработать
функциональную схему кодирующего устройства. Код должен обеспечивать
исправление одиночных и обнаружение двойных ошибок
Определение правил построения корректирующего кода
Определим число информационных разрядов кода из соотношения:
где Q – требуемый объём кода. В нашем случае Q=9, по-этому
Отсюда получаем k=4:
Далее находим число n из неравенства
Подставляем k=4 и подбором находим минимальное n, удовлетворяющее
неравенству. В нашем случае n=7:
Далее мы должны составить таблицу опознавателей. Для этого необходимо ввести
понятие вектора ошибок и опознавателя
Вектор ошибок это n-разрядная двоичная последовательность, имеющая единицы
во всех разрядах, подвергшихся искажению, и нули в остальных разрядах.
(Пример: искажению подверглись два младших разряда 6-разрядного сообщения тогда вектор ошибки будет выглядеть как 000011)
Опознаватель – это некоторая сопоставленная вектору ошибок контрольная
последовательность символов
В нашем случае векторы ошибок имеют разрядность 7 бит, так как n=7 ,
опознаватели имеют разрядность 3 бит, так как n-k=7-4=3 . Опознаватели
рекомендуется записывать в порядке возрастания (нулевую комбинацию не
используем)
Теперь необходимо определить проверочные равенства и сформулировать правила
построения кода, способного исправлять все одиночные ошибки
Выбираем из таблицы строки, где опознаватели имеют в первом (младшем) разряде
единицу. Это строки 1, 3, 5 и 7. Тогда первое проверочное равенство будет
выглядеть так:
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 89 из 111
Теперь выбираем строки, где опознаватели имеют во вто-ром разряде единицу. Это
строки 2, 3, 6, 7. Тогда второе проверочное правило выглядит так:
И, наконец выбираем строки, где опознаватели имеют единицу в третьем разряде.
Это строки 4, 5, 6, 7. Следовательно, третье проверочное равенство выглядит так:
Далее мы должны отобрать строки, где опознаватели имеют всего одну единицу. В
нашем случае это строки 1, 2 и 4. Возвращаемся к полученным ранее уравнениям.
В левой части оставляем члены с выбранными нами только что индексами, а
остальные переносим в правую часть:
Эти три уравнения и называются правилами построения кода. Код, построенный по
этим правилам, может исправить все одиночные ошибки. Но нам необходимо,
чтобы код также мог обнаруживать двойные ошибки. Для этого добавим к трём
уравнениям, полученным ранее, ещё одно:
Мы получили окончательные правила построения кода, способного исправлять все
одиночные и обнаруживать двойные ошибки:
Используя правила построения корректирующего кода (*), построим таблицу
разрешённых комбинаций группового кода объёмом 9 слов, способного исправлять
все одиночные и обнаруживать двойные ошибки
В колонку «безызбыточный код» записываем девять (по заданию Q=9) комбинаций
по возрастанию (нулевую комбинацию не используем):
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 90 из 111
Все колонки, кроме а1 , а2 , а4 и а8 , содержимое которых определяется формулами
(*), заполняем цифрами из безызбыточного кода (в таблице выделены жирным
шрифтом)
Чтобы заполнить колонки а1 , а2 , а4 и а8 , подставляем значения необходимых
переменных в соответствующие уравнения из (*). Например, для строки 9 (слово
Х9 ) получаем следующее:
Построение функциональной схемы кодирующего устройства
Назначение кодирующего устройства – внесение избыточности в код по заданным
нами правилам
Схему строим на основании равенств (*)
В схеме используется логический элемент «сумматор по модулю два»,
обозначенный М2
В схеме имеются два регистра, построенные на D-триггерах. Один из них содержит
безызбыточный код и имеет разрядность 4 бит, так как k=4 , а другой содержит
избыточный код и имеет разрядность 8 бит, так как n=8
Принцип работы схемы таков: по сигналу синхронизации на k-разрядный регистр
поступает кодовая комбинация, подлежащая кодированию. Затем с помощью
сумматоров эта комбинация кодируется (вносится избыточность)
Сумматор С1 реализует первое равенство из (*), сумматор С2 – второе, С3 – третье,
а С4 – четвёртое
И, наконец, по сигналу синхронизации полученный избыnочный код записывается
в 8-разрядный регистр. Далее начинается кодирование следующей комбинации
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 91 из 111
Функциональная схема кодирующего устройства:
Вариант 2
Построить групповой корректирующий код объёмом 4 слов, способный исправлять
все одиночные и двойные ошибки. Разработать функциональные, а затем
принципиальные электрические схемы для кодирующего и декодирующего
устройства. Декодирующее устройство построить по мажоритарному принципу
Определение правил построения корректирующего кода
Определим число информационных разрядов кода из соотношения
где Q – требуемый объём кода. В нашем случае Q=4, по-этому
Отсюда получаем k=3:
Далее находим число n из неравенства
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 92 из 111
Подставляем k=3 и подбором находим минимальное n, удовлетворяющее
неравенству. В нашем случае n=9:
Однако найденное нами число проверочных разрядов является теоретически
минимальным и его не всегда можно реализовать практически. Для уточнения
воспользуемся следующей таблицей:
Мы получили n=9, следовательно число проверочных разрядов равно n-k=9-3=6
Однако в таблице мы видим, что при ошибке в девятом разряде ставится в
соответствие семиразрядный опознаватель 1000000 (нули в старших разрядах не
учитываем)
Увеличиваем число проверочных разрядов с 6 до 7, а следовательно увеличиваем и
число n (разрядность кода) так же на единицу с 9 до 10
Итак, окончательно мы получили: k=3, n-k=7, n=10
Проверочные равенства определяем по тому же принципу, что и в первом варианте.
Получим следующее:
Правила построения кода составляем также как и в первом варианте:
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 93 из 111
Построим таблицу разрешённых комбинаций для группового корректирующего
кода объёмом 4 слова, способного исправлять все одиночные и двойные ошибки по
тому же принципу, что и в первом варианте:
Построение функциональной схемы кодирующего устройства
Функциональная схема кодирующего устройства строится по тому же принципу,
что и в первом варианте
Функциональная
схема
кодирующего
устройства:
&&&
Практическое занятие №5 Помехоустойчивое кодирование двоичных
сообщений с использованием кодов Хемминга
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 94 из 111
Методические указания к практическому занятию №5
Цель - изучение и практическое освоение принципов помехоустойчивого
кодирования дискретных двоичных сообщений с использованием кодов Хемминга.
Постановка задачи
Двоичное дискретное сообщение в виде кодовой комбинации длины n и=5
передается по каналу связи. Для обеспечения более высокой достоверности
передачи информации требуется ввести в него соответствующую избыточность,
обеспечив реализацию моделей кодов Хемминга с d = 3 и 4.
Подготовка к выполнению практического задания
Ознакомиться с лекционным материалом по данной тематике, изучить
содержание раздела 3 данного пособия, а также соответствующие разделы в
литературных источниках
Порядок выполнения задания
1.Синтезировать код Хемминга с исправлением одиночной ошибки
(минимальное кодовое расстояние d = 3) для числа информационных символов
nи=5. Для этого необходимо:
 определить число контрольных символов, обеспечивающих заданные
требования по помехозащищенности;
 установить, на каких позициях кодовой комбинации следует разместить
контрольные символы и какие позиции займут информационные символы;
 собрав макет кодовой комбинации, определить значение каждого
контрольного символа;
 составить кодовые комбинации, включающие как контрольные, так и
информационные символы.
2.Синтезировать код Хемминга с исправлением одиночной ошибки и
обнаружением двойной (минимальное кодовое расстояние d = 4) для числа
информационных символов nи=5. Для этого необходимо:
 определить число контрольных символов, обеспечивающих заданные
требования по помехозащищенности;
 установить, на каких позициях кодовой комбинации следует разместить
контрольные символы и какие позиции займут информационные символы;
 собрав макет кодовой комбинации, определить значение каждого
контрольного символа;
 составить кодовые комбинации, включающие как контрольные, так и
информационные символы.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 95 из 111
Состав отчета по заданию 5
1. Постановка задачи.
2. Расчет числа контрольных символов, обеспечивающих заданные
требования по помехозащищенности (для d=3 и 4).
3. Номера позиций контрольных символов в результирующей комбинации
кодов Хемминга для d=3 и 4.
4. Номера позиций информационных символов в результирующей
комбинации кодов Хемминга для d=3 и 4.
5. Синдромы ошибок для кода Хемминга, исправляющего одиночную ошибку
(d=3).
6. Макеты кодов Хемминга для d=3 и 4.
7. Алгоритм определения контрольных символов для кодов Хемминга с d=3 и
4.
8. Все возможные комбинации кодов Хемминга для d=3 и 4, включающие как
контрольные, так и информационные символы.
9. Выводы по работе.
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 96 из 111
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 97 из 111
4 Самостоятельная работа
Наименование
Цель занятия Форма
Содержание Рекомендуемая
темы СРСП
проведения
задания
литература
занятия
Определение
Углубление Изучение
Конспект
информации
знаний
по материала
[1,2,3,4,5]
данной теме
Блочное
Углубление Изучение
Конспект
кодирование
знаний
по материала
данной теме
[1,2,3,4,9]
Методы поиска Углубление Изучение
Конспект
информации
знаний
по материала
[1,2,3,4,5,9]
данной теме
Моделирование
Углубление Изучение
Конспект
информационных знаний
по материала
[1,2,3,4,5,9]
потоков
данной теме
Методы
Углубление Изучение
Конспект
повышения
знаний
по материала
[1,2,3,4,5, 9,12]
достоверности
данной теме
переработки
информации
Классификация
Углубление Изучение
Конспект
вычислительных знаний
по материала
[1,2,3,4,5,9]
сетей
данной теме
Методы
Углубление Изучение
Конспект
эффективного
знаний
по материала
[1,2,3,4,5,9]
кодирования
данной теме
Примечание – номер рекомендуемой литературы, указанной в квадратных
скобках, проставлен согласно нумерации списка основной и дополнительной
литературы, предлагаемой в рабочей учебной программе см. п.1
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 98 из 111
5 Блок контроля знаний
Рубежный контроль проводится по тестовым заданиям, аттестация ставиться с
учетом практических работ, СРС и по результату тестового контроля.
1 Тесты для 1 рубежного контроля
1
Часть реального мира, подлежащая изучению для организации управления и в
конечном счете автоматизации (например, предприятие):
А) информационная система
В) предметная область
С) структурирование данных
D) база данных (БД)
Е) объект
2
При квантовании с постоянным шагом и размещении уравнений квантования в
середине шага (равномерное квантование) среднеквадратическая ошибка
квантования как для равномерного, так и для произвольного распределения
мгновенных значений сигнала равна :
А) I c 
В)  
N
U
k 1
2
c
(kt )  2 FcTc Pc

2 3
С)  (t )  U (t )  U (t )
T
1
D) d r (U, V) 
U(t) - V(t) 2 dt

T0
Е) I (V ,U )  VT I (V ,U )
3
Аналитическое влияние помех X (t ) на полезный сигнал U (t ) а общем виде можно
выразить оператором V (t )  Y SU (t ), X(t), где функция S U (t ) отображает
искаженный сигнал. В частном случае, когда оператор У вырождается в линейную
сигнальной составляющей и помехи V (t )  S (t )  X (t ) , помеха называется:
А) определенной
В) экспериментальной
С) аддитивной
D) частотной
Е) шифровальной
4
Обратная связь в системе управления выражается:
А) потоком информации, воздействующей на внешнюю среду
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 99 из 111
В) потоком информации, направляемой от объекта управления к управленческому
аппарату
С) потоком информации, циркулирующим в системе управления
D) потоком информации, воздействующим на субъект управления
Е) потоком директивной информации, направляемым от управленческого аппарата
к объекту управления
5
Методы и алгоритмы, ориентированные на динамические характеристики
конкретной реализации, которое позволяет получить минимальное число выборок,
обеспечивающих восстановление этой реализации с заданной точностью
называется:
А) адаптивной дискретизацией
В) практической шириной спектра
С) спектром фаз
D) комплексной амплитудой
Е) спектром амплитуд
6
Кодер источника преобразует:
А) исходную последовательность в последовательность символов
В) выходную последовательность в последовательность символов
С) первичные документы в наглядный вид
D) сигналы ПК в спутниковые
Е) промежуточную информацию в исходную
7
Область частот, в которой сосредоточена подавляющая часть мощности
периодического сигнала, называют:
А) спектром амплитуд
В) комплексной амплитудой
С) практической шириной спектра
D) спектром
Е) спектром фаз
7
Скорость передачи информации по непрерывному каналу:
А) случайный процесс с конечным множеством состояний
В) равна дискретным линейным векторным пространствам
С) это количество информации, которая передается в среднем принятыми,
непрерывными сигналами V (t ) , относительно переданных U (t ) в единицу времени
D) средняя неопределенность по всему ансамблю принимаемых элементов
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 100 из 111
Е) длина 1 вектора проведенного из начала координат к точке, изображающей
сигнал
8
Пропускная способность непрерывного канала:
А) t 
1
zFc
T
1
В) lr 
U 2 (t )dt

T0
С) CД  VT log m
D) p( x, a)   2  f ( x1 )  f ( x2 )
Е) CH  max I (V ,U )
 p (U )
9
Допустимая среднеквадратическая погрешность приближения:
А)  (t )  U (t )  U (t )

В) h(u )    p(U ) log p(u )du

С)  g   
D)  
1
 2 (t )dt

i i

2 3
Е) I (V ,U )  VT I (V ,U )
10
Как называется число, заключенное между 0 и 1, которое характеризует среднюю
частоту появления случайных величин:
А) вероятностью
В) распределением
С) частотой
D) значением
Е) плотностью
11
Набор знаков, для которых существует указанное соглашение, называется:
А) словами
В) символами
С) цифрами
D) информационной системой
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 101 из 111
Е) знаковой системой
12
Длину вектора сигнала находят по формуле:
А)  

2 3
В) I (V ,U )  VT I (V ,U )
С)  (t )  U (t )  U (t )
D) I c 
N
U
k 1
Е) Ir (U, V) 
2
c
(kt )  2 FcTc Pc
T
1
U(t) - V(t) 2 dt
T 0
13
Введение численной меры количества информации позволяет:
А) сравнивать различные сообщения по из содержательности
В) оценивать скорость передачи информации в различных системах и сравнивать
эти системы по их эффективности
С) определять предельное количество информации, которое может быть передано в
данных конкретных условиях
D) качественно оценить информацию
Е) сравнивать различные сообщения по их содержательности, оценивать скорость
передачи информации, определять предельное количество информации, которое
может быть передано в данных конкретных условиях
14
Указать формулу Шеннона для оценки энтропии в битах:
А) H   pi log 2 pi
В) H  log 2 N
С) H  1/ 2 pi ln pi
D) H   pi ln pi
Е) H   log pi
15
Если разность значений U i  U i  U i1 постоянна на всем протяжении непрерывной
шкалы. Мгновенных значений сигнала U , то квантование называют:
А) спектром фаз
В) спектром амплитуд
С) практической шириной спектра
D) равномерным
Е) комплексной амплитудой
16
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 102 из 111

Величину S ( j )   U (t )e  jt dt называют:

А) комплексной амплитудой
В) спектром
С) спектром амплитуд
D) комплексной спектральной плотностью
Е) спектром фаз
17
Отрезок времени t i  ti  ti 1 между соседними выборками называют:
А) спектром фаз
В) шагом дискретизации
С) спектром амплитуд
D) комплексной амплитудой
Е) практической шириной спектра
18
Источники информации, множество возможных состояний которых составляет
континуум называют:
А) источником информации
В) источником
С) дискретным источником информации
D) дискретным
Е) непрерывными источниками информации
19
Интерполирующий многочлен
записывается в виде:
А) U n (t )  (1)
 (  1)...(  n)
n!
n
 (1) j
j 0
Лагранжа
при
равномерной
дискретизации
CnjU (t j )
 j
U 1 (t0 )(t  t0 )
U n (t0 )(t  t0 ) n
 ... 
1!
n!
sin c (t  nt )
С) n (t ) 
c (t  nt )
В) U  (t )  U (t0 ) 
D) I (V ,U )  VT I (V ,U )
Е)  

2 3
20
Любая коммуникабельная система должна включать следующие компоненты:
А) передатчик, сообщение, средства передачи, приемник
В) передатчик, сообщение, модулятор, приемник
С) передатчик, сообщение, демодулятор, приемник
D) передатчик, сообщение, модулятор, пользователь
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 103 из 111
Е) модулятор, искатель, приемник
21
Комплексная форма записи интегрального преобразователя Фурье:

А) h(u )    p(U ) log p(u )du

В)  

2 3
С)  (t )  U (t )  U (t )

1
D) U (t )   S ( )e j t  ( )d
2 0
Е) I (V ,U )  VT I (V ,U )
22
Спектральная плотность мощности сигнала ограниченного во времени:
А)  (t )  U (t )  U (t )
В)  

2 3
S ( )
С) P ( ) 
2T
2
T
k
D) I (V ,U )  VT I (V ,U )

Е) h(u )    p(U ) log p(u )du

23
Вероятностный критерий:
А)  

2 3

В) h(u )    p(U ) log p(u )du

С)  (t )  U (t )  U (t )
D) Pg  P (t )   0 
Е) I (V ,U )  VT I (V ,U )
24
На чем основана методика эффективного кодирования Шеннона-Фено:
А) на учете вероятностей появления букв первичного алфавита
В) на учете коррелированности букв первичного алфавита
С) на учете повторяемости некоторых сочетаний букв первичного алфавита
D) на учете независимости букв первичного алфавита
Е) на свойстве повторяемости нескольких букв первичного алфавита
25
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 104 из 111
Сколько видов информационных фильтров бывает:
А) три
В) один
С) два
D) пять
Е) четыре
26
Длину вектора сигнала находят по формуле:
А) I (V ,U )  VT I (V ,U )
В)  

2 3
С)  (t )  U (t )  U (t )
D) I c 
N
U
k 1
Е) Ir (U, V) 
2
c
(kt )  2 FcTc Pc
T
1
U(t) - V(t) 2 dt

T0
27
Назовите типы каналов связи (или режимов передач):
А) симплексные, сложные
В) полудуплексные, простые
С) симплексные, полудуплексные, дуплексные
D) дуплексные, неравномерные
Е) дуплексные, равномерные
28
В действительности «каналом связи» является любая естественная
искусственная система, в которой можно выделить:
А) усредненное состояние
В) конечное состояние (выходной сигнал) У и промежуточное
С) только выходную информацию
D) начальное состояние (входной сигнал) Х и конечное (входной сигнал) У
Е) начальное состояние (входной сигнал) Х и промежуточное
29
Под производительностью источника понимают:
А) количество информации, вырабатываемое источников в единицу времени
В) практической шириной спектра
С) апостериорной энтропией источника
D) элементами сообщения
Е) спектром амплитуд
или
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 105 из 111
30
Чем измеряется пропускная способность канала связи:
А) байт/мин
В) Мб/час
С) кб/мин
D) бит/сек
Е) Тбит/сутки
7.2 Тесты для 2 рубежного контроля
1
Последовательность символов, соответствующая каждому знаку при передаче
дискретных сообщений, называется
А) кодированием
В) кодовой комбинацией
С) демпфированием
D декодированием
Е) модуляцией
2
Операция сопоставления символов со знаками исходного алфавита, называется
А) кодированием
В) кодовой комбинацией
С) демпфированием
D декодированием
Е) модуляцией
3
Число символов в каждой кодовой комбинации, называется
А) порядком кодера
В) весом
С) значностью
D пропускной способностью кодера
Е) нет правильного ответа
4
Число ненулевых символов в кодовой комбинации, называется
А) порядком кодера
В) весом
С) значностью
D пропускной способностью кодера
Е) нет правильного ответа
5
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 106 из 111
Воздействие на один или несколько параметров переносчика информации по
закону, принятому при кодировании сообщений, называется
А) кодированием
В) кодовой комбинацией
С) демпфированием
D декодированием
Е) модуляцией
6
Совокупность технических средств используемых для передачи сообщения от
источника к потребителю информации называется
А) линией связи
В) каналом связи
С) передатчиком
D системой связи
Е) нет правильного ответа
7
Совокупность средств, предназначенных для передачи сигнала, называется
А) линией связи
В) каналом связи
С) передатчиком
D системой связи
Е) нет правильного ответа
8
Способность системы обеспечить передачу данного количества информации с
наименьшими затратами мощности сигнала времени и полосы частот, называется
А) эффективностью системы
В) помехоустойчивостью системы
С) надежностью системы
D воспроизводимостью системы
Е) другой ответ
9
Способность системы обеспечить передачу данного количества информации с
наименьшими затратами мощности сигнала времени и полосы частот, называется
А) эффективностью системы
В) помехоустойчивостью системы
С) надежностью системы
D воспроизводимостью системы
Е) другой ответ
10
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 107 из 111
Сигнал, характеризуемый бесконечно малой длительностью, бесконечно большим
уровнем и площадью, равной единице, называется
А) единичный импульс
В) единичный скачок
С) единичная функция
D синусоидальное воздействие
Е) элементарный сигнал
12
Известно, что одно из х равновероятных сообщений несет три бита информации.
Чему равно количество сообщений
А) 0
В) 2
С) 4
D8
Е) 16
13
Символы алфавита обладают двумя качественными признаками. Какое количество
сообщений можно получить, комбинируя по три элемента в сообщении
А) 2
В) 4
С) 6
D8
Е)16
14
Символы алфавита обладают двумя качественными признаками. Какое количество
сообщений можно получить, комбинируя по четыре элемента в сообщении
А) 2
В) 4
С) 6
D8
Е)16
15
Какое количество информации приходится на букву алфавита, состоящего из 16
равновероятных и независимых букв
А) 2
В) 4
С) 6
D8
Е)16
16
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 108 из 111
Известно, что одно из равновероятных возможных сообщений имеет 3 бита
информации. Из скольких качественных признаков состоит алфавит, если N=8, N –
количество возможных сообщений
А) 2
В) 4
С) 6
D8
Е)16
17
Сообщения составлены из равновероятного алфавита, содержащего n=128
качественных признака. Чему равно количество символов в принятом сообщении,
если известно, что оно содержит 42 бита информации
А) 2
В) 4
С) 6
D8
Е)16
18
В результате статистических испытаний установлено, что при передаче каждых 100
сообщений длиной по 5 символов в сообщении символ К встречается 50 раз, а
символ Т 30 раз. Вместе с символом К символ Т встречается 10 раз. Определить
условную энтропию Н(К/Т)
А) 0,12
В) 0,14
С) 0,16
D 0,18
Е) 0,2
19
Система передачи информации?
A) совокупность технических средств, используемых для передачи информации во
времени
B) устройство, генерирующий сообщение, подлежащее передаче
C) совокупность физических объектов, используемых для переноса сигнала
D) устройство, преобразующее сообщение на выходе источника в сигнал,
пригодный для передачи по данному каналу
E) устройство, преобразующее сигнал на выходе канала к виду, пригодному для
использования потребителем
20
Что такое источник информации?
A) совокупность технических средств, используемых для передачи информации во
времени
B) устройство, генерирующий сообщение, подлежащее передаче
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 109 из 111
C) совокупность физических объектов, используемых для переноса сигнала
D) устройство, преобразующее сообщение на выходе источника в сигнал,
пригодный для передачи по данному каналу
E) устройство, преобразующее сигнал на выходе канала к виду, пригодному для
использования потребителем
21
Что такое канал?
A) совокупность технических средств, используемых для передачи информации во
времени
B) устройство, генерирующий сообщение, подлежащее передаче
C) совокупность физических объектов, используемых для переноса сигнала
D) устройство, преобразующее сообщение на выходе источника в сигнал,
пригодный для передачи по данному каналу
E) устройство, преобразующее сигнал на выходе канала к виду, пригодному для
использования потребителем
22
Кодер-это
A) совокупность технических средств, используемых для передачи информации во
времени
B) устройство, генерирующий сообщение, подлежащее передаче
C) совокупность физических объектов, используемых для переноса сигнала
D) устройство, преобразующее сообщение на выходе источника в сигнал,
пригодный для передачи по данному каналу
E) устройство, преобразующее сигнал на выходе канала к виду, пригодному для
использования потребителем
23
Совокупность технических средств, используемых для передачи информации во
времени
A) Система передачи информации
B) Источник информации
C) Канал
D) Кодер
E) Декодер
24
Совокупность физических объектов, используемых для переноса сигнала
A) Система передачи информации
B) Источник информации
C) Канал
D) Кодер
E) Декодер
УМКД 042-18-11.1.20.43/03-2013
Редакция № 1
Страница | 110 из 111
25
На чем основана методика эффективного кодирования Шеннона-Фено:
А) на учете вероятностей появления букв первичного алфавита
В) на учете коррелированности букв первичного алфавита
С) на учете повторяемости некоторых сочетаний букв первичного алфавита
D) на учете независимости букв первичного алфавита
Е) на свойстве повторяемости нескольких букв первичного алфавита
26
К какому методу кодирования относятся коды Хаффмана:
А) LZW кодирование
В) помехоустойчивое кодирование
С) арифметическое кодирование
D) эффективное кодирование*
Е) криптографическое кодирование
27
Различают коды:
А) равномерные и неравномерные
В) неравномерные, простые
С) смешанные, неопределенные
D) равномерные, простые
Е) смешанные и разнотактные
28
Кодирование, позволяющее устранять избыточность источников сообщений
называются:
А) эффективным или статическим
В) эффективным, избыточным
С) статическим, дискретным
D) дифференциальным, условным
Е) эффективным, динамическим
29
Какие коды называются помехоустойчивыми:
А) статические коды
В) коды способные исправлять и обнаруживать ошибки
С) коды с избыточностью
D) неэффективные коды
Е) дифференциальные коды
30
В случае блочных кодов, при кодировании, каждому дискретному сообщению
ставится в соответствии:
А) кодовая комбинация
В) вероятность сообщения
УМКД 042-18-11.1.20.43/03-2013
С) непрерывные сигналы
D) отдельный блок информации
Е) избыточность
Редакция № 1
Страница | 111 из 111