МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РЕСПУБЛИКИ КАЗАХСТАН ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени ШАКАРИМА г. Семей

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РЕСПУБЛИКИ КАЗАХСТАН
ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени ШАКАРИМА г. Семей
Документ СМК 3уровня
УМКД
УМКД
Программа дисциплины
“Теория информации”
для преподавателя
Редакция № 1 от _______
УМКД 042-1811.1.20.89/01-2013
УЧЕБНО-МЕТОДИЧЕСКИЙ КОМПЛЕКС
ДИСЦИПЛИНЫ
«Теория информации»
для специальности 5В070400-Вычислительная техника и программное
обеспечение
ПРОГРАММА ДИСЦИПЛИНЫ
ДЛЯ ПРЕПОДАВАТЕЛЯ
Семей
2013
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Страница 2 из 15
Предисловие
1.РАЗРАБОТАНО
Составитель Золотов А.Д., к.т.н., заведующий кафедрой «Автоматики и
электротехники», Государственного университета имени Шакарима г. Семей
2.ОБСУЖДЕНО
2.1 На заседании кафедры «Автоматики и электротехники», Семипалатинского государственного университета имени Шакарима
Протокол от «___» __________ 2013г., №____.
Заведующий кафедрой ____________ А.Золотов
2.2. На заседании учебно-методического бюро ФИКТ
Протокол от «____» __________ 2013 года, № __.
Председатель _________________Р. Бекбаева
3.УТВЕРЖДЕНО
Одобрено и рекомендовано к изданию на заседании Учебно-методического
совета университета
Протокол от «____» __________ 2013 года, № __.
Председатель УМС____________ Г. Искакова
2
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Страница 3 из 15
Содержание
1 Область применения ................................................................................................. 4
2 Нормативные ссылки ................................................................................................ 4
3 Общие положения ..................................................................................................... 4
3.1 Краткое описание содержания дисциплины ....................................................... 4
3.2 Требования к уровню освоения содержания дисциплины ................................. 5
4 Рабочая программа дисциплины для преподавателя ............................................. 5
5 Перечень тем для самостоятельной работы студентов ......................................... 7
6 Учебно-методическая карта по дисциплине........................................................... 8
7 Карта обеспеченности учебно-методической литературой. ............................... 14
8 Литература................................................................................................................ 15
3
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Страница 4 из 15
1 Область применения
Программа дисциплины для преподавателя, входящая в состав учебнометодического комплекса по дисциплине «Теория информации» предназначена для
студентов специальности 5В070400-Вычислительная техника и программное обеспечение. Она знакомит студентов с содержанием курса, его актуальностью и необходимостью, политикой курса, с теми знаниями и умениями, которые приобретут
студенты в процессе обучения. Учебно-методический комплекс является основным
руководством при изучении дисциплины.
2 Нормативные ссылки
Настоящая программа дисциплины «Теория информации» устанавливает
порядок организации учебного процесса по данной дисциплине в соответствии с
требованиями и рекомендациями следующих документов:
 Каталога
элективных
дисциплин
для
специальности
5В070400Вычислительная техника и программное обеспечение

СТУ 042-ГУ-4-2013 Стандарт университета «Общие требования к разработке и оформлению учебно-методических комплексов дисциплин»;

ДП 042-1.01-2013 Документированная процедура «Структура и содержание учебно-методических комплексов дисциплин».
3 Общие положения
3.1 Краткое содержание дисциплины
Цель преподавания дисциплины – изучение студентами необходимых теоретических основ теории информации, методов и средств сбора, передачи и обработки
информации; ознакомление студентов с основными процессами, происходящими
при преобразовании сообщений в сигнал и их передачи по каналам и линиям связи;
освоение студентами общих вопросов построения систем сбора, передачи и обработки информации; выработка практических навыков теоретического и экспериментального исследования типовых систем сбора, передачи и обработки информации.
В результате изучения дисциплины студент должен получить теоретические
знания, практические умения и навыки в области анализа и синтеза систем автоматизации, владеть методами исследования сложных технологических процессов с использованием современных средств вычислительной техники; выработки алгоритма
управления, обеспечивающих качественное функционирование технических систем.
4
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Страница 5 из 15
3.2 Результаты обучения
В результате изучения дисциплины студенты должны:
 знать основные понятия теории информации, модели информации по
Хартли и по Шеннону, модели дискретных каналов связи, принципы эффективного кодирования информации, прямые и обратные теоремы Феннона о пропускной способности каналов связи без помех и с помехами, основы теории помехоустойчивого кодирования и его применения в информационной технике.
 уметь использовать методы статистической теории информации для расчета количества информации, скорости передачи информации и пропускной
способности дискретного канала без помех и с помехами; синтезировать
оптимальные коды; рассчитывать коэффициент избыточности кодов; применять методы построения и декодирования помехоустойчивых кодов;
синтезировать кодирующие и декодирующие устройства помехоустойчивых кодов.
Пререквизиты курса:
 нет
Постреквизиты курса:

нет
Выписка из рабочего учебного плана
Таблица 1
Курс
3
Семестр Кредиты
5
3
Лекции
СПЗ
ЛЗ
СРСП
час.
час.
час.
час.
15
15
15
СРС.
45
Форма
итогового
контроля
Экзамен
4 Содержание учебной дисциплины (модуля)
Рабочая программа дисциплины для преподавателя включает полное
содержание вопросов, тем и разделов, распределение часов по видам занятий.
Рабочая программа дисциплины для преподавателя представлена в табл.2
5
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Таблица 2.
Наименование тем и их содержание
1
Лекционные занятия
Модуль 1
Лекции
Понятие информации. Основные понятия и определения. Систематическая, синтаксическая и прагматическая информация.
Понятие сигнала и его модели. Общая характеристика сигнала. Формы
представления детерминированных сигналов. Временная форма представления сигнала. Частотная форма представления сигнала.
Спектральная плотность детерминированного сигнала Спектры периодических сигналов. Спектры непериодических сигналов. Энергия спектра.
Практическая ширина спектра сигнала
Практические занятия
Спектры периодических сигналов. Спектры непериодических сигналов
Разложение функции в ряд Фурье. Дискретный спектр. Интегральные
преобразования Фурье. Спектральные характеристики сигнала
Страница 6 из 15
Количество
часов
2
3
1
1
1
4
2
2
1
Модуль 2
Лекции
Структурные меры информации. Аддитивная мера (мера Хартли). Статистические меры информации. Вероятность и информация. Энтропия как
мера неопределенности информации. Свойства энтропии. Условная энтропия и ее свойства Энтропия непрерывного источника сообщений (дифференциальная энтропия) и ее свойства. Количество информации как мера
снятой неопределенности
Информационные характеристики источника дискретных сообщений. Модели источника дискретных сообщений. Избыточность. Производительность источника дискретных сообщений.
Информационные характеристики дискретных каналов связи. Модели дискретных каналов связи. Скорость передачи по дискретному каналу связи.
Пропускная способность дискретного канала без помех. Пропускная способность дискретного канала связи с помехами
Информационные характеристики непрерывных каналов связи. Скорость
передачи информации по непрерывному каналу связи. Пропускная способность непрерывного канала связи.
Практические занятия
Энтропия как мера неопределенности информации. Свойства энтропии.
Условная энтропия и ее свойства
Модуль3
Лекции
2
4
1
1
1
1
4
2
6
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Дискретизация. Методы дискретизации информации. Критерии качества
восстановления. Методы дискретизации посредством выборок. Равномерная дискретизация. Теорема Котельникова. Теоретические и практические
аспекты применения теоремы Котельникова.
Квантование сигналов. Шум квантования. Квантование сигналов при
наличии помех. Уровни квантования
Практические задания
Равномерная дискретизация. Теорема Котельникова
Модуль 4
Лекции
Кодирование как процесс выражения информации в цифровом виде. Эффективное кодирование. Основная теорема Шеннона о кодировании для
канала без помех
Методы эффективного кодирования некорреляционной последовательности символов (методики Шеннона-Фано Хаффмана). Требования префиксности эффективных кодов
Основная теорема Шеннона о кодировании для канала с помехами. Разновидности помехоустойчивых кодов.
Блоковые коды. Общие принципы использования избыточности. Связь
корректирующей способности кода с кодовым расстоянием. Геометрическая интерпретация блоковых корректирующих кодов. Показатели качества корректирующего кода.
Линейное кодирование. Принципы линейного кодирования. Блоковые коды. Многоуровневые коды. Манчестерский код. Код Миллера. Код Хемминга.
Обнаруживающие коды. Циклические коды. Технические средства кодирования и декодирования для циклических кодов. Итеративные коды.
Сверточные коды
Практические занятия
Методы эффективного кодирования некорреляционной последовательности символов (методики Шеннона-Фано Хаффмана). Требования префиксности эффективных кодов
Помехоустойчивое кодирование двоичных сообщений
Помехоустойчивое кодирование двоичных сообщений с использованием
кодов Хемминга Декодирование кодов Хемминга
Помехоустойчивое кодирование двоичных сообщений с использованием
циклических кодов
Декодирование циклических кодов
Страница 7 из 15
1
1
1
6
1
1
1
1
1
1
6
2
1
1
1
1
5 Перечень тем для самостоятельной работы студентов
Тема 1.
1. Современные проблемы теории информации.
2.Разновидности информационных систем и тенденции их развития.
3.Этапы обработки информации
Тема 2.
1.Сбор и передача информации.
7
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Страница 8 из 15
2.Преобразование аналогового сигнала в цифровой.
3.Процесс передачи цифровых сигналов
4.Информационные параметры сообщений и сигналов.
Тема №3
1.Характеристики систем связи
2.Современные коммуникации
3.Развитие коммуникационных технологий
Тема №4
1.Помехи и искажения в канале.
2.Теорема кодирования для канала с помехами.
3.Защита от помех измерительной аппаратуры
Тема №5
1.Классификация кодов по различным признакам.
2.Свойства статистических кодов и их применение для передачи информации.
3.Методы повышения эффективности и обеспечения верности передачи информации.
4.Основные параметры и характеристики кодов
Тема № 6
1.Классификация методов фильтрации.
2.Частотная фильтрация.
3.Метод накопления.
4.Критерий верности оптимального приема
5. Оптимальный прием дискретных сигналов. Методы фильтрации помех.
6 Учебно-методическая карта по дисциплине
Таблица 3-Учебно-методическая карта по дисциплине
Лекционного
занятия
Понятие информации. Основные
понятия и определения. Систематическая, синтаксическая и прагматическая ин-
Тема
ПрактичесЛабораторного
кого
занятия
занятия
Наглядные
пособия,
ТСО,
плакаты,
лаборатор
ный
стенд
компьюте
р,
программ
ы
Вопросы
для
самостоятель
ного
изучения
Форма
контроля
Изучение
различных
видов
информации
конспект
8
УМКД 042-18-11.1.20.89/01-2013
формация.
Понятие сигнала и
его модели. Общая характеристика сигнала.
Формы представления детерминированных сигналов. Временная
форма представления сигнала.
Частотная форма
представления
сигнала.
Спектральная
плотность детерминированного
сигнала Спектры
периодических
сигналов. Спектры непериодических
сигналов.
Энергия спектра.
Практическая
ширина спектра
сигнала
Редакция № 1 от _______
Понятие сигнала и
его модели. Общая
характеристика сигнала. Формы представления детерминированных сигналов. Временная форма представления
сигнала. Частотная
форма представления
сигнала.
Спектральная
плотность детерминированного сигнала
Спектры
периодических
сигналов.
Спектры непериодических
сигналов.
Энергия спектра. Практическая ширина
спектра сигнала
Разложение функции в ряд Фурье.
Дискретный спектр.
Интегральные преобразования Фурье.
Спектральные ха-
Страница 9 из 15
Построение
Отчет,
модели сиг- конспект
налов
Получение и Отчет,
изучение
реферат,
спектров
конспект
сигналов
Случайный процесс как модель
сигнала. Вероятностные
характеристики
случайного процесса. Стационарный и эргодический
случайные процессы. Спектральное и частотное
представления
случайных процессов
Разложение
функции в ряд
Фурье.
Дискретный спектр.
Интегральные
преобразования
Построение
Отчет
моделей
сигналов
с
различными
свойствами
Разложение
Отчет,
моделей
реферат
сигналов на
элементарны
е сигналы
9
УМКД 042-18-11.1.20.89/01-2013
рактеристики сигнала. Особенности
спектрального
представления
сигналов,
являющихся случайными
процессами.
Структурные меры информации.
Геометрическая
мера.
Комбинаторная мера. Аддитивная
мера
(мера
Хартли).
Статистические
меры
информации. Вероятность
и
информация.
Энтропия как мера неопределенности информации.
Свойства
энтропии. Условная энтропия и ее
свойства
Методы дискретизации
посредством
выборок.
Равномерная дискретизация. Теорема Котельникова. Теоретические
и
практические
аспекты применения теоремы Котельникова. Дискретизация
по
критерию
наибольшего от-
Структурные меры
информации. Геометрическая мера.
Комбинаторная
мера. Аддитивная
мера (мера Хартли).
Статистические
меры информации.
Вероятность и информация. Энтропия как мера неопределенности
информации. Свойства
энтропии.
Условная энтропия
и ее свойства
Методы дискретизации посредством
выборок.
Равномерная дискретизация. Теорема Котельникова. Теоретические и практические
аспекты
применения теоремы Котельникова.
Дискретизация по
критерию
наибольшего
отклонения.
Редакция № 1 от _______
Фурье.
Спектральные характеристики сигнала. Особенности спектрального представления сигналов,
являющихся
случайными
процессами.
Исследование
спектров периодических сигналов
Исследование
спектров непериодических
сигналов
Страница 10 из 15
Спектры
периодическ
их сигналов
Отчет
Спектры
непериодиче
ских
сигналов
Энтропия по
Хартои,
энтропия по
Шеннону,
совместная
энтропия,
условная
энтропия
Отчет
Отчет,
реферат,
конспект
Получение
Отчет,
цифрового
реферат,
сигнала
из конспект
аналогового
10
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
клонения.
Квантование сигналов. Шум квантования. Квантование
сигналов
при наличии помех. Уровни квантования
Получение
Отчет,
цифрового
реферат,
сигнала
из
конспект
аналогового
Исследование
дискретных
представлений
сигналов
Получени
Отчет
аналогового
сигнала
из
дискреизиро
ванного
Получение
реферат,
алфавита
конспект
дискретных
сообщений
Анализ
точности
кретных
щений
ИсследоваОтчет
ние алфавита
дискретных
сообщений
Информационные
характеристики
источника
дискретных сообщений. Модели источника дискретных сообщений.
Избыточность.
Производительность источника
дискретных
сообщений.
избыдиссооб-
Эффективное
кодирование
дискретных сообщений
Информационные
характеристики
дискретных каналов связи. Модели
дискретных каналов связи. Скорость передачи по
дискретному каналу связи. Пропускная способность дискретного
канала без помех.
Пропускная способность дискретного канала связи
Страница 11 из 15
Изучение
кодов
Отчет
Изучение
Конспект,
пропускной
реферат
способности
дискретных
каналов
связи
без
помех
11
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
с помехами
Кодирование как
процесс выражения информации в
цифровом виде.
Эффективное кодирование.
Основная
теорема
Шеннона о кодировании для канала без помех
Страница 12 из 15
Методы
и Конспект,
правила
реферат
получения
кодов
Методы эффективного кодирования
некорреляционной
последовательности символов (методики ШеннонаФано Хаффмана).
Требования
префиксности эффективных кодов
Изучение
методик
кодирования
Исследование
методов эффективного кодирования источников дискретных
сообщений
Блоковые коды.
Общие принципы
использования
избыточности.
Связь корректирующей способности кода с кодовым расстоянием. Геометрическая интерпретация
блоковых
корректирующих
кодов. Показатели
качества корректирующего кода.
Линейное кодирование.
Принципы линейного
кодирования.
Блоковые коды.
Многоуровневые
коды. Манчестерский код.
Код
Отчет,
реферат
Отчет
Изучение
блоковых
кодов
Конспект
Изучение
линейных
кодов
12
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Миллера.
Код
Хемминга.
Обнаруживающие
коды.
Примеры
обнаруживающих
кодов
Страница 13 из 15
Изучение
обнаружива
ющих кодов
Построение циклических кодов.
Технические
средства кодирования и декодирования для циклических
кодов.
Итеративные коды. Сверточные
коды
Исправление одиночных или обнаружение двойных
ошибок. Обнаружение
ошибок
кратности три и
ниже.
Методы
образования циклического
кода.
Матричная запись
циклического кода. Укороченные
циклические коды. Мажоритарное декодирование циклических
кодов.
Изучение
циклических
кодов
Конспект,
реферат
Обнаружени Конспект
е ошибок при
избыточном
кодировании
Циклические коды
для обнаружения и
исправления пакетов ошибок. Коды
Файра,
РидаСоломона,
РидаМиллера.
Выбор
образующего многочлена для построения
кода
Файра,
РидаСоломона,
РидаМиллера. Декодирование
кодов
Файра. Коды БоузаЧоудхури-
Циклические
коды для обнаружения и исправления пакетов
ошибок.
Коды
Файра,
Рида-Соломона,
Рида-Миллера.
Выбор образующего
многочлена для построения
кода
Файра,
РидаСоломона, РидаМиллера. Декодирование кодов
Изучение
циклических
кодов
Отчет,
реферат
13
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Страница 14 из 15
Хоквинхема. Ма- Файра.
Коды
тематическое вве- Боуза-Чоудхуридение. Построение Хоквинхема.
и реализация кодов
Итерактивные
коды. Классические итерактивные коды. Специальные двухстепенные и многостепенные коды.
Технические
средстива кодирования и декодирования итерактивных кодов
Конспект
Помехоустойчивое
кодирование двоичных сообщений с
использованием
кодов Хемминга
Декодирование
кодов Хемминга
Помехоустойчивое
кодирование двоичных сообщений с
использованием
циклических кодов
Декодирование
циклических кодов
Построение
кодов
Отчет
7 Карта обеспеченности учебно-методической литературой.
Таблица 4
Наименование
№
учебников и
Кол–во
п/п учебно – методических пособий Экз.
1
1.
2.
3.
2
Кол–во Процент
Студен- обеспечентов
ности
3
4
5
Основная литература
Овсянников А.С. Теория информа10
ции. Компъютерный конспект лекций, СГАУ, 2002, 120с.
Дмитриев В.И. Прикладная теория
информации: Учеб. для студ. вузов, - 10
M,: Высшая школа, 1989, 320 с.
Бернард Скляр. Цифровая связь. Тео- 7
7
100
7
100
7
100
Примечание
6
14
УМКД 042-18-11.1.20.89/01-2013
Редакция № 1 от _______
Страница 15 из 15
ретические основы и практическое
применение = Digital
Communications: Fundamentals and
Applications. — 2-е изд. — М.: Вильямс, 2007. — 1104 с
Дополнительная литература
1.
2.
3.
4.
Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных
процессов: Учебное пособие для вузов.-М.:Высш.шк.,1987.-248с.
10
Основы передачи дискретных сообщений: Учебник для вузов/ Ю.П. 8
Куликов, В.М. Пушкин и др.: Под
ред. В.М. Пушкина. - М.: Радио и
Связь, 1992.
Прокис Дж. Цифровая связь. Пер. с
англ. / Под ред. Д. Д. Кловского. —
М.: Радио и связь, 2000.
5
Передача дискретных сообщений.
Учебник для вузов/Под ред.
В.П.Шувалова.- М.:Радио и
связь,1990,с.146-155.
5
8 Литература
8.1.Основная:
8.1.1.Овсянников А.С. Теория информации. Компъютерный конспект лекций,
СГАУ, 2002, 120с.
8.1.2.Дмитриев В.И. Прикладная теория информации: Учеб. для студ. вузов, - M,:
Высшая школа, 1989, 320 с.
8.1.3 Бернард Скляр. Цифровая связь. Теоретические основы и практическое применение = Digital Communications: Fundamentals and Applications. — 2-е изд. — М.: Вильямс, 2007. — 1104 с
8.2. Дополнительная:
8.2.1Прокис Дж. Цифровая связь. Пер. с англ. / Под ред. Д. Д. Кловского. — М.: Радио и связь, 2000.
8.2.2.Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов: Учебное пособие для вузов.-М.:Высш.шк.,1987.-248с.
8.2.3.Основы передачи дискретных сообщений: Учебник для вузов/ Ю.П. Куликов,
В.М. Пушкин и др.: Под ред. В.М. Пушкина. - М.: Радио и Связь, 1992.
8.2.4.Передача дискретных сообщений. Учебник для вузов/Под ред. В.П.Шувалова.М.:Радио и связь,1990,с.146-155.
15