СТО АлтГТУ 13.68.1.4055-2014 Приложение Г Памятка для магистратуры направления 231000.68 "Программная инженерия" по изучению дисциплины «Интеллектуальные технологии обработки изображений» 2 семестр 1 Содержание дисциплины Дисциплина «Интеллектуальные технологии обработки изображений» изучается в 2 семестре. Учебный план дисциплины предусматривает выполнение курсового проекта. Лекции 20 часов, лабораторные работы 20 часа, самостоятельная работа студентов в семестре 104 часов, в период сессии – 36 часов. В ней будут рассмотрены следующие темы. 1.1 Лекции (20 часов, [литература 1-5]) 1. Введение в компьютерное зрение Введение в понятие предмета компьютерного зрения, общие подходы и отличия от предмета компьютерной графики. Текущее состояние области, причины сложности анализа изображений. Базовые техники работы с изображениями – различные представления, свертки, Гауссов фильтр и его свойства. Пространство масштаба, представления в виде пирамиды и набора октав. Побочные эффекты обработки краев изображений. (2 часа +2 часа СРС) 2. Операторы интересных точек Фильтры градиента. Фильтры краев – операторы Моравека, Кэнни. Нахождение опорных точек, оператор Харриса. Сопоставление изображений, степени свободы при преобразованиях. DLT алгоритм. Фильтрация интересных точек. (2 часa + 2 часа СРС) 3. Дескрипторы окрестностей опорных точек Понятие дескриптора, представление и назначение. Принципы построения, проблемы обобщающих и дискриминационных свойств. Дескрипторы на основе патчей как простейший пример. Инвариантность дескрипторов к преобразованиям. Оператор Харриса-Лапласа. Сравнение и поиск ближайших дескрипторов. (2 часа+2 часа СРС) 4. Алгоритм SIFT Принципы построения SIFT дескрипторов. Алгоритм их вычисления, этапы и применяемые техники. Производные дескрипторы – RIFT/G-RIF/SURF. Аффинная коррекция при вычислении окрестности. (2 часа+2 часа СРС) 5. Поиск модели трансформации изображений Понятие модели трансформации. Работа с избыточными и ошибочными данными, понятие inliers/outliers. Преобразование Хафа (Hough Transform). Схема RANSAC. Плюсы и минусы подходов. Поиск экземпляров объекта на изображениях. (2 часа+2 часа СРС) 6. Работа с большими объемами изображений Понятия визуальных слов (Visual Words) и мешка слов (Bag of Words), соответствующее представление изображений. Обратный индекс для эффективного поиска. Эффективное сравнение изображений с помощью гистограмм. GIST изображений, расчет и использование. (2 часа+2 часа СРС) 7. Классификация изображений Понятие классификации, проблемы и задачи. Различные варианты задачи: классификация целиком и классификация через локализацию. Обучающая выборка. 21 СТО АлтГТУ 13.68.1.4055-2014 Методы решения: гистограммы ориентированных градиентов (Histograms of Oriented Gradients), наивный Байесовский ближайший сосед (Naïve Bayesian Nearest Neighbor), мешок слов (Bag of Words). Методы определения качества классификатора. (2 часа+2 часа СРС) 8. Структура из движения Введение в задачу нахождения структуры из движения (Structure from Motion). Введение в эпиполярную геометрию. Понятие основной матрицы (Essential Matrix) и фундаментальной матрицы (Fundamental Matrix). Алгоритм восьми точек. Итеративное уточнение геометрии. Использование дескрипторов в задачах поиска структуры из движения. (2 часа+2 часа СРС) 9. OpenCV Основные принципы архитектуры библиотеки OpenCV. Представления матриц и изображений в ней. Использование OpenCV для фильтрации изображений и извлечения дескрипторов. Применение OpenCV для поиска ближайших дескрипторов. Кластеризация и классификация на основе модели мешка слов. (2 часа+2 часа СРС) 10. Текущее состояние области и перспективы Примеры последних разработок в области компьютерного зрения. Система Kinect и дополненная реальность. Структура из движения в большом масштабе. (2 часа +2 часа СРС) 1.2 Лабораторные занятия (20 час.) [литература 1-5] 1. Свертка изображений. Фильтры градиента, оператор Собеля (2 часа+2 часа СРС) 2. Гауссов фильтр, пространство масштаба, пирамиды и октавы (2 часа+2 часаСРС) 3. Операторы интересных точек (2 часа+2 часа СРС) 4. Вычисление и представление дескриптора окрестности (2 часа+2 часа СРС) 5. Инвариантность к вращению и верификация повторяемости (2 часа+2 часа СРС) 6. Инвариантность к масштабу (2 часа+2 часа СРС) 7. Частичная инвариантность к аффинным трансформациям (2 часа+2 часа СРС) 8. Оценка модели трансформации через схему RANSAC (2 часа+2 часа СРС) 9. Оценка модели трансформации через преобразование Хафа (2 часа+2 часа СРС) 10. Итоговое занятие (2 часа+2 часов СРС) 2.Литература и учебно-методические материалы А) основная литература: 1. Шапиро Л., Стокман Дж. Компьютерное зрение - М.: Изд-во «Бином», 2013, 752 стр. Режим доступа: http://e.lanbook.com/books/element.php?pl1_id=42631 2. Мацяшек Л.А., Лионг Б. Практическая программная инженерия на основе учебного примера - М.: Изд-во «Бином», 2012, 956 стр. Режим доступа: http://e.lanbook.com/view/book/8766/page863/ Б) дополнительная литература: 3. Буймов Б.А. Геометрическое моделирование и компьютерная графика – Томск: ТУСУР, 2011, 104 стр. Режим доступа: http://e.lanbook.com/books/element.php?pl1_id=11670 4. Визильтер Ю.В., Желтков С.Ю., Князь В.А., Ходарев А.Н. Обработка и анализ цифровых изображений с примерами на LabVIEW - М.: Изд-во «ДМК Пресс», 22 СТО АлтГТУ 13.68.1.4055-2014 2009, 464 стр., Режим доступа: http://e.lanbook.com/books/element.php?pl1_id=1093 5. Марчук Г.И. Методы вычислительной математики – Спб. : Изд-во “Лань”, 2009, 608 стр. Режим доступа: http://e.lanbook.com/books/element.php?pl1_id=255 6. Дэвид А. Форсайт. Компьютерное зрение. Современный подход – М: “Вильямс”, 2004, 928 стр. 7. Сальников И.И. Растровые пространственно-временные сигналы в системах анализа изображений – М.: “Физматлит”, 2009, 248 стр. http://e.lanbook.com/books/element.php?pl1_id=2302 8. Красильников Н. Н. Цифровая обработка 2D- и 3D-изображении - СПб.: “БХВПетербург”, 2011, 608 стр. 9. Мерков А. Распознавание образов. Введение в методы статистического обучения – М.: “Едиториал УРСС”, 2011, 256 стр. 10. Аркадьев А.Г. Обучение машины распознаванию образов – М.: “Книга по Требованию”, 2012, 110 стр. В) Программное обеспечение и интернет-ресурсы: 1. Сжельски Р. Computer Vision: Algorithms and Applications // электронный учебник. Режим доступа: http://szeliski.org/Book/. 2. Пакет VisualSFM: A Visual Structure from Motion System: http://ccwu.me/vsfm/ 3. Библиотека OpenCV (Open Source Computer Vision): http://opencv.org 3 График контроля Контрольное испытание Лабораторная работа №1 Лабораторная работа №2 Лабораторная работа №3 Лабораторная работа №4 Лабораторная работа №5 Лабораторная работа №6 Лабораторная работа №7 Лабораторная работа №8 Лабораторная работа №9 Итоговое занятие Экзамен Курсовой проект Время проведения 1 неделя 2 неделя 3 неделя 4 неделя 5 неделя 6 неделя 7 неделя 8 неделя 9 неделя 10 неделя 3-10 недели Время плановой сдачи 2 неделя 3 неделя 4 неделя 5 неделя 6 неделя 7 неделя 8 неделя 9 неделя 10 неделя 10 неделя в период сессии 10 неделя 4 Шкала оценок и правила вычисления рейтинга Семестровый рейтинг вычисляется по формуле l S max( 85 M 22 N min( Pi ,60),0) , i 1 где S – семестровый рейтинг, M – бонусные баллы, начисляемые за знания вне программы курса. Определяются преподавателем и начисляются только при N=0. 0<= M <=15. Обычно M=0, N – количество несданных лабораторных работ в течение семестра, l – количество лабораторных работ. Обычно l=9, Pi – количество полных и неполных недель, прошедших после недели плановой сдачи i-ой лабораторной работы. К зачету студент допускается при семестровом рейтинге не менее 25. 23 СТО АлтГТУ 13.68.1.4055-2014 Итоговый рейтинг вычисляется по формуле E , еслиE 25 R 0,8 S 0,2 E , еслиE 25 Здесь E- зачётный рейтинг, R – итоговый рейтинг. 5 Возможности повышения рейтинга Для студентов с высоким текущим рейтингом по их желанию может быть организовано углубленное изучение предмета, выдано дополнительное задание. В этом случае проводится дополнительный контроль, либо решение задач. По итогам проверки семестровый рейтинг может быть улучшен за счет положительного значения M. 22