М2.ДВ3 Нейрокомпьютеры (КС)

ПРОЕКТ ПРОГРАММЫ ДИСЦИПЛИНЫ
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Государственное образовательное учреждение высшего профессионального образования
«Новосибирский государственный университет» (НГУ)
Факультет информационных технологий
УТВЕРЖДАЮ
_______________________
« ___» _____________ 20___г.
РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
Нейрокомпьютеры
Магистерская программа
Информационное и программное обеспечение автоматизированных систем
НАПРАВЛЕНИЕ ПОДГОТОВКИ 230100 «ИНФОРМАТИКА И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА»
Квалификация (степень) выпускника
Магистр
Форма обучения очная
Новосибирск
2011
Программа дисциплины «Нейрокомпьютеры» составлена в соответствии с
требованиями ФГОС ВПО к структуре и результатам освоения основных образовательных программ магистратуры по «профессиональному» циклу (вариативная часть) по направлению подготовки «Информатика и вычислительная
техника», а также задачами, стоящими перед Новосибирским государственным
университетом по реализации Программы развития НГУ.
Автор (авторы)
Осипов Александр Леонидович, к.т.н., ст.научн.сотр.
(ФИО, ученая степень, ученое звание)
Факультет информационных технологий
Кафедра Кафедра компьютерных систем
2
1. Цели освоения дисциплины (курса)
Дисциплина (курс) "Нейрокомпьютеры" имеет своей целью: освоение
студентами теоретических и практических основ нейросетевых технологий;
изучение методов проектирования и обучения нейронных сетей; построения
математических моделей и анализа их функционирования.
Указанные цели в полной мере отвечают основным целям данной магистерской программы:
 Подготовка специалистов для научно-исследовательской деятельности в
создании технологий обработки, хранения, передачи и защиты информации, в организации распределённых и высокопроизводительных вычислений, в вычислительной математике и моделировании, а так же для применения современных информационных технологий для науки, экономики на основе фундаментального образования, позволяющего выпускникам быстро адаптироваться к меняющимся потребностям общества.
 Развитие у студентов личностных качеств и формирование общекультурных и профессиональных компетенций в соответствии с ФГОС ВПО по
данному направлению подготовки.
2. Место дисциплины в структуре образовательной программы
Дисциплина является вариативной частью профессионального цикла
ООП магистерской программы «Высокопроизводительные вычислительные системы» по направлению подготовки 230100.68 «Информатика и вычислительная техника». С другими частями образовательной программы соотносится
следующим образом.
Дисциплины, опирающиеся на курс «Нейрокомпьютеры» по учебному
плану:
 "Интеллектуальные системы",
 "Теория принятия решений",
 "Вычислительные системы",
 "Интеллектуальный анализ данных".
Дисциплина является самостоятельным курсом, который ориентирован на
углубление познаний обучающегося в области проектирования и разработки
гибридных информационных систем.
Для успешного освоения данной дисциплины учащийся должен:
 Знать: архитектуру вычислительных систем;
 Уметь: выбирать методы и алгоритмы решения задач управления объектами автоматизации;
 Владеть: современными технологиями разработки программных продуктов.
3
Данная дисциплина необходима для успешного выполнения выпускной
квалификационной работы.
3. Компетенции обучающегося, формируемые в результате освоения дисциплины "Эффективное программирование специализированных вычислителей".
В результате освоения дисциплины обучающийся должен:
 Знать: основные принципы построения нейронных сетей, базовые архитектуры, детерминированные и стохастические методы, связанные с использованием учителя и самообучением сети, основные правила и алгоритмы обучения, процедуры оценки параметров работы сети;
 Уметь: подбирать необходимый тип нейронной сети, алгоритм ее обучения для решения конкретной задачи, тренировать сеть на базе априорно
известной информации, заранее построенного учителя, оценивать параметры обучения и точность работы;
 Владеть: современными технологиями построения гибридных информационных систем.
Дисциплина нацелена на формирование у учащегося следующих компетенций:
 Общекультурные компетенции:
− способностью самостоятельно приобретать с помощью информационных
технологий и использовать в практической деятельности новые знания и
умения, в том числе в новых областях знаний, непосредственно не связанных со сферой деятельности (ОК-6).
 Профессиональные компетенции:
− применять перспективные методы исследования и решения профессиональных задач на основе знания мировых тенденций развития вычислительной техники и информационных технологий; (ПК-1);
− способен разрабатывать и внедрять системы поддержки принятия решений в выбранной предметной области (ПК - 8);
− способен использовать модели представления знаний для проектирования
информационно-управляющих систем (ПК -10).
4. Структура и содержание дисциплины "Нейрокомпьютеры"
Общая трудоемкость дисциплины составляет 2 зачетных единиц, 72 часа.
4
4
5
6
Всего
3
Самостоятельная
работа
2
Структурная схема
нейрокомпьютера
Обучение однослойных и специальных
нейронных сетей
Обучение многослойных нелинейных нейронных сетей без обратных
связей
Модели нейронных
сетей
Гибридные системы
Нейроимитаторы
Итого по курсу:
Семинары
1
Лекции
Семестр
№
п/п
Раздел
Дисциплины
Виды учебной работы, включая самостоятельную работу студентов и трудоемкость (в часах)
2
2
4
4
10
2
3
4
4
11
2
4
4
4
12
2
4
4
6
14
2
2
4
4
21
4
4
24
5
4
27
13
12
72
Формы текущего контроля
успеваемости
(по неделям
семестра)
Форма промежуточной аттестации
(по семестрам)
КР
КР
зачет (2 семестр)
КР* – Контрольная работа. Выполняется студентами после изучения темы.
Темы лекционных занятий разделов дисциплины
Раздел 1. Структурная схема нейрокомпьютера.
Предмет дисциплины, её структура и содержание. Задачи, решаемые на
нейрокомпьютерах. Схема абстрактного нейрокомпьютера. Структура нейрокомпьютера. Компоненты нейрокомпьютера. Сравнение нейрокомпьютера с
машиной фон Неймана. Модели формальных нейронов. Виды функций активации. Классификация нейронных сетей. Классификация нейронных сетей по виду топологии. Классификация нейронных сетей по способу решения задачи.
Математическое описание многослойных нейронных сетей. Методика решения
задач в нейросетевом базисе. Оценка качества работы нейронной сети. Нейрокомпьютеры и их место среди высокопроизводительных ЭВМ. Примеры искусственных нейронных сетей.
5
Раздел 2. Обучение однослойных и специальных нейронных сетей.
Обучение нейронной сети. Технология обучения. Способы представления
процесса обучения. Алгоритм обучения однослойной нейронной сети. Алгоритм обучения по дельта – правилу. Алгоритм обучения однослойных нейронных сетей с нелинейной функцией активации. Алгоритм «победитель получает
все». Пример решения задачи классификации на основе нейронной сети.
Раздел 3. Обучение многослойных нелинейных нейронных сетей без обратных
связей.
Эволюция развития перцептронных алгоритмов обучения. Процедура
Уидроу – Хоффа. Теорема Новикова. Алгоритмы Айзермана и Бравермана.
Обучение многослойной нейронной сети без обратных связей. Алгоритм обратного распространения ошибки и его анализ. Трудности алгоритма обратного
распространения ошибки. Градиентные методы обучения. Неградиентные методы обучения. Эффективность аппарата нейросетей.
Раздел 4. Модели нейронных сетей.
Модели ассоциативной памяти. Сети Хопфилда. Обучение по правилу
Хебба. Устойчивость сетей Хопфилда. Применение сети Хопфилда к решению
задач комбинаторной оптимизации. Сети Хемминга. Ассоциативнопроективные нейронные (АПНС) сети. Архитектура АПНС сети. Пример применения АПНС в задачах распознавания образов. Сеть Кохонена. Особенности
обучения без учителя. Принцип работы сети Кохонена. Алгоритм обучения сети Кохонена. Сети встречного распространения. Нейронная сеть ART – 1. Перспективы использования нейронных сетей. Прогнозирование с использованием
нейросетей.
Раздел 5. Гибридные системы.
Нечеткие нейронные сети. Преимущества аппарата нечетких нейронных
сетей. Нечеткие элементы нейросетевых систем. Нечеткие нейроны. Алгоритм
обучения нечеткого перцептрона. Структуры гибридных систем. NNFLC - нечеткий контроллер на основе нейронной сети. ANFIS – адаптивная нейронная
сеть, основанная на системе нечеткого вывода. NNDFR – нейронная сеть для
нечетких умозаключений.
Раздел 6. Нейроимитаторы.
Классификация нейроимитаторов. Обобщенная структурная схема нейроимитатора. Универсальные нейропакеты. Специализированные нейропакеты.
Программный комплекс NeuroIterator. Нейропакет Brain Maker 3.1
Professional. Пакет Matlab.
Семинарские занятия
Семинарские занятия позволяют детально разобрать каждый класс специализированных нейронных вычислителей, рассмотреть конкретные примеры и
обсудить различные способы реализации задач на различных архитектурах
нейронных сетей. Темы семинарских занятий:
1. Использования многослойной нейронной сети для решения задачи выбора архитектуры сервера.
6
2. Решение задачи прогнозирования временного ряда с помощью многослойного перцептрона.
3. Радиально-базисные сети. Сети регрессии. Вероятностные нейронные сети.
4. Сети Кохонена.
5. Нечеткая сеть Fuzzy Net. Нечеткий нейронный контроллер. Алгоритм
обучения для нечеткой нейронной сети контроллера.
6. Нечеткие нейронные сети с генетической настройкой. Системы генетического проектирования нечетких нейронных сетей. Современные приложения гибридных систем.
Самостоятельные работы
По каждому теоретическому разделу предусмотрена самостоятельная работа студента. По первым шести разделам темы самостоятельных работ соответствуют темам семинарских занятий.
5. Образовательные технологии
Для освоения дисциплины «Нейрокомпьютеры» используются следующие основные образовательные методы и технологии: проблемное обучение и
контекстное обучение.
На семинарских занятиях используются технологии проблемного и контекстного обучения. Семинары проходят в активной и интерактивной форме.
На семинарских занятиях студенты рассматривают примеры алгоритмов и программ для различных архитектур нейронных вычислителей, коллективно решают задачи по адаптации предложенных преподавателем алгоритмов под данную архитектуру нейронной сети.
На лекционных занятиях часть времени отводится на взаимодействие
взаимодействия преподавателя со студентами в активной форме: в начале занятия несколько минут студенты задают вопросы по пройденному ранее теоретическому материалу.
6. Оценочные средства для текущего контроля успеваемости, промежуточной аттестации по итогам освоения дисциплины и учебно-методическое
обеспечение самостоятельной работы студентов
Для аттестации студентов по дисциплине «Нейрокомпьютеры» используется модульно-рейтинговая система. Итоговая успеваемость студента за семестр оценивается суммой баллов по следующим показателям: семинарские занятия, контрольные работы зачет. Максимальная сумма баллов за семестр составляет 100 баллов (текущий рейтинг – 80 баллов, итоговая аттестация – 20
баллов). Максимальные количества баллов по каждому показателю приведены
ниже в таблице.
Правила текущей аттестации
7
Для оценки теоретических знаний студентов в течение семестра проводятся одна или две контрольные работы. Список примерных контрольных вопросов приведен далее. Сумма баллов за контрольную работу выставляется исходя из правильности и полноты ответов студента.
Вид учебной деятельности
Семинарские занятия
Контрольные работы
Зачет
Итого за семестр:
Максимальное число
баллов
Семестр 2
50
30
20
100
Итоговая оценка выставляется в зависимости от числа баллов:
87-100 – «отлично»,
74-86 – «хорошо»,
50-73 – «удовлетворительно»,
менее 50 – «неудовлетворительно».
Примерные вопросы для самостоятельной работы
1. Нечеткие алгоритмы: меры, автоматы, отношения предпочтения.
2. Нечеткие алгоритмы: цели, ограничения и решения, математического
программирования, оптимизации.
3. Основы искусственных нейронных сетей. Биологический прототип.
4. Искусственный нейрон. Архитектура сетей.
5. Многослойные искусственные нейронные сети. Рекуррентные сети
6. Обучение искусственных нейронных сетей. Персептроны.
7. Нейронные сети Хопфилда и Хэмминга.
9. Обобщения и применения модели Хопфилда.
10. Нейронные сети и алгоритмы их обучения.
11. Обучение слоя Кохонена.
12. Обучение слоя Гроссберга.
13. Нейро-нечеткие технологии информационных систем
14. Методы группирования данных, классификации и кластеров.
15. Эвристики, возможность и поисковые стратегии.
16. Распознавание образов и сходства.
17. Теория возможностей и смысла.
18. Другие методы нейро-нечетких технологий для построения информационных систем.
19. Эластичные нейро-нечеткие системы.
20. Введение в генетические алгоритмы и искусственную жизнь.
21. Введение в системы, основанные на правилах и обучение на основе
наблюдений.
22. Языки и технологии логического программирования: PROLOG, LISP.
8
23. Нейро-нечеткие технологии информационных систем.
Примерный список вопросов к зачету
1. Структура нейрокомпьютера
2. Классы задач, решаемых нейронными сетями
3. Основные отличия нейрокомпьютеров от ЭВМ предыдущих поколений
4. Нейросетевые методы обработки информации и средства их программно-аппаратной поддержки
5. Модель технического нейрона. Архитектура нейронных сетей
6. Прстановка и возможные пути решения задачи обучения нейронных
сетей
7. Обучение нейронных сетей как многокритериальная задача оптимизации
8. Сравнительный анализ алгоритмов обучения нейронных сетей
9. Модели нейронных сетей для реализации отображений. Теорема Колмогорова
10. Алгоритм настройки параметров нейронных сетей
11. Алгоритм с настройкой передаточных только синаптических весов и
смещений. Настройка передаточных функций
12. Настройка числа нейронов в скрытых слоях многослойных нейронных сетей в процессе обучения. Алгоритмы сокращения. Конструктивные алгоритмы
13. Многослойная нейронная сеть и алгоритм обратного распространения
ошибки
14. Полносвязная нейронная сеть без скрытых нейронов
15. Модель однослойного персептрона
16.Сеть Хемминга
17. Сеть Хопфилда.
18. Двунаправленная ассоциативная память.
19. Модели теории адаптивного резонанса. Самоорганизующиеся карты
Кохонена
20. Сеть встречного распространения. Сеть Гроссберга
21. Нечеткие нейронные сети
22. Алгоритмы обучения нечетких нейронных сетей
23. Структуры гибридных систем
24. Радиально-базисные сети
25. Сети регрессии
26. Вероятностные нейронные сети
27. Градиентные методы обучения
28. Неградиентные методы обучения
29. Нечеткие нейронные сети с генетической настройкой.
30. Нейроимитаторы
7. Учебно-методическое и информационное обеспечение дисциплины
9
а) основная литература:
1. Системы искусственного интеллекта. Практический курс: учеб. пособие
/[В.А. Чулюков, И.Ф. Астахова, А.С. Потапов и др.; под ред. И.Ф. Астаховой]. – М.: БИНОМ. Лаборатория знаний, 2008. – 292 с.
2. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский. - М.: Горячая линия -Телеком, 2006. - 452 с.
3. Ярушкина, Н. Г. Основы теории нечетких и гибридных систем: учеб. пособие для вузов / Н. Г. Ярушкина. - М.: Финансы и статистика, 2004. –
320 с.
4. Таненбаум, Э. Архитектура компьютеров: учеб. пособие для вузов /Э. Таненбаум. - СПб.: Питер, 2007. – 848 с.
5. Матвеев, М. Г. Модели и методы искусственного интеллекта. Применение в экономике: учеб. пособие для высш. учеб. заведений / М.
Г.Матвеев, А. С. Свиридов, Н. А. Алейникова. - М.: Финансы и статистика: ИНФРА-М, 2008. - 446 с.
6. Андрейчиков, А. В. Интеллектуальные информационные системы: учебник для вузов / А. В. Андрейчиков, О. Н. Андрейчикова. - М.: Финансы и
статистика, 2006. – 423 с.
7. Батыршин, И.З., Недосекин А.О. Нечеткие гибридные системы. Теория и
практика / И.З. Батыршин, А.О. Недосекин. – М.: ФИЗМАТЛИТ, 2007. –
208 с.
8. Осовский, С. Нейронные сети для обработки информации / Станислав
Осовский; пер. с пол. И. Д. Рудинского. - М. : Финансы и статистика,
2004. – 343 с.
б) дополнительная литература:
1. Хайкин, С. Нейронные сети: полный курс. / С. Хайкин. - М.: Вильямс,
2006.- 1104 с.
2. Барский, А.Б. Нейронные сети: распознавание, управление, принятие решений / А. Б. Барский. - М.: Финансы и статистика, 2004. - 175 с.
3. 3. Круглов, В.В. Искусственные нейронные сети: Теория и практика/ В.В.
Круглов. - М.: Горячая линия - Телеком, 2001. – 382 с.
4. 4. Нейронные сети. STATISTICA Neural Networks: [пер. с англ.]. - М.: Горячая линия-Телеком, 2001. - 182 с.
5. http://fpga.parallel.ru
6. http://www.intuit.ru
8. Материально-техническое обеспечение дисциплины
Лекции читаются в специальной лекционной аудитории, обеспеченной
средствами отображения презентаций и других лекционных материалов на
экран.
10
Рецензент (ы) _________________________
Программа одобрена на заседании Методической комиссии ФИТ
от ___________ года, протокол № _______.
11