Архитектуры искусственных нейронных сетей
advertisement
Архитектуры искусственных нейронных сетей Курс «Нейроинтеллектуальные системы», ФНБИК МФТИ, 2013 Содержание лекции Модели нейрона Архитектуры искусственных нейронных сетей Виды активационных функций (пороговая, линейная, сигмоидальная). Линейная разделимость входов. Рекуррентные нейроны. Обобщение нейрона в виде произвольных сверток входов с последующей суммой. Однослойные Многослойные С обратными связями Кодирование входов и выходов ИНС Нормализация Кодирование спайками Базовые понятия Искусственная нейронная сеть (ИНС) является концептуальной моделью биологической нейронной сети Состоит из элементов, влияющих на активность друг друга Основные свойства надежность – по мере ухудшения качества входа, удалении связей или элементов эффективность сети снижается постепенно гибкость – ИНС могут быть применены в широком круге задач генерализация – достаточно обучения на ограниченной выборке ассоциативность памяти Модель нейрона Активность нейрона определяется преобразованием взвешенного суммарного воздействия на него Воздействия могут быть активирующими (положительные веса) или тормозными (отрицательные веса) Вид функции активации Линейная Ступенчатая Сигмоидальная Геометрическая интерпретация Входы нейрона соответствуют признакам текущего состояния окружающей его среды Нейрон реализует линейное разделение в пространстве признаков Веса и порог задают гиперплоскость в пространстве признаков Динамический нейрон с задержкой Для задач классификации и генерации последовательностей необходимы сети с рекурентными (обратными) связями или динамические нейроны, изначально содержащие обратную связь с задержкой ответ на единичное предъявление Динамический нейрон с задержкой Динамический нейрон с непрерывным временем Обобщенная модель нейрона В общем случае каждый вход нейрона может иметь свою функцию свертки (синаптическое ядро) входного сигнала Архитектуры нейронных сетей Свойства ИНС сильно зависят от её архитектуры Часто используемые архитектуры ИНС а) однослойная сеть – классификация по простым признакам b) многослойная сеть классификация по сложным признакам с) сеть с рекурентными связями в выходном слое – простая динамика d) сеть с рекурентными связями в скрытом слое – сложная динамика Архитектуры нейронных сетей Echo state network – проекция входов в пространство большей размерности для облегчения их разделимости Кодирование входов и выходов ИНС Текущее состояние признаков решаемой сетью задачи кодируется активацией нейронов входного слоя Локальное кодирование требует большого количества входных нейронов неустойчиво к шуму Распределенное кодирование экономичнее локального Устойчивее Нормализация входов Кодирование для спайковых нейронов Частотное кодирование Синхронизация частота спайков пропорциональна величине входного сигнала повышение степени синхронизации с фоновым ритмом в популяции нейронов пропорционально величине входного сигнала Задержка сдвиг от фазы фонового ритма пропорционален величине входного сигнала Заключение Искусственные нейронные сети удобный инструмент для задач классификации и аппроксимации функций высокая надежность за счет распределенного представления возможность быстрой адаптации для широкого круга задач В зависимости от задачи необходимо выбрать наиболее адекватные модель нейрона и архитектуру сети при простом наборе признаков и высоким требованиям к вычислительным ресурсам (энергоэффективности) – простые сети сложные признаки – подбор синаптических ядер и многослойные сети временная динамика – динамические нейроны и сети с обратными связями (рекурентные сети) Ссылки и примечания Глава 3. Floreano, D. and Mattiussi, C. (2008) Bio-inspired Artificial Intelligence. Cambridge, MA: MIT Press Глава 5. Pfeifer, R. and Scheier, C. (1999). Understanding Intelligence. MIT Press, Cambridge, MA. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М.: Мир, 1992. Глава 1. Горбань А. Н., Дунин-Барковский В. Л. и др. Нейроинформатика. — Новосибирск: Наука, 1998. http://icm.krasn.ru/refextra.php?id=2795 Задачник для развлечения. Беркинблит М. Б. Нейронные сети. — М.: МИРОС и ВЗМШ РАО, 1993. http://evrika.tsi.lv/index.php?name=texts&file=show&f=410 http://www.katenke.net/static/berkinblit/neironnye_seti.html Иллюстрации для данной презентации взяты из первого источника
