Винницкий национальный технический университет, Винница, Украина АППАРАТНАЯ РЕАЛИЗАЦИЯ ЭЛЕМЕНТОВ
advertisement
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 О.К. КОЛЕСНИЦКИЙ, И.В. БОКОЦЕЙ, С.С. ЯРЕМЧУК Винницкий национальный технический университет, Винница, Украина okk_vin@mail.ru АППАРАТНАЯ РЕАЛИЗАЦИЯ ЭЛЕМЕНТОВ ИМПУЛЬСНЫХ НЕЙРОННЫХ СЕТЕЙ С ИСПОЛЬЗОВАНИЕМ БИСПИН-ПРИБОРОВ В докладе проведен анализ импульсных нейронных сетей, оценены перспективы их применения для распознавания динамических образов; представлен вариант реализации нейронного элемента для таких сетей на основе биспин-прибора. Введение Известно множество парадигм построения искусственных нейронных сетей и алгоритмов их обучения, но все они пока не могут конкурировать по эффективности решения когнитивных задач с биологическими нейронными сетями. Наиболее простым, казалось бы, мог бы быть бионический подход, но до сих пор принципы работы мозга не исследованы достаточно глубоко. Процесс исследования тормозится тем, что невозможно одновременно регистрировать электрические процессы для сотен тысяч нейронов в биологических нейронных сетях. Поэтому при исследовании биологических нейронных сетей особое значение приобретает метод моделирования. Постановка задач исследования Широко известные парадигмы искусственных нейронных сетей ориентированы на обработку статических входных данных [1]. А при обработке динамических входных данных процесс разбивается на дискретные шаги, каждый из которых требует сходимости к некоторым стабильным внутренним состояниям, тогда как динамика биологических нейронных сетей непрерывно изменяется. Кроме того, результат на выходе сети получается не сразу, а после определенного количества итераций. Это не согласуется с принципами работы мозга, поскольку он обрабатывает динамически изменчивые образы (речь, движущиеся изображения и т.п.) без какойлибо дискретизации и не итерационно. Часто нет времени ждать, пока вычисление сойдется, результаты нужны немедленно (мгновенное вычисУДК 004.032.26(06) Нейронные сети 121 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 ление) или в пределах короткого интервала времени ("реально-временное" вычисление). К тому же, биологические нейронные сети могут параллельно выполнять разные задания в реальном времени – гипотеза, несовместимая с большинством известных подходов к моделированию нейронных сетей. Кроме того, компоненты биологических нейронных сетей, нейроны и синапсы, очень разные и демонстрируют сложные динамические ответы по нескольким временным шкалам. Это свидетельствует о значительном упрощении современных физических моделей нейронных элементов, которые рассматриваются как однородные компоненты. К тому же, биологические нейроны связаны многоуровневыми обратными связями, что особенно усложняет использование таких сетей для жестких реализаций специфических вычислительных задач. Все сказанное свидетельствует о необходимости такой модели нейронной сети, которая осуществляла бы обработку в реальном времени непрерывных входных потоков данных (динамических образов). К таким моделям относятся импульсные нейронные сети [2,3], в которых информативным параметром является момент возникновения импульса нейрона, а не мгновенное значение частоты импульсов. Итак, целью доклада является анализ импульсных нейронных сетей на предмет отсутствия упомянутых недостатков; оценка перспектив их применения для распознавания динамических образов; представление варианта реализации нейронного элемента для таких сетей. 1. Три поколения нейронных элементов Все известные модели нейронных сетей в зависимости от типа нейронных элементов, на которых они строятся, можно разделить на три разных поколения [2]. Модели первого поколения строятся на формальных нейронах Маккалока-Питтса. Они вызвали появление разнообразных моделей нейронных сетей, таких как многослойный перцептрон, сети Хопфилда и машина Больцмана. Характерным признаком этих моделей нейронов (нейронных элементов) является наличие только цифрового (бинарного) выхода. Второе поколение строится на нейронных элементах, которые используют функцию активации, а их выходной сигнал может приобретать любое значение из непрерывного диапазона. Чаще всего используется сигмоидальная функция активации или линейная с насыщением. Типичными представителями нейронных сетей на таких элементах являются рекуррентные сигмоидальные нейронные сети, сети с радиальными базисными УДК 004.032.26(06) Нейронные сети 122 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 функциями. В известных научных публикациях доказано, что сети второго поколения могут вычислять соответствующую булеву функцию меньшим количеством элементов, чем сети первого поколения. Кроме того, такие нейронные сети способны вычислять функции с аналоговыми входными и выходными сигналами. В действительности они являются универсальными для аналоговых вычислений в том смысле, что любая непрерывнозначная функция с ограниченными областью определения и множеством значений, может быть как угодно хорошо аппроксимирована сетью с одним скрытым слоем. Другим характерным признаком второго поколения моделей нейронных сетей является поддержка алгоритмов обучения, которые базируются на методах градиентного спуска, таких как обратное распространение ошибки и др. Известно, что выходным сигналом биологического нейрона являются импульсы, частота которых зависит от уровня его возбуждения. Частота может изменяться непрерывно. Поэтому можно считать, что аналоговый выходной сигнал нейронных элементов второго поколения представляет величину частоты импульсов. Таким образом, модели нейронов второго поколения более биологически реалистичны, чем модели первого поколения. Однако, хотя бы с точки зрения быстрых аналоговых вычислений биологическими нейронными сетями, представление информации частотой импульсов проблематично. В работе [2] показано, что человек выполняет распознавание визуальных образов и их классификацию менее чем за 100 мс, несмотря на то, что это требует 10 синаптических этапов передачи. С другой стороны, частота нервных импульсов при этом обычно не превышает 100 Гц, т.е. требуется 20-30 мс только на то, чтобы установить текущую частоту импульсации нейрона. Это говорит о том, что информативным параметром в нейронных сетях является не частота импульсов, ток или напряжение, а интервал между двумя соседними импульсами и сам момент импульсации. Этот вывод подтверждается экспериментами, которые доказывают, что многие биологические нейронные сети используют для кодирования информации именно принцип таймерности [4]. Таймерный принцип кодирования информации наиболее эффективен в нейронных сетях не только с точки зрения быстродействия и функциональной гибкости, но и с точки зрения помехоустойчивости передачи информации. Амплитуда импульсов при передаче может исказиться, а интервал останется неизменным. 2. Импульсные нейронные сети УДК 004.032.26(06) Нейронные сети 123 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 Структурно-функциональная модель импульсной нейронной сети, предложенная в [2, 3], строится, в отличие от проблемноориентированных сетей, на принципах создания динамических систем в комбинации со статистической теорией обучения. Количество и веса синаптических связей каждого нейрона в такой сети выбираются на основе данных нейрофизиологических исследований (т.е. по аналогии с биологическими нейронными сетями). Случайность выбора нейронов, которые связаны с каким-либо нейроном в сети, приводит к возникновению многоконтурных обратных связей, т.е. такие импульсные нейронные сети являются рекуррентными. На рис. 1 представлена абстрактная модель импульсной нейронной сети [2, 3] в виде автомата с "плавающими" состояниями. Как вытекает из названия, эта модель имеет некоторое сходство с конечным автоматом, но более универсальна, и ее "плавающее" высокоразмерное аналоговое состояние x(t) изменяется непрерывно во времени. И хотя динамика такого автомата в общем случае очень сложна, нет необходимости определять его передающую функцию из этой динамики, поскольку возможно восстановление информации, которая содержалась в x(t), непосредственно из текущего состояния автомата, даже если он искажен каким-либо шумом. Формально такой автомат М состоит из фильтра LM (т.е. функция, отображающая входные потоки u(∙) в потоки x(∙), причем x(t) может зависеть не только от u(t), но и абсолютно произвольно нелинейно от предыдущих входов u(s): x(t)=LM (u(t)), и из функции считывания без запоминания f M , отображающей в любой момент времени t выход фильтра x(t) ("плавающее состояние") в некоторый целевой выход y(t). Вообще, такой автомат реализует фильтр, который отображает u(∙) в y(∙). Рис. 1. Структура автомата с "плавающими" состояниями (АПС) [2, 3] Рекуррентно-совмещенная нейронная сеть может рассматриваться в первом приближении как реализация такого фильтра общего назначения LM (например, некая несмещенная аналоговая память), из которого разные УДК 004.032.26(06) Нейронные сети 124 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 выходные нейроны вытягивают и комбинируют различные компоненты информации, содержащейся в предыдущем входном сигнале u(-). Если целевой выход у(t) принимает аналоговые значения, то можно использо- УДК 004.032.26(06) Нейронные сети 125 Рис. 2. Структура рекуррентной импульсной нейронной сети [3] ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 УДК 004.032.26(06) Нейронные сети 126 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 вать вместо одного считывающего нейрона ансамбль считывающих нейронов, импульсная активность которых в момент времени t представляет уровень у(t) в пространственно-частотном коде. Фактически, эти считывающие нейроны имеют память, но их постоянная времени мембраны существенно короче, чем продолжительность периода, в течение которого необходимо накопление информации, что требуется в большинстве когнитивных задач. На рис. 2 показан пример структуры рекуррентной нейронной сети, состоящей из 144 нейронов, причем семь линейных нейронов – считывающие и обученные выделению абсолютно разных видов информации из выходного потока u(-). В схеме на рис. 2 все нейроны располагаются в узлах 3D решетки. 20% нейронов, помеченных черным цветом, выбираются произвольно и являются тормозящими нейронами. Импульсные нейронные сети благодаря нейроморфности имеют перед традиционными такие преимущества: 1) распознавание динамических образов (речь, динамические изображения и др.; в случае распознавания речи в качестве входных потоков можно использовать, например, выходные сигналы голосовых фильтров); 2) многозадачность (информация о входных потоках циркулирует в рекуррентной нейронной сети, и на выход одновременно могут быть поданы результаты разных задач при помощи разных групп считывающих нейронов, обученных выполнению той или иной задачи); 3) распознавание с предвидением (любой динамический процесс может быть распознан даже по неполной информации о нем, т.е. даже раньше, чем он завершится); 4) простота процедуры обучения (обучаются не все нейроны сети, а только выходные считывающие нейроны); 5) повышенная продуктивность обработки информации и помехоустойчивость благодаря таймерному представлению информации. 3. Вариант аппаратной реализации импульсных нейронных сетей на оптоэлектронных нейронных элементах с биспин-прибором Два варианта схем импульсного нейронного элемента (НЭ) [5] на основе биспин-прибора [6] представлены на рис. 3. Эти НЭ полностью реализуют два наиболее важных принципа функционирования нейрона, т.е. имеют частотный выход (форма импульсов представлена на рис. 4) и амплитуда выходящих импульсов не зависит от уровня возбуждения НЭ. УДК 004.032.26(06) Нейронные сети 127 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 +Ucc Eвозб VD1 VD1 VB Eторм VD2 +Ucc Eвозб Сp f VB Eторм VT R1 VD2 f VD3 VD3 R R2 Рис. 3. Два варианта схем импульсного НЭ: а) без обратной связи; б) с обратной связью В схеме на рис. 3, а входные оптические возбуждающие (Eвозб) и тормозящие (Eторм) сигналы поступают на соответствующие фотодиоды VD1 и VD2, суммарный фототок которых заряжает емкость Cp подкладки биспин-прибора VB до порогового уровня, после достижения которого происходит генерация биспин-импульса на резисторе нагрузки R, и на светодиоде VD3 возникает выходной оптический сигнал схемы НЭ. а) б) Рис. 4. Форма импульсов на выходе НЭ (0,5 В/дел, 1 мкс/дел): а – в схеме НЭ по рис. 3, а (без обратной связи); б – в схеме НЭ по рис. 3, б (с обратной связью) УДК 004.032.26(06) Нейронные сети 128 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 В схеме на рис. 3, б за счет использования обратной связи (транзистор VT) происходит ускорение разряда подкладки биспин-прибора, благодаря чему схема имеет более широкий динамический диапазон входных уровней возбуждения (оптических мощностей) и выходящих частот (рис. 5), а также сокращается продолжительность выходного импульса (рис. 4, а, б). Включение добавочной внешней емкости между подкладкой биспинприбора и общей шиной позволяет изменять диапазон частот выходных импульсов в низкочастотную область, и увеличивать энергию выходного импульса. Зависимость частоты выходных импульсов от тока в подложку для предложенных НЭ носит такой же характер, как и в биологическом нейроне, т.е. существует участок линейного нарастания с насыщением (рис. 5). 300 250 f, кГц 200 2 150 1 100 50 Ір, мкА 0 0 20 40 60 80 100 120 140 160 180 200 Рис. 5. Зависимость частоты выходных импульсов от уровня возбуждения (Ip – суммарный фототок, заряжающий подложку биспин-прибора) 1 – для схемы по рис. 3а; 2 – для схемы по рис. 3б Предложенные нейронные элементы обладают такими функциональными особенностями: пространственное и временное суммирование, подпороговое суммирование, зависимость "сила-длительность", зависимость частоты выходных импульсов от уровня возбуждения, трансформация ритма, залповая активность, фоновая активность, аккомодация, рефракУДК 004.032.26(06) Нейронные сети 129 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 терность (абсолютная и относительная рефрактерные фазы, экзальтационная фаза). Основные экспериментальные параметры нейронных элементов на кремниевых биспин-приборах приведены в следующей таблице. Таблица 1 Основные экспериментальные параметры нейронных элементов Наименование параметра Реобаза, мкА Хронаксия, мкс Диапазон вых. частот Лабильность, кГц Энергия вх. имп., нДж Энергия вых. имп., нДж Мин. коэффициент трансформации ритма Обозначение Ir ch f max f min fl Eii Eio Знач. парам. в сх. на рис. 3, а 1,80 83,1 14,5 106,4 53,85 18,28 Знач. парам. в сх. на рис. 3, б 1,78 124,2 61,6 295,3 61,19 4,6 4 3 1/min( k f ) Заключение Таким образом, в результате анализа известных парадигм нейронных сетей установлено, что наиболее перспективными с точки зрения эффективного решения когнитивных задач являются импульсные нейронные сети. Было показано, что они обладают такими преимуществами: распознавание динамических образов, многозадачность, распознавание с предвидением, простота процедуры обучения, повышенная продуктивность обработки информации и помехоустойчивость. Эти преимущества являются следствием их нейроморфности (подобие биологическим нейросетям) и использования таймерного представления информации. Использование предложенных нейронных элементов в структурах импульсных нейронных сетей (см. рис. 2) позволит выполнять заданные функции меньшим количеством нейронов, поскольку один предложенный нейрон заменяет пару (возбуждающий и тормозящий) нейронов по рис. 2. Список литературы УДК 004.032.26(06) Нейронные сети 130 ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1 1. Галушкин А.И. Нейрокомпьютеры. Кн.3: Учебное пособие для вузов/ Общая редакция А.И. Галушкина. – М.: ИПРЖР, 2000. - 528 с. 2. Maass W., Bishop C.M., ed., Pulsed Neural Networks, MIT Press, Cambridge, 2001. 3. Maass W. , Natschläger T. , and Markram H. . Computational models for generic cortical microcircuits. In J. Feng, editor, Computational Neuroscience: A Comprehensive Approach, chapter 18, pp. 575-605. Chapman & Hall/CRC, Boca Raton, 2004. 4. Бардаченко В.Ф., Колесницький О.К., Василецький С.А. Перспективи застосування імпульсних нейронних мереж з таймерним представленням інформації для розпізнавання динамічних образів// УСіМ. - 2003. №6. - С. 73-82. 5. Колесницький О.К., Василецький С.А. Частотно-динамічні нейронні елементи // Вісник ВПІ. - 2002. - №5. – C. 5-10. 6. Кнаб О.Д. Биспин – новый тип полупроводниковых приборов // Электронная промышленность, №8, 1989, с.3 - 8. УДК 004.032.26(06) Нейронные сети 131
