Самопроизвольное формирование механизмов
advertisement
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 M.В. КИСЕЛЕВ ООО «Мегапьютер Интеллидженс», Москва mkiselev@megaputer.ru САМОПРОИЗВОЛЬНОЕ ФОРМИРОВАНИЕ МЕХАНИЗМОВ КРАТКОВРЕМЕННОЙ ПАМЯТИ В СТАБИЛИЗИРУЮЩИХСЯ ИМПУЛЬСНЫХ НЕЙРОННЫХ СЕТЯХ Работа посвящена реализации и исследованию процесса формирования в импульсной нейронной сети (ИНС) механизмов кратковременной памяти в результате эволюции из хаотического состояния. Под кратковременной памятью здесь понимается хранение информации о предъявленных сети в прошлом стимулах в виде стабильных во времени специфических паттернов нейронной активности. Устойчивое возникновение желаемого эффекта продемонстрировано у предложенных автором так называемых стабилизирующихся ИНС при наличии у них определенной топологии. Ключевые слова: импульсные нейронные сети, распознавание пространственно-временных паттернов, кратковременная память, самоорганизация нейронной сети Введение Модели импульсных нейронных сетей (ИНС, spiking neural networks) давно являются предметом всестороннего изучения, будучи, с одной стороны, наиболее реалистичными с точки зрения моделирования ансамблей нейронов ЦНС животных и человека [1], а с другой стороны, являясь мощными вычислителями [2], способными осуществлять сложные пространственно-временные преобразования входного сигнала. Значительное количество работ в этой области было до сих посвящено обучению ИНС распознаванию динамических образов во входном сигнале (например, [3]), так что этот аспект теории ИНС является уже в значительной степени исследованным. Однако с точки зрения как нейрофизиологического моделирования, так и задачи построения на основе ИНС обучаемых автоматических систем управления (например, в роботике), распознавание образов – важная, но далеко не единственная задача, требующая решения. Еще одним компонентом, без которого трудно себе представить систему управления в условиях наличия факторов, действующих в течение какогоУДК 004.032.26(06) Нейронные сети 270 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 то времени после их появления, либо с временным запаздыванием (и, разумеется, любые реалистичные модели ЦНС), является механизм кратковременной памяти, сохраняющий информацию о состоянии информационного окружения системы в некотором близком прошлом. Предполагается, что эта информация должна храниться в виде устойчивых паттернов активности сети, в отличие от долговременной памяти, обычно ассоциируемой со структурными изменениями (например, значений синаптических весов), накапливаемыми за весь период обучения сети. Причем для обеспечения гибкости и универсальности этот механизм должен формироваться в результате некоторого эволюционного процесса, протекающего в сети, а не жестко задаваться «вручную» (что, впрочем, вряд ли возможно в случае больших сетей и нетривиальных решаемых задач). Для импульсных сетей эта задача до настоящего времени не решена – по крайней мере, автору не известны работы, сообщающие об успехе ее решения. Именно ее решению и посвящено данное исследование. Для достижения прогресса в этом направлении плодотворным оказалось использование так называемой модели стабилизирующейся импульсной нейросети, впервые предложенной в [4]. Проведенные исследования показали большие возможности этого класса моделей для распознавания динамических образов и других пространственно-временных закономерностей во входном сигнале [5-7]. Стабилизирующиеся импульсные нейронные сети будут кратко описаны в следующих 3 разделах, после чего мы более точно определим решаемую задачу и обсудим вычислительные эксперименты и их результаты. Стабилизирующийся импульсный нейрон (СИ-нейрон) Рассматриваемая модель нейрона является развитием стандартной модели импульсных интегрирующих нейронов с утечкой (LIF – leaky integrate-and-fire spiking neuron [1]). Нейрон получает импульсы от других нейронов и рецепторов через синапсы, которые делятся на стимулирующие и тормозящие. Импульсы считаются имеющими одинаковую амплитуду и пренебрежимо малую длительность. Импульсы, приходящие на стимулирующие и тормозящие синапсы, дают вклад в, соответственно, стимулирующий и тормозящий постсинаптический потенциал (СПП и ТПП). Максимальный вклад синапса в соответствующий потенциал равен весу этого синапса. Вклады всех синапсов и, соответственно, самих СПП и ТПП в отсутствие пресинаптических импульсов экспоненциально уменьшаются до нуля. При малом ТПП поведение СИ-нейрона аналогичУДК 004.032.26(06) Нейронные сети 271 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 но модели LIF – если СПП превышает пороговое значение UTHR , нейрон генерирует импульс, вклады всех стимулирующих синапсов и СПП обнуляются, и нейрон переходит на некоторое время в состояние полной невозможности генерации импульса (абсолютный рефрактерный период). ТПП никак не влияет на этот процесс до тех пор, пока его величина меньше определенного порога UTHR . Если же СПП становится больше в то время, как ТПП превышает UTHR , нейрон переходит в состояUTHR ние, отсутствующее в стандартной модели LIF, а именно, в состояние подавления постсинаптического импульса. В этом случае генерации импульса не происходит, хотя СПП также обнуляется. И генерация импульса нейроном, и ее подавление сказываются на значениях медленно меняющихся компонент состояния нейрона, рассмотренных ниже. Самой главной из этих компонент, в которой коренится принципиальное отличие рассматриваемой модели от стандартного LIF нейрона, является так называемая стабильность нейрона. Эта величина определяет пластичность синаптических весов и подверженность нейрона влиянию со стороны остальных нейронов. Предполагается, что та часть сети, которая «научилась» решать какую-либо задачу, должна состоять из нейронов с высоким значением стабильности, что обеспечивает сохранность ее обученного состояния. О пластичности мы скажем ниже, а защищенность от влияния необученной части сети заключается в том, что тормозные синапсы не пропускают импульсы, приходящие от пресинаптических нейронов с низкой стабильностью (или, по крайней мере, со стабильностью, существенно меньшей стабильности постсинаптического нейрона). Таким образом, «необученная» часть сети не может заблокировать работу «обученной» части. Динамика стабильности СИ-нейрона определяется частотой генерации им импульсов и отношением генерированных/подавленных импульсов. Сама по себе, стабильность экспоненциально падает до 0, так что «молчащий» нейрон через какое-то время становится нестабильным. Генерация импульса увеличивает стабильность, подавление – снижает. Такой подход приводит к тому, что в равновесном состоянии сети нейроны «стараются» не подавлять друг друга, – если образуются две группы высокостабильных нейронов, взаимно подавляющих друг друга, то, в конце концов, одна из них побеждает, а вторая дестабилизируется, подвергается сильному перераспределению синаптических весов, и, если стабилизируется снова, то уже генерирует импульсы в то время, когда нейроны первой группы молчат, тем самым избегая подавления с их стороны. Этот меха- УДК 004.032.26(06) Нейронные сети 272 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 низм способствует поддержанию в сети разнообразия – существования групп нейронов с не коррелирующими (или анти-коррелирующими) паттернами активности, что, как мы увидим далее, принципиально для реализации эволюционных процессов. Синаптическая пластичность В нашем подходе, как и в большинстве других, обучение сети или, лучше сказать, эволюция сети в ее взаимодействии с информационным окружением предстает как процесс модификации синаптических весов ее нейронов (дополненный еще процессом стабилизации/дестабилизации последних). Отметим, что пластичны только стимулирующие синапсы – все тормозящие синапсы имеют равные и постоянные веса. Реализованные в нашей модели законы синаптической пластичности отчасти аналогичны классическому STDP [1] и играют схожую роль, но с одной существенной поправкой – «отрицательное» перераспределение весов (то, что соответствует LTD стандартной модели) определяется не наличием положительной разницы во времени между пресинаптическим и постсинаптическим импульсами, а подавлением генерации постсинаптического импульса. Другим отличием моей модели является то, что это в собственном смысле перераспределение весов – сумма весов синапсов каждого нейрона остается постоянной. При генерации импульса происходит перераспределение весов от синапсов, на которые давно не приходили импульсы, к синапсам, недавно получившим пресинаптический импульс. При подавлении генерации импульса перераспределение происходит в обратном направлении. Общий объем переносимого веса зависит от стабильности нейрона – для высокостабильных нейронов он очень мал, так что они почти не пластичны. Постоянство суммарного синаптического веса очень важно с гомеостатической точки зрения, так как спасает от появления как полностью подавленных «мертвых» нейронов с нулевыми весами, так и гиперактивных нейронов. Принципиальным является также достаточно жесткое ограничение сверху на величины синаптического веса значением, в несколько раз меньшим UTHR , что обеспечивает «коллективный» характер генерации постсинаптического импульса – необходимость прихода для этого импульсов на несколько разных синапсов в течение небольшого интервала времени. Только при этом условии нейрон может быть полезным операционным элементом. УДК 004.032.26(06) Нейронные сети 273 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 Отметим также, что в нашей модели межнейронные связи предполагают различную для каждой связи, но постоянную во времени задержку распространения импульса. Мы перечислили здесь все принципиальные отличия нашей модели нейрона от стандартной LIF модели, однако полное и строгое изложение законов динамики нейрона и эволюции медленно меняющихся компонент его состояния не может быть здесь приведено из-за недостатка места и может быть получено у автора по запросу. В следующем разделе рассмотрим архитектуру сети, составленной из СИ-нейронов, с которой проводились эксперименты по формированию механизмов распознавания и запоминания пространственно-временных паттернов. Сеть Изучаемая в данной работе сеть представляет собой трехслойную структуру, состоящую из одинаковых СИ-нейронов. Слой 1, стимулирующие синапсы нейронов которого соединены только с рецепторами (информационными входами всей сети), служит для распознавания пространственно-временных образов и подобен сети, описанной в [7]. Остальные два слоя, предназначенные для запоминания распознанных паттернов, образуют рекуррентную сеть – стимулирующие синапсы нейронов слоя 2 соединены с нейронами слоев 1 и 3, стимулирующие синапсы нейронов слоя 3 соединены с нейронами только слоя 2. Структура соединения слоев стимулирующими и тормозящими связями показана на рис. 1. Жирные линии обозначают стимулирующие связи, тонкие – тормозящие. В рассматриваемом варианте сети все слои содержали одинаковое количество нейронов. Рис. 1. Структура стимулирующих и тормозящих связей между слоями сети Кроме того, имеется еще одна принципиальная для решаемой задачи черта макроструктуры сети, а именно, ее колончатая организация. НейроУДК 004.032.26(06) Нейронные сети 274 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 ны во всех трех слоях сети разбивались на равное число непересекающихся подмножеств, так что каждое подмножество содержало одинаковое число нейронов. Эти подмножества на каждом слое перенумеровывались. Набор всех подмножеств с одинаковым номером назовем колонкой. Каждая колонка характеризуется тем свойством, что никакие два принадлежащие ей нейрона не соединены тормозящей связью – тормозящие связи имеют место только между колонками. Таким образом, колонки образуют вертикальную структуру сети наряду с ее горизонтальной структурой, задаваемой слоями. Хотя автор далек от прямых нейрофизиологических аналогий, но надо отметить, что подобную структуру имеют многие отделы коры головного мозга млекопитающих (см., например, обзор в [8]). Рецептивные поля всех колонок, правда, не отличались – все нейроны слоя 1 были абсолютно случайным образом связаны со всем множеством рецепторов. Пространственно-временные паттерны и кратковременная память Теперь расскажем о решаемой сетью задаче распознавания. Как и в предыдущих исследованиях [4–7], такой задачей, с одной стороны, достаточно простой для исследования, а с другой стороны, универсальной и важной с точки зрения практических применений, является задача нахождения подмножеств рецепторов, частота импульсов на которых взаимокоррелирована. При этом сеть, имея первоначально хаотическое распределение синаптических весов, должна научиться не только специфическим образом реагировать на проявления активности каждого из этих подмножеств (что являлось одной из задач предыдущих исследований), но и сохранять эту реакцию в течение длительного времени (или до эпизода активности другого подмножества – т. е. до прихода нового паттерна). Возникновение такого поведения и означало бы формирование в сети механизмов кратковременной памяти. Эксперименты Эксперименты проводились на сети из 300 нейронов. Опыт предыдущих исследований в рамках проекта по изучению СИ-нейронов свидетельствует, что уровень нескольких сотен нейронов является хорошим компромиссом между способностью сети демонстрировать интересные и неожиданные эффекты и разумным временем на один эксперимент. Кроме разделения на 3 слоя, все нейроны были разбиты на 10 одинаковых по УДК 004.032.26(06) Нейронные сети 275 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 численности колонок. В слое 1 каждый нейрон имел 64 стимулирующих синапса и 64 тормозящих; в слое 2 – соответственно 96 и 128, в слое 3–32 и 128. Эти числа были выбраны из тех соображений, чтобы быть кратными 32 и максимально возможными для данной схемы соединения слоев (рис. 1.). Кратность 32 диктовалась тем, что счет велся на 240-ядерном GPGPU Tesla C1060 производства компании NVIDIA, при том, что каждый синапс моделировался отдельным потоком, нейрон – отдельным блоком, а для оптимальности вычислений на этой аппаратуре количество потоков в блоке должно быть кратно 32. В пределах выбранной общей схемы связей между слоями (рис. 1) пресинаптические нейроны и рецепторы для каждого нейрона выбирались случайным образом. Перед началом каждого эксперимента сеть устанавливалась в хаотическое состояние – веса всех синапсов выбирались случайно и равномерно в диапазоне [0, 2], при том, что максимальный вес был выбран равным 3, а UTHR 10 . Задержки прохождения импульса в межнейронных связях также выбирались случайным образом в соответствии с логравномерным распределением в интервале [1 мс, 64 мс]. После процедуры начальной генерации весов все нейроны ставились в одинаковые условия с помощью мультипликативной нормализации их среднего веса на единицу. Эксперименты разбивались на серии запусков эволюции сети при одинаковых параметрах рецепторного сигнала, но разных исходных значениях синаптических весов и разных конфигурациях межнейронных связей. Размер каждой серии составлял 10 запусков. Большие по размерам серии практически трудно реализуемы, поскольку в процессе исследований приходилось варьировать много параметров. Квант времени моделирования был принят равным 1 миллисекунде. Характерные времена релаксации постсинаптических потенциалов были выбраны равными 20 мс, длина рефрактерного периода – 10 мс. Эти значения давали возможность хотя бы отдаленно интерпретировать результаты в физиологических терминах. В течение всего эксперимента на вход сети подавался один и тот же по свойствам сигнал, состоящий из смеси шума (случайно генерируемых рецепторных импульсов) и собственно «паттернов» – эпизодов согласованно повышенной активности определенных подмножеств рецепторов. Инициировались эти эпизоды также случайным процессом. Ожидалось, что в результате экспозиции такому сигналу сеть через какое-то время придет в некоторое равновесное состояния, характеризуемое, в частности, отсутствием сильных изменений стабильности нейронов. Если равновесие не наступало длительный период (300000 сек), эксперимент прекращался и считался неудачным. При УДК 004.032.26(06) Нейронные сети 276 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 наступлении равновесия эксперимент считался удачным, если после каждого эпизода активности подмножества рецепторов, соответствующих некоторому паттерну, частота импульсов в определенной группе нейронов, специфической для этого паттерна, делалась очень высокой по сравнению со средним значением и оставалась таковой до прихода другого паттерна. Серия экспериментов считалась удачной, если в ней было не более одного неудачного эксперимента. Эксперименты ставились в условиях различных параметров входного сигнала. В числе варьируемых параметров были: количество рецепторов NR; количество разных паттернов NP; часть рецепторов, соответствующих одному паттерну (в этом исследовании все паттерны были одинаковы по своим свойствам), относительно всего количества рецепторов sP; частота возникновения паттернов fP; временная длительность паттерна TP; фоновая частота рецепторных импульсов (интенсивность шума) FB; превышение частоты генерации импульсов в период и вне периода паттерна для соответствующих ему рецепторов I. Результаты Главным результатом экспериментов было наблюдение устойчивого – при разных начальных хаотичных состояниях сети (в 10 экспериментах серии из 10 экспериментов) – самопроизвольного появления эффекта кратковременной памяти при некоторых значениях параметров рецепторного сигнала. Дальнейшие эксперименты были направлены на установление диапазонов этих параметров, при которых эффект сохранялся (т.е. серии экспериментов были успешны – см. предыдущий раздел). Диапазоны устойчивости эффекта приведены в таблице 1. Мы видим, что эти диапазоны не очень велики (их расширение и есть одна из целей текущей стадии проекта), однако достаточны, чтобы говорить, что продемонстрированный эффект не требует точной подгонки параметров сети и сигнала. Таблица 1 Диапазоны параметров входного сигнала, при которых серии экспериментов по формированию механизмов кратковременной памяти были удачными Параметр минимум максимум NR 100 300 NP 2* 2 sP 0.1 0.4* fP 0.03Hz 1Hz* TP 0.1 сек 1 сек* УДК 004.032.26(06) Нейронные сети FB 0* 3Hz* I 30 100* 277 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 * Дальнейшее уменьшение/увеличение параметра бессмысленно либо не проверялось Эволюция сети к состоянию, обладающему кратковременной памятью, обычно включала 2 этапа. На первом этапе формировались распознающие паттерны группы нейронов слоя 1 и петли нейронов с положительной обратной связью в слоях 2 и 3. На втором этапе среди этих петель отбирались «правильные» – носители кратковременной памяти. Для иллюстрации приведем записи активности сети длиной 150 мс (слева направо) в самом начале эволюции, после ее первого этапа и после возникновения эффекта кратковременной памяти (рис. 2). Рис. 2. Активность рецепторов и нейронов в разные периоды эволюции сети Ось времени на этом рисунке идет горизонтально. В каждом из периодов паттерн №1 появляется через некоторое время после паттерна №2. Верхняя секция содержит сигналы рецепторов, 3 нижние – слоев сети. Жирные точки соответствуют генерированным импульсам, маленькие точки – подавленным. Колонки обозначены тонкими горизонтальными линиями. На первой записи мы видим хаотическую реакцию нейронов слоя 1 на появление паттерна и почти молчащие нейроны слоев 2 и 3. На второй записи видно, что 9-ая колонка слоя 1 стала распознавателем патУДК 004.032.26(06) Нейронные сети 278 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 терна № 1, в то время как 9-ые колонки слоев 2 и 3 охвачены бессмысленной постоянной активностью, не зависящей от того, что происходит на входе сети. Наконец, на третьей записи можно наблюдать проявление эффекта кратковременной памяти – активность 7-ой колонки, индицирующая появление в прошлом паттерна № 2, блокируется 9ой колонкой слоя 1, распознавшей появление паттерна № 1, после чего активизируются замкнутые контуры нейронов 9-ой колонки слоев 2 и 3, несущие память о появлении паттерна № 1. Выводы Предложена и исследована модель импульсной нейронной сети, которая, эволюционируя из первоначально хаотического состояния, демонстрирует самопроизвольное формирование механизмов кратковременной памяти – способности сохранять в специфической картине нейронной активности информацию о распознанных в прошлом в ее входном сигнале пространственно-временных паттернах. Этот результат для импульсных нейросетей был достигнут впервые. Существенным условием для возникновения этих механизмов является специфическая топология сети, включающая как «горизонтальное» разбиение сети на 3 слоя, так и «вертикальное» разбиение на колонки с отсутствующим взаимным подавлением нейронов внутри одной колонки. После повышения универсальности и расширения границ устойчивости описанного эффекта планируется работа по созданию модельного обучаемого контура автоматического управления на основе нейросети, подобной рассмотренной в этой работе. Список литературы 1. Gerstner W., Kistler W. Spiking Neuron Models. Single Neurons, Populations, Plasticity. Cambridge University Press. 2002. Maass W., Markram H. On the computational power of circuits of spiking neurons // Journal of Computer and System Sciences. 2004. Vol. 69. P. 593– 616. Wysoski S.G., Benuskova L., Kasabov N. Adaptive Spiking Neural Networks for Audiovisual Pattern Recognition // Lecture Notes in Computer Science. 2008. Springer. V. 4985 P. 406–415. Kiselev M. Statistical Approach to Unsupervised Recognition of Spatiotemporal Patterns by Spiking Neurons // Proceedings of IJCNN-2003. Portland, Oregon. P. 2843–2847. УДК 004.032.26(06) Нейронные сети 279 ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1 Киселев M. SSNUMDL – сеть стабилизирующихся импульсных нейронов, распознающих пространственно-временные образы // Нейрокомпьютеры: разработка, применение. 2005. №12. C. 16–24. Kiselev M. Self-organized Spiking Neural Network Recognizing Phase/ Frequency Correlations // Proceedings of IJCNN-2009. Atlanta, Georgia, P. 1633–1639. Киселев M. Однослойная самоорганизующаяся сеть импульсных нейронов, распознающая нечеткую синхронию во входном сигнале // Нейрокомпьютеры: разработка, применение. 2009. №10. C. 3–11. Jones E., Rakic P. Radial Columns in Cortical Architecture: It Is the Composition That Counts // Cerebral Cortex. 2010. V. 20. P. 2261–2264. УДК 004.032.26(06) Нейронные сети 280
