ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 Н.С. ЛАГУТИНА, И.В. ПАРАМОНОВ Ярославский государственный университет им. П. Г. Демидова lagutinans@rambler.ru, iparam@yandex.ru ИССЛЕДОВАНИЕ ПРЕДЕЛЬНЫХ РЕЖИМОВ РАБОТЫ НЕЙРОННОЙ СЕТИ С ИСПОЛЬЗОВАНИЕМ ВСПОМОГАТЕЛЬНОЙ МОДЕЛИ Аннотация В работе рассматривается модель взаимодействия нейронов, основанная на некоторых гипотезах о принципах работы биологических нервных клеток. Предложен способ детального исследования режимов работы сетей, основанных на этой модели. Представлены результаты исследования неоднородной сети из трех нейронов. В современной нейрофизиологии существует гипотеза о возможности кодирования информации в мозге в виде незатухающих, циклически повторяющихся волн нейронной активности [1, 2]. В работах [3, 4] предложена модель нейрона-автогенератора, основанная на дифференциальном уравнении с запаздыванием, и разработаны асимптотические методы ее исследования. На основе этой модели в работе [5] предложен механизм взаимодействия между нейронами, включающий в себя ряд особенностей биологических нервных клеток. Модель взаимодействия учитывает состояние рефрактерности нейрона и некоторые особенности выделения медиатора в этом состоянии. В той же работе рассмотрена сеть из трех нейронов. Некоторые режимы работы этой сети исследованы асимптотическими методами. В данной работе для более детального исследования механизма взаимодействия предлагается рассмотреть вспомогательную модель. Обозначим состояние i-го нейрона в момент времени t через i (t ) : 0 i (t ) 1 . Пусть J — множество нейронов, воздействующих на заданный i-й нейрон на промежутке времени [t0 , t0 t ] , t выбирается таким образом, что множество J остается постоянным в течение всего этого промежутка. Тогда значение функции i (t ) для любого t [t0 , t0 t ] определяется формулой i (t ) i (t0 ) 1 wij t (mod 1) . jJ УДК 004.032.26(06) Нейронные сети 9 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 Определим теперь условия воздействия одного нейрона на другой. Будем считать, что воздействие j-го нейрона на i-й начинается в момент времени, когда нейрон-передатчик начинает генерацию спайка ( j (t ) 0) , но только в том случае, если нейрон-приемник не находился в состоянии рефрактерности. Длительность воздействия обозначим M , промежуток рефрактерности начинается в момент генерации спайка и длится в течение времени, равного R (0 M R 1) . Также будем считать, что выполнено условие M R 1 . Сила воздействия j-го нейрона на i-й определяется синаптическим весом wij 0 . Для того чтобы охарактеризовать предельное поведение сети при больших значениях t, обозначим через t1 , t 2 , ... последовательные моменты начала спайков первого нейрона сети. Обозначим j lim j (tn ) , где j 2, 3 , i 1, 2, 3, ... , если эти пределы существуют. n Будем считать, что вектор (0, 2 , 3 ) описывает предельный режим работы сети. Выберем первый момент генерации импульса первым нейроном за начало отсчета (1 (0) 0) . Тогда вектор (0, 2 (0), 3 (0)) будет определять начальное состояние сети. В работе [5] исследована неоднородная полносвязная сеть-кольцо из трех нейронов, описываемых дифференциальными уравнениями с запаздыванием, реализующих аналогичный способ взаимодействия. Доказано утверждение о том, что при условии выполнения некоторых ограничений на весовые коэффициенты существует устойчивый режим работы сети, при котором импульсы нейронов следуют в порядке возрастания номеров. Кроме того, в работе [6] рассмотрен вопрос об условиях сходимости сети к указанному режиму. Подобный результат справедлив и для рассматриваемой модели. Введем следующие два набора ограничений, первый: z / w21 M , z / w21 z / w32 R , z / w32 M , z / w32 z / w13 R , z / w13 M , z / w13 z / w21 R , (1) УДК 004.032.26(06) Нейронные сети 10 где ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 z 1 ; 1 1 w w32 w131 1 21 и второй: y / w31 M , y / w23 M , y / w31 y / w23 R , y / w23 y / w12 R , y / w12 M , y / w12 y / w31 R , (2) 1 где y . 1 1 1 w31 w23 w121 В данной работе исследуются модели сетей, удовлетворяющих хотя бы одному из этих двух наборов условий. Утверждение 1. Если синаптические веса удовлетворяют условиям (1), то существует предельный режим работы сети (0, 2 , 3 ) , где 2 1 (1 w21 ) z , w21 (1 w32 ) z z . w21 w32 Если синаптические веса удовлетворяют условиям (2), то существует предельный режим работы сети (0, 2 , 3 ) , где 3 1 2 1 (1 w23 ) y y , w31 w23 (1 w31 ) y . w31 Утверждение 2. Если синаптические веса удовлетворяют условиям (1) и для начального состояния сети (0, 02 , 30 ) выполнены условия 3 1 02 R , 30 R 30 1 02 , 1 w21 w32 02 1 w32 w21 (1 w32 ) R . 1 w21 1 w21 то сеть сходится к предельному режиму (0, 2 , 3 ) . Если синаптические веса удовлетворяют условиям (2) и для начального состояния сети выполнены условия УДК 004.032.26(06) Нейронные сети 11 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 30 R , 02 R 02 1 30 , 1 w31 w2330 1 w23 w31 (1 w23 ) R . 1 w31 1 w31 то сеть сходится к предельному режиму (0, 2 , 3 ) . Утверждение 1 описывают предельные режимы работы сети, при которых нейроны не синхронизируются. В этих случаях сеть сходится к указанным предельным режимам из любой точки соответствующих областей (утверждение 2). Аналогичные режимы описаны в работе [5] для сети, состоящей из нейронов, основанных на дифференциальных уравнениях с запаздыванием. Для рассматриваемой вспомогательной модели обнаружены другие предельные режимы работы сети, а также найдены условия сходимости к этим режимам. Утверждение 3. Если для начального состояния сети (0, 02 , 30 ) выполнено условие 1 30 1 R 02 R , 1 w31 то сеть сходится к предельному режиму (0, 02 , 0) . Если для начального состояния сети выполнено условие 1 02 1 R 30 R , 1 w21 то сеть сходится к предельному режиму (0, 0, 30 ) . Утверждение 4. Если для начального состояния сети (0, 02 , 30 ) выполнено условие 1 R 30 02 R , то сеть сходится к предельному режиму (0, 02 30 , 0) . Если для начального состояния сети выполнено условие 1 R 02 30 R , то сеть сходится к предельному режиму (0, 0, 30 02 ) . УДК 004.032.26(06) Нейронные сети 12 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 Утверждение 5. Если для начального состояния сети (0, 02 , 30 ) выполнены условия 02 R , 30 02 , 30 w32 02 (1 w32 )(1 R ). то сеть сходится к предельному режиму (0, 02 , 02 ) . Если для начального состояния сети выполнены условия 30 R , 02 30 , 02 w2330 (1 w23 )(1 R ). то сеть сходится к предельному режиму (0, 30 , 30 ) . Утверждения 3 – 5 описывают предельные режимы работы сети, при которых два нейрона из трех синхронизируются. Отметим, что в данном случае предельные режимы определяются начальными условиями, в отличие от предыдущего случая. Приведенные рисунки иллюстрируют результаты исследований. На них для каждой точки (02 , 30 ) изображен вектор, сонаправленный с (12 02 , 13 30 ) . Первый рисунок демонстрирует все рассмотренные в работе режимы, на втором можно наблюдать отсутствие вектором режима (0, 2 , 3 ) (утверждение 1) в силу нарушения условий (2). Из полученных результатов очевидно, что рассмотренная вспомогательная модель позволяет детально исследовать описанный механизм взаимодействия нейронов. Отметим, что получение аналогичных результатов для сетей, основанных на дифференциальных уравнениях с запаздыванием, сопряжено со значительными техническими трудностями. Предполагается, однако, что некоторые проблемы исследования подобных сетей (в том числе и сетей, основанных на дифференциальных уравнениях с переменным запаздыванием [7]) могут быть решены посредством введения вспомогательных моделей. УДК 004.032.26(06) Нейронные сети 13 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 03 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 02 03 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 УДК 004.032.26(06) Нейронные сети 0.9 1 02 14 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 Список литературы 1. Лебедев А.Н. О физиологических основах восприятия и памяти // Психол. журн. 1992. № 2. С. 30 – 41. 2. Бехтерева Н.П. Здоровый и больной мозг человека. М.: Наука, 1980. 3. Майоров В.В., Мышкин И.Ю. Математическое моделирование нейронов сети на основе уравнений с запаздыванием // Математическое моделирование. 1990. Т. 2. № 11. С. 64–76. 4. Кащенко С.А., Майоров В.В. Исследование дифференциально-разностных уравнений, моделирующих импульсную активность нейрона // Математическое моделирование, 1993. Т. 5. № 12. С. 13 – 25. 5. Лагутина Н. С. Модель импульсного нейрона. Колебания в простейшей сети из трех нейронов // Современные проблемы математики и информатики. Вып. 3. Ярославль: ЯрГУ, 2000. С. 109 – 115. 6. Парамонов И.В. Исследование сходимости кольцевой нейронной сети из трех элементов, описываемых дифференциальными уравнениями с запаздыванием // Нейроинформатика и ее приложения: Материалы XIII Всероссийского семинара. Красноярск: ИВМ СО РАН, 2005. С. 69 – 70. 7. Парамонов И. В. Моделирование импульсной активности нейрона с помощью дифференциального уравнения с запаздывающим аргументом с переменной величиной запаздывания // V Всероссийская научно-технич. конф. «Нейроинформатика-2003». Сборник научных трудов. Ч. 2. М.: МИФИ, 2003. С. 36 – 40. УДК 004.032.26(06) Нейронные сети 15