- Моделирование и анализ информационных систем

Модел. и анализ информ. систем. Т.15, №2 (2008) 3–9
УДК 517.929.4
О синхронизации в нейронной сети
на основе импульсной модели нейрона
Богомолов Ю.В.
Ярославский государственный университет,
150 000, Ярославль, Советская, 14
e-mail: yurik232@mail.ru
получена 8 октября 2007
Аннотация
Проводится анализ процессов синхронизации в нейронных сетях из двух нейронов-автогенераторов
на основе импульсной модели с различными типами связи.
Введение
Имитирующие структуру мозга и нервной системы разнообразные модели нейронных сетей находят
самые широкие применения. Основанные на биологических предпосылках нейронные сети позволяют смоделировать происходящие в нервной системе процессы и выдвинуть гипотезы о нейрофизиологических
механизмах когнитивных процессов (внимания, памяти). При этом важную роль играют процессы образования и разрушения ансамблей синхронно работающих нервных клеток (нейронов), моделированию
которых будет уделено особое внимание в работе.
В работе моделируются две нейронные сети с различными типами взаимодействия. В ходе моделирования за основу взята предложенная в [1] импульсная модель нейрона-автогенератора, описываемая дифференциальным уравнением с отклоняющимся аргументом. На основе данной модели нейрона, с учетом
биологических данных о наличии в мозге замкнутых кольцевых структур, а также гипотезы об организации кратковременной памяти на основе синхронно работающих нейронных ансамблей, в качестве адекватного объекта изучения рассматриваются процессы синхронизации в системе из двух взаимодействующих
нейронов схожей структуры. При этом в ходе вычислительного эксперимента выявляются параметры, при
которых в рассматриваемых моделях нейронных сетей на основе импульсной модели нейрона происходят
процессы синхронизации и десинхронизации. С учетом отмеченной в [8] ключевой роли синхронизации
в деятельности нейронных ансамблей с малым количеством нейронов и связи механизмов реализации
когнитивных процессов (память, внимание) с возникновением ансамблей синхронно функционирующих
нейронов [4, 9] это позволяет интерпретировать данные процессы как аналоги процессов запоминания и
забывания в биологических нейронных сетях.
Статья состоит из нескольких разделов. В первом из них дается описание математической модели
исследуемых сетей на основе импульсной модели нейрона. Необходимые биологические комментарии приводятся во втором разделе статьи. Исходная модель функционирует в непрерывном времени, однако в
ходе численного анализа рассматривается ее дискретизация, пояснения по реализации которой даны в
третьем разделе. Там же описывается общая схема вычислительного эксперимента. В четвертом разделе
статьи приводятся начальные условия и параметры рассматриваемых сетей, производится обоснование
их адекватности моделируемым биологическим системам. В ходе численного анализа отмечено наличие
параметров, при которых имеет место синхронизация импульсной активности нейронов в рассматриваемых моделях. Также выявлены условия, при которых отмечена неустойчивость синхронного режима в
данных нейронных сетях (распад нейронного ансамбля). Результаты анализа приводятся в пятом разделе
статьи. В заключении дается биологическая интерпретация отмеченных в модели процессов как аналогов
процессов запоминания и забывания в естественной нервной системе.
1.
Математическая модель нейронной сети
В данном разделе будет дано формальное описание рассматриваемой импульсной модели нейронной сети.
Основным элементом биологической нейронной сети является нейрон (нервная клетка), способный к
генерации импульсов (возможно, под внешним воздействием). Состояние нейрона характеризуется изменяющимся во времени мембранным потенциалом. В работе [1] предложена модель нейрона на основе
3
4
Моделирование и анализ информационных систем Т.15, №2 (2008)
дифференциального уравнения с отклоняющимся аргументом, с высокой степенью биологической адекватности описывающая динамику мембранного потенциала нейрона (импульсная модель):
u̇(t) = λ (−1 − fN a (u(t)) + fK (u(t − 1))) u(t).
(1)
Здесь u(t) — мембранный потенциал нейрона, fN a и fK — достаточно гладкие положительные функции,
сходящиеся к 0 при u → ∞ быстрее, чем u−(1+γ) (γ > 0), параметр λ À 1.
Также в соответствии с [1] будем предполагать выполнение некоторых условий, наложенных на параметры:
α = fK (0) − fN a (0) − 1 > 0,
α1 = fK (0) − 1 > 0,
(2)
α2 = fN a (0) + 1 > 0.
Необходимые биологические пояснения будут даны во втором разделе статьи.
Опишем условия, накладывающиеся на выбор начальных функций. Пусть C[−1, 0] — пространство
непрерывных на [−1, 0] функций, S ⊂ C[−1, 0] — подмножество функций ϕ(x) таких, что
0 < ϕ(s) 6
1 λα s
e2
λ
(3)
при s ∈ [−1, 0] (в соответствии с этим условием будут выбираться начальные функции для анализируемой
нейронной сети). Обозначим через uϕ (t) решение уравнения (1) с начальным условием uϕ (s) ≡ ϕ(s) (при
s ∈ [−1, 0]). В [2] показано, что при выполнении данных условий существует периодическое решение
уравнения (1) (функция ϕ0 (s) ∈ S и положительное число T , такие, что uϕ0 (s + T ) ≡ ϕ0 (s) при всех
значениях s ∈ [−1, 0]). Ранее в [3] было предложено доказательство устойчивости данного периодического
решения u(t) (при λ À 1).
На основе описанной выше импульсной модели нейрона в данной статье рассматриваются две модели
нейронной сети в соответствии с предложенными в [1] различными видами взаимодействия (биологическое
обоснование и интерпретация параметров будут предложены в следующем разделе):
1. Взаимодействие на основе модели электрического синапса (диффузная связь). В этом случае нейронная сеть описывается системой следующих уравнений:
u˙1 (t) = λ (−1 − fN a (u1 (t)) + fK (u1 (t − 1))) u1 (t) + d(u2 − u1 ),
u˙2 (t) = λ (−1 − fN a (u2 (t)) + fK (u2 (t − 1))) u2 (t) + d(u1 − u2 ),
(4)
где через u1 (t) и u2 (t) обозначены мембранные потенциалы нейронов. Параметр d > 0 (показатель диффузии) в данном случае определяет выраженность связи между нейронами.
2. Взаимодействие на основе модели химического синапса (медиаторное взаимодействие). Cостояние
нейронной сети может быть описано следующей системой уравнений:
u˙1 (t) = λ (−1 − fN a (u1 (t)) + fK (u1 (t − 1)) + d1 H(u1 )Θ(u2 − 1)) u1 (t),
u˙2 (t) = λ (−1 − fN a (u2 (t)) + fK (u2 (t − 1)) + d2 H(u2 )Θ(u1 − 1)) u2 (t),
(5)
где Θ(s) — функция Хэвисайда (0 при s < 0, 1 при s > 1), H(u) = Θ(1 − u(t))Θ(1 − u(t − h))Θ(u(t) − u? ).
Здесь будем предполагать, что d1 и d2 положительны.
2.
Биологическое обоснование и интерпретация параметров
Ниже будут представлены необходимые биологические данные о моделируемой естественной нервной системе, а также прокомментировано соответствие рассматриваемых моделей нейронных сетей биологическим прототипам.
1. Биологическая нервная клетка (нейрон) имеет достаточно сложную структуру, здесь мы отметим
принципиальные особенности строения и механизмов функционирования. Ограниченный полупроницаемой для ионов мембраной биологический нейрон состоит из центральной части (тела) и отходящих от
него отростков (дендритов и древовидного аксона). Динамика нейрона характеризуется мембранным потенциалом (разностью потенциалов между поверхностями мембраны нейрона), который характеризует
состояние нейрона. Изменение разности мембранного потенциала вызвано обменом различными видами
ионов (среди которых особо отмечают положительно заряженные ионы калия и натрия) между телом
О синхронизации в нейронной сети...
5
нейрона и внешней средой (межклеточным пространством) через мембрану. Проницаемость мембраны
для различных ионов меняется во времени, что, в частности, обусловливает сложный характер динамики
мембранного потенциала.
2. На основе экспериментальных биологических данных об особенностях ионного обмена в нервной
клетке в работе [1] предложена описанная выше модель (1). В данной модели функции fN a и fK описывают соответственно величины натриевой и калиевой проводимости мембраны (состояние натриевых
и калиевых каналов, переносящих ионы через мембрану). При этом калиевый ток запаздывает по отношению к натриевому, величина запаздывания принята за единицу времени. Параметр λ в уравнении (1)
характеризует скорость восстановления мембранного потенциала.
Нейрон способен к генерации высокоамплитудного импульса короткой продолжительности (спайка),
выражающегося в резком увеличении мембранного потенциала при соблюдении некоторых условий с последующим его быстрым падением (данное свойство обеспечивается положительностью параметра α в
описанных ранее условиях (2)). Параметры α1 и α2 определяют скорость изменения мембранного потенциала на различных временных промежутках. Таким образом, параметры модели имеют адекватную
биологическую интерпретацию и обеспечивают соответствие поведения мембранного потенциала в рассматриваемой модели нейрона естественным нейрофизиологическим процессам. В работах [1, 2] отмечено
соответствие динамики данной (импульсной) модели нейрона импульсной активности биологического прототипа.
3. Накопленные во второй половине XX века нейрофизиологические данные о функционировании головного мозга позволили сделать выводы о связи механизмов процессов внимания и памяти с характерными особенностями динамики групп (ансамблей) нейронов. В биологических нейронных сетях синхронизация импульсной активности является естественным процессом и возникает уже для пары взаимодействующих нейронов [8]. В работах [4, 9] отмечается ведущая роль образования ансамблей синхронно
(когерентно) функционирующих нейронов в процессах запоминания, возникновение ансамблей с синхронизированной импульсной активностью отмечено при исследовании процессов восприятия [8]. С учетом
отмеченной в [1, 2] адекватности импульсной модели нейроподобного элемента биологическому нейрону есть основания предполагать аналогичные синхронизационные процессы в рассматриваемых моделях
(системы (4) и (5)) нейронной сети и интерпретировать синхронизацию нейронов в модели как модель
простейших нейрофизиологических процессов в нервной системе животных.
4. Взаимодействие нейронов (обмен импульсами) основывается на различных механизмах, среди которых в качестве основных выделяют [10] электрическое синаптическое взаимодействие (диффузионная
связь) и взаимодействие на основе химического синапса. Математическая модель сетей с такого рода
типами связи описана выше (системы (4) и (5) соответственно).
В случае связи на основе электрического синапса (система (4)) показатель взаимодействия между
нейронами пропорционален разности мембранных потенциалов нейронов, воздействие предполагается в
некотором смысле симметричным (величина воздействия второго нейрона на первый равна по модулю и
противоположна по знаку обратному воздействию).
Для взаимодействия на основе химического синапса (система (5)) результаты анализа механизмов воздействия с помощью особого класса химических веществ (нейромедиаторов) потребовали учета некоторых
особенностей поведения нейронов. В данном случае отмечено, что в период генерации высокоамплитудного спайка (импульса) нейромедиатор не оказывает влияния на нейрон-приемник (следовательно, нейрон
невосприимчив к внешнему воздействию). Также выявлена относительная невосприимчивость приемника к медиаторному воздействию через некоторое время после спайка и в ситуации деполяризации (при
малых значениях собственного относительного мембранного потенциала). Параметры d1 и d2 в модели
(5) задают величину синаптической связи от второго нейрона к первому и соответственно от первого ко
второму, множитель Θ(u − 1) является индикатором присутствия особого вещества (нейромедиатора),
обеспечивающего передачу импульса, функционал H(u) обеспечивает невосприимчивость к воздействию
со стороны парного нейрона при малых (ниже установленного u? ) значениях собственного мембранного
потенциала, а также в период генерации спайка и через заданное время h после его окончания.
В соответствии с описанными выше условиями в разделе 4 будут предложены наборы параметров, для
которых производился численный анализ модели.
3.
Дискретная модель сети
Отметим особенности дискретной реализации нейронной сети, построенной на основе описанной выше
модели, и опишем постановку вычислительного эксперимента.
6
Моделирование и анализ информационных систем Т.15, №2 (2008)
В ходе вычислительного эксперимента для исследования систем уравнений (4) и (5), описывающих
динамику нейронных сетей, использовался явный метод Эйлера для уравнения с запаздыванием с постоянным шагом, выбор шага осуществлялся с использованием критерия Рунге (для заданной погрешности).
Также в ходе вычислительного эксперимента для численного интегрирования данной системы использовался метод Дормана – Принса [6] четвертого порядка (при этом мелкость разбиения уменьшалась в 10
раз для итеративного нахождения промежуточных значений функции), в ходе чего результаты не претерпели принципиальных различий по сравнению с рассмотренным методом, однако наблюдался ожидаемый
резкий проигрыш в отношении скорости работы, поэтому для анализа системы нейронов использовался
метод Эйлера.
Исследуется система из двух нейронов, состояние которых описывается парой (u1 (t), u2 (t)) (значения
мембранных потенциалов двух нейронов). Функции (u1 (t), u2 (t)) рассматриваются на некоторой решетке:
1
, набор
единичный временной отрезок разбивается на m одинаковых отрезков узлами с шагом h =
m
значений (u1 (t), u2 (t)) в рассматриваемых узлах разбиения отражает состояние мембранного потенциала
соответственно первого и второго нейрона на отрезке длиной 1.
При анализе сети с моделью взаимодействия на основе электрического синапса очередные значения
состояния системы пересчитываются следующим образом:
uk+1
= uk + λ(−1 − fN a (uk1 ) + fK (uk+1
))uk1 + d(uk2 − uk1 ),
1
1
uk+1
= uk + λ(−1 − fN a (uk2 ) + fK (uk+1
))uk2 + d(uk1 − uk2 ),
2
2
(6)
(индексы рассматриваются по модулю m). Данные рекуррентные соотношения можно рассматривать как
дискретный аналог уравнений (4).
В случае анализа системы на основе химического синапса пересчет очередного состояния осуществлялся в соответствии со следующими соотношениями (их можно считать дискретным аналогом уравнений
(5)):
uk+1
= uk + λ(−1 − fN a (uk1 ) + fK (uk−m
) + d1 Θ(1 − uk1 )Θ(1 − uk−c
h)Θ(uk1 − u? )Θ(uk2 − 1))uk1 ,
1
1
1
uk+1
= uk + λ(−1 − fN a (uk2 ) + fK (uk−m
) + d2 Θ(1 − uk2 )Θ(1 − uk−c
h)Θ(uk2 − u? )Θ(uk1 − 1))uk2 .
2
2
2
(7)
Проводимый над дискретной моделью нейронной сети вычислительный эксперимент можно условно разделить на два этапа. 1. На первом этапе эксперимента нейроны с одинаковыми наборами параметров и
начальными функциями предварительно рассматривались изолированно (без воздействия друг на друга) в течение времени t ∈ [0, t0 ]. Функционирование нейронов в течение этого временного промежутка
описывается следующими рекуррентными соотношениями:
uk+1
= uk + λ(−1 − fN a (uk1 ) + fK (uk+1
))uk1 ,
1
1
uk+1
= uk + λ(−1 − fN a (uk2 ) + fK (uk+1
))uk2 .
2
2
(8)
2. На втором этапе вычислительного эксперимента в момент времени t0 состояние первого нейрона подвергается малому возмущению (к значениям ut1 прибавляется малое значение δ(t)), синаптическая связь
активизируется (нейроны объединяются в сеть) и в дальнейшем в период времени [t0 , T ] рассматривается
система из двух нейронов. При этом на втором этапе эксперимента для дискретной модели нейронной сети рассматриваются варианты взаимодействия (6) и (7) (соответствующие, как уже отмечалось, случаям
взаимодействия на основе электрического (4) и химического (5) синапса).
Для нейронных сетей с описанными видами взаимодействия на данном этапе эксперимента исследовался вопрос синхронизации нейронов (сходимости к нулю разности их мембранных потенциалов). В
качестве критерия синхронизации рассматривалось условие max |u1 (t) − u2 (t)| < ε.
t∈[T −τ,T ]
4.
Параметры нейронной сети
В данном разделе конкретизируем параметры рассматриваемых моделей нейронных сетей.
В работе рассматривались сети из двух однотипных нейронов: параметр λ и функции fN a и fK для
данных нейронов выбирались одинаковыми. В ходе вычислительного эксперимента значение параметра
λ выбиралось равным 3 и 4, при моделировании в соответствии с отмеченными в разделе 1 условиями
2
2
функции fN a и fK рассматривались следующего вида: fK (u) = 3e−u , fN a (u) = e−u .
О синхронизации в нейронной сети...
7
Начальное состояние системы задается следующим образом:
uk1 ≡ ϕ1 (−1 + kh),
k = 0, 1, . . . , m − 1,
uk2
k = 0, 1, . . . , m − 1.
≡ ϕ2 (−1 + kh),
(9)
В качестве ϕ1 и ϕ2 в соответствии с условиями (3) из раздела 1 рассматривались константы и функции
вида ϕi (t) = AeBt для значений A ∈ (0, 0.25), B ∈ (0, 0.2).
В ходе анализа сети с моделью взаимодействия на основе электрического синапса значение параметра
d (коэффициента воздействия одного нейрона на другой) в соотношениях (6) выбиралось в диапазоне
d ∈ (0, 5] (при этом, как отмечается в разделе 2, воздействие в рассматриваемой модели предполагается
симметричным).
В свою очередь анализ системы из пары нейронов, взаимодействующих посредством химического синапса, проводился для следующего случая: d1 = 0, d2 > 0 (одностороннее воздействие нейрона-автогенератора на другой нейрон).
5.
Результаты вычислительного эксперимента
В данном разделе будут описаны результаты проведенного анализа моделей нейронных сетей с двумя
рассматриваемыми типами взаимодействия для различных значений параметров. Численный анализ рассмотренной нейронной сети (пары нейронов) с диффузной связью (модель взаимодействия на основе
электрического синапса) позволил выявить особенности происходящих в данной сети процессов при различных значениях коэффициента диффузии (параметра d).
При больших значениях параметра d (d > 0.43 для λ = 3) наблюдалась синхронизация мембранных
потенциалов взаимодействующих нейронов, при этом время синхронизации уменьшалось с ростом d. При
значениях d > 1 синхронизация нейронов отмечалась и при больших возмущениях (рассматривались в том
числе нейроны, состояние которых в момент времени t0 задавалось соотношением u2 (t) = u1 (t − T ? /2), где
T ? — период установившихся колебаний мембранного потенциала изолированного нейрона-автогенератора
u1 (t); для отмеченных в разделе 4 параметров системы значение T ? ≈ 20).
10
9
8
7
6
5
4
3
2
1
0
0
1
2
3
4
5
6
7
8
9
10
Рис. 1. Синхронизация нейронов при большом значении коэффициента воздействия (d = 0.45)
8
Моделирование и анализ информационных систем Т.15, №2 (2008)
На рисунке 1 приведен характер поведения (траектория) пары взаимодействующих для рассмотренного выше случая. Синхронизации нейронов на диаграмме соответствует прямолинейный участок вдоль
биссектрисы угла между координатными осями.
При значениях величины синаптической связи d < 0.43 синхронизация нейронов в течение рассматриваемого промежутка времени не наступала (в том числе при увеличении длины промежутка до T =
103 T ? ).
10
9
8
7
6
5
4
3
2
1
0
0
1
2
3
4
5
6
7
8
9
10
Рис. 2. Траектория системы взаимодействующих нейронов при малой величине диффузной связи
В этом случае при некоторых значениях параметров устанавливалась периодическая динамика вектора
состояния нейронной сети (пары значений текущих мембранных потенциалов (u1 (t), u2 (t))). При этом
для значений d ∈ (0.25, 0.42) возникали сложные колебательные режимы, пример которых приведен на
рисунке 2. Для малых значений коэффициента воздействия (d < 0.1) отмечены процессы десинхронизации
нейронной активности в нейронной сети при незначительных возмущениях текущего состояния одного из
нейронов.
Вопрос синхронизации в сети с отмеченными типами взаимодействия рассматривался также при увеличении параметра скорости восстановления мембранного потенциала (λ). Для сетей с диффузионным
взаимодействием отмечено уменьшение порогового значения коэффициента диффузионной связи (d), начиная с которого наблюдалась устойчивая синхронизация нейронов сети (так, для параметра λ = 3.25
синхронизация нейронов наблюдалась при d > 0.25, а для λ = 3.5 синхронизация отмечена уже при
d > 0.17).
В ходе численного анализа системы из двух нейронов, связанных посредством электрического синапса, отмечена синхронизация нейронов (при рассмотренном одностороннем воздействии можно говорить
о навязывании собственного колебательного режима импульсной активности) в течение рассматриваемого времени наблюдения, в том числе и при малых значениях величины синаптического воздействия d
(порядка 0.05).
Отметим, что ранее в работе [7] аналогичные процессы синхронизации были отмечены для дискретных моделей нейронных сетей на основе формального нейрона Мак-Каллока–Питтса с периодической
динамикой при одностороннем воздействии сети-передатчика (генератора) на сеть-приемник.
Заключение
Приведенные выше результаты вычислительного эксперимента позволяют сделать следующие выводы:
О синхронизации в нейронной сети...
9
1. Выявлены режимы синхронизации взаимодействующих нейронов, связанных на основе электрического и химического синапса: численно установлено наличие параметров, при которых динамика состояния мембранного потенциала одного нейрона повторяет аналогичную динамику вектора состояния второго нейрона рассматриваемой сети. С учетом отмеченного в [1] и [2] соответствия импульсной
модели нейрона биологическому прототипу, можно с высокой степенью биологической адекватности
интерпретировать процессы синхронизации нейронных сетей как образование ансамблей синхронно
работающих нейронов. Накопленные во второй половине XX века данные о нейрофизиологических
механизмах функционирования головного мозга и роли данных механизмов в когнитивных процессах [4, 8, 9] позволяют интерпретировать выявленные для рассматриваемых в работе нейронных
сетей процессы синхронизации как адекватный аналог процессам запоминания в биологических нейронных сетях (нервной системе).
2. Рассмотрены особенности динамики пары взаимодействующих нейронов для случаев слабой синаптической связи: отмечена возможная нерегулярность (непериодичность) в динамике нейронов для
определенных параметров, что позволяет предположить возможное наличие аналогичных сложных
режимов функционирования естественных (биологических) нервных систем.
3. Отмечена десинхронизация импульсной активности пары нейронов при малых значениях коэффициента синаптического воздействия, что в соответствии с [4] интерпретируется как распад нейронного
ансамбля при ослаблении взаимодействия и моделирует процесс забывания в такого рода структурах.
Список литературы
1. Майоров, В.В. Математическое моделирование нейронов на основе уравнений с запаздыванием /
В.В. Майоров, И.Ю. Мышкин // Математическое моделирование. — 1990. — Т. 2, №11. — С. 64–76.
2. Кащенко, С.А. Исследование дифференциально-разностных уравнений, моделирующих импульсную
активность нейрона / С.А. Кащенко, В.В. Майоров // Математическое моделирование. — 1993. —
Т. 5, №12. — С. 13–25.
3. Богомолов, Ю.В. Устойчивость одной модели нейрона на основе уравнения с запаздыванием /
Ю.В. Богомолов // Моделирование и анализ информационных систем. — 2007. — Т. 14, №2. — С. 27–29.
4. Бехтерева, Н.П. Здоровый и больной мозг человека / Н.П. Бехтерева. — М.: Наука, 1980. — 208 с.
5. Демидович, Б.П. Лекции по математической теории устойчивости / Б.П. Демидович. — М.: Наука,
1967. — 472 с.
6. Хайрер, Э. Решение обыкновенных дифференциальных уравнений / Э. Хайрер, С. Нерсетт, Г. Ваннер. — М.: Мир, 1990. — Т. 1.
7. Богомолов, Ю.В. Синхронизация нейронных сетей с различной динамикой / Ю.В. Богомолов //
“НЕЙРОИНФОРМАТИКА-2005”, VII всероссийская научно-техническая конференция: Сб. науч. тр.:
В 2 частях. Ч. 2. — М.: МИФИ, 2005. — С. 11–16.
8. Абарбанель, Г.Д. Синхронизация в нейронных ансамблях / Г.Д. Абарбанель, М.И. Рабинович, А. Сельверстон // Успехи физических наук. — 1996. — Т. 116, № 4. — С. 363–390.
9. Ливанов, М.Н. Психологические аспекты феномена пространственной синхронизации потенциалов /
М.Н. Ливанов, Н.Е. Свидерская // Психол. журн. — 1984. — 5(5). — С. 71–83.
10. Лебедев, А.Н. О физиологических основах восприятия и памяти / А.Н. Лебедев // Психол. журн. —
1992. — №2. — С. 30–41.
On the synchronization in neural network
based on the impulse neuron model
Bogomolov Yu.V.
In this paper the synchronization in networks of two autogenerating neurons based on the impulse neuron
model for different interaction types is studied.