Самоорганизация в полносвязной однородной сети нейронных

ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
В.В. МАЙОРОВ, Г.В. ШАБАРШИНА, Е.В. КОНОВАЛОВ
Ярославский государственный университет им. П.Г. Демидова
kinnarts@mail.ru
САМООРГАНИЗАЦИЯ В ПОЛНОСВЯЗНОЙ ОДНОРОДНОЙ
СЕТИ НЕЙРОННЫХ КЛЕТОЧНЫХ АВТОМАТОВ
ВОЗБУДИТЕЛЬНОГО ТИПА
Аннотация
На основе модели нейронного клеточного автомата формируется полносвязная однородная сеть. Аналитическими методами исследуется механизм самоорганизации предложенной сети.
Введение. Рассмотрена модель полносвязной однородной системы
клеточных автоматов, периодически генерирующих импульсы. Показано,
что множество всех автоматов может быть представлено в виде объединения трех непустых попарно непересекающихся подмножеств, в каждом
из которых автоматы функционируют синхронно и периодически. Аналитически получены формулы для временных рассогласований между импульсами автоматов, принадлежащих разным множествам. Изучаемая
сеть клеточных автоматов может быть использована для долговременного
хранения периодических последовательностей в системах, решающих
задачи идентификации, классификации или прогноза.
Нейронные клеточные автоматы как формальные нейроны. История клеточных автоматов открывается работой Дж. Неймана о конструировании самовоспроизводящихся машин [1]. Биологические предпосылки
при разработке модели клеточных автоматов, насколько нам известно,
впервые были использованы Н. Винером и А. Розенблютом [2]. Клеточных автоматы широко используются при решении различных задач [3-5].
В активных средах (например, в мозге), могут распространяться самоподдерживающиеся волны (автоволны) [6]. Системы клеточных автоматов
удобно использовать для проверки гипотез относительно способов обработки и хранения информации в автоволновых средах, которым, возможно, принадлежит будущее.
На основе феноменологического вывода одного из возможных уравнений динамики мембранного потенциала [7] в работе [8] рассмотрен новый
нейронный элемент – нейронный клеточный автомат (НКА). Нейронный
клеточный автомат, периодически генерирующий импульсы, имитирует
деятельность биологического нейрона. Состояние НКА характеризуется
УДК 004.032.26(06) Нейронные сети
67
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
двумя функциями: u (t ) – мембранным потенциалом и p(t ) – пороговым
значением мембранного потенциала. Если в момент времени
t0 :
u (t 0 )  p(t 0 ) , то НКА генерирует выходной сигнал – мгновенный импульс (спайк) (t 0 )  1 , который передается автоматам, связанным с данным НКА. После генерации импульса автомат в течение времени T R находится в рефрактерном состоянии – абсолютной невосприимчивости к воздействию со стороны других автоматов. Значение мембранного потенциала
в течение рефрактерного периода равно u 0  0 . Пороговое значение в момент генерации импульса устанавливается равным p 0  u 0 , далее меняется по закону p(t )  p exp(  p(t  t 0 )) , где   0, p  0. Импульс, поступивший на вход НКА-приемника, не находящегося в рефрактерном состоянии, преобразуется в ступенчатую функцию (растягивается по времени). Время воздействия T1 , если в течение этого периода НКА генерирует
импульс, то воздействие прекращается. После выхода НКА из рефрактерного состояния динамика u (t ) для t  t 0  TR   и до генерации импульса
0
n
подчинена закону: u (t )  u 0 exp((1   qi  i (t ))) . Эта формула описыi 1
вает изменение мембранного потенциала без внешнего воздействия, если
i (t )  0 , и с внешним воздействием, если  i (t )  0 . Здесь q i – синаптические веса, характеризующие эффективность воздействия. Для qi  0 –
воздействие возбудительное, иначе – тормозное. По типу оказываемого ими
действия автоматы делятся на возбудительные и тормозные. Без внешнего
воздействия автомат периодически генерирует импульсы через время T2 ,
которое определяется из условия: u exp( (T2  TR ))  p exp(  p T2 ) .
Формально определенная динамика мембранного потенциала НКА соответствует развитию потенциала биологического нейрона. Она согласуется с
базовой нейронной моделью [9].
Простейшая однородная сеть – кольцо из трех автоматов. Рассмотрим систему из трех автоматов, объединенных в кольцо, где каждый элемент имеет доступ к двум оставшимся. Будем считать, что все синаптиче0
0
n
ские веса одинаковы и равны q , т.е. сеть однородна. Обозначим через t1
УДК 004.032.26(06) Нейронные сети
68
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
последовательные моменты спайков первого НКА. Пусть t 2n , t 3n – соответствующие последовательности спайков второго и третьего автоматов.
Предположим, что t11  t 12  t11  TR , t 12  t 31  t 12  TR , t11  TR  t 31 . Имеет место следующая лемма.
Лемма 1. Для промежутков времени между спайками соседних автоматов выполнены предельные соотношения:
lim (t1n  t 3n ) = lim (t 2n  t1n ) = lim (t 3n  t 2n ) =   ,
n 
n 
n 
где   = T2 ( p  1) /( q  3( p  1)) .
Самоорганизация полносвязной сети в кольцо из трех множеств синхронно функционирующих автоматов. Рассмотрим полносвязную однородную сеть НКА, т.е. будем считать, что каждый автомат имеет доступ
ко всем остальным автоматам сети, и все синаптические веса одинаковы.
Представим сеть автоматов в виде объединения трех непустых попарно
непересекающихся множеств X 1 , X 2 , X 3 , число элементов в которых
m1 , m2 , m3 соответственно. Будем говорить, что автоматы множества
функционируют синхронно, если они генерируют импульсы одновременно. Нас будут интересовать условия, при которых последовательно и в
цикле происходит синхронная генерация импульсов автоматами первого,
второго, третьего, снова первого и т.д. множеств. Введем следующие величины:
3
1  T2 ( p  1) /( m3 (q  ( p  1) mi1 )) ,
(1)
i 1
3
 2  T2 ( p  1) /( m1 (q  ( p  1) mi1 )) ,
( 2)
i 1
3
 3  T2 ( p  1) /(m2 (q  ( p  1) mi1 )) .
(3)
i 1
Теорема. Пусть m1 , m2 , m3 таковы, что  i  T1 ,
3
  j  i
j 1
 TR ,
i  1, 2, 3. Существует устойчивый режим работы сети, при котором
УДК 004.032.26(06) Нейронные сети
69
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
автоматы, принадлежащие каждому из множеств, функционируют
синхронно и генерация импульсов автоматами множеств X 1 , X 2 , X 3
осуществляется последовательно и циклически. При этом временные
рассогласования между спайками автоматов, принадлежащих третьему
и первому, первому и второму, второму и третьему множествам, суть
величины 1 ,  2 ,  3 .
Одним из основных моментов доказательства теоремы является выбор
начальных условий. Зададим для НКА сети априорно моменты начала
спайков так, чтобы спайки элементов множества X 2 следовали за спайками элементов из множества X 1 . Будем считать, что пока не закончились спайки НКА из множества X 1 , НКА из множества X 3 находятся в
рефрактерном состоянии. Пусть к началу спайков НКА из множества X 2
элементы из множества X 3 становятся активными, а НКА множества X 1
еще рефрактерны. Однако, будем предполагать, что к моментам начала
спайков НКА из множества X 3 автоматы из X 1 вышли из состояния рефрактерности.
Обозначим через 0  t1,1  t1, 2  ...  t1,m1 – моменты начала спайков
автоматов из множества X 1 . Пусть, далее, спайки автоматов из множества
X 2 начинаются в моменты t 2,1  t 2,2  ...  t 2,m2 , где t 2,1  t1,m1 . Будем
считать, что НКА из множества X 3 сгенерировали импульсы в моменты
t 3,1  t 3,2  ...  t 3,m3 , соответственно, где t 3,1  t 2,m2 , t 3,1  t1,m1  TR .
Описанный выбор начальных условий позволяет проанализировать
динамику системы на втором такте прохождения волны, который открывается в момент t1,1 спайком первого НКА множества X 1 . Будем отсчитывать моменты начала спайков НКА на новом такте, начиная с t1,1 , и
обозначать их t i, j , i  2,3 ; j  1,..., mi . Введем обозначения для временных рассогласований на начальном такте волны. Положим
 k , j  t k , j  t k , j 1 (k  1, 2, 3) – рассогласования между спайками j -го
и
j  1 -го
НКА
внутри
множеств.
Пусть
 k ,1  t k ,1  t k 1, mk 1
(k  2, 3) – рассогласования между началом спайков первого НКА k -го
УДК 004.032.26(06) Нейронные сети
70
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
множества и последнего НКА k  1 -го множества. Обозначим через i, j
аналогичные величины на втором такте прохождения волны. Спайк первого элемента множества X 1 (начало второго такта прохождения волны)
относительно спайка последнего элемента множества X 3 запаздывает на
величину 1 ,1  t1,1  t 3, m3 .
Можно показать, что справедлива следующая формула:
 i' , j  (1  p) i, j /(1  p  (mi 1  j  1)q) ,
( 4)
где i  1, 2, 3 ; j  2,..., mi ; m0  m3 . Из этой формулы следует, что
спайки НКА внутри множеств с течением времени (с ростом номера такта) синхронизируются, и в пределе  i , j  0 для j  2 . Тем самым, доказано утверждение теоремы о синхронизации. Для доказательства формул
(1)  (3) используется следующая лемма.
Лемма 2. Пусть  i , j  0 для j  2 . Тогда величины  i ,1 ,  k ,1 , где
i  1, 2, 3 ; k  2, 3 (временные рассогласования между началами спайков
НКА соседних множеств), удовлетворяют линейным соотношениям:
(1  p  qm3 )1 ,1  (1  p)( 2,1   3,1 )  T2 ( p  1) ,
(5)
(1  p)1 ,1  (1  p  qm2 )2,1  (1  p) 3,1  T2 ( p  1) ,
( 6)
(1  p)1 ,1  (1  p)2,1  (1  p  qm1 )3,1  T2 ( p  1) .
(7)
Формулы (5)  (7) описывают итерационный процесс. По значениям
 2,1 ,  3,1 последовательно вычисляются 1 ,1 , 2,1 , 3,1 . После замены
 i ,1 на  i ,1 (i  2, 3) можно продолжить вычисления. Процесс сходится,
поскольку итерационные соотношения представляют собой метод Зейделя
для решения системы линейных уравнений с положительно определенной
и симметрической матрицей. Компоненты его предельной точки
(1 ,  2 ,  3 ) заданы формулами (1)  (3) .
УДК 004.032.26(06) Нейронные сети
71
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
Дадим наглядную интерпретацию полученных результатов. Пусть автоматы расположены на плоскости. Генерацию импульсов автоматами
некоторого множества будем рассматривать как активацию черно-белого
изображения. Сеть может бесконечно долго хранить последовательность
трех визуальных образов.
Заключение. Показано, что однородная полносвязная сеть может организовываться в кольцо множеств, синхронно функционирующих автоматов. Проблемы синхронизации элементов сложных систем весьма актуальны [10]. Предложенную сеть можно рассматривать как модель хранения информации в динамическом виде.
Список литературы
1. Нейман Дж. Теория самовоспроизводящихся автоматов. М.: Мир, 1971.
2. Винер Н., Розенблют А. Проведение импульсов в сердечной мышце // Кибернетический сборник. М.: Изд-во иностранной литературы, 1961. Т. 3. С. 7-56.
3. Тоффоли Т., Марголус Н. Машины клеточных автоматов. М.: Мир, 1991.
4. Dab D., Boon J.-P. Cellular automata approach to diffusion problems // Cellular automata and
modeling of Complex Phisical sistems, Ed. by Manneville P., Berlin: Springer, 1990. P. 277-283.
5. Zanetti G. Hydrodynamicsof lattice-gas automata // Physical Review A. 1989. V. 40. № 3.
P. 1539-1548.
6. Иваницкий Г.Р., Медвинский А.Б., Цыганов М.А. От динамики популяционных автоволн, формируемых живыми клетками к нейроинформатике // УФН. 1994. Т. 164. № 10.
С. 1041-1071.
7. Майоров В.В., Мышкин И.Ю. Математическое моделирование нейронов сети на основе
уравнений с запаздыванием // Математическое моделирование. 1990. Т. 2. № 11. С. 64-76.
8.Шабаршина Г.В. Проведение возбуждения по кольцевой структуре нейронных клеточных автоматов // Моделирование и анализ информационных систем. Ярославль, 1994. № 2.
С. 116-121.
9. Крюков В.И., Борисюк Г.Н., Борисюк Р.М. и др. Метастабильные и неустойчивые состояния в мозге. Пущино, 1986.
10. Клепцын А.Ф., Козякин В.С., Красносельский М.А., Кузнецов Н.А. О влиянии малой
рассинхронизации на устойчивость сложных систем // АиТ. 1984. № 3. С. 42-47.
УДК 004.032.26(06) Нейронные сети
72