Осцилляторная модель зрительного внимания

ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
1
Р.М. БОРИСЮК1,2, Д. ЧИК1, Я.Б. КАЗАНОВИЧ2
Department of Computing and Mathematics, University of Plymouth, UK
2
Институт математических проблем биологии РАН,
Пущино, Московская область
yasha@impb.psn.ru
ОСЦИЛЛЯТОРНАЯ МОДЕЛЬ ЗРИТЕЛЬНОГО ВНИМАНИЯ
Описывается модель зрительного внимания, представляющая собой
сеть из синаптически связанных нейронов типа Ходжкина-Хаксли. Модель воспроизводит ряд экспериментальных фактов, таких как синхронизация активности в популяции нейронов, представляющих объект, включенный в фокус внимания, и подавление активности нейронов вне фокуса
внимания. Приводится пример последовательного выбора в фокус внимания объектов, одновременно присутствующих в реальной зрительной
сцене.
1. Введение
Зрительное внимание у животных реализуется распределенной
нейронной сетью, включающей корковые и подкорковые области. Имеются экспериментальные и теоретические основания полагать, что система
внимания является иерархической, то есть в ней имеется некоторая подсистема, называемая центральным элементом, которая организует включение того или иного объекта в фокус внимания [1-3]. В работах [4, 5]
была выдвинута гипотеза о том, что взаимодействие центрального элемента системы внимания с нейронными ансамблями, представляющими
различные объекты, происходит по принципу фазовой автоподстройки
частоты. В фокус внимания включается тот объект, признаки которого
кодируются в коре осцилляторной активностью, синхронизованной с активностью центрального элемента. Недавно эта гипотеза получила экспериментальное подтверждение. В работе [6] было показано, что при внимании определенная область в префронтальной коре является источником
повышенной синхронизации нейронной активности на частоте гаммаритма в поле V4.
Основываясь на этих экспериментальных данных, мы разработали и
исследовали модель внимания с центральным осциллятором, конструктивными элементами которой являются фазовые осцилляторы [7-9].
Сходная по архитектуре модель внимания, но построенная из осциллятоУДК 004.032.26(06) Нейронные сети
19
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
ров Ван-дер-Поля с использованием тормозных нейронов в качестве центрального элемента, была предложена в работе [10] Обзор моделей внимания, в основу которых положены принципы синхронизации, содержится в работе [11].
Недостатком разработанных ранее моделей внимания с центральным
элементом является абстрактный характер осцилляторов, используемых в
качестве элементов моделей. Это сужает возможности по воспроизведению экспериментальных данных. В данной работе предлагается модель
внимания, построенная с использованием пейсмекерных импульсных
нейронов типа Ходжкина-Хаксли. Эта модель с большей правдоподобностью и детальностью отражает функционирование нейронов, что позволяет исследовать режимы синхронизации импульсной активности, ассоциированные с вниманием, воспроизводить подавление импульсной активности, соответствующей стимулам вне фокуса внимания, выбирать в фокус
внимания наиболее заметные стимулы и воспроизводить частотные характеристики нейронной активности, наблюдаемые в экспериментах по
вниманию.
2. Описание модели
Архитектура модели представлена на рис. 1. Элементы первого слоя
называются периферическими нейронами (ПН). Они представляют собой
детекторы признаков в первичных зонах новой коры, активируемые
внешними стимулами. Предполагается, что внешний вход на ПН достаточно велик, чтобы перевести нейрон в пейсмекерный режим с некоторой
частотой генерации импульсов. В случае зрительных стимулов входные
сигналы формируются изображением, расположенным на плоской решетке. ПН расположены на решетке с такими же размерами, при этом каждый
ПН получает сигнал от пикселя, имеющего те же координаты на решетке,
что и ПН. Вообще говоря, ПН должны быть связаны возбуждающими латеральными связями, но для упрощения анализа системы в данной работе
эти связи элиминированы, так что все взаимодействие между ПН идет
через центральный элемент.
Центральный элемент состоит из двух нейронов, ЦН1 и ЦН2, и представляет собой предельно упрощенный вариант центрального элемента
системы внимания. ЦН1 используется для синхронизации некоторого ансамбля ПН. Зрительный объект, представленный ансамблем ПН, работающим синфазно с ЦН1, считается включенным в фокус внимания. ЦН2
управляет последовательной синхронизацией ЦН1 с разными ансамблями
УДК 004.032.26(06) Нейронные сети
20
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
ПН, что интерпретируется как последовательный выбор в фокус внимания
разных объектов. Оба нейрона ЦН1 и ЦН2 посылают на все ПН тормозные сигналы. Связи от ПН приходят только на ЦН1 и являются возбуждающими. Сила синаптической передачи предполагается фиксированной
и одинаковой для всех таких связей. Связи между ЦН1 и ЦН2 отсутствуют. Таким образом, ЦН2 не получает никаких сигналов от других нейронов системы. На вход ЦН2 приходит только постоянный внешний сигнал,
переводящий ЦН2 в осцилляторный режим.
Рис. 1. Архитектура связей в модели внимания с центральным элементом.
ПН1, ПН2, ПН3,… – периферические нейроны, кодирующие признаки
внешних стимулов; ЦН1, ЦН2 – центральные нейроны, управляющие
фокусом внимания. Стрелками показаны возбуждающие связи, линии с
кружками на концах показывают тормозные связи, двойные стрелки показывают внешние входные сигналы
В то время как сила торможения ПН со стороны ЦН1 фиксирована,
тормозные сигналы, поступающие на ПН от ЦН2, меняются со временем.
Последнее обусловлено кратковременной синаптической пластичностью
связей от ЦН2 на ПН. Если оба нейрона, ЦН2 и ПН, одновременно активны достаточно продолжительное время, то сила тормозной синаптической
связи между ними возрастает. Если же хотя бы один из этих нейронов
имеет низкий уровень активности, то сила синаптической связи падает.
Данный способ адаптации тормозной связи от ЦН2 к ПН используется для
моделирования экспериментального факта, согласно которому при послеУДК 004.032.26(06) Нейронные сети
21
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
довательном просмотре объектов вероятность повторного выбора уже
просмотренного объекта падает [12].
Все нейроны системы описываются моделью Ходжкина–Хаксли [13]:
dV
  I ion  I ext  I syn , ,
dt
dX
 AX (V )(1  X )  BX (V ) X ,
dt
X  {m, h, n},
(1)
(2)
где V – мембранный потенциал нейрона, m – активационная проводимость
натриевого канала, h – инактивационная проводимость натриевого канала,
n – активационная проводимость калиевого канала, Iion – ионный ток, задаваемый формулой
Iion  g Na m3h(V  VNa )  g K n4 (V  VK )  g L (V  VL ) ,
(3)
где gNa, gK, gL – максимальные проводимости, соответственно, для натриевого и калиевого токов и тока утечки; VNa, VK, VL – соответствующие обратные потенциалы.
Внешняя стимуляция ПН осуществляется током
~
(4)
I ext (t )  I ext (1  0.01  (t )) ,
~
где I ext - константа и  (t ) – случайная переменная, равномерно распре~
деленная в интервале (1,1). Ток I ext переводит ПН в режим периодической импульсной активности. Предполагается, что различные признаки
~
стимула кодируются различными величинами I ext . В случае зрительного
стимула значение
I~ext задается в зависимости от цвета соответствующего
пикселя.
Параметры взаимодействия между ПН и ЦН1 выбраны таким образом, что ЦН1 способен генерировать импульсы даже при отсутствии
внешнего входа. Наличие возбуждающего внешнего входа приводит к
увеличению частоты импульсации ЦН1. В отличие от ЦН1, нейрон ЦН2
нуждается во внешнем сигнале для генерации импульсов, так как никаких
других сигналов на него не приходит.
Взаимодействие между нейронами описывается синаптическим током
Isyn. Возбуждающий ток, поступающий на нейрон ЦН1, суммирует с фиксированными весами сигналы от всех ПН, предварительно преобразованные с помощью альфа-функции. Тормозные сигналы, поступающие на
УДК 004.032.26(06) Нейронные сети
22
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
каждый ПН от ЦН1 и ЦН2, также преобразуются с помощью альфафункции и суммируются.
С помощью связей от ЦН1 к слою ПН происходит торможение импульсной активности тех ПН, которые в данный момент не включены в
фокус внимания. Сила связи от ЦН1 к ПН предполагается постоянной и
одинаковой для всех ПН.
Синаптическая связь от ЦН2 к ПН является модифицируемой. Она
имеет низкое по абсолютной величине значение, если данный ПН не
включен в фокус внимания, и скачком увеличивается до высокого по абсолютной величине значения через некоторое время после того, как ПН
оказывается включенным в фокус внимания. Это высокое значение удерживается определенное время, а затем сила связи скачком снова возвращается к низкому значению. Такое правило модификации ограничивает
время, в течение которого объект может находиться в фокусе внимания.
Кроме того, оно не позволяет объекту, уже включавшемуся ранее в фокус
внимания, снова оказаться в фокусе внимания прежде, чем через фокус
внимания будут пропущены другие объекты. В результате система внимания будет последовательно переключаться с одного объекта на другой,
не застревая на наиболее заметном объекте.
Сходные с нашими принципы моделирования внимания были использованы в работе [14], в которой также рассматривалась двухслойная сеть
из нейронов Ходжкина–Хаксли. Результаты этой работы частично совпадают с нашими: а) синхронизация импульсов во втором слое с импульсами некоторой популяции нейронов в первом слое; б) быстрый перенос
внимания с одного объекта на другой. Однако в этой модели отсутствуют
тормозные связи, что не позволяет ей производить автоматический выбор
объектов. Для его реализации приходится «вручную» устанавливать подходящие значения входных токов.
3. Режимы синхронизации
При разработке модели мы старались отразить в ней три группы экспериментальных данных. Во-первых, внимание приводит к повышению синхронизации в активности нейронов, представляющих объект, находящийся
фокусе внимания. [15, 16]/ Во-вторых, внимание приводит к синхронизации
активности центрального элемента с активностью нейронов в фокусе внимания [6]. В-третьих, активность нейронов вне фокуса внимания подавляется до более низкого уровня по сравнению с тем, когда внимание отсутствует [17, 18]. В связи с этим будем считать, что объект, представленный
УДК 004.032.26(06) Нейронные сети
23
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
нейронами ПНi1,…,ПНik, включен в фокус внимания, если активность этих
нейронов когерентна активности нейрона ЦН1, а импульсная активность
остальных нейронов заторможена. Из этого определения следует, что изучение формирования фокуса внимания в терминах модели сводится к изучению возникающих в ней режимов синхронизации.
Исследование динамики сетей из осцилляторов Ходжкина–Хаксли является трудной задачей. Система включает в себя множество параметров.
Требуется подобрать значения этих параметров таким образом, чтобы
система имела нужные режимы синхронизации. В качестве инструментов
исследования мы использовали сочетание бифуркационного анализа и
имитационного моделирования. В отличие от аппроксимационных методов бифуркационный анализ является более прямым методом исследования и не требует наложения асимптотических ограничений на параметры
модели. С его помощью были найдены границы в параметрическом пространстве, разделяющие различные режимы синхронизации. Имитационное моделирование было затем использовано для уточнения параметров и
демонстрации работоспособности модели при решении задачи последовательного выбора объектов.
Разделим периферические нейроны на две группа A и B. На осцилляторы группы A подадим внешний ток I1, а на осцилляторы группы B –
внешний ток I2. Диаграмма режимов синхронизации в сети приведена на
рис. 2.
Область полной синхронизации соответствует синхронизации импульсов ЦН1 и всех ПО. При безимпульсном режиме импульсная активность
всех осцилляторов подавляется. Остается только подпороговая активность. В режиме частичной синхронизации с одной из групп ЦН1 генерирует импульсы одновременно с ПН из этой группы. Импульсная активность нейронов в другой группе подавлена. Этот режим представляет
наибольший интерес, так как соответствует формированию фокуса внимания, в который включены осцилляторы одной из групп.
Между режимами частичной и полной синхронизации имеется область
переходного состояния, в которой форма активности и вид синхронизации
могут быть достаточно сложными. Например, при подавленной импульсной
активности в группе A нейроны группы B иногда генерирует импульсы одновременно с ЦН1, а иногда какой-то импульс пропускается. Разные паттерны активности могут сосуществовать при одних и тех же значениях параметров. Пример переходного состояния с соотношением импульсов 3:2
приведен на рис. 3. Переходный режим интерпретируется как промежуточное состояние, связанное с различной концентрацией внимания.
УДК 004.032.26(06) Нейронные сети
24
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Рис. 2. Диаграмма областей в параметрическом пространстве (I1,I2), соответствующих различным динамическим режимам работы модели. Величины внешних токов даны в миллиамперах
УДК 004.032.26(06) Нейронные сети
25
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Рис. 3. Переходное состояние с соотношением импульсов 3:2. Показана
динамика мембранного потенциала ЦН1 и одного из ПН. Значения мембранного потенциала даны в миллиамперах
Компьютерное моделирование показывает, что для наступления частичной синхронизации с одной из групп основным фактором является
наличие более высоких собственных частот осцилляторов в этой группе
по сравнению с собственными частотами осцилляторов в другой группе.
С точки зрения нейробиологии этот факт важен потому, что более высокая заметность стимула обычно приводит к более высокой активности
нейронов, представляющих этот стимул в коре мозга, и к большей вероятности выбора этого стимула в фокус внимания.
4. Последовательный выбор объектов
Описываемый далее пример показывает способность модели к последовательному выбору объектов в фокус внимания на реальном цветном
изображении. Изображение, содержащее три объекта (синюю салфетку,
оранжевый апельсин и желтую грушу) на фоне белой скатерти, было получено с помощью цифрового фотоаппарата. Различные цвета пикселей
на изображении были закодированы различными собственными частотами ПН (внешние токи варьировались в диапазоне 10–40 мА).
Результаты имитационного моделирования представлены на рис. 4.
Для того чтобы визуализировать область текущей фокусировки внимания,
использовался бежевый цвет (при нецветном воспроизведении рисунка
бежевый цвет превращается в серый цвет с однородной яркостью пикселей), т.е. в момент, когда некоторый ПН генерирует импульс, соответствующий пиксель на рис. 4 окрашивается в бежевый цвет. Временной
интервал 0–20 мсек является переходным периодом, когда происходит
установление фокуса внимания. В момент времени t = 20 мсек происходит
выбор салфетки в фокус внимания, т.е. в режим частичной синхронизации
с ЦН1 входят нейроны, расположенные в области, занимаемой салфеткой.
Активность остальных ПН подавляется. Этот фокус внимания сохраняется до момента t=170 мсек, когда происходит выбор апельсина в фокус
внимания. Выбор груши в фокус внимания происходит в момент t = 320
мсек. После этого фокус внимания возвращается к салфетке, и т.д.
В любой момент времени одна из групп ПН, представляющих какойто из имеющихся на изображении объектов, имеет более высокие частоты
импульсации, и это обеспечивает включение этой группы в частичную
синхронизацию с ЦН1, и соответственно, фокусировку внимания на данУДК 004.032.26(06) Нейронные сети
26
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
ном объекте. Перемещение фокуса внимания обеспечивается нейроном
ЦН2. В период тормозного воздействия ЦН2 на группу ПН импульсная
активность этой группы подавляется. Группа возвращается к импульсной
активности и получает возможность работать в режиме частичной синхронизации после того, как тормозное воздействие на нее со стороны ЦН2
прекращается.
t = 0 мсек
t = 170 мсек
t = 20 мсек
t = 320 мсек
Рис. 4. Последовательный выбор в фокус внимания объектов на реальном
изображении. Слева вверху – исходное изображение, справа вверху – выбор салфетки, слева внизу – выбор апельсина, справа внизу – выбор груши
Работа была частично поддержана Российским фондом фундаментальных исследований (грант 07-01-00218).
Список литературы
1. Baddeley A. Exploring the central executive // Quarterly Journal of Experimental Psychology, 49A, 5-28, 1996.
2. Baddeley A. Fractionating the central executive // Principles of Frontal
Lobe Function. Eds. D. Stuss and R.T. Knight. New York: Oxford University
Press, 246–260, 2002.
УДК 004.032.26(06) Нейронные сети
27
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
3. Cowan N. Evolving conceptions of memory storage, selective attention
and their mutual constraints within the human information processing system //
Psychological Bulletin, 104, 163-191, 1988.
4. Kryukov V.I. An attention model based on the principle of dominanta //
Neurocomputers and attention I:neurobiology, synchronisation and chaos. Eds
A.V. Holden, V.I. Kryukov. Manchester Univ. Press, 319-351, 1991.
5. Крюков В.И. Модель внимания и памяти, основанная на принципе
доминанты и компараторной функции гиппокампа // Журнал высшей
нервной деятельности, 54(1), 10-29, 2004.
6. Gregoriou G.G., Gotts S.J., Zhou H, Desimone R. High-frequency, longrange coupling between prefrontal and visual cortex during attention // Science,
324, 1207-1210, 2009.
7. Kazanovich Y.B., Borisyuk R.M. Dynamics of neural networks with a
central element // Neural Networks, 12, 149-161, 1999.
8. Borisyuk R.M., Kazanovich Y.B. Oscillatory neural network model of
attention focus formation and control // BioSystems, 71, 29-38, 2003.
9. Borisyuk R., Kazanovich Y. Oscillatory model of attention-guided object selection and novelty detection // Neural Networks, 17, 899-915, 2004.
10. Wang D.L. Object selection based on oscillatory correlation // Neural
Networks, 12, 579-592, 1999.
11. Казанович Я.Б., Шматченко В.В. Осцилляторные нейросетевые модели сегментации изображений и зрительного внимания // Нейроинформатика-2004. VI Всероссийская научно-техническая конференция. Лекции
по нейроинформатике, т. 1, под ред. Ю.В. Тюменцева. Москва: МИФИ,
72-125, 2004.
12. Klein R. Inhibitory tagging system facilitates visual search // Nature,
334, 430-431, 1988.
13. Izhikevich E.M. Dynamical systems in neuroscience // MIT Press, Cambridge, 2007.
14. Katayama K., Yano M., Horiguchi T. Neural network model of selective
visual attention using Hodgkin-Huxley equation // Biol. Cybern., 91, 315-325,
2004.
15. Steinmetz P.N., Roy A., Fitzgerald P., Hsiao S.S., Johnson K.O., Niebur
E. Attention modulates synchronized neuronal firing in primate somatosensory
cortex // Nature, 404, 187-190, 2000.
16. Fries P., Reynolds J., Rorie A., Desimone R. Modulation of oscillatory
neuronal synchronization by selective visual attention // Science, 291, 15601563, 2001.
УДК 004.032.26(06) Нейронные сети
28
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
17. Moran J., Desimone R. Selective attention gates visual processing in the
extrastriate cortex // Science, 229, 782-784, 1985.
18. McAdams C., Maunsell J. Effects of attention on orientation-tuning
functions of single neurons of macaque cortical area V4 // J. Neurosci., 19, 431441, 1999.
УДК 004.032.26(06) Нейронные сети
29