Система многоальтернативного распознавания типов

2С
УДК 612.822
А.П. Сарычев
Институт технической механики НАНУ и НКАУ
А.Г. Ивахненко
Международный центр информационных технологий
Г.А. Ивахненко
Национальный институт стратегических исследований
А.Е. Вилла, И.В. Тетко
Лозанский университет нейробиологии, Швейцария
Система многоальтернативного распознавания
типов взаимодействия нейронов
Для решения задачи распознавания типов взаимодействия между нейронами предложена система
многоальтернативного распознавания образов, основанная на принципах Метода группового учета
аргументов (МГУА). Принятие решения проводится по разработанной процедуре голосования
совокупности двухальтернативных решений, получаемых по программе дискриминантного
анализа МГУА. Признаки для задачи распознавания формируются по кросскорреляционной
гистограмме взаимодействия нейронов, форма которой традиционно используется нейрофизиологами для классификации типов взаимодействия нейронов.
1. Постановка задачи
Цель создания распознающей системы – автоматизировать процесс
распознавания типа взаимодействия нейронов, которое нейрофизиолог проводит
на основе визуального анализа так называемой кросскорреляционной
гистограммы [1]. Задача распознавания типов взаимодействия нейронов имеет
огромное значение для практического применения в нейрофизиологии.
Многочисленные исследования показывают наличие тесной связи между
различными типами неврологических болезней и функциональными изменениями
взаимодействия нейронов по сравнению с контролем. Эти исследования
позволяют пересмотреть существующие методы лечения некоторых болезней и
начать разработку новых методов [2]. Следует также заметить, что тип
взаимодействия каких-либо конкретных нейронов определяется не только их
физиологией, например наличием синоптических связей между нейронами, но и
функциональным состоянием всего мозга. Исследования взаимодействия
нейронов позволяют лучше понять работу головного мозга и предложить новые
методы лечения болезней нервной системы [3,4,5].
Кросскорреляционная гистограмма представляет собой эмпирическое
распределение временной задержки импульсов активности одного нейрона
относительно импульсов активности другого нейрона, построенное во временном
диапазоне от 0 до 500 мс с шагом в 1 мс. Кросскоррелограммы строятся для пар
нейронов и используются для классификации нескольких основных типов
взаимодействия нейронов по форме и расположению пика гистограмм. Основные
типы взаимодействия включают: а) отсутствие взаимодействия между нейронами;
б) наличие общего входа; в) наличие прямых активирующих/ингибирующих
связей между нейронами. Также по форме пика оценивается сила и длительность
взаимодействия нейронов. Полная система классификации кросскоррелограмм,
учитывающая всевозможные комбинации параметров и типов взаимодействия
66
«Искусственный интеллект» 2’2001
Система многоальтернативного распознавания…
2С
нейронов, была предложена в [6]. В соответствии с этой системой классификации
каждому типу взаимодействия ставится в соответствие код, состоящий из трех
символов: первый символ кода обозначает вид взаимодействия, второй символ –
силу взаимодействия и третий символ – длительность взаимодействия.
Постановка нейрофизиологических экспериментов, в которых измерялась
активность нейронов, построение кросскорреляционных гистограмм с расчетом
доверительных уровней и экспертное оценивание типов взаимодействия
выполнены в Институте физиологии Университета г. Лозанны (Швейцария).
2. Задача распознавания типов взаимодействия нейронов
Распознавание типа взаимодействия нейронов по виду их
кросскорреляционной гистограммы включает в себя три этапа: 1) формирование
множества признаков, в котором будет решаться задача распознавания;
2) построение совокупности двухальтернативных моделей распознавания, каждая
из которых будет относить гистограмму к одному из двух типов взаимодействия
(число таких моделей равно числу сочетаний типов взаимодействия по два:
M MOD  M TYPE  M TYPE  M TYPE  / 2 , где M TYPE
число типов, подлежащих
распознаванию); 3) построение некоторой процедуры «голосования» с целью
выбора единственного типа на основе решений, полученных по всем M MOD
двухальтернативным моделям. Такая постановка задачи учитывает то
обстоятельство, что разные пары типов могут иметь, вообще говоря, разные
наборы отличительных признаков. Применение дискриминантного алгоритма,
построенного по принципам МГУА [7,8], позволяет индивидуально для каждой
пары типов взаимодействия нейронов отыскать оптимальное подмножество
признаков и оптимальную сложность распознающей модели.
Формирование признаков в задаче распознавания типов
взаимодействия нейронов. В качестве признаков-кандидатов предлагается набор
характеристик, отражающих поведение кросскорреляционной гистограммы в
области ее максимального значения, так как именно эту область гистограммы
анализирует нейрофизиолог в процессе визуального распознавания типа
взаимодействия двух нейронов. Эксперт визуально оценивает ряд характерных
особенностей кросскорреляционной гистограммы: 1) максимальное значение
гистограммы и его местоположение; 2) степень превышения максимального
значения гистограммы над рассчитанными значениями доверительных уровней;
3) форму гистограммы в районе местоположения ее максимального значения
(степень ее крутости или пологости, степень ее симметричности или
асимметричности). Возникает задача построения такой системы признаков,
которая учитывала бы особое внимание эксперта к этим характерным
особенностям кросскорреляционной гистограммы. В предлагаемой системе
признаков характерные особенности пунктов 1 и 2 учитываются явно, а для учета
особенностей пункта 3 рассчитываются первые четыре момента для трех
гипотетических распределений. Эти распределения строятся по трем различным
участкам исследуемой гистограммы, причем все участки включают в себя ее
максимальное значение (рис. 1).
«Штучний інтелект» 2’2001
67
А.П. Сарычев, А.Г. Ивахненко, Г.А. Ивахненко, А.Е. Вилла, И.В. Тетко
2С
hMAX
dov2
hAVER(III)
h0(I)
0
t
tMAX + NR
tMAX – NL
Рис. 1. К формированию признаков в задаче распознавания гистограмм.
Выделены три уастка гистограммы (I, II, III), по которым строятся три различных
распределения
Первый участок начинается со значения гистограммы с номером N1 и
заканчивается значением гистограммы с номером N 2 :
h  N , h  N
*
*
L
L

 1, ... , h* 0, ... , h *  N R  
 h N1 , h N1  1, ... , ht MAX , ... , h N 2 ,
(1)
где N1  t MAX  N L , N 2  t MAX  N L , N 2  t MAX  N R ; N L  25 – длина левой части
участка
1;
N R  25
–
длина
правой
части
участка
1;
t MAX  arg max h  1, 2, ... , 500 – координата максимума гистограммы по оси
абсцисс (время задержки, которое наблюдается чаще других). Если максимум
гистограммы расположен в ее начале и по правилу (1) получается, что N1  1 , то
принимается: N1  1, N 2  N L  1  N R . Если максимум гистограммы расположен
в ее конце и по правилу (1) получается, что N 2  500 , то принимается:
N 1  500  N L  N R , N 2  500 . Значения параметров N L  25 и N R  25 выбраны
эмпирически по наибольшей точности результатов распознавания. Формирование
второго участка проводится аналогично формированию первого участка, но
относительно второго доверительного уровня – dov 2 . Формирование третьего
участка также проводится аналогично, но относительно среднего значения
гистограммы h AVER . Расчет признаков проводится на первом обучающем этапе
системы распознавания. Значения признаков центрируются относительно
среднего значения и нормируются на среднеквадратическое отклонение для
каждого типа взаимодействия. На этом же этапе проводится сортировка
гистограмм по типам взаимодействия, т.е. формируются обучающие выборки по
каждому типу взаимодействия для второго этапа
– построения
двухальтернативных моделей распознавания. Расчет одинаковых признаков для
68
«Искусственный интеллект» 2’2001
Система многоальтернативного распознавания…
2С
различных участков гистограммы представляется нам целесообразным, поскольку
обеспечивает разнообразие признаков-кандидатов для алгоритма построения
двухальтернативных дискриминантных моделей в процессе выбора наилучшего
набора признаков для заданной пары типов гистограмм.
Решение двухальтернативных задач распознавания гистограмм
взаимодействия нейронов. На втором этапе распознавания строятся модели
распознавания, позволяющие решать задачу классификации гистограммы при
условии, что она принадлежат к одному из заданной пары типов взаимодействия
нейронов. Отличительной особенностью этих двухальтернативных задач
распознавания является то, что они поставлены в широком смысле: для каждой
пары типов p априорно не указано конкретное множество признаков V p , в
котором должна строиться дискриминантная функция (распознающая модель), а
указано только некое множество X (27 признаков), к которому V p принадлежит.
Для решения задачи дискриминантного анализа в такой широкой постановке
необходимо: 1) организовать схему перебора различных наборов признаков для
множества V p  X , 2) привлечь критерий для того, чтобы сравнивать по качеству
дискриминантные модели, построенные на различных множествах V p , и выбирать
среди них наилучшую модель.
В данной работе двухальтернативные задачи распознавания,
поставленные в широком смысле, решаются с помощью алгоритма
дискриминантного анализа итерационного типа [9], построенного по принципам
МГУА. Задачи дискриминантного анализа при сформированном множестве
признаков X (27 признаков) решаются индивидуально для каждой пары типов
гистограмм, т.е. всего решается M MOD двухальтернативных задач распознавания.
Оптимальная сложность дискриминантной модели для каждой пары типов
достигается применением внешнего критерия – критерия скользящего экзамена
CRLOO («leave-one-out»). Аналитические исследования показали, что применение
внешних критериев в дискриминантном алгоритме МГУА не допускает
переусложнения модели - зависимость внешнего критерия от сложности модели
(числа членов модели): имеет максимум, который и определяет собой модель
оптимальной сложности [10,11]. Дискриминантная функция для данной пары
типов полностью описывается набором следующих параметров: 1) числом членов
модели; 2) коэффициентами при каждом члене; 3) составом каждого члена (для
линейных моделей – это номер одного признака, а для полиномиальных моделей
– это номера признаков и показатели степеней, в которых каждый из признаков
входит в данный член модели); 4) ошибками распознавания по первому и по
второму типам пары. Все эти параметры моделей, полученные для всех MMOD пар
типов гистограмм, являются результатом второго обучающего этапа решения
задачи распознавания.
Многоальтернативное
распознавание
взаимодействия
нейронов.
Совокупность коэффициентов и параметров M MOD моделей, полученная на
втором этапе, используется на третьем этапе системы распознавания, на котором,
собственно, решается задача распознавания типа взаимодействия двух нейронов
по их кросскорреляционной гистограмме. Распознавание типа взаимодействия
двух нейронов начинается с предварительного шага, на котором для исследуемой
«Штучний інтелект» 2’2001
69
А.П. Сарычев, А.Г. Ивахненко, Г.А. Ивахненко, А.Е. Вилла, И.В. Тетко
2С
гистограммы рассчитывается множество 27 признаков-кандидатов X . Далее
исследуемая гистограмма, представленная своими 27 рассчитанными признаками,
классифицируется M MOD моделями, каждая из которых решает «свою»
двухальтернативную задачу: к какому типу из пары следует отнести данную
гистограмму. Результатом выполнения M MOD классификаций является
упорядоченный набор M MOD номеров типов – своеобразный итог «голосования»
всех моделей, в котором каждая двухальтернативная модель «высказалась» в
пользу одного типа. И, наконец, по результатам анализа этого итога голосования
происходит выбор единственного решения.
Для удобства дальнейшего изложения введем некоторые обозначения.
Будем называть i, j  – моделью дискриминантную функцию, построенную на
этапе обучения для решения двухальтернативной задачи распознавания
гистограмм из пары типов с номерами i и j i, j  1, 2, ... , M TYPE , j  i  . Построим
матрицу G  g ij размера M TYPE  M TYPE  следующим образом (нам будет
достаточно рассмотреть ее верхнюю часть над диагональю):
 
g ij  i , если по i, j  – модели гистограмма отнесена к типу i ;
g ij  j , если по i, j  – модели гистограмма отнесена к типу j .
 
Таким образом, матрица G  g ij
есть не что иное, как итог голосования для
исследуемой гистограммы по всем M MOD возможным моделям.
Пусть h – M TYPE – мерный вектор такой, что h j означает число голосов в
пользу типа j ,  j  1, 2, ... , M TYPE  . Запишем в виде формул процедуру подсчета
голосов (баллов) для каждого типа по всем элементам матрицы G :
а) h j  0 , j  1, 2, ... , M TYPE ;
б) для всех i , j  1, 2, ... , M TYPE  j  i  выполнить: hk  hk  1,
где k  g ij k = gij.
В качестве окончательного решения будем выбирать такой тип, номер которого
k R чаще других встречается в матрице G , т.е. окончательное решение (номер
типа) будем определять по условию
K OPT  atg max hk .
(2)
k
Такой подсчет баллов можно назвать процедурой «простого
голосования». Одним ее недостатком является то, что два или даже более типов
могут набрать одинаковое число голосов, и возникает задача доопределения
единственного решения. Другим недостатком такой процедуры является то, что в
ней, во-первых, не учитывается различие моделей по качеству распознавания, а,
во-вторых, в отдельной модели не учитывается различие качества распознавания
для первого и второго типов пары. Очевидно, что чем больше ошибка
распознавания модели, тем в меньшей степени «мнению» такой модели следует
70
«Искусственный интеллект» 2’2001
Система многоальтернативного распознавания…
2С
«доверять», и, наоборот, модель с меньшей ошибкой распознавания должна в
большей степени «пользоваться доверием».
Учесть качество распознавания моделей можно, если перейти от простого
суммирования баллов в (2) ко взвешенному суммированию, при котором вес
каждого балла учитывает ошибку распознавания каждой модели по первому и
второму типу пары. Определим весовые коэффициенты для первого типа пары
ves1ij и для второго типа пары ves2ij по формулам:

 exp  a 2

ves1ij  exp  a1ij / 0.33 ,
(3)

(4)
ves2 ij
2
/ 0,33 ,
2
ij
где a1ij и a2 ij – ошибки распознавания в i, j  – модели первого и второго типов
соответственно. Будем говорить о процедуре «взвешенного голосования», если
подсчет голосов для каждого типа по всем элементам матрицы G проводится по
правилу:
а) h j  0, j  1, 2, ... , M TYPE ;
б) для всех i, j  1, 2, ... , M TYPE  j  i ; выполнить:
если g ij  i , то hi  hi  ves1ij ;
если g ij  j , то h j  h j  ves 2 ij ,
где значения ves1ij и ves2ij определены по формулам (3) и (4).
По результатам сравнения качества распознавания предпочтение в решении
данной задачи было отдано процедуре «взвешенного голосования». (Отметим, что
в случае, когда все модели имеют нулевые ошибки распознавания, процедура
«взвешенного голосования» вырождается в процедуру «простого голосования».)
Пробные расчеты по распознаванию гистограмм и анализ их результатов
показали, что ошибки в распознавании чаще возникают в тех случаях, когда ни
один из типов не получает явного преимущества по набранной сумме голосов.
Естественно для такого случая предусмотреть отказ от решения: не требовать от
программы принятия решения по данной гистограмме, а предоставить сделать это
эксперту-исследователю (если, конечно, это возможно по условию задачи). Пусть
hORT – наибольшая сумма голосов, которую набрал тип с номером k ORT ,
определенным согласно (2). Будем считать, что для признания типа с номером
k ORT победителем необходимо выполнение условия
hORT  porref 3  BMAX ,
(5)
где BMAX – максимально возможная сумма баллов, которая на единицу меньше
количества альтернативных типов BMAX  M TYPE  1 ; porref 3 – порог для отказа от
решения на третьем этапе. Значение порога porref 3 можно задавать, исходя из
допустимой доли отказов от распознавания по графику числа отказов от
распознавания и графику точности распознавания в зависимости от значения
«Штучний інтелект» 2’2001
71
А.П. Сарычев, А.Г. Ивахненко, Г.А. Ивахненко, А.Е. Вилла, И.В. Тетко
2С
porref 3 . Для построения такого графика необходимо многократно решить задачу
распознавания на обучающей выборке для заданного набора значений порога
porref3 из диапазона 0.0 - 1.0 . Распознавание проводится в режиме без отказа от
решения, если в (5) задано porref 3  0.0 .
3. Результаты распознавания
Исходные данные для моделирования представлены в двух сериях опытов
 A и B  . Каждая гистограмма из этих опытов визуально исследована экспертом и
отнесена к одному из типов в соответствии с системой классификации [6]. Для
задачи распознавания были взяты гистограммы десяти M TYPE  10 достаточно
представительных типов (3315 гистограмм из серии A и 2412 гистограмм из
серии B ). Для получения независимых оценок качества прогнозирования расчеты
были проведены по следующей схеме: по гистограммам из серии A проведены
первый и второй обучающие этапы, а их результаты применены на третьем этапе
для распознавания гистограмм из серии A и распознавания гистограмм из серии
B (т.е. гистограммы из серии B играли роль экзаменационной выборки).
Результаты расчетов приведены в таблице. Ошибка прогноза M 2 (%) оценивает
отношение числа ошибок распознавания к числу гистограмм, подвергшихся
распознаванию (без гистограмм, по которым произошел отказ от решения).
Таблица
Число отказов от решения S otk  и ошибка прогноза M 2 (%)
при различных значений порога porref 3 для
обучающей  A и экзаменационной B  выборок
№
Порог
porref 3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
72
0,50
0,60
0,65
0,70
0,72
0,74
0,76
0,78
0,80
0,82
0,84
0,86
0,88
0,90
0,92
Обучающая выборка  A
M 2,%
S otk ,
S otk ,
%
0
0,00
10,38
0
0,00
10,38
0
0,00
10,38
1
0,03
10,38
2
0,06
10,38
12
0,36
10,38
19
0,57
10,32
60
1,81
10,02
67
2,02
10,04
71
2,14
10,02
120
3,62
9,83
727
21,93
8,38
727
21,93
8,38
1051
31,70
6,18
1197
36,11
6,56
Экзаменационная выборка B 
M 2,%
S otk ,
S otk ,
%
0
0,00
14,80
1
0,04
14,81
1
0,04
14,81
4
0,17
14,79
6
0,25
14,67
11
0,46
14,70
13
0,54
14,67
56
2,32
14,09
60
2,49
14,07
69
2,86
14,04
95
3,39
13,72
460
19,07
8,09
460
19,07
8,09
709
29,39
6,22
756
31,34
5,92
«Искусственный интеллект» 2’2001
Система многоальтернативного распознавания…
2С
Работа выполнена в рамках проекта INTAS-OPEN
Предварительные результаты работы опубликованы в [12].
97-0168.
Литература
1.
Abeles M. Quantification, Smoothing and Confidence Limits for Single-units’ Histograms // Journal
of Neuroscience Methods. – 1982. – №. 5. – P. 317-325.
2. Bergman H., Feingold A., Nini A., Raz A., Slovin H., Abeles M., Vaadia E. Trends in
Neurosciences. – 1998. – Vol. 21. – № 1. – P. 32-38.
3. Villa A.E.P., Hyland B., Tetko I.V., Najem A., Dynamical Cell Assemblies in the Rat Auditory
Cortex in a Reaction-Time Task // BioSystems. – 1998. – Vol. 48. – P. 269-277.
4. Villa A.E.P., Tetko I.V., Hyland B., Najem A. Significance of Spatiotemporal Activity Patterns
among Rat Cortex Neurons in Performance of a Conditioned Task // Proc. Natl. Acad. Sci. USA. –
1999. – Vol. 96. – № 3. – P. 1106-1111.
5. Villa A.E.P., Tetko I.V., Dutoit P., Ribaupierre Y.D., Ribaupierre F.D. Corticofugal Modulation of
Functional Connectivity within the Auditory Thalamus of Rat, Guinea Pig and Cat Revealed by
Cooling Deactivation // Journal of Neuroscience Methods. – 1999. – № 86. – P. 161-178.
6. Villa A.E.P. Influence de l'ecorce cerebrale sur l'activity spontanee et evoquee du thalamus auditif du
chat // Ph.D. Thesis. – University de Lausanne, 1988.
7. Madala H.R., Ivakhnenko A.G. Inductive Learning Algorithms for Complex Systems Modeling //
CRC Press Inc., Boca Raton, 1994. – P. 370.
8. Mueller J.-A., Lemke F. Self-Organising Data Mining. An Intelligent Approach To Extract
Knowledge from Data. – Berlin – Dresden, 1999. – P. 224.
9. Сарычев А.П. Итерационный алгоритм МГУА для синтеза разделяющей функции в задаче
дискриминантного анализа // Автоматика. – 1988. – №2. – С. 20-24.
10. Мирошниченко Л.В., Сарычев А.П. Схема скользящего экзамена для поиска оптимального множества признаков в задаче дискриминантного анализа // Автоматика. – 1992. – №1. – С. 35-44.
11. Sarychev A.P., Sarycheva L.V. The Optimal Set Features Determination in Discriminant Analysis by
the Group Method Of Data Handling, Systems Analysis and Modeling Simulation // SAMS. – 1998.
– Vol. 31. – P. 153-167.
12. Ivakhnenko A.G., Ivakhnenko G.A., Tetko I.V., Sarychev A.P. Recognition of the Type of Neurons’
Interaction from the Histograms of Pulse Delay of Their Activity, Pattern Recognition and Image
Analysis // Nauka/Interperiodica. – 2000. – Vol. 10. – №1. – P. 164-168.
Материал поступил в редакцию 24.05.01.
«Штучний інтелект» 2’2001
73