Шепелев И.
advertisement
381 ПРИМЕНЕНИЕ САМООРГАНИЗУЮЩИХСЯ КАРТ И МНОГОСЛОЙНЫХ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧАХ ИДЕНТИФИКАЦИИ ЛИЧНОСТИ И. Е. Шепелев1 1 НИИ нейрокибернетики Южного Федерального Университета, 344090 г.Ростов-на-Дону, пр.Стачки, 194/1. Тел.: (863) 243-30-88; e-mail: shepelev@krinc.ru Рассматривается задача идентификации индивидуализирующих признаков объекта на основе извлекаемой из массивов данных информации о химическом составе костей. Показано, что применение самоорганизующихся карт позволяет выявить наличие структурированности в обучающих массивах данных, выделить значимые входы. Для воспроизведения выявленных зависимостей использовались многослойные нейронные сети. Оба вычислительных инструмента рассматриваются в качестве компонентов программного комплекса идентификации личности. Введение Задача предсказания индивидуализирующих признаков личности, таких как место проживания, пол, возраст на основе использования информации об первичных признаках, в качестве которых рассматриваются результаты анализа элементного состава костной ткани, характеризуется наличием в качестве исходного материала массива данных в виде входных-выходных признаков. Данный массив содержит в неявном виде зависимости между входными и выходными признаками. Во время идентификации объекта входной набор признаков, представляющий собой значения концентраций химических элементов в костной ткани идентифицируемого объекта, подается на вход системы для принятия заключения относительно выходных индивидуализирующих признаков. Однако, для того, чтобы какое-либо решение могло бы быть принято системой, она должна содержать компоненты, способные на этапе обучения системы извлекать из массива зависимости между входными и выходными признаками. Воспроизводя данные зависимости в ходе процесса идентификации, система, таким образом, выносит свои классифицирующие решения. Наряду с принципиальной способностью извлекать из данных и воспроизводить зависимости, такая вычислительная структура должна быть готовой учитывать возможный сугубо нелинейный характер зависимостей и быть способной к ее отображению. Кроме того, естественным желанием является, чтобы получаемые классифицирующие правила обладали хорошей обобщаемостью. В качестве классифицирующего вычислительного инструмента, удовлетворяющего указанным требованиям, была взята многослойная нейронная сеть [1]. Если способность многослойной нейронной сети извлекать и воспроизводить зависимости можно считать доказанной как теорией [2], так и известными многочисленными практическими приложениями, то само наличие таких зависимостей и насколько четко они представлены в исходном массиве данных всегда является вопросом конкретной решаемой задачи. Рассматриваемая задача не является исключением. Поэтому программный комплекс должен содержать компонент, выявляющий наличие или отсутствие в данных структурированности, проявляющейся в кластеризации данных в пространстве входных признаков, степень выраженности и обособленности кластеров. Самоорганизующиеся карты Кохонена [3] 382 способны давать наглядную визуальную картину кластеризованности данных независимо от размерности пространства входных признаков. Визуальная информация о кластеризованности позволяет наперед оценить качество знаний, извлекаемых из массива данных многослойной нейронной сетью. Также с помощью нее можно оценить возможность расширения диапазона знаний в сторону увеличения количества идентифицируемых признаков по мере пополнения массива данных. В данной работе представлена схема решения задачи предсказания индивидуализирующих признаков личности, реализованная в программном комплексе. На этапе обучения системы самоорганизующиеся карты Кохонена (СОК) используются для предварительной оценки структурированности данных, относительно индивидуализирующих признаков. Далее они применяются для определения значимых входных признаков и выявления иерархической структуры классификатора, обусловленной взаимозависимостью требуемых к предсказанию индивидуализирующих признаков. Для многослойной нейронной сети используется метод “преднастройки” необучаемых параметров для ускорения обучения, одновременно уменьшающий шансы попадания в локальный минимум. Обучающая выборка и компоненты системы Имеется массив обучающих данных, в котором каждый экземпляр содержит входные признаки – значения концентраций 30 химических элементов в костной ткани (от Na до U) – и выходные индивидуализирующие признаки объекта. В качестве индивидуализирующих признаков рассматриваются Место проживания, Пол и Возраст. Массив обучающих данных состоит из двух наборов экземпляров данных, полученных для разных типов костной ткани. Первый набор содержит 32 примера и применяется в эксперименте в оценкой значимости входов для классификации объектов по четырем регионам проживания (Астрахань, Самара, Хабаровск, Элиста). Второй набор данных содержит 94 экземпляра и используется в эксперименте с построением иерархического классификатора при визуальном способе определения первично и вторично определяемых признаков на примере определения пола и возраста объекта. При обучении данные первоначально поступают на нейросеть Кохонена. Нейросеть выполняет нелинейное преобразование пространства входных признаков в двумерное пространство. Это преобразование происходит с сохранением локальной структурированности данных. В результате пользователь в удобном двумерном виде получает визуальную картину того, насколько данные кластеризованы и вклад отдельных входов в кластеризацию. Кроме того, при проведении идентификации СОК позволяет визуально оценить принадлежность объекта к тому или иному классу. После того, как структурированность данных выявлена, данные поступают на классификатор для обучения. В условиях, когда требуется классифицировать данные по нескольким признакам, применению единственной классифицирующей нейронной сети предпочитают построение иерархического классификатора [4]. Поскольку у каждого признака несколько классов, такие вопросы как надежность работы системы, а также возможность расширения числа классов для некоторых признаков, например, увеличение числа регионов проживания объектов, говорят в пользу иерархичности классификатора. В данной работе предлагается визуальный метод оценки иерархической структуры, основанный на применении СОК. В качестве структурных единиц классификатора выступает многослойная нейронная сеть, обучаемая стандартным методом обратного распространения ошибки. Мы применяем предварительную подстройку необучаемых параметров нейросети под вычислительную сложность обучающей выборки [5]. Данный метод существенно сокращает время, затрачиваемое нейросетью на настройку весовых коэффициентов в ходе обучения. 383 Экспериментальные результаты Самоорганизующиеся карты. Значимость входов. Для обучающих данных были построены СОК с целью выявления значимых входных признаков. На рис. 1. представлена карта распределения примеров в пространстве входных признаков по четырем территориям проживания индивидов. Карта Na Ni Sr Co Al Zn Рис.2. СОК распределения значений входных признаков для четырех регионов проживания Рис.1. СОК распределения примеров с 30 входными признаками для четырех регионов проживания показывает, что примеры классов Астрахань и Самара в исходном пространстве 30 признаков смешаны, так что для многослойной сети не представляется возможным построение классифицирующих границ между данными классами. С другой стороны, СОК, отображающие распределение значений входных элементов по карте показывают (рис. 2), что в исходном наборе входов существуют как явно значимые, так и незначимые химические элементы. Например, элементы Na и Ni вносят существенный вклад в кластеризацию экземпляров данных, относящихся к классу Хабаровск, а элементы Sr и Co значимы для класса Элиста. Это видно из сопоставления карт распределения примеров из разных классов и распределения значений отдельных входных элементов. Одновременно, такие элементы как Al и Zn не значимы ни для одного из рассматриваемых классов. Их исключение и сокращение входного пространства с 30 до 10 приводит к тому, что экземпляры данных классов Астрахань и Самара становятся разделимы (рис. 3). Рис.3. СОК распределения примеров с 10 входными признаками для четырех регионов проживания Самоорганизующиеся карты. Иерархическая классификация. Построение отдельных СОК для разных индивидуализирующих признаков в графическом виде показало необходимость применения иерархической схемы классификации. В частности, на рис. 4. представлены карты распределения экземпляров данных для Пола (классы М и Ж) и Возраста (численные значения). Как видно из сопоставления карт, объекты двух отдельных кластеров с одинаковыми высоко-возрастными показателями на карте для Возраста, имеют разные половые принадлежности. Поэтому определение Возраста должно быть вторично по отношению к определению Пола. 384 Пол Возраст Рис.4. СОК распределения примеров для индивидуализирующих признаков Пол и Возраст. Многослойная нейросеть. Сравнительное тестирование результатов работы многослойной нейронной сети, имеющей полный набор входных элементов, с нейросетью, использующей сокращенный набор предварительно выявленных значимых элементов, показало улучшение обобщающих свойств второй нейросети. В частности, методом скользящего экзамена (поочередное извлечение из обучающей выборки примеров для контрольного тестирования) было выявлено увеличение правильности классификации объектов по месту проживания для 3 регионов (Хабаровск, Элиста, Астрахань+Самара) с 90-93% до 100% соответственно. В другом эксперименте были получены неудовлетворительные результаты при попытке обучения классификации одновременно по нескольким идентификационным признакам, что обусловило, в частности, применение иерархической схемы классификации Место проживания->Пол->Возраст. Каждая из нейросетей в иерархической структуре “преднастраивается” перед обучением сети. Смысл такой “преднастройки” состоит в том, что необучаемые параметры нейронной сети, такие как коэффициенты активационных функций нейронов, заранее вычисляются исходя из вычислительной сложности обучающей выборки. Метод позволяет ускорить последующее обучение нейросети в 7-20 раз. Заключение Предложенная схема решения задачи предсказания индивидуализирующих признаков объекта по результатам анализа химического состава костной ткани представляется достаточно универсальной для решения задач классификации. Схема наиболее полезна в случаях, когда предварительно требуется выяснить наличие скрытой в массивах данных структурированности с последующим воспроизведением ее в виде классифицирующих правил. Метод ускорения обучения, примененный в многослойной нейросети, значительно сокращает шансы попадания в локальный минимум при обучении, что понижает необходимость множественного переобучения нейросети с целью получения достоверных классифицирующих правил. Список литературы 1. Bishop C.M. Neural Networks for Pattern Recognition. Oxford University Press, 1995. 2. Stone M.N. The Generalized Weierstrass Approximation Theorem. Math. Mag., 1948. V.21. pp. 167-183, 237-254. 3. Kohonen T. Self-Organizing Maps. Springer-Verlag, 1997 (2-nd edition). 4. Dolenko S.A., Orlov Yu.V., Persiantsev I.G. Shugai Ju.S., and Eremin E.K. The perceptron-based hierarchical structure of classifiers constructed by the adaptive method // Pattern Recognition and Image Analysis, vol.7, 1997, no.1, pp.18-22. 5. Самарин А.И., Шепелев И.Е. Об использовании априорной информации для определения значений необучаемых параметров нейронной сети. VII Всероссийская научно-техническая конференция "Нейроинформатика-2005": Сборник научных трудов. В 2-х частях. Ч.2. М.: МИФИ, 2005, с.40-45
