ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 А.К. КРЫЛОВ Лаборатория нейрофизиологических основ психики им. В.Б. Швыркова, институт психологии РАН, Москва krylov@psychol.ras.ru SDD-АЛГОРИТМ ОБУЧЕНИЯ В ПАРАДИГМЕ REINFORCEMENT LEARNING, ОСНОВАННЫЙ НА ОБНАРУЖЕНИИ ЗНАЧИМОСТИ ЭФФЕКТОВ ДЕЙСТВИЙ Аннотация Проведен анализ тестовой поведенческой задачи фуражирования с точки зрения модели мобильного робота, погруженного в нее. На основе анализа динамики показателей взаимодействия агента, управляемого алгоритмом Actor/Critic (A/C), со средой, предложен и реализован алгоритм обучения SDD в рамках парадигмы Reinforcement Learning (RL), основанный на обнаружении значимости в эффективности действий. Проведено его сравнение с A/C как двух возможных путей формирования нового навыка – с вовлечением новых нейронов (SDD), и без (A/C). Введение В соответствии с теорией функциональных систем (ФС) [1] формирование нового навыка может обеспечиваться двумя путями. Процесс постепенного формирования навыка, при котором кривая научения имеет Sобразный вид, обеспечивается перестройкой межсистемных отношений, без вовлечения нейронов «резерва», без образования новой ФС [2]. Такой подход успешно моделируется в нейроинформатике, в парадигме Reinforcement Learning (RL) [3]. Другой вариант обучения – скачкообразное формирование нового навыка, по типу инсайта. В этом случае формируется новая ФС за счет специализации части нейронов «резерва» и нейронов, порожденных нейрогенезом [2]. В моделировании этого процесса преобладают представления о его организации обнаружением статистических закономерностей в динамике смены ситуаций [4, 5]. Однако, эти модели работают с дискретными данными, с непосредственно представленным результатом каждого действия, требуют бинарной классификации каждой реализации действия по принципу «успех»-«неуспех», и не имеют пока реализации, УДК 004.032.26(06) Нейронные сети 38 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 применимой к непрерывной величине отсроченного подкрепления, нечеткой задаче в духе RL [3, 6]. В настоящей работе сделан анализ тестовой поведенческой задачи (раздел 1) с точки зрения агента работающего в ней (раздел 2); показана динамика переменных, описывающих взаимодействие агента со средой, и ее анализ (раздел 3); показана возможность выявления закономерностей (раздел 4); на основе чего нами построен алгоритм обучения («SDD») и проведено его тестирование в сравнении с Actor/Critic (раздел 5). 1. Методика: тестовая задача На основе анализа детерминант поведения, рассматриваемых в теории функциональных систем [1], нами выдвинуты критерии к тестовой поведенческой задаче, и на их основе предложена и обоснована задача фуражирования для компьютерной модели мобильного робота [6] – агент движется на плоскости, поедая пищевые объекты. Среда (рис. 1а) представляет собой развертку тора на плоскости, в которой изначально равномерно разбросано N пищевых объектов. После «поедания» агентом одного объекта в случайном месте появляется новый объект. Рис. 1. А – среда модели. Точки – объекты. Линией показана траектория движения агента за последние 1000 тактов. Б – изменение сооношения агента и среды за 1 шаг («поворот вправо») для агента, угол поворота которого равен 90 градусов. Сектора показывают зрительные поля агента. Треугольник – агент, линия по его центру – его направление взора. Малый сектор – область захвата. В – пример цепочки действий, обеспечивающих подход к объекту УДК 004.032.26(06) Нейронные сети 39 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 Далее описывается один из вариантов морфологии тестируемого агента, представляющего собой модель двухколесного робота [7]. В каждый такт времени агент совершает одно из следующих действий: захват пищи, поворот вправо, поворот влево, ожидание. Для каждого агента угол поворота фиксирован (рис. 1б, в). Агент имеет несколько визуальных сенсоров, каждый из которых детектирует наличие пищевого объекта в соответствующем секторе зрительного поля. В данной реализации (рис. 1б) [7] таких сенсоров 3: «область захвата», область «слева», область «справа». Здесь визуальная «область захвата» совпадает с той областью, в которой совершается действие «захват». При этом датчики бинарные, т.е. не отражают информации о расстоянии до объекта, а значит, действия агента при подходе к объекту (рис. 1в) часто не имеют непосредственно воспринимаемого эффекта, так как активация сенсоров может не измениться. Ограниченные рецептивные способности агента имитируют неопределенность реальной биологической среды [5, 6]. В качестве управляющего алгоритма (разделы 2-4) был выбран Actor/Critic [7] парадигмы RL, который многими исследователями предполагается моделью работы базальных ганглиев головного мозга [8]. В соответствии с этим алгоритмом агент обучается набору рефлексов: каждой возможной сенсорной ситуации ставит в соответствие действие из заранее заданного набора. Этот алгоритм можно сопоставить с процессом постепенного формирования навыка, при котором кривая научения имеет Sобразный вид. 2. Результаты: Тестовая задача с точки зрения агента Ранее мы провели анализ этой тестовой задачи с точки зрения самого агента [9, 10]. Для этого был проведен анализ динамики состояний его рецепторов в зависимости от выполняемых им действий. В ходе экспериментов велась статистика троек <S(t), A(t), S(t+1)>, т.е. для каждого возможного действия A(t) велась марковская статистика переходов из состояния S(t) в состояние S(t+1). Оказалось, что даже при варьировании морфологии агента, и на любом этапе обучения обнаруживаются инварианты, описывающие задачу с точки зрения агента: успешность (завершение подхода к пищевому объекту) «правильного» действия статистически значимо превышает успешность «неправильного», а неуспешность (потеря объекта из области видимости) «неправильного» действия статистически значимо превышает неуспешность «правильного» [9]. Этот результат позволил предположить возможность построения алгоритма обучения, решающего данную задачу, на основе обнаружения статистических закономерностей. УДК 004.032.26(06) Нейронные сети 40 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 3. Результаты: Оценка успешности каждой реализации действий В моделировании поведения животных [5] показана эффективность и адекватность подхода основанного на бинарном разбиении действий (проб) животного на «успешные» и «неуспешные», и последующем обнаружении статистических закономерностей по методу хи-квадрат. Однако «правильное» действие отличается от «неправильного» по оценочным функциям используемым в RL, лишь количественно, что не позволяет бинарно классифицировать эффект каждой реализации действия на «успех»-«неуспех». Например, алгоритм Actor/Critic основан на вычислении вещественной величины «ошибки временной разности» (Et) в блоке Critic, определяемой как величина ошибки прогноза приближения к подкреплению начиная из данной ситуации: Et Rt *Vˆt 1 Vˆt . Здесь R(t) – величина полученного подкрепления в момент t, V(t) – оценка суммарного будущего отсроченного подкрепления с учетом фактора его обесценивания «лямбда» < 1. Наши эксперименты показывают [6], что абсолютная величина оценок V существенно варьирует в процессе обучения (рис. 2а), и затруднена бинарная классификация переходов из состояние в состояние по принципу «успех»-«неуспех» на основе изменений оценки ситуации (рис 2б) ввиду ее непрерывной шкалы. В частности, для состояния «объект виден слева» была построена статистика величин E(t) за период обучения модели, для двух действий: «поворот влево» («правильное» действие) и поворот вправо («неправильное» действие) (рис.3). Оказалось, что различия между «правильным» и «неправильным» действиям лучше выявляются не по абсолютной величине Et, а по приведенной (вычитая оценку ее мат.ожидания, и деленную на оценку ее сигмы). Поэтому на каждом такте в алгоритме SDD вычисляется: 2 N i 1; ti Et Eˆ t i ; it ti N i 1 E i ~ E Eˆ i Et i Et ; Eˆ t i it ; Et t i t . N t ; Здесь i – номер текущей сенсорной ситуации. Теперь, сравнением такой приведенной величины ошибки прогноза (Et с волной) с некоторым порогом, уже оказывается возможным бинарно классифицировать каждую реализацию действия как «успех» или «неуспех». УДК 004.032.26(06) Нейронные сети 41 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 Рис. 2. А – динамика оценок различных ситуаций в процессе научения. Б – пример оценок разных типов ситуаций в конце научения. Отмечена разница этих оценок для переходов в них из ситуации S1 («виден один объект»), классифицированых как «успешных» в случае появления объекта в области захвата и «неуспешных» при потери объекта из видимости Рис. 3. Пример статистики величины ошибки прогноза для «правильного» (верхняя кривая) и «неправильного» действий (нижняя кривая). Положительная величина ошибки (вверх по оси ординат) означает успешные случаи, отрицательная – неуспешные. Общий характер обеих кривых сходный. Серым цветом закрашены области различий УДК 004.032.26(06) Нейронные сети 42 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 4. Результаты: обнаружение наиболее эффективного действия на основе статистической значимости Разбиение эффекта каждой реализации любого действия на «успех»«неуспех», методом описанным в предыдущем разделе, позволяет сравнивать успешность произвольной пары действий по фи-критерию Фишера для 4-полной таблицы. Динамика величины фи* показывает, что уже в начале обучения по A/C можно было бы описанным способом выявить «правильное» действие в каждой ситуации (рис. 4). Рис. 4. Пример динамики показателя фи* различия эффективности действий в сравнении с наиболее эффективным в данный момент, для состояния «объект виден слева». «Правильное» действие «поворот влево» достоверно (p < 0,01) эффективней всех остальных действий уже в момент «A», что опережает скорость обучения ему в Actor/Critic (пунктир, момент «B», шкала ординат иная) 5. Алгоритм SDD В алгоритме SDD величина фи* вычисляется для каждой пары действий (Aj, Ak) в данной ситуации S, и определяет вероятность совершения действия P{Aj|S}: exp(- max(k) фи*(Aj|S, Ak|S)). Эксперименты показывают, что алгоритм SDD демонстрирует больший рост эффективности поведения на начальном этапе обучения по сравнению с Actor/Critic, и иную кривую научения – экспоненциальную, в отличие от S-образной у Actor/Critic (рис. 5а). УДК 004.032.26(06) Нейронные сети 43 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 Рис. 5. Средняя (А, слева) и дисперсия (Б, справа) результативности агентов, собирающих объекты, работающих по алгоритмам SDD и Actor/Critic К недостаткам описанной версии алгоритма SDD можно отнести более высокую дисперсию эффективности поведения (рис. 5б), что говорит о его меньшей стабильности по сравнению с Actor/Critic. Заключение Анализ тестовой поведенческой задачи фуражирования с точки зрения компьютерной модели мобильного робота, работающего в ней, показал: 1) «Правильное» и «неправильное» действия, обладая во многом сходными характеристиками, все же обнаруживают статистически достоверные различия в успешности, которые можно выявить описанным методом, вошедшим в предложенный нами алгоритм SDD. 2) Оказывается возможным не только обнаружить такие статистические значимости в эффективности различных действий по ходу обучения, но и использовать эти показатели динамики взаимодействия агента со средой в алгоритме обучения. На этом построен алгоритм SDD. 3) Эффективность обучения на основе алгоритма SDD качественно отличается от Actor/Critic. В приложении к инженерным аспектам искусственного интеллекта, эффективность предложенного алгоритма SDD, возможно, усилил бы алгоритм обнаружения закономерностей MMDR [4]. Данная работа подтверждает путем модельного эксперимента, предсказанную ранее [4, 5], возможность использования идеологии обнаружения статистических закономерностей в алгоритме обучения, идеи, направленной на моделирование работы мозга, на основе теории функциональных систем [1]. УДК 004.032.26(06) Нейронные сети 44 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2 Каждая обнаруженная в процессе обучения закономерность может быть сопоставлена с вовлечением нейронов в новую функциональную систему [2, 11]. Дальнейшим развитием этой работы может быть сравнение специфики обнаруживаемых закономерностей и последовательность их выявления агентом, со спецификой формирующихся функциональных систем у живого организма и последовательностью их формирования. Работа поддержана грантом фонда РГНФ (№05-06-06055а) и грантом Совета по грантам Президента Российской Федерации ведущим научным школам Российской Федерации (№НШ-1989.2003.6). Список литературы 1. Анохин П.К. Философские аспекты теории функциональной системы. М.: Наука. 1978. 2. Александров Ю.И. Научение и память: традиционный и системный подходы. Журнал высшей нервной деятельности, 2005, в печати. 3. Sutton R., Barto A. Reinforcement Learning: An introduction. – MIT Press, 1998. 4. Витяев Е.Е., Формальная модель работы мозга, основанная на принципе предсказания // Модели когнитивных процессов. (Выч. Системы, 164), Новосибирск, 1998, с.3-61. 5. Салтыков А.Б., Толокнов А.В., Хитров Н.К. Поведение и неопределенность среды. М.: Медицина, 1996. 6. Крылов А.К., Неопределенность результата действия в парадигме Reinforcement Learning // Труды III-го международного научно-практического семинара «Интегрированные модели и мягкие вычисления в искусственном интеллекте». –М.: Физматлит, 2005, с.238-243. 7. Krylov A.K. The smartest agent is not optimal in a motivationally driven actor/critic model //Proceedings of the International Scientific Conferences "Intelligent Systems (IEEE AIS'04) and Intelligent CAD's (CAD-2004)", 2004, pp. 21-26. 8. Redgrave P., Prescott T.J. and Gurney K. The basal ganglia: a vertebrate solution to the selection problem?, Neuroscience, 89, 1009–1023, 1999. 9. Крылов А.К., Вероятностный анализ «восприятия» модельным роботом тестовой поведенческой задачи фуражирования. // Труды 9-й национальной конференции по искусственному интеллекту с международным участием КИИ-2004.-М.:Физматлит, 2004, т.3, с.1131-1138. 10. Крылов А.К. Тестовая поведенческая задача минимально необходимой сложности: скрытая динамика // Труды международной научно-технической конференции «Интеллектуальные системы» (AIS’05). –М.:ФИЗМАТЛИТ, 2005, Т.1, с.237-244. 11. Shvyrkov V.B. Behavioral specialization of neurons and the system-selection hypothesis of learning// Human memory and cognitive capabilities. Amsterdam. Elsevier, 1986, pp. 599-611. УДК 004.032.26(06) Нейронные сети 45