Давыдов А.А., Соколов Д.О., Царев Ф.Н. Применение

ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Применение генетических алгоритмов для
генерации автоматов Мура и систем
взаимодействующих автоматов Мили в задаче об
«Умном муравье»
А. А. Давыдов, Д. О. Соколов, Ф. Н. Царев
Научный руководитель – А. А. Шалыто
2008 год
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ



Автоматное
программирование
Предложено в России в 1991
году
Программные системы
предлагается разрабатывать
так же, как выполняется
автоматизация
технологических (и не только)
процессов
Система управления является
системой взаимодействующих
конечных автоматов
E, X2
Система
управления





Z
Объект
управления
X1
Состояния
События и входные
переменные
Выходные воздействия
Конечный автомат
Система конечных
автоматов
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
2
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Преимущества автоматного
подхода
Обладает наибольшей эффективностью
для систем со сложным поведением
 Формальное и понятное описание
поведения
 Автоматическая генерация кода по
диаграммам переходов
 Возможность верификации программ
 Проектная документация

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
3
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ




Решаемая проблема
Основная сложность в автоматном
программировании – построение автоматов
В большинстве случаев автоматы проектируются
вручную
Однако эвристическое построение автоматов
часто затруднено или невозможно
Решение – автоматическое построение конечных
автоматов с помощью генетического
программирования
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
4
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ





Задача об «Умном
муравье»
Тор – 32x32
89 клеток с едой
200 ходов
Расположение еды и
начальная позиция
муравья фиксированы
Цель – создать
муравья, который
съест всю еду
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
5
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ


Что умеет муравей?
Определять находится ли
непосредственно перед ним еда
За один игровой ход совершить одно из
четырех действий:




сделать шаг вперед, съедая еду, если она там
находится
повернуть налево
повернуть направо
ничего не делать
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
6
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Конечный автомат – способ
описания муравья
Автомат с действиями на
переходах (автомат Мили).
Автомат с действиями в
вершинах (автомат Мура).
Система (пара) автоматов
взаимодействующих, с
помощью вложенности
 Придумать одиночный
автомат с большим числом
состояний – просто
 С небольшим или систему
автоматов – сложно
 На рисунке – автомат Мили,
5 состояний, за 200 ходов –
81 единица еды

!F / R
2
!F / R
F/M
1
3
F/M
F/M
F/M
!F / M
!F / R
F/M
5
!F / R
4
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
7
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ



Генетические алгоритмы – 1
Jefferson D., Collins R., Cooper C., Dyer M.,
Flowers M., Korf R., Taylor C., Wang A. The
Genesys System. 1992.
Кодирование автоматов битовыми
строками
Построен автомат из 13 состояний,
позволяющий съесть всю еду за 200 ходов
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
8
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ



Генетические алгоритмы – 2
Angeline P. J., Pollack J. Evolutionary Module
Acquisition // Proceedings of the Second
Annual Conference on Evolutionary
Programming. 1993.
Кодирование автоматов битовыми
строками + «замораживание»
Построен автомат из 11 состояний,
позволяющий съесть всю еду за 193 хода
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
9
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Генетические алгоритмы – 3

Chambers L. D. Practical Handbook of
Genetic Algorithms, Volume 3, Chapter 26, 6
– Algorithms to Improve the Convergence of
a Genetic Algorithm with a Finite State
Machine Genome. CRC Press, 1999.
 Кодирование автоматов битовыми
строками + приведение автоматов к
каноническому виду
 Построен автомат из 8 состояний,
позволяющий съесть всю еду за 193 хода
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
10
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ


Генетические алгоритмы – 4
Царев Ф. Н., Шалыто А. А. О построении
автоматов с минимальным числом
состояний для задачи об «умном
муравье» /Сборник докладов X
международной конференции по мягким
вычислениям и измерениям. СПбГЭТУ
"ЛЭТИ". Т.2, 2007, с. 88–91.
Генетическое программирование
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
11
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Автомат из семи состояний
!F / M
F/M
F/M

Построены два автомата
из семи состояниями
после перебора 160 и
230 млн. автоматов
1
6
!F / L
!F / M
2
F/M
!F / R
0
!F / R
F/M
!F / R
F/M
4
!F / M
3
5
F/M
F/M
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
12
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ


Решаемая задача
Во всех описанных работах строились
автоматы Мили
Цель настоящей работы – построение
автоматов Мура и систем
взаимодействующих автоматов Мили
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
13
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Предлагаемый подход – 1
Островной генетический алгоритм
 Автомат = начальное состояние +
описание состояний + вложенный автомат
 Состояние = два перехода + действие в
состоянии (для автомата Мура)
 Переход = номер состояния + действие
(для автомата Мили)

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
14
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Предлагаемый подход – 2
class Automaton {
Transition[][] transitions;
int initialState;
Automaton nestedAutomaton;
char[] stateAction; // для Мура
}
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
15
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ


Создание начального
поколения
Случайно генерируется заданное
количество (систем) автоматов
Все автоматы содержат одинаковое
количество состояний
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
16
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Формирование следующего
поколения – 1
Элитизм
 Фиксированная доля особей переходят
напрямую
 Остальные – на основе турнирной
стратегии выбираются две особи из
текущего поколения, и они с некоторой
вероятностью скрещиваются или
мутируют

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
17
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ


Формирование
следующего поколения – 2
На нескольких островах эволюция
происходит независимо.
Каждое фиксированное число поколений –
обмен между случайными островами
случайными элитными особями.
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
18
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Мутация автомата Мура
Изменение начального состояния
 Изменение действия в состоянии
 Изменение состояния, в которое ведет
переход
 Изменение условия на переходе

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
19
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Мутация пары автоматов
Мили
Изменение начального состояния
 Удаление (добавление) перехода
 Изменение состояния, в которое ведет
переход
 Изменение действия на переходе
 Мутация вложенного автомата

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
20
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Скрещивание автоматов
Мура
На входе две особи, на выходе – две
особи
 Родители – P1 и P2
 Потомки – S1 и S2
 Начальное состояние: S1.is = P1.is и
S2.is = P2.is, либо S1.is = P2.is и
S2.is = P1.is

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
21
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Скрещивание переходов
Рассмотрим состояние номер i
 «Перед муравьем нет еды» ↔ P1(i, 0)
 «Перед муравьем есть еда» ↔ P1(i, 1)
 Аналогично: P2(i, 0), P2(i, 1), S1(i, 0),
S1(i,1), S2(i, 0), S2(i, 1)
 Есть 4 варианта для S1(i, 0), S1(i,1), S2(i,
0), S2(i, 1)

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
22
Четыре варианта
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
i
P1
i
S1
i
i
S2
i
S2
i
S1
i
S2
S1
ИЛИ
i
P2
i
i
S1
S2
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
23
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ


Скрещивание пар
автоматов Мили
Внешние автоматы – аналогично
автоматам Мура
Вложенные автоматы – или также
скрещиваются, или один из детей
наследует вложенный автомат одного
родителя, другой – другого.
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
24
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ



Функция приспособленности
автомата Мура
T
F
200
F – количество еды, которое съедает за
200 ходов муравей
T – номер хода, на котором муравей
съедает последнюю единицу еды
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
25
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ





Функция приспособленности
пар автоматов Мили
T
F
C*Z
200
F – количество еды, которое съедает за 200 ходов
муравей
T – номер хода, на котором муравей съедает
последнюю единицу еды
Z – число посещенных состояний у внешнего
автомата
C – некоторый коэффициент, ключевой для
генерации систем автоматов
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
26
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ


Мутации поколений
Чтобы одни и те же элитные особи
«путешествуя» не заполонили собой все
острова, надо что-то делать. Через
фиксированное число поколений –
«большая» мутация нескольких островов
«Большая» мутация острова – все особи
либо заменяются на случайно
сгенерированные, либо на мутированные
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
27
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ






Настраиваемые параметры
алгоритма – 1
Число островов
Размер поколения на одном острове
Время до «большой» мутации
Доля уничтожаемых островов во время
«большой» мутации
Доля особей, переходящих в следующее
поколение
Время между обменами особями между
островами
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
28
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Настраиваемые параметры
алгоритма – 2
Число обмениваемых особей
 Параметры малой мутации
 Параметры скрещивания
 Отношение «мутантов», случайных особей
и детей особей из текущего поколения при
формировании следующего поколения
 С – коэффициент влияния внешнего
автомата.

Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
29
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ

Автомат Мура из 10
состояний
Позволяет
муравью съесть
всю еду за 198
ходов
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
30
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ

Система из двух вложенных
автоматов Мили
Позволяет
муравью
съесть 87
единиц
еды за 185
ходов
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
31
ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ
Спасибо за внимание!
Спасибо за внимание!
Давыдов А. А., Соколов Д. О., Царев Ф. Н.
Применение генетических алгоритмов для генерации автоматов Мура и систем взаимодействующих автоматов Мили в задаче об «Умном муравье»
32