Применение нейронных сетей к голосованию в n

ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
С.В. ГЕРОН, А.И. ФРИД
Уфимский государственный авиационный технический университет
geron@ufanet.ru
ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ К ГОЛОСОВАНИЮ
В N-КРАТНО РЕЗЕРВИРОВАННЫХ СИСТЕМАХ
Одним из способов повышения отказоустойчивости вычислительных
машин и систем является метод N-кратного резервирования. В процессе
работы N-кратно резервированной системы возникает задача выбора из N
результатов одного, наиболее приближенного к истинному. Известно несколько способов голосования, в том числе: конвергирующие функции
(вычисление среднего, медианы и т.п.), разделение на группы эквивалентности, использование нечеткой логики. В данной работе исследуется возможность применения нейронных сетей для решения задачи выбора в Nкратно резервированных системах.
Введение
Предметом рассмотрения данной работы является информационная
избыточность, возникающая в результате применения принципа Nкратного резервирования [1-3]. В результате такого резервирования элементов на выходе N-кратной системы имеется N переменных от N функционально-идентичных элементов. Возникает задача: на основе полученных N переменных выбрать или вычислить результат, максимально приближенный к идеальному результату.
Зачастую результаты работы системы принадлежат малому множеству
значений. Гораздо более сложной и интересной является задача выбора
для систем, результаты которых принадлежат большому множеству значений. Примером могут служить вычисления с точностью до нескольких
знаков после запятой. Задача выбора для систем, результаты которых
принадлежат большому множеству значений, является трудноформализуемой задачей. Известны работы, в которых для решения задачи выбора
используются средства искусственного интеллекта, в частности, нечеткая
логика [4, 5]. В данной работе исследуется возможность применения других средств искусственного интеллекта – нейронных сетей для решения
той же задачи. Они обучаются на основе опыта, обобщают предыдущие
прецеденты на новые случаи и извлекают существенные свойства из поступающей информации, содержащей излишние данные [6]. ИскусственУДК 004.032.26(06) Нейронные сети
73
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
ные нейронные сети часто используются для решения трудноформализуемых задач, поэтому была поставлена цель: исследовать возможность использования нейронных сетей в голосовании в N-кратно резервированных
системах с большим множеством значений результата. Исследование проведено с помощью моделирования.
1. Исходные данные для моделирования
Для обучения нейронной сети необходимо моделирование N-кратно
резервированной системы. Основной предпосылкой N-кратного резервирования является независимость элементов, поэтому моделирование проводилось таким образом, чтобы обеспечить максимальную независимость
элементов и моделируемых ошибок. Для каждого из N элементов задавалась вероятность безотказной работы, с которой генерировался корректный результат. Генерация результатов работы каждого элемента велась
относительно идеального результата, который представлял собой нормированную функцию синуса: 200  100  sin  x  . Корректный результат
генерировался по нормальному закону распределения с центром в идеальном результате и разными значениями СКОкорректн. Корректным считается результат из отрезка [идеальный результат ± ε]. Величину меры равенства ε приняли равной 1. Некорректный результат генерируется по
нормальному закону распределения с центром в идеальном результате и
средним квадратичным отклонением – СКОнекорректн. СКОнекорректн –
характеризует степень разброса некорректных результатов. Затем, если
полученное число - положительное, то его увеличивают на величину ε,
если отрицательное, то уменьшают на ту же величину. По характеристике
нормального закона распределения с центром в нуле и СКО = σ, 99.7%
чисел этого распределения лежат в отрезке [-3σ, +3σ]. Поэтому, для описания распределения корректных результатов, лежащих в отрезке [-ε, +ε],
оптимальная величина СКОкорректн = ε/3. Признак отказа системы – выход результата голосования за пределы отрезка [идеальный результат-ε,
идеальный результат + ε]. В качестве объекта исследования взята 5-кратно
резервированная система.
2. Определение структуры нейронной сети и анализ ее возможностей
с помощью моделирования
Нейронные сети позволяют с любой точностью вычислять произвольную непрерывную функцию f(x1, ..., xN) [7]. Это доказывается в ряде теоУДК 004.032.26(06) Нейронные сети
74
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
рем о возможности получить любую непрерывную функцию N переменных с помощью операций сложения, умножения и суперпозиции из непрерывных функций одного переменного [8-10]. Поскольку голосование,
по сути, является функцией от N переменных, то можно предположить,
что при надлежащем подходе вполне реально сконструировать нейронную сеть и обучить ее таким образом, чтобы она, как минимум, не уступала существующим методам голосования.
В качестве базовой нейронной сети выбран трехслойный персептрон с
сигмоидальной функцией активации. Наиболее распространенным методом обучения для персептрона является алгоритм обратного распространения, который и был выбран на начальном этапе исследования. Существует несколько модификаций данного метода [11-14], каждая из них
оптимальна для конкретного случая. Первоначально была предложена
следующая структура нейронной сети: пять входных нейронов, слой из 25
скрытых нейронов и один выходной нейрон. Однако результаты работы
этой нейронной сети были неудовлетворительными.
Была предложена другая структура: в выходном слое 5 нейронов, выход каждого из которых пропорционален достоверности результата соответствующего элемента. Правильный результат вырабатывает тот элемент, достоверность соответствующего нейрона которого больше, чем у
остальных нейронов. В качестве входных данных нейронной сети предложено использовать евклидово расстояние между результатами работы
5-и элементов. Итак, для 5-кратно резервированной системы у нейронной
сети имеется 10 нейронов во входном слое, на входы которых подается
нормализованное евклидовое расстояние между результатами работы 5-и
элементов:
In1 | x1  x 2 |, In2 | x1  x 3 |, In3 | x1  x 4 |, In4 | x1  x5 |, In5 | x 2  x3 |,
In6 | x 2  x 4 |, In7 | x 2  x 5 |, In8 | x 3  x 4 |, In9 | x 3  x 5 |, In10 | x 4  x 5 |
Входной вектор нормализован по формуле: Ini 
Ini
. Нормали-
10
 Ini
i 1
зация необходима для повышения точности нейронной сети.
Данная сеть показывает хорошие результаты обучения. Помимо евклидова расстояния между результатами предложено ввести в нейронную
сеть информацию о взаимном расположении результатов. Для этого, перед тем как подавать результаты элементов на вход сети, необходимо отсортировать их по возрастанию. На рис. 1 представлена эффективность
УДК 004.032.26(06) Нейронные сети
75
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
Вероятность безотказной работы.
сети без сортировки и с сортировкой входных данных для разных СКОнекорректн: СКОкорректн = 0.3ε, N = 5, вероятность безотказной работы
элементов равна 0.75.
0,98
0,97
0,96
0,95
Cортиров анные
в х. дан.
0,94
Несортиров анные
в х. дан.
0,93
0,92
0,91
0,9
0
2
4
6
СКОнекорректн(ε)
8
10
Рис. 1. Зависимость эффективности нейронной сети от сортировки
входных данных при различных СКОнекорректн
Как видно, упорядочивание входного вектора по возрастанию значительно повышает эффективность нейронной сети для всех смоделированных СКОнекорректн.
Для обучения нейронной сети корректные результаты работы элементов распределялись в диапазоне [-1; +1]. Необходимо выбрать оптимальный диапазон для некорректных результатов работы элементов. Данный
диапазон обучения нейронной сети выбран таким образом, чтобы некорректные результаты имели более широкое распределение, чем корректные, с тем чтобы сеть научилась правильно на них реагировать. Если сделать диапазон некорректных результатов слишком широким, то сеть не
обучится случаям близкого расположения некорректных результатов. На
рис. 2 представлена эффективность нейронной сети при различных диапазонах некорректных результатов в зависимости от СКОнекорректн: СКО-
УДК 004.032.26(06) Нейронные сети
76
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
Вероятность безотказной работы .
корректн = 0.3ε, N = 5, вероятность безотказной работы элементов равна
0.75.
0,978
0,976
0,974
0,972
0,97
[-101;-1]+[1;101]
[-1001;-1]+[1;1001]
0,968
[-11;-1]+[1;11]
0,966
[-21;-1]+[1;21]
0,964
0
2
4
6
8
10
СКОнекорректн(ε)
Рис. 2. Эффективность нейронной сети при различных диапазонах некорректных
результатов при обучении в зависимости от СКОнекорректн
Из рис. 2 следует, что большие диапазоны некорректных результатов
повышают эффективность нейронной сети при больших СКОнекорректн,
так как увеличение СКОнекорректн увеличивает разброс некорректных
результатов. И наоборот, малый диапазон некорректных результатов при
обучении увеличивает эффективность нейронной сети при малых СКОнекорректн. Нейронная сеть при одних параметрах обучения ведет себя хорошо при одних значениях СКОкорректн и СКОнекорректн, а при других
параметрах обучения ведет себя хорошо при других значениях СКОкорректн и СКОнекорректн. Это говорит о возможности эффективного обучения нейронной сети во всем диапазоне СКОкорректн и СКОнекорректн.
На данном этапе наилучшим интервалом обучения оказался интервал
[-21;-1][+1;+21].
На рис. 3 представлена эффективность работы нейронной сети при
различном количестве нейронов в скрытом слое в зависимости от СКОнекорректн: СКОкорректн = 0.3ε, N = 5, вероятность безотказной работы
элементов равна 0.75.
УДК 004.032.26(06) Нейронные сети
77
Вероятность безотказной работы
.
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
0,978
0,976
25
0,974
10
0,972
5
0,97
50
0,968
99
0,966
1
0,964
0,962
0
2
4
6
8
10
СКОнекорректн(ε)
Рис. 3. Зависимость вероятности безотказной работы системы от количества
нейронов в скрытом слое нейронной сети в зависимости от СКОнекорректн
При одном нейроне в скрытом слое вероятность безотказной работы
системы такая же, как и при применении метода голосования с использованием медианы, который заключается в постепенном отбрасывании переменных, значения которых располагаются с краю от остальных, пока не
останется только одно центральное значение [15]. При увеличении количества нейронов до 5, 10, 25 вероятность безотказной работы системы
возрастает при СКОнекорректн > 2ε, и уменьшается при СКОнекорректн < 2ε, достигая критических значений при 25 нейронах в скрытом
слое. При дальнейшем увеличении количества нейронов в скрытом слое
до 50 и 99 вероятность безотказной работы системы приближается к вероятности безотказной работы системы при одном нейроне в скрытом слое
нейронной сети. Столь интересная зависимость, возможно, вызвана тем,
что при увеличении количества нейронов в скрытом слое выше некоторого критического порога нейронная сеть переобучается и теряет способность к обобщению данных [16]. Нами было выбрано количество нейронов в скрытом слое, равное 10.
Сравним эффективность нейронной сети с эффективностью метода голосования, выбирающего медиану в качестве результата. На рис. 4 представлена зависимость вероятности безотказной работы системы от СКОУДК 004.032.26(06) Нейронные сети
78
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
Вероятность безотказной работы .
некорректн: СКОкорректн = 0.3ε, N = 5, вероятность безотказной работы
элементов равна 0.75.
0,974
нейронная сеть
0,973
медиана
0,972
0,971
0,97
0,969
0,968
0,967
0,966
0,965
0
2
4
6
8
10
СКОнекорректн(ε)
Рис. 4. Зависимость вероятности безотказной работы системы
от СКОнекорректн (N = 5)
Из рис. 4 следует, что в большей части диапазона СКОнекорректн
нейронная сеть показывает лучшие результаты, чем медиана, что свидетельствует о жизнеспособности данного метода голосования.
3. Выводы
Предложен метод голосования с использованием нейронной сети, которая показала хорошую способность к обучению голосованию. Полученная нейронная сеть продемонстрировала существенную зависимость эффективности голосования от величины СКОнекорректн. Результатом этого является то, что нейронная сеть на определенных диапазонах СКОнекорректн показывает меньшую эффективность по сравнению с существующими методами голосования. Существуют предпосылки дальнейшего
увеличения эффективности обучения нейронной сети, в частности, с це-
УДК 004.032.26(06) Нейронные сети
79
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 1
лью ослабить зависимость эффективности голосования от величины
СКОнекорректн.
Список литературы
1. A. Avizienis "The Methodology of N-Version Programming", Software Fault Tolerance,
M. R. Lyu (ed.), Wiley, Chichester, 1995, pp.23-46.
2. A. Avizienis and L. Chen. On the implementation of N-version programming for software
fault tolerance during execution. In Proc. IEEE COMPSAC 77, pages 149–155, November 1977.
3. W. Torres-Pomales "Software Fault Tolerance: A Tutorial", NASA/TM-2000-210616, October 2000, pp. 66.
4. K. Kim, M. A. Vouk, D. F. McAllister "Fault-tolerant software voters based on fuzzy
equivalence relations", Proc. IEEE Aerospace Conference, March 1998, Vol. 4, pp 5-19.
5. 5. M. Manic, D. Frincke "Towards the fault-tolerant software: fuzzy extension of crisp
equivalence voters" , IECON'01 - 27 Annual Conference of the IEEE Industrial Electronics Society, Denver, Colorado, nov 29 to Dec 2, pp.84-89, 2001.
6. Ф. Уоссермен Нейрокомпьютерная техника: теория и практика. — М.: Мир, 1992,
127 с.
7. А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин, "Нейроинформатика", Новосибирск: Наука. Сибирское предприятие РАН, 1998. – 296 с.
8. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных
суперпозициями непрерывных функций меньшего числа переменных. Докл. АН СССР, 1956.
Т. 108, no. 2. С.179-182.
9. Арнольд В.И. О функциях трех переменных. Докл. АН СССР, 1957. Т. 114, no. 4.
С. 679-681.
10. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в
виде суперпозиции непрерывных функций одного переменного. Докл. АН СССР, 1957.
Т. 114, no. 5. С. 953-956.
11. Parker D. B. 1987. Second order back propagation: Implementing an optimal 0(n) approximation to newton's method as an artificial newral network. Manuscript submitted for publication.
12. Stornetta W. S., Huberman B. A. 1987. An improwed three-layer, backpropagation algorithm. In Proceedings of the IEEE First International Conference on newral networks, eds.
M. Caudill and C. Butler. San Diego, CA: SOS Printing.
13. Wasserman P. D. 1988a. Combined backpropagation/Cauchy machine. Proceedings of the
International newral network Society. new York: Pergamon Press.
14. Wasserman P. D. 1988b. Experiments in translating Chinese characters using backpropagation. Proceedings of the Thirty-Third IEEE Computer Society International Conference. Washington, D. C.: Computer Society Press of the IEEE.
15. J. E. Potter and M. C. Suman, "Extension of the Midvalue Selection Technique for Redundancy Management of Inertial Sensors", Journal of Guidance, Control, and Dynamics, Vol. 9,
No.1, January-Februrary 1986.
16. И. Заенцев, "Нейронные сети: основные модели", Учебное пособие, Воронеж, 1999.
УДК 004.032.26(06) Нейронные сети
80