Саад Е., Хамди А., Ахмад А.
advertisement
170 ВЫДЕЛЕНИЕ ЧЕТКОГО ДЕРЕВА НЕЙРОННОЙ СЕТИ, ИСПОЛЬЗУЯ ГЕНЕТИЧЕСКИЙ АЛГОРИТМ E. Саад1, A. Хамди2, A. Ахмед3 1, 2, 3 Университет Хелван, Инженерный Факультет, Кафедра Связи, Електроники, и Компьютеров email: 1 elsayedmos@hotmail.com, 2 alaa.hamdy@gmail.com, 3 vcamro@gmail.com Данная работа представляет четкое дерево нейронной сети (ЧДНС дерево). ЧДНС дерево это структура предполагаемой общей модульной нейронной сети, где каждый узел сети представляет собой четкую экспертную нейронную сеть (ЧЭНС). Одно из преимуществ использования ЧДНС дерево – это то, что оно является "gray box"; потому что его можно легко интерпретировать для символических систем; где каждый узел сети в ЧДНС дерева эквивалентен символическому оператору в символических системах. Еще одно преимущество ЧДНС дерева – это то, что его можно натренировать как любую обыкновенную многоуровневую нейронную сеть с прямой связью. Для создания этого дерева мы представляем развиваемый алгоритм. Обратная связь также проверяется как алгоритм, который подходит в условиях ограничений изучения в реальном времени. Изучение и обобщение дерева проводится с использованием экспериментов цифрового распознавания. Введение Искусственные нейронные сети ИНС изучаются на основе обобщений и реферирования характеристик, которые устанавливают связь между отдельно взятыми случаями. ИНС хорошо подходят для решения различных проблем в области открытий. Однако, ИНС, которые состоят из огромного количества взвешенных соединений и единиц активирования часто порождают неясные и малопонятные модели [1], [9]. Это означает, что при вводе в натренированную нейронную систему, пользователь не может сделать вывод, каким образом получается определенный вывод данных. Другими словами, нет возможности приблизиться к более или менее значимой интерпретации параметров сети и ее ответа на характерный ввод данных. Кроме этого, знания, приобретенные посредством нейронных сетей, считаются неясными и непереносимыми в другие области представления знаний, такие как экспертные или основанные на системе правил системы [1], [3], [9]. Формулировка проблемы Данный подход пытается найти систему со следующими аспектами; основанную на сравнении с эталонными ситуациями, обобщенную, обучающуюся, четкую, понятную и быстро адаптирующуюся систему для новых случаев. Подход и технология Здесь представлена новая версия модульной нейронной системы (МНС), которая называется четкое (понятное) дерево нейронной системы (ЧНС дерево). Развиваемый алгоритм представлен для автономного режима, создающего ЧНС дерево, и алгоритм обратного распространения (обратной передачи) ошибки обучения для неавтономного обучения. ЧНС дерево должно строиться с применением аппаратного обеспечения нейронных сетей, чтобы приспособиться к временным ограничениям. Четкое дерево нейронной системы В этой модели, сначала необходимо построить четкую экспертную библиотеку нейронной сети (ЧЭБНС). Четкие экспертные нейронные системы (ЧЭНС) соответствуют хорошо известным и понятным человеку элементам, таким как операторы булевой логики, операторы нечёткой логики, математические операторы, и т.д. Это позволяет нам использовать хорошо определяемые и функционально понятные ЧЭНС, "чёрный ящик" для создания системы ЧНС дерева. ЧНС дерево показано на рис.1. В этой модели, в отличие от [4], [5], [6], [8], каждый узел Е-модуля является ЧЭНС, выбранным из созданной до этого библиотеке ЧЭНС, к примеру, операторы булевой логики И, ИЛИ, и НЕ. Отображение этой модели показано на рисунке [4]. Следует отметить, что в ЧНС дереве нет ни блока распределения, ни согласующего устройства. Кроме этого каждый E-модуль может считаться локальным устройством принятия решений [4]. 171 Где N – число E-модулей в ЧНС дереве, а M – число ЧЭНС в библиотеке. Изучение ЧНС деревьев Fig. 1. Модель ЧНС дерева. Хотя эволюционные алгоритмы подходят для нахождения оптимальной конфигурации ввода и узлов ЧНС дерева, они не подходят для тренировки новых данных при условии временных ограничений. Объединение локальных алгоритмов обучения улучшило бы время тренировки новых данных; однако, это привело бы к тому, что ЧНС дерево потеряло бы свою понятность. В данной работе, предлагается использовать развиваемый алгоритм в качестве автономной тренировки при создании ЧНС деревьев. Это должно работать, когда система неактивна, и находится в режиме ожидания. Алгоритм обратного распространения используется в качестве неавтономной местной тренировки, когда система, находится в активном рабочем режиме , тогда как ограничения реального времени необходимы больше нежели обоснование ответного действия. Развиваемая система ЧНС деревьев Fig. 2. Общая модель модульных нейронных сетей. В данной работе, только ради упрощения принимаются отдельно взятый перцептрон (распознающий элемент) с двумя устройствами ввода в качестве унифицированной структуры ЧЭНС, и полное and целое двоичное дерево в качестве структуры ЧНС дерева. Кроме этого, библиотека булевой логики содержит следующие элементы ЧЭНС И, ИЛИ, НЕ 1, and НЕ 2, где НЕi дополняет i ввод. В данной работе приводятся дополнительные ЧЭНС элементы, ПЕРЕСЫЛКА 1 and ПЕРЕСЫЛКА 2, которые перемещают соответствующие введенные данные непосредственно к выводу, не изменяя их. Поскольку ЧЭНС непосредственно соответствует знакомым и понятным человеку элементарным операциям, объяснение четкой формулы было бы прямым и простым, которому не нужна компьютерная обработка. Компьютерные затраты пропорциональны количеству E-модулей, использованных в полученном дереве, а количество ЧЭНС в библиотеке может быть выражено следующей формулой: Затраты = O (M * N) (1) В [7], генетические алгоритмы используются для развертывания архитектуры нейронных сетей. Однако, в данной работе используется установленная полная архитектура двоичного дерева. Главная проблема – это, как найти ЧЭНС для каждого узла и входные данные для каждого подчинённого узла в ЧНС дереве для того, чтобы свести до минимума ошибку для всех векторов обучающей последовательности. Для того, чтобы решить эту проблему, мы принимаем простой генетический алгоритм a (ПГА), у которого есть три оператора; выбор колеса рулетки, одноточечное поле пересечения, and поразрядное изменение. Генотип ЧНС дерева это последовательность ЧЭНС показателей в библиотеке и заданных показателей входных данных на входном векторе. Каждый вектор представлен 8-битным двоичным числом. Адекватность определяется по следующей формуле: (2) Где N – это число векторов обучающей последовательности, ∆ - это очень небольшое приращение, а (3) Локальная тренировка ЧНС деревьев После того, как создано ЧНС дерево посредством проблемных случаев, с использованием развиваемого алгоритма, система ожидает неизвестных входных данных. Кроме этого, ее можно легко смоделировать, используя ЧНС в качестве примитивной модели. Алгоритм обратного распространения выбирается в качестве локального 172 алгоритма обучения для тренировки ЧНС деревьев на вновь поступивших данных, тогда ЧНС дерево находится в активном режиме. ЧНС дерево считается обыкновенной многоуровневой упреждающей нейронной системой. Более того, применяется тренировочный метод обратного распространения для того, чтобы постепенно изменить весовые коэффициенты синапсов в соответствии с предполагаемой ошибкой между предполагаемым и итоговым выходом. Результаты Здесь показан эксперимент распознавания цифровых образов. В отличие [2], используются 10 цифровых образов и приведены предварительные результаты проведенных экспериментов. Каждый образ состоит из 64 (8 x 8) черно-белых пиксел. Основные параметры эксперимента это: возможность изменения составляет 0.05, возможность пересечения составляет 0.8, а численность составляет 20 хромосом, которые работают для того, чтобы раскрутить все двоичное ЧНС дерево, а уровень обучения обратного распространения составляет 0.2 для локальной неавтономной тренировки. Развиваемый алгоритм программируется таким образом, чтобы остановится, в тот момент, когда он обнаружит дерево со значением соответствий больше 10. Тогда как, алгоритм обратного распространения программируется таким образом, чтобы остановится, в тот момент, когда он обнаружит, что все образы выдают вероятность ошибки менее 0.1. Система состоит из 4 двоичных ЧНС деревьев. Каждое выходное данное дерева представляет собой бит в двоичном представлении цифрового значения. Корректность эксперимента Эксперимент проводится раскручиваемом дереве для того, чтобы измерить его корректность случайно образующимися зашумленными пикселами образов. Для каждого образа выбираются от 1 до 9 случайных пикселей, а их значения меняются. С каждым числом зашумленных пикселей эксперимент проводится 100 раз и измеряется количество правильно классифицированных образов. Эксперимент проводится для разных ЧНС деревьев с глубиной от 7 до 9 уровней. Результаты изображены графически на рис.3. Небольшое увеличение корректности можно заметить при изменении глубины дерева с 7 до 9 уровней. Fig. 3. Коэффициент корректности ЧНС дерева пороге ошибок 0.1. Fig. 4. Коэффициент корректности упреждающей нейронной системы при различных пороговых значениях. Проведение экспериментов Количество формирований и промежутки времени измеряются при тренировке ЧНС дерева, используя предложенный развиваемый алгоритм 10 раз. Среднее значение времени тренировки ЧНС дерева по сравнению с глубиной показано на рис.5. Подобные эксперименты проводятся при обучении модели ЧНС дерева CNNTREE с использованием алгоритма обратного распространения. Дерево узнает 7 новых данных. Этот эксперимент повторяется 10 раз для каждой глубины дерева, начиная с 6 до 10 уровня. Время изучения образов измеряется, а среднее значение времени для изучения образа подсчитано и изображено на рис.6. Такие же эксперименты проводятся, с использованием одного единственного скрытого упреждающего уровня нейронной системы для того, чтобы узнать насколько достоверны эти результаты. Результаты показаны на рис.4. Fig. 5. Общее среднее время тренировки по отношению к глубине ЧНС дерева. 173 2. 3. 4. Fig. 6. Среднее время обратной передачи ошибки обучения по отношению к глубине ЧНС дерева. 5. 6. 7. Fig. 7. . 8. Среднее время обратной передачи ошибки обучения T можно выразить следующим выражением: T = N * E * PT (4) Где N - это количество данных, которое нужно изучить, E – это количество изучающих периодов, а PT – это среднее время тренировки образа. PT зависит от применяемого аппаратного обеспечения ЧНС дерева. Данные эксперименты проводятся программном обеспечении нейронных сетей с использованием C++ с процессором Intel Pentium 1.70 Ггц. На таком аппаратном обеспечении учение проходит параллельно, поэтому PT зависит от общего количества нейронов в сети. Однако, применение данного подхода на особом аппаратном обеспечении должно сделать PT зависимым от глубины дерева. Это приведет к большому увеличению производительности локальной тренировки поскольку: Глубина дерева = log2 (количеству (5) нейронов) E зависит от того, включают ли тренировочные образы натренированные до этого образы или нет. Включение таких образов увеличило бы значение E, тогда как их исключение привело бы к тому, что дерево забыло бы один или больше отработанный образ. Литература 1. 88 C. Ferreira. Designing Neural Networks Using Gene Expression Programming // Gepsoft, 73 Elmtree Drive, Bristol BS13 8NA, United Kingdom, 9. 9th Online World Conference on Soft Computing in Industrial Applications. - 2004. 77 M. Murakawa, S. Yoshizawa, I. Kajitani, T. Higuchi. Evolvable Hardware for Generalized Neural Networks // Proc. of the Fifteenth International Joint Conference on Artificial Intelligence (IJCAI-97). – 1997. P.1146-1151. 11 O. Boz. Knowledge Integration and Rule Extraction in Neural Networks // EECS Department, Lehigh University, US. - 1995. 22 Q. F. Zhao. Modeling and Evolutionary Learning of Modular Neural Networks // Proc. The 6th International Symposium on Artificial Life and Robotics, Tokyo, Japan. - 2001. - P. 508-511. 44 Q. Zhao, M. Shirasaka. A Study on Evolutionary Design of Binary Decision Trees // Proc. IEEE Congress on Evolutionary Computation (CEC'99), Washington D. C. - 1999. P. 1988-1993. 66 Q. Z. Xu, Q. F. Zhao, W. J. Pei, L. X. Yang, Z. Y. He. Design Interpretable Neural Network Trees Through Self-organized Learning of Features // Proc. International Joint Conference on Neural Networks (IJCNN04), Hungary. - 2004. P. 14331438. 88 S. Bader, P. Hitzler. Dimensions of Neuralsymbolic Integration A Structured Survey // International Federation for Computational Logic, College Publications. - 2005. Vol. 1. - P. 167-194. 55 T. Takeda, Q. F. Zhao and Y. Liu. A Study on On-line Learning of NNTrees // Proc. International Joint Conference on Neural Networks (IJCNN03) 2003. 99 Z.-H. Zhou. Rule Extraction: Using Neural Networks or For Neural Networks? // J. Computer Science and Technology. - 2004. Vol. 19 - P. 249253.
