ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 Л.А. ЖУКОВ, Н.В. РЕШЕТНИКОВА Сибирский государственный технологический университет Красноярский государственный технический университет zhukov_l@rambler.ru, sophya2002@mail.ru, http://zhukov.wallst.ru ПРИЛОЖЕНИЕ ТЕХНОЛОГИИ ИСПОЛЬЗОВАНИЯ НЕЙРОННЫХ СЕТЕЙ С УЧИТЕЛЕМ ДЛЯ ЛЕКСИКО-ГРАММАТИЧЕСКОЙ КЛАССИФИКАЦИИ СЛОВ АНГЛИЙСКОГО ЯЗЫКА Аннотация В работе приведены особенности использования нейронных сетей с учителем для задачи классификации на лексико-грамматические классы слов английского языка. Исследовалась возможность определения принадлежности слов английского языка к части речи (существительное, глагол, прилагательное и т.п.). Для проведения экспериментов использовалось текстовое описание методики применения нейронных сетей с учителем [1], [3]. Цель работы: использовать технологию использования нейронных сетей с учителем для задачи лексико-грамматической классификации слов английского языка. В качестве входных данных была использована обучающая выборка из 2737 слов английского языка. Специфика используемого инструмента нейронных сетей потребовала преобразования текстовой информации в числовой вид (нейронные сети не работают с текстом). Дополнительно была собрана информация о частоте встречаемости каждого слова в оригинальных текстах [5]. Выходное поле – возможность использования слова в качестве конкретной части речи – отдельное поле для каждого лексикограмматического класса (части речи). Значением данных полей был номер класса – 1, если слово в контексте употребления может являться существительным (глаголом, прилагательным и т.п.), 0 – в противном случае. Для каждой части речи были проведены отдельные эксперименты. Результаты обучения показали, что во многих случаях простые сети до конца не обучаются. Результаты неудовлетворительного качества обучения сетей связаны со сложностью задачи – многие слова (примеры) требуется заучить (зазубрить), что возможно только при достаточном размере сети. Было предложено разделить исходную выборку на две части: примеУДК 004.032.26(06) Нейронные сети 150 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 ры, по которым сети в чаще обучаются и примеры, по которым сети не могут обучиться. Для анализа данных особенностей для каждого слова поставлен в соответствие средний процент распознавания для всех сетей. Дополнительно для каждого слова и сети вычислена правильность определения возможности принадлежности слова к части речи. Было вычислено общее количество этих значений и вычислен процент, показывающий правильность определения сетью класса для каждого слова. Количество примеров, по которым сети не обучаются, составляет не более 15 % от общего количества слов в выборке. Выявлено, что сети меньшего размера обучаются полностью на выборке, состоящей из примеров, средний процент правильности которых не меньше 70 %. Высказана гипотеза о взаимосвязи частоты встречаемости слова в тексте и правильности определения нейронными сетями его возможности принадлежать к части речи. Для данной выборки пока не подтверждена, но и не опровергнута. Определенная зависимость есть только на определенных участках: максимальная частота встречаемости слова возрастает только если процент правильности правильно определяющих класс слова сетей составляет от 70-80 до 100 %. На других интервалах данной закономерности пока не выявлено. Кроме того, сама частота практически не влияет на правильность определения класса слова. Максимальные частоты встречаемости слов: слово any as who made on them he had but in the next частота относительная 1234 5862 1654 1080 7354 2602 15758 6100 5188 14330 46732 570 не существ. существительное не существ. не существ. существительное не существ. существительное не существ. существительное не существ. не существ. % правильно определяющих класс сетей 0 10 20 30 40 50 60 70 80 90 100 не глагол 0 часть речи (эталон) УДК 004.032.26(06) Нейронные сети 151 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 before there some their out not this was in the 1276 2584 1888 2234 4101 6050 4553 11286 14330 46732 не глагол не глагол не глагол не глагол глагол не глагол не глагол глагол не глагол не глагол 10 20 30 40 50 60 70 80 90 100 Максимальные частоты имеют предлог «in» и артикль «the», которые правильно определяются более чем в 90 % сетей. Возможно, это связано с их простой структурой и наиболее частой встречаемостью в текстах. При изучении английского языка в этих словах обычно не возникает неуверенности и ошибок как в написании, определении части речи, так и в переводе. Были определены слова, в которых сети в большинстве своем ошибаются. Слова, в которых все обученные сети ошибаются, что данное слово является или не является глаголом: слово next behind cold nine lake orange blond remote bold artist aye ace частота относительная 570 451 257 91 68 47 40 23 12 12 4 2 часть речи (эталон) не глагол не глагол не глагол не глагол не глагол не глагол не глагол не глагол не глагол не глагол не глагол не глагол часть речи (определяется сетью) глагол глагол глагол глагол глагол глагол глагол глагол глагол глагол глагол глагол Слова, в которых все обученные сети ошибаются, что данное слово является или не является существительным: УДК 004.032.26(06) Нейронные сети 152 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 часть речи (этачасть речи (опрелон) деляется сетью) существительное any 1234 не существ. не существ. существительное under 640 не существ. существительное quite 608 не существ. существительное gave 503 не существ. существительное else 339 не существ. существительное gone 313 не существ. существительное lost 240 не существ. существительное seems 234 не существ. существительное live 169 не существ. существительное meant 153 не существ. существительное onto 144 не существ. существительное older 107 не существ. существительное false 82 не существ. arrest 81 существительное не существ. существительное bare 73 не существ. существительное hers 58 не существ. lovely 43 существительное существительное rich 36 не существ. не существ. atmosphere 32 существительное не существ. agony 24 существительное не существ. active 22 существительное существительное write 21 не существ. не существ. ankle 15 существительное не существ. baseline 7 существительное не существ. bakery 6 существительное не существ. attire 1 существительное существительное apt 1 не существ. не существ. almond 1 существительное не существ. android 0 существительное существительное aft 0 не существ. Анализ слов, для которых сети неправильно определяют их принадлежность к части речи показал, что по структуре слова (окончаний и т.п.) слово частота УДК 004.032.26(06) Нейронные сети 153 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 некоторые из этих слов могут быть отнесены к другой части речи человеком, начинающим изучать английский язык. Таким образом, данные слова нужно в некотором смысле заучивать и обращать на них внимание при переводе текста. Данная особенность может быть использована при обучении курсу английского языка и позволит устранить часто встречаемые неточности у начинающих. Это может частично помочь и разработчикам программ-переводчиков для корректного перевода слов. Эксперименты по обучению сетей показали, что для данной задачи и выборки слов английского языка требуется структура большего размера, чем для многих других задач. Частично это связано со сложностью взаимных связей между входными параметрами, особенностями лексики английского языка и спецификой самой предметной области (лингвистики). В частности имеется ряд слов, которые являются исключениями из общего правила. Поэтому нейронной сети требуется увеличить количество элементов внутренней структуры для запоминания данных исключений. Дополнительное обучение нейронных сетей для модифицированной выборки показало удовлетворительное качество обученных сетей. Список литературы 1. Горбань А.Н. Обучение нейронных сетей. М.: СП «Paragraph», 1990. - 160 с. 2. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука, 1999. – 337 с. 3. Терехов С.А. Вводные лекции по теории и приложениям искусственных нейронных сетей (рукопись). Красноярск, 2000. - 69 с. 4. Жуков Л.А., Решетникова Н.В., Корчевская О.В. О формализации нейросетевой технологии решения прикладных задач на примере сетей с учителем и сетей Хопфилда // Научная сессия МИФИ-2005. VII Всероссийская научно-техническая конференция «Нейроинформатика-2005»: Сб. науч. тр. В 2-х частях. Ч.1. М.: МИФИ, 2005. С. 68 – 75. 5. Жуков Л.А. К вопросу о прагматике выражения императива в художественной литературе на современном английском языке и возможности автоматизации исследования // Красноярский государственный технический университет. - Красноярск, 2005. - 232 с., библ. 101. - Рус. - Деп. в ВИНИТИ 27.01.2005, № 114-В2005. УДК 004.032.26(06) Нейронные сети 154