Приложение технологии использования нейронных сетей с

ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3
Л.А. ЖУКОВ, Н.В. РЕШЕТНИКОВА
Сибирский государственный технологический университет
Красноярский государственный технический университет
zhukov_l@rambler.ru, sophya2002@mail.ru,
http://zhukov.wallst.ru
ПРИЛОЖЕНИЕ ТЕХНОЛОГИИ ИСПОЛЬЗОВАНИЯ
НЕЙРОННЫХ СЕТЕЙ С УЧИТЕЛЕМ
ДЛЯ ЛЕКСИКО-ГРАММАТИЧЕСКОЙ
КЛАССИФИКАЦИИ СЛОВ АНГЛИЙСКОГО ЯЗЫКА
Аннотация
В работе приведены особенности использования нейронных сетей с
учителем для задачи классификации на лексико-грамматические классы
слов английского языка. Исследовалась возможность определения принадлежности слов английского языка к части речи (существительное, глагол, прилагательное и т.п.). Для проведения экспериментов использовалось текстовое описание методики применения нейронных сетей с учителем [1], [3].
Цель работы: использовать технологию использования нейронных сетей с учителем для задачи лексико-грамматической классификации слов
английского языка.
В качестве входных данных была использована обучающая выборка из
2737 слов английского языка. Специфика используемого инструмента
нейронных сетей потребовала преобразования текстовой информации в
числовой вид (нейронные сети не работают с текстом). Дополнительно была собрана информация о частоте встречаемости каждого слова в оригинальных текстах [5]. Выходное поле – возможность использования слова в
качестве конкретной части речи – отдельное поле для каждого лексикограмматического класса (части речи). Значением данных полей был номер
класса – 1, если слово в контексте употребления может являться существительным (глаголом, прилагательным и т.п.), 0 – в противном случае.
Для каждой части речи были проведены отдельные эксперименты. Результаты обучения показали, что во многих случаях простые сети до конца не обучаются. Результаты неудовлетворительного качества обучения
сетей связаны со сложностью задачи – многие слова (примеры) требуется
заучить (зазубрить), что возможно только при достаточном размере сети.
Было предложено разделить исходную выборку на две части: примеУДК 004.032.26(06) Нейронные сети
150
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3
ры, по которым сети в чаще обучаются и примеры, по которым сети не
могут обучиться. Для анализа данных особенностей для каждого слова
поставлен в соответствие средний процент распознавания для всех сетей.
Дополнительно для каждого слова и сети вычислена правильность определения возможности принадлежности слова к части речи. Было вычислено общее количество этих значений и вычислен процент, показывающий
правильность определения сетью класса для каждого слова. Количество
примеров, по которым сети не обучаются, составляет не более 15 % от
общего количества слов в выборке. Выявлено, что сети меньшего размера
обучаются полностью на выборке, состоящей из примеров, средний процент правильности которых не меньше 70 %.
Высказана гипотеза о взаимосвязи частоты встречаемости слова в тексте и правильности определения нейронными сетями его возможности
принадлежать к части речи. Для данной выборки пока не подтверждена,
но и не опровергнута. Определенная зависимость есть только на определенных участках: максимальная частота встречаемости слова возрастает
только если процент правильности правильно определяющих класс слова
сетей составляет от 70-80 до 100 %. На других интервалах данной закономерности пока не выявлено. Кроме того, сама частота практически не
влияет на правильность определения класса слова.
Максимальные частоты встречаемости слов:
слово
any
as
who
made
on
them
he
had
but
in
the
next
частота относительная
1234
5862
1654
1080
7354
2602
15758
6100
5188
14330
46732
570
не существ.
существительное
не существ.
не существ.
существительное
не существ.
существительное
не существ.
существительное
не существ.
не существ.
% правильно определяющих класс
сетей
0
10
20
30
40
50
60
70
80
90
100
не глагол
0
часть речи (эталон)
УДК 004.032.26(06) Нейронные сети
151
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3
before
there
some
their
out
not
this
was
in
the
1276
2584
1888
2234
4101
6050
4553
11286
14330
46732
не глагол
не глагол
не глагол
не глагол
глагол
не глагол
не глагол
глагол
не глагол
не глагол
10
20
30
40
50
60
70
80
90
100
Максимальные частоты имеют предлог «in» и артикль «the», которые
правильно определяются более чем в 90 % сетей. Возможно, это связано с
их простой структурой и наиболее частой встречаемостью в текстах. При
изучении английского языка в этих словах обычно не возникает неуверенности и ошибок как в написании, определении части речи, так и в переводе.
Были определены слова, в которых сети в большинстве своем ошибаются. Слова, в которых все обученные сети ошибаются, что данное слово
является или не является глаголом:
слово
next
behind
cold
nine
lake
orange
blond
remote
bold
artist
aye
ace
частота относительная
570
451
257
91
68
47
40
23
12
12
4
2
часть речи (эталон)
не глагол
не глагол
не глагол
не глагол
не глагол
не глагол
не глагол
не глагол
не глагол
не глагол
не глагол
не глагол
часть речи (определяется сетью)
глагол
глагол
глагол
глагол
глагол
глагол
глагол
глагол
глагол
глагол
глагол
глагол
Слова, в которых все обученные сети ошибаются, что данное слово является или не является существительным:
УДК 004.032.26(06) Нейронные сети
152
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3
часть речи (этачасть речи (опрелон)
деляется сетью)
существительное
any
1234
не существ.
не существ.
существительное
under
640
не существ.
существительное
quite
608
не
существ.
существительное
gave
503
не существ.
существительное
else
339
не существ.
существительное
gone
313
не
существ.
существительное
lost
240
не существ.
существительное
seems
234
не существ.
существительное
live
169
не существ.
существительное
meant
153
не
существ.
существительное
onto
144
не существ.
существительное
older
107
не существ.
существительное
false
82
не существ.
arrest
81 существительное
не существ.
существительное
bare
73
не существ.
существительное
hers
58
не существ.
lovely
43 существительное
существительное
rich
36
не существ.
не существ.
atmosphere
32 существительное
не существ.
agony
24 существительное
не существ.
active
22 существительное
существительное
write
21
не существ.
не существ.
ankle
15 существительное
не существ.
baseline
7 существительное
не существ.
bakery
6 существительное
не существ.
attire
1 существительное
существительное
apt
1
не существ.
не существ.
almond
1 существительное
не существ.
android
0 существительное
существительное
aft
0
не существ.
Анализ слов, для которых сети неправильно определяют их принадлежность к части речи показал, что по структуре слова (окончаний и т.п.)
слово
частота
УДК 004.032.26(06) Нейронные сети
153
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3
некоторые из этих слов могут быть отнесены к другой части речи человеком, начинающим изучать английский язык. Таким образом, данные слова
нужно в некотором смысле заучивать и обращать на них внимание при
переводе текста. Данная особенность может быть использована при обучении курсу английского языка и позволит устранить часто встречаемые
неточности у начинающих. Это может частично помочь и разработчикам
программ-переводчиков для корректного перевода слов.
Эксперименты по обучению сетей показали, что для данной задачи и
выборки слов английского языка требуется структура большего размера,
чем для многих других задач. Частично это связано со сложностью взаимных связей между входными параметрами, особенностями лексики английского языка и спецификой самой предметной области (лингвистики).
В частности имеется ряд слов, которые являются исключениями из общего правила. Поэтому нейронной сети требуется увеличить количество
элементов внутренней структуры для запоминания данных исключений.
Дополнительное обучение нейронных сетей для модифицированной выборки показало удовлетворительное качество обученных сетей.
Список литературы
1. Горбань А.Н. Обучение нейронных сетей. М.: СП «Paragraph», 1990. - 160 с.
2. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука, 1999. –
337 с.
3. Терехов С.А. Вводные лекции по теории и приложениям искусственных нейронных
сетей (рукопись). Красноярск, 2000. - 69 с.
4. Жуков Л.А., Решетникова Н.В., Корчевская О.В. О формализации нейросетевой технологии решения прикладных задач на примере сетей с учителем и сетей Хопфилда // Научная сессия МИФИ-2005. VII Всероссийская научно-техническая конференция «Нейроинформатика-2005»: Сб. науч. тр. В 2-х частях. Ч.1. М.: МИФИ, 2005. С. 68 – 75.
5. Жуков Л.А. К вопросу о прагматике выражения императива в художественной литературе на современном английском языке и возможности автоматизации исследования //
Красноярский государственный технический университет. - Красноярск, 2005. - 232 с., библ.
101. - Рус. - Деп. в ВИНИТИ 27.01.2005, № 114-В2005.
УДК 004.032.26(06) Нейронные сети
154