Структурно-функциональная организация нейронных сетей в

ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Ю.И. ЗОЗУЛЯ
Уфимский государственный авиационный технический университет,
ОАО «Нефтеавтоматика», Уфа
zozulya@nefteavtomatika.ru
СТРУКТУРНО-ФУНКЦИОНАЛЬНАЯ ОРГАНИЗАЦИЯ
НЕЙРОННЫХ СЕТЕЙ В ПРОМЫШЛЕННЫХ СИСТЕМАХ
ОБРАБОТКИ ИНФОРМАЦИИ
Рассматривается задача выбора структуры и функций промышленной
системы обработки информации, включающей нейросетевые анализаторы
сигналов. Система обработки информации создается на основе
сообщества нейронных сетей, целевая функция которого связана с
целевыми функциями нейронных сетей анализаторов сигналов. С
помощью нейросетевых анализаторов реализуется мониторинг состояния
такого сложного технического объекта, как инженерная сеть
нефтепромысла.
Введение
В инженерной практике при определении структурно-функциональной
организации (спецификации) нейронных сетей в составе промышленных
систем обработки информации (СОИ) нейросетевые средства (методы,
алгоритмы, программные модули) обычно дополняются средствами
традиционных информационных технологий [1, 2]. При этом не ставится
и не решается проблема системной интеграции нейронных сетей
анализаторов
СОИ
с
поэтапным
развитием
их
функций,
эволюционирующих в процессе структурированного и взаимосвязанного
обучения нейронных сетей, что ограничивает интеллектуальные
возможности промышленных СОИ [3].
В то же время достигнутый уровень знаний о структурно-функциональной организации сообществ естественных нейронных сетей позволяет
развивать бионический подход к созданию интеллектуальных нейросистем,
подобных естественным аналогам [4, 5] и наращивать интеллектуальные
функции СОИ [3].
В данной работе рассматривается концепция интеграции нейронных
сетей СОИ, основанная на многоуровневом управлении процессами
обучения нейронных сетей анализаторов сигналов разной модальности.
УДК 004.032.26(06) Нейронные сети
163
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
При описании структуры и функций промышленной СОИ, в основе
конструкции которой лежат нейронные сети, в качестве теоретической
базы используется теорема А.Н. Колмогорова [6], а также теория
обучающихся систем, развитая Я.З. Цыпкиным [7], и теория
функциональных систем П.К. Анохина [8].
Структура и функции нейросетевой СОИ
Организация среды нейросетевой СОИ находит отражение как в
структуре ее входных Inx и выходных Outx сигналов разных модальностей
x   , так и в структуре используемых обучающих выборок (Inx, Outx).
Внутренняя организация анализаторов СОИ определяется структурой
связей между элементами их нейронных сетей, с учетом способа их
изменения в процессе взаимодействия с внешней средой, и
характеризуется:
1) перечнем нейронов в составе отдельных нейронных сетей, видами
их функций активации и значениями их порогов (смещений);
2) структурой орграфа связей между нейронами, входящими в состав
отдельной нейронной сети или в состав разных сетей;
3) начальными значениями весов этих связей и параметрами правил их
изменения в процессе обучения нейронных сетей.
До обучения начальная организация нейронных сетей автономных
анализаторов входных сигналов СОИ может быть описана
функциональным уравнением [3]
(1)
  ()  In x ; x   ,
где
  ( x1 , x2 ,..., xnx )T
– вектор активности нейронов;
nx
– их
количество; ( ) – матричное представление нейронных сетей
анализатора модальности x.
В частности, в этой форме может быть представлена сеть Колмогорова
[5],
реализующая
непрерывную
функцию
y  f ( x1 ,..., xn ) ;
y, x1 ,..., xn [0,1] при
0 0 0
 x
 In 
 
 
x
   y ; In   0 ;   0 0 1 ,
z
0
2 0 0
 
 
(2)
Соответственно
УДК 004.032.26(06) Нейронные сети
164
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
T
y  1 ( z); z  ( z1 ,..., z 2 n 1 ) ;
(3)
z  2 ( x); x  ( x1 ,..., xn )  In,
(4)
T
где 1  1 ...  2n1 – матрица внешних функций сети Колмогорова;
 11
2 
...
 2 n11
...
 1n
...
... – матрица ее внутренних функций.
...  2 n1n
После M этапов обучения обобщенная коннекционистская модель
обработки информации в сетях анализатора сигналов модальности x
может быть представлена с учетом (1) с помощью целевой функции
J x  J Mx () [6], характеризующей ее динамическую ориентацию.
Эквивалентной динамической ориентацией обладает сеть с
Nx
элементами ( N x  nx ) [3, 9], имеющая целевую функцию
M
J 
x

J 0x
p J
x x
i i
,
(6)
i 1
pix 
J ix 
Nx
b
l 1
Nx Nx
ix
l xl ,
 a
i  1, M ,
ix
jk x j xk ,
i  1, M ,
(7)
(8)
j 1 l 1
x
x
где J 0 – целевая функция анализатора до начала процесса обучения; pi –
признак актуальности i-го ансамбля, сформированного в ассоциативной
памяти анализатора на i-м этапе обучения; blix , l  1, N x – образ активности
нейронов анализатора на этом этапе; a ixjk , j, k  1, N x – следы, оставленные
обучающими сигналами в ассоциативной памяти анализатора.
На рис. 1 показана структура анализатора сигналов модальности x,
реализующего обобщенную коннекционистскую модель обработки
информации. В его составе имеется блок предварительного анализа
(Пр.Аx), обеспечивающий фильтрацию входных сигналов и
сопоставление их со следами сигналов, хранящихся в ассоциативной
памяти, и блок последующего анализа (Посл.Аx), формирующий образы
объектов среды.
УДК 004.032.26(06) Нейронные сети
165
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Изменение целевой функции анализатора (6) на i-м этапе обучения
состоит в дополнении ее квадратичной формой J ix и образом
blix , l  1, N x , описывающим активность нейронов анализатора на данном
этапе.
Системная интеграция анализаторов сигналов разной модальности
достигается при обучении их нейронных сетей в единой среде СОИ. При
этом схемы обработки сигналов, реализуемые нейронными сетями
отдельных нейросетевых анализаторов, объединяются в единую схему
более высокого порядка, характерную для сообщества нейронных сетей.
Выбранный образ
Посл. Ax
Кратковременная
память
Долговременная
память
Активные
образы
Пассивные
образы
Сравнение
Признаки актуальности
x
Inx
p
Фильтрация
x
i
Ассоциативная
память
Out x
Пр. Аx
Рис 1. Структура анализатора
УДК 004.032.26(06) Нейронные сети
166
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Лог. А
Посл. Axy
Посл. Ax
Посл. Ay
Инт.А
Inx
Iny
А.- К. М
Пр. Ax
2
Пр. Ay
2
Координационные механизмы
1
Рис. 2. Структура сообщества нейронных сетей
Сообщество имеет собственную целевую функцию E, реализуемую
интегративным анализатором Инт. А (рис. 2). По окончании T циклов
системной интеграции функция E содержит (T+1) компоненту:
T
E  E 0   Ps E s ;
Ps 
B
z
(9)
s1
s
z
E z , s  1, T ;
(10)
E s   Axys E x E y , s  1, T ;
(11)
E x  xT ( J x ) , x   ,
(12)
x , y
при
0
где E – целевая функция сообщества до начала процесса системной
s
интеграции; E – ее s-я компонента; Ps – признак полезности s-й
компоненты, сформированной в s-м цикле процесса интеграции
нейронных сетей сообщества; E x , E y – представления целевых функций
x
y
анализаторов сигналов модальности x и y соответственно; s –
Axy
J ,J
частный коэффициент связи между представлениями целевых функций
этих анализаторов, полученный в s-м цикле процесса интеграции; xT –
УДК 004.032.26(06) Нейронные сети
167
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
нелинейный функционал, с помощью которого описывается процесс
представления целевой функции J x после T-го цикла интеграции
нейронных сетей СОИ; B zs – коэффициент, характеризующий влияние
выбора сообществом представления E z
анализатора сигналов модальности z  
полезности Ps .
целевой функции J z
на значение признака
Блоки специализированных анализаторов Пр.Аx, x   совместно с
координационными механизмами эффекторов нейросетевой СОИ
образуют низший уровень ее организации (рис. 1, 1 – первичная связь
СОИ со средой; 2 – вторичная обратная связь). На этом уровне
взаимодействие
между
специализированными
анализаторами
осуществляется с помощью анализаторно-координационных механизмов
(А.-К.М) [10]. Связь между блоками Посл.Аx, x   реализуется блоком
последующего анализа многомодальных образов (Посл. Axy, x, y   ),
вместе они образуют средний уровень организации нейросетевой СОИ.
Блоки А.-К.М и Посл. Axy входят в состав интегративного (эмотивного
[11]) анализатора СОИ.
Функции анализаторов контролируются на высшем уровне
организации СОИ блоком Лог. А, который обеспечивает логический
анализ связей между образами объектов среды, имеющими разную
модальность.
Взаимодействие интегративного анализатора со специализированными
нейросетевыми анализаторами происходит путем восприятия текущих
x
значений целевых функций J отдельных сетей сообщества, в виде их
представлений E x , x   , а также путем встречного формирования
регулирующих воздействий. Динамика активности нейронных сетей
сообщества и процесс их системной интеграции формируются с учетом
этих регулирующих воздействий.
Осуществляя
непрерывные
регулирующие
воздействия,
интегративный анализатор обеспечивает координацию поисковых
движений специализированных анализаторов в пространстве их
состояний (от известных равновесных состояний к новым неизвестным
состояниям и обратно). При логической обработке образов объектов
среды, имеющих разную модальность, блоком Лог. А оцениваются
показатели степени доверия/недоверия к результатам работы
соответствующих
специализированных
анализаторов,
которые
используются как дискретные регулирующие воздействия, направленные
УДК 004.032.26(06) Нейронные сети
168
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
на установление связей соответствия (12) между целевыми функциями
анализаторов сигналов разной модальности и их представлениями в
интегративном анализаторе.
Анализаторы и эффекторы сообщества нейронных сетей объединяются
в интеллектуальные нейросистемы (функциональные системы по
П.К. Анохину [8]), которые согласуются со средой СОИ [3]. При этом
отдельная интеллектуальная нейросистема понимается как прикладная
подсистема СОИ, накапливающая опыт построения адекватных образов
объектов и процессов в определенной предметной области в условиях
неполноты и противоречивости исходной информации для достижения
конечных результатов, определенных на стадии составлении
спецификаций нейронных сетей анализаторов СОИ. Иерархия
разномодальных
образов
определяет
иерархию
частных
интеллектуальных нейросистем СОИ.
Составление спецификаций нейросетевых анализаторов СОИ
Для получения спецификаций анализаторов нейросетевой СОИ,
обеспечивающих мониторинг состояния сложного технического объекта
(СТО) на основе анализа сигналов модальностей x   , необходимо:
1. Составить основные уравнения, описывающие СТО и средства его
автоматизации, аппроксимировав в нейросетевом базисе нелинейные
зависимости, характерные для отдельных элементов данного объекта.
2. Сформировать схемы нейросетевых моделей, позволяющих путем
фильтрации и преобразования сигналов соответствующей модальности
x   оценить множество невязок системы уравнений, описывающих СТО.
3. Составить спецификации блоков фильтрации и ассоциативной
памяти специализированных анализаторов сигналов соответствующих
модальностей, реализующих сформированные схемы нейросетевых
моделей, и организовать управление процессами функционирования и
обучения этих блоков с использованием признаков актуальности
соответствующих образов состояния СТО и с учетом задаваемых извне
показателей степени доверия/недоверия к элементам его нейросетевой
модели.
4. Обеспечить с помощью интегративного анализатора системную
интеграцию специализированных нейросетевых анализаторов сигналов
разной модальности после их конфигурирования, управляя процессами
совместного
обучения
нейронных
сетей
специализированных
анализаторов в соответствии с целевой функцией, характеризующей
УДК 004.032.26(06) Нейронные сети
169
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
эффективность функционирования СТО, учитывая при этом ограничения
на величины невязок в уравнениях, описывающих поведение СТО.
5. Описать и реализовать в нейросетевом базисе (в виде блока
логического анализа состояния СТО) правила, с помощью которых
определяются показатели степени доверия/недоверия к компонентам
нейросетевых моделей СТО, и организовать с их помощью управление
процессами обучения нейронных сетей анализаторов СОИ.
Представление целевых функций нейросетевых анализаторов в виде
композиций кубических и квадратичных форм позволяет реализовать
СОИ в виде множества простых нейронных сетей, объединенных в
сообщество с единой целевой функцией.
УС1 ГЗУ 3с
УС2 ГЗУ 3с
ГЗУ 3с
УУН
УС3 ГЗУ 3с
УС4 ГЗУ 3с
СТХУ
УС5 ГЗУ 3с
КНС 2с
В1
ВРБ
Отв ДНС10с
В2
Отв ДНС20с
Отв ДНС2с
Рис. 3. Инженерная сеть нефтепромысла
На основе описанного подхода разработан новый способ анализа и
диагностики состояния инженерных сетей нефтепромысла (рис. 3) с
нейросетевой коррекцией характеристик средств измерения параметров
потоков [3]. Нейросетевые модели инженерных сетей реализуются в среде
программного комплекса диагностики (ОАО «Нефтеавтоматика»),
который включает в себя базу данных реального времени, базу
справочных данных, а также модули расчета дисбалансов, диагностики и
адаптации. На рис. 4 показаны связи между этими модулями на примере
анализа баланса потоков сети нефтепромысла, представленной на рис. 3
[12].
Y
X
Dis
1
y1
y2
x10
x20
x0
Dis
доп
D
F
Q
D
q51
dis51
УДК 004.032.26(06)
Нейронные сети
q41 dis1
4
q40
dis40

170
D4F
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
Рис 4. Связи между модулями программного комплекса диагностики
При определении спецификации нейросетевой СОИ каждому j-у ребру
графа отдельного участка инженерной сети нефтегазодобычи
приписывается параметр расхода потока x j и результат его измерения
y j , а каждому i-у узлу – величина притока (потерь, утечек) qi и
результат измерения давления (напора), если соответствующие измерения
выполняются.
Верхние индексы параметров, определяемых с помощью модуля
расчета дисбалансов, имеют следующие значения: 0 – нефтегазовая смесь
в целом; 1 – нефть; 2 – сточная вода.
Нейронные сети, которые входят в состав модуля расчета дисбалансов
потоков и осуществляют фильтрацию и преобразование сигналов
определенной модальности, поступающих от средств измерения
параметров объектов нефтедобычи, генерируются на основе графа
инженерной сети и характеристик используемых средств измерения. Они
УДК 004.032.26(06) Нейронные сети
171
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
дополняются нейронными сетями модуля диагностики, оценивающего
показатели степени доверия/недоверия к моделям узлов и к полученным
результатам измерений. Эти показатели используются при управлении
скоростями обучения компонентов моделей узлов инженерной сети или
средств измерения параметров объектов нефтедобычи.
Интеграция нейронных сетей анализаторов данных реального времени,
характеризующих состояние раздельно обслуживаемых участков
инженерной сети, осуществляется путем управления модулями адаптации
этих анализаторов. При этом скорость обучения нейронных сетей
анализаторов регулируется с учетом показателей эффективности
нефтедобычи, учитывающих затраты на добычу нефти, а также условные
ее потери из-за наличия недопустимых дисбалансов потоков в узлах
инженерной сети.
Выводы
1. Изложена концепция структурно-функциональной организации
нейронных сетей промышленной СОИ на основе сообщества нейронных
сетей, обладающего собственной целевой функцией, функционально
связанной с целевыми функциями нейронных сетей отдельных
специализированных нейросетевых анализаторов СОИ.
2. Представлена обобщенная коннекционистская модель обработки
информации сообществом нейронных сетей анализаторов СОИ,
основанная на моделях простых нейронных сетей с квадратичными и
кубическими целевыми функциями.
3. Применительно к инженерным сетям нефтегазодобычи описана
методика моделирования сложных технических систем в нейросетевом
базисе, а также технология реализации нейросетевых анализаторов СОИ,
которая может быть использована в промышленности для составления
спецификаций анализаторов сигналов в составе интеллектуальных
автоматизированных систем реального времени, обеспечивающих
управление технологическими и производственными процессами [3].
Список литературы
1. Bigus J.P. Data mining with neural networks. – 1996. – 220 p.
2. Бахтадзе Н.Н. Виртуальные анализаторы (идентификационный
подход) // Автоматика и телемеханика. 2004. №11. С. 3-24.
УДК 004.032.26(06) Нейронные сети
172
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 1
3. Зозуля Ю.И., Кабальнов Ю.С. Метаинтеграция нейронных сетей в
интеллектуальных автоматизированных системах реального времени.
Уфа: УГАТУ, 2008. 229 с.
4. Редько В.Г. Модели адаптивного поведения – биологически
инспирированный подход к искусственному интеллекту // Искусственный
интеллект и принятие решений. 2008. № 2. C. 11-23.
5. Зозуля Ю. И. Интеллектуальные нейросистемы. Научн. серия
«Нейрокомпьютеры и их применение». Кн. 12. М.: Радиотехника, 2003. 144
с.
6. Колмогоров А. Н. О представлении непрерывных функций многих
переменных суперпозицией функций одной переменной и сложением //
ДАН СССР. 1957. Т. 114. №5. С. 953 – 956.
7. Цыпкин Я. З. Основы теории обучающихся систем. М.: Наука,
1970. 251 с.
8. Анохин, П. К. Узловые вопросы теории функциональной системы.
М.: Наука, 1980. 197 с.
9. Ньюком Р. У. Системы нелинейных дифференциальных уравнений.
Канонические многомерные представления // ТИИЭР, 1977. Т. 65. №6.
С. 138 – 145.
10. Поляков Т. И. О принципах нейронной организации. М.: МГУ, 1965.
120 с.
11. Конорски Ю. Интегративная деятельность мозга. М.: Мир, 1970.
375 с.
12. Системная интеграция нейросетевых анализаторов при диагностике
состояния инженерных сетей / Ю. И. Зозуля, А. А. Жильцов, Ю. С.
Кабальнов // Вестник УГАТУ: науч. журн. Уфимск. гос. авиац. техн. ун–та.
Сер. Управление, информатика и выч. техника. 2009. Т. 12 (29). С. 32-36.
УДК 004.032.26(06) Нейронные сети
173