МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ ЗАГРЯЗНЯЮЩИХ ВЫБРОСОВ НА ТРЕХСЛОЙНОМ ПЕРСЕПТРОНЕ

УДК 621.391
А.Ю. ПРОСКУРЯКОВ
A.Y. PROSKURYAKOV
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ
РЯДОВ ЗАГРЯЗНЯЮЩИХ ВЫБРОСОВ НА ТРЕХСЛОЙНОМ
ПЕРСЕПТРОНЕ
MATHEMATICAL MODEL OF TIME SERIES PREDICTION POLLUTING
EMISSIONS OF THREE-LAYER PERCEPTRONS
В целях создания автоматизированной системы мониторинга загрязняющих выбросов, была разработана модель прогнозирования временных рядов на трехслойном персептроне. Основными задачами для ее построения являются исследование и разработка рекомендаций по созданию математической модели обработки и прогнозирования временных рядов данных загрязняющих выбросов. За основу построения математической
модели взяты методы искусственных нейронных сетей и методы предварительной обработки
вейвлет-преобразованием.
Ключевые слова: временные ряды, прогнозирование, искусственные нейронные сети,
вейвлет-преобразование.
In order to create an automated system for monitoring pollutant emissions, a model was developed to predict
the time series of three-layer perceptron. The main objectives for its construction are to investigate and develop recommendations for the creation of a mathematical model of processing and forecasting of time series data of
pollutant emissions. The basis for the mathematical model taken methods of artificial neural networks and
pretreatment methods wavelet transform.
Keywords: time series, forecasting, artificial neural network, the wavelet transform.
Мониторинг загрязняющих выбросов включает в себя контроль и прогнозирование
концентраций вредных веществ. Наиболее оптимальным и достоверным методом прогнозирования является предсказывание на коротких интервалах.
Предсказание на коротких интервалах по небольшому скользящему окну данных реализуется как с помощью сетей прямого распространения, так и с помощью рекуррентных сетей или сетей с обратными связями. Сети прямого распространения, состоящие из нейронов
с безынерционными функциями активации, могут быть отнесены к классу статических сетей.
Возможности таких сетей определяются числом слоев, количеством нейронов в каждом слое
и в какой-то степени видом нелинейных функций активации [1, 2].
Структурная схема модели алгоритма предсказаний на коротких интервалах анализа
временного ряда с помощью нейронной сети прямого распространения приведена на рис.1.
Алгоритм
обучения
x(k)
W-фильтр
Ci(k)
Блок памяти
wjl(k),ejl,yj-1
wjl(k+1)
Ci(k-p)z-p
Нейронная
сеть
s(k+r)
Рисунок 1 - Модель прогнозирования с нейронной сетью прямого распространения
В соответствии со схемой на рис. 1, на вход W-фильтра (вейвлет-фильтрация) подается временной ряд отсчетов x(k). Аппроксимирующие коэффициенты Ci, полученные в ходе
вейвлет-разложения временного ряда x(k), поступают в блок памяти, который обеспечивает
формирование обучающей выборки в виде скользящего окна из N отсчетов Ci(k). Полученные на выходе нейронной сети (НС) отсчеты временного ряда y(j) сравниваются с реальными
значениями Ci(k) в блоке «Алгоритм обучения». Результат сравнения обеспечивает перерас-
чет коэффициентов весов Wjl , поэтому в ходе дальнейшего прогнозирования будет происходить постоянная подстройка весовых коэффициентов Wj.
При моделировании алгоритма прогнозирования по схеме с НС прямого распространения использовался многослойный персептрон, алгоритм которого представлен ниже.
Выходные значения нейронов при прямом проходе вычисляются согласно выражению
j 
  wT y
j11 j 1  w01 


j 
T
  w j 2 1 y j 1  w02 
yj 
 , j  1,2,..., n, y0  x0 .



  wT y
j
 w0mj 
jmj
j

1


Вычисление ошибок на каждом из нейронов осуществляется при обратном проходе по
сети:
e j 1  W j  j e j , j  n, n  1,...,2 , en   s n   d ,








s j  W jT y j 1  w j 0  s j1 , s j 2 ,..., s jmj T .
По вычисленным значениям ошибок, корректируются синаптические коэффициенты в
соответствии с выражениями:
w jl k  1  w jl (k )  h jl s jl e jl y j 1 , w j 0 k  1  w j 0 (k )   j e j ,

W j  w j1 w j 2  w jmj

 
  s 
 T s j 
1
 diag 
,
 
s j
h jl s jl 
 
 s jl
s jl
 s j ,1

 
 s j 2
s j ,2

 
 s jm j 
 ,
j
s j ,m j 

 
, где  s jl - функция активации.
В соответствии с алгоритмом, представленным выше, при прямом проходе вычисляются
выходные значения у каждого слоя нейронной сети. При обратном проходе, начиная с последнего слоя, производится расчет ошибок на каждом нейроне. На последнем этапе производится
коррекция синаптических весов. Составляющая W j представляет собой матрицу коэффициентов,  j диагональную матрицу частных производных, s jl – линейный выход нейрона l, j-ого
слоя, h jl – производная функции активации нейрона, m-число нейронов в слое.
На рис. 2 представлены графики зависимости ошибок обучения двухслойной, трехслойной и четырехслойной нейронных сетей от числа итераций обучения n при различных
значениях шага настройки  .
Рисунок 2 - Графики зависимости ошибки обучения e / x k от числа итераций обучения n при различных значениях шага настройки
от 0,2 до 0,9
Из графиков зависимостей ошибок обучения на рис.2 видно, что трехслойная нейронная сеть имеет лучшие характеристики погрешности обучения. На рис. 3 представлены трехмерные графики кривых зависимостей ошибок обучения от числа циклов q и числа нейронов
в сети m.
Рисунок 3 - Графики зависимости ошибки обучения от числа циклов q и числа нейронов m в сети при значениях шага настройки: а)   0,3 ; б)   0,9
Графики на рис. 3 показывают, что число циклов обучения нейронной сети может
находиться в пределах 1-3. Дальнейшее увеличение числа циклов существенно не увеличивает параметры обучения. Также из графиков на рис.3 “а” видно, что сеть для получения
удовлетворительных параметров обучения сеть должна содержать 50-80 нейронов. По графику “б” видно, что обучение сети с шагом настройки   0,3 позволяет получить лучшие
результаты. Т.о., результаты исследований показали, что модель прогнозирования с помощью нейронной сети прямого распространения должна реализовываться предпочтительно по
схеме трехслойного персептрона [3].
Выражения для вычисления аппроксимирующих и детализирующих коэффициентов
вейвлет-разложения первого уровня разложения имеют вид:
1
1
(1)
C1   u k    k   1 2t  k , d1   u k    k   1 2t  k  ,
p
p
где u(k)- значение величины отсчета,  k - флюктуационная составляющая отсчета,
1 2t  k  -скейлинг функция первого уровня разложения,  1 2t  k  -вейвлет первого уровня
разложения.
Аппроксимирующие и детализирующие коэффициенты более высоких уровней разложения вычисляются по следующим выражениям:
C i 1 
1
1
 C i   i 1 (2 i 1 t  k ) , d i 1   C i  i 1 (2 i 1 t  k ) .
p
p
(2)
Восстановление временного ряда осуществляется по формуле [4, 5]:
1
s k  d1  d 2  .. d nC n , где C n   C n1   n 2 n t  k .
(3)
p
С учетом (1), (2) и (3) математическая модель экспериментального временного ряда
при вейвлет-разложении до уровня n принимает вид[6,4]

n1

1
sk   u k    k   1 2t  k     Ci  i 1 2 i 1 t  k   C n1 n 2 n t  k  . (4)
p

 i 1


Реализуя обработку сигналов временного ряда путем вычисления аппроксимирующих
коэффициентов высоких уровней разложения, осуществляется обработка сигналов низкочастотной фильтрацией. Тем самым подавляются высокочастотные компоненты шумов и
флюктуаций.
На рис. 4 представлены результаты исследования АКФ исходного сигнала x(k) и аппроксимирующих коэффициентов Ci(k).







Рисунок 4 - Графики автокорреляционных функций
Как видно из рис.4, графики АКФ аппроксимирующих коэффициентов Ci(k) показывают увеличение времени корреляции при увеличении уровня вейвлет-разложения[4-6].
На рис.5 показаны результаты исследований зависимости ослабления    дисперсии
компонент шума временного ряда и соответственно уменьшения погрешности обучения
нейронной сети от уровня вейвлет-обработки сигналов входного временного ряда, где
   
2
ш
,W
2
ш
,вх
2
, ш
,W - дисперсия шумовых составляющих на выходе W-фильтра вейвлет-
обработки.
Рисунок 5 – Зависимость ослабления компонент шума временного ряда от уровня
разложения вейвлет-обработки
На рис.5 ‘а’ показана зависимость уменьшения результирующей ошибки обучения
нейронной сети от времени корреляции шумовых компонент; на рис.5 ‘б’ – зависимость изменения времени корреляции шумовых компонент временного ряда на выходе W-фильтра от
уровня вейвлет – разложения i аппроксимирующих коэффициентов Ci.
По графику зависимости ослабления ошибки обучения и нейронной сети (рис. 5 “а”)
видно, что наибольшее ослабление   4  5dB дисперсии компонент шума  2 и соответственно, наибольшее уменьшение результирующей ошибки обучения нейронной сети может
быть получено при увеличении времени корреляции компонент шума до значения
  5 10T .
По графику на рис. 5 “б”, зависимости времени корреляции шумовых компонент временного ряда данных концентраций выбросов от уровня вейвлет-разложения аппроксимирующих коэффициентов Ci можно отметить, что наибольшее увеличение времени корреляции шумовых компонент для   5  8T можно получить при вейвлет-разложении аппроксимирующих коэффициентов от 3 до 6 уровня. При C3   6T , при C6   8T . Таким образом, в результате проведенных исследований была разработана математическая модель
предварительной обработки вейвлет-преобразованием отсчетов временных рядов концентраций загрязняющих выбросов промышленного предприятия. Определена рекомендация, после
предварительной обработки подавать на ИНС в качестве входных сигналов аппроксимирующие коэффициенты шестого уровня вейвлет-разложения - С6.
Построение модели обработки и прогнозирования осуществляется по алгоритму
нейронной сети прямого распространения, представленного в таблице 1, с применением
трехслойного персептрона. Нейронная сеть в этом случае состоит из трех слоев, первый слой
содержит 64 нейрона, второй слой десять нейронов, третий слой также десять нейронов.
В качестве входных сигналов xk первого слоя ИНС используются аппроксимирующие
коэффициенты i-ого уровня вейвлет-разложения. В частности, при вейвлет-разложении до
шестого уровня по выражению (2, 3), на вход нейронной сети подаются аппроксимирующие
коэффициенты C6 k  . Таким образом, на вход первого слоя персептрона подается объем выборки в виде скользящего окна, состоящего из 64 отсчетов аппроксимирующих коэффициентов, полученных на 6-м уровне вейвлет-разложения, временного ряда концентраций x(k). При
этом обработка выборки C6 k  и обучение ИНС состоит из следующих этапов:
1. Определение выходов слоев ИНС (прямой проход). Алгоритм прямого распространения.
1.1. Определение выходов 1 слоя (результирующий вектор выходов первого слоя
y1r где r=1,2,…,64, содержит 64 значения, по числу нейронов в 1-м слое)




 y1    w1T,1  C 6  w10,1 
 1 

 y 2    wT  C  w1
6
1,2
0,2  ,
y1   1   


   

 y10    wT  C  w1
6
1,64
0,64 
 1  


где С – вектор аппроксимирующих коэффициентов, C6  C61 , , C664 
6
1.2. Определение выходов 2 слоя (результирующий вектор выходов второго слоя
y , r=1,2,…,10,содержит 10 значений, по числу нейронов во 2-м слое, и зависит от y1r ).
r
2






T
где y – вектор выходов первого слоя НС, y1  y11 ,, y110  .
 y1    w2T,1  C 6  w02,1 
 2 
 y 2    wT  C  w 2 
6
2, 2
0, 2  ,
y2   2   


   
 y10    wT  C  w 2 
6
2,10
0,10 
 2  
1
1.3. Определение выходов 3 слоя (результирующий вектор выходов третьего слоя
y , r=1,2,…,10, содержит 10 значений, по числу нейронов в 3-м слое, и зависит от y 3r ). Выходы последнего 3- го слоя соответствуют 10 предсказанным аппроксимирующим коэффициr
3
ентам 6 уровня вейвлет-разложения C6*r , где r=1,2,…,10.
 y1    wT  y 2  w 3   C *1 
3,1
0,1   6 
 3  
 y 2    wT  y  w 3   C *2 
2
3, 2
0, 2    6  ,
y3   3   

   





 y10    wT  y  w 3   C *10 
2
3,10
0,10   6 
 3  







(5)

T
где y2 – вектор выходов второго слоя НС, y 2  y12 ,, y10
, C6*r - результат предска2
заний на r - периодов временного ряда.
2. Определение ошибок (обратный проход). Алгоритм обратного распространения
ошибки


T
e j 1  W j  j e j , j  n, n  1,.2, en   sn   d , s j  W jT y j 1  w j 0  s j1 , s j 2 , , s jm j
3. Коррекция синаптических коэффициентов. Алгоритм обратного распространения
ошибки [3]
w jl k  1  w jl k   h jl s jl e jl y j 1 , w j 0 k  1  w j 0 k    j e j
 

W j  w j1
 
 s jl
  s   s 
 s jmi  
 T s j 
j1
j2
.
w j 2  w jm ,
 diag 

  j , h jl s jl 
 s


s
s j

s

s
jl
j ,1
j ,2
j ,m j

 


После выполнения этапа прогнозирования значений временных рядов концентраций
осуществляется восстановление временного ряда в соответствии с выражением (4) в виде:
при i  6 , sk   d1  d 2  ..  d 6*r  C6*r ,
где
(6)
d 6*r  C5  C6*r .
С учетом (6) математическая модель экспериментального временного ряда при
вейвлет-разложении до уровня i  6 может быть представлена в виде:

n4

1
(7)
sk  r   u k    k   1 2t  k     Ci   i 1 2 i 1 t  k   C5  C6*r  C6*r  .
p



i

1




На основании математической модели обработки и прогнозирования, разработанной
выше, становится возможной разработка структурной схемы реализации модели канала обработки и прогнозирования отсчетов временного ряда концентраций загрязняющих выбросов, полученного на выходе одного из датчиков системы контроля. На рис.6 представлена
структурная схема модели канала прогнозирования.

 

Рисунок 6 - Структурная схема реализации модели канала прогнозирования
Как видно, из структурной схемы, на рис. 6., информация, снятая с выхода одного из
датчиков определения наличия загрязняющего вещества в окружающей среде с соответствующим уровнем концентрации, формирует временной ряд отсчетов. Таким образом, входные
сигналы в виде временного ряда x(k) подаются на W-фильтр предварительной обработки
вейвлет-преобразованием. В W-фильтре формируются аппроксимирующие коэффициенты Ci
и детализирующие коэффициенты di, i-ого уровня вейвлет-разложения. Выделенные аппроксимирующие коэффициенты 6-ого уровня(C6(k)) подаются на вход 64-разрядного регистра
сдвига, который формирует выборку входных сигналов нейронной сети в виде движущегося
окна данных из 64 отсчетов, сформированных в w-фильтре. Детализирующие коэффициенты
до 5-ого уровня(d1,d2,…,d5) после пороговой обработки алгоритмом сглаживания, поступают
на блоки восстановления выходного временного ряда прогноза. Детализирующие коэффициенты шестого уровня разложения подаются на r-тый блок восстановления, где r в данном
случае число периодов прогноза.
Выходные сигналы с 10 выходов нейронной сети в виде выходных аппроксимирующих коэффициентов C6*r (где r-номер выхода нейронной сети, как и число периодов прогноза r  1 10) также поступает на r-тый блок восстановления выходного временного ряда
прогноза. На выходе r-блоков восстановления формируется выходные сигналы прогноза в
виде временного ряда s(k+rT), где rT-время прогноза.
Также в структурной схеме представлено формирование выходного сигнала s(k) в виде временного ряда в соответствии с выражением восстановления
n4

1
(8)
sk   u k    k   1 2t  k    Ci  i 1 2 i 1 t  k  C5  C 6   C 6  .
p 
i 1

Выражение восстановления выходного временного ряда (8) и выражение восстановления временного ряда прогноза (7) получены после вейвлет-обработки в W-фильтре, который существенно ослабляет флуктуации и компоненты шума в входном сигнале. Таким образом, получены очищенные от помех выходной временной ряд в реальном времени и выходной временной ряд прогноза с более низкой погрешностью представления информации о
загрязняющих выбросах в устройствах отображения и в системах принятий решений.


СПИСОК ЛИТЕРАТУРЫ
1. Галушкин А.И. Нейронные сети. Основы теории- М.: Горячая линия – Телеком,
2010.-480стр.
2. Проскуряков А.Ю. Ермолаев В.А. Нейрокомпьютерные системы. учебное пособие. Муром, 2012г.- Муромский полиграфический центр МИВлГУ. – 110 с.
3. Проскуряков А.Ю Автоматизированный анализ и обработка временных рядов
данных о загрязняющих выбросах в системе экологического контроля //А.А. Белов, Ю.А.
Кропотов, А.Ю. Проскуряков/Информационные системы и технологии, 2010. − №6(62). − С.
28 – 35.
4. Проскуряков А.Ю., Белов А.А., Кропотов Ю.А. Анализ и обработка экспериментальных временных рядов в системах автоматизированного контроля. Proceedings of 20 th
International Crimean Conference “Microwave & Telecommunication Technology”. Sevastopol,
Ukraine. 2010. – V.1. – P.308-309.IEEE Catalog Number CFP10788.
5. Проскуряков А.Ю. Сглаживание временных рядов на основе вейвлетпреобразования в системах автоматизированного экологического мониторинга. // А.А. Белов,
А.Ю. Проскуряков /Методы и устройства передачи и обработки информации, 2010. −
№1(12).−С. 21-24.
6. Проскуряков А.Ю. Вейвлет-преобразование при обработке временных рядов в системах автоматизированного контроля.// А.А. Белов, Ю.А. Кропотов, А.Ю. Проскуряков/ В
мире научных открытий, - 2010. − № 6.1. − C. 23-25.
Проскуряков Александр Юрьевич
Муромский институт (филиала) ФГБОУ ВПО «Владимирский государственный университет имени
Александра Григорьевича и Николая Григорьевич Столетовых», г. Муром,
старший преподаватель кафедры «Электроника и вычислительная техника»,
Тел.: +7(49234) 77272,
E-mail: kaf-eivt@yandex.ru.