Сегментация векторных временных рядов на основе

ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
СУКОНКИН И.Н., МИШУЛИНА О.А.
Национальный исследовательский ядерный университет «МИФИ»,
Москва
insukonkin@mephi.ru, mishulina@gmail.com
СЕГМЕНТАЦИЯ ВЕКТОРНЫХ ВРЕМЕННЫХ РЯДОВ
НА ОСНОВЕ САМООБУЧАЮЩЕГОСЯ КОМИТЕТА
НЕЙРОННЫХ СЕТЕЙ
В работе рассмотрена задача разбиения векторных временных рядов
на сегменты, каждый из которых принадлежит одному из ограниченного
набора заранее не определенных классов. Для решения задачи предложен
метод, основанный на прогнозировании эпизодов временного ряда, принадлежащих одному сегменту. Метод использует комитет многослойных
персептронов. Предложена процедура обучения комитета без учителя и
разработана методика его тестирования. Метод опробован на модельных
данных и результатах протоколирования биологических экспериментов с
лабораторными животными.
Ключевые слова: векторный временной ряд, сегментация, комитет
нейронных сетей, самообучение, прогностическая модель
Введение
В настоящее время, в связи с массовым использованием автоматизированных средств регистрации информации, объем данных, которые необходимо обрабатывать, существенно возрос. Такой эффект наблюдается во
всех областях науки и техники: экспериментальной физике, экономике,
медицине, биологии и др. Для эффективного решения задач анализа
больших объемов динамических данных необходимо понижение их размерности, которое может быть достигнуто с помощью сегментации временных рядов. При исследовании временных рядов, зарегистрированных
в процессе функционирования динамических систем, методы сегментации
позволяют также построить их обобщенное описание.
Под сегментацией временного ряда понимается его разбиение на такие временные фрагменты (сегменты), в которых он обладает некоторыми
постоянными свойствами (статистическими, информационными или другими характеристиками) или с достаточной точностью описывается одной
из конечного числа математических моделей. Каждому сегменту ставится
в соответствие определенный вектор характеристик или математическая
УДК 004.032.26(08) Нейронные сети
1
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
модель из фиксированного набора, определяющего типы сегментов. Собственно типы сегментов обычно называются эталонами. В результате
сегментации временной ряд измерений заменяется последовательностью
сегментов (границ временных интервалов) и их типов.
В современной литературе рассмотрены многочисленные практические примеры использования методов сегментации временных рядов: для
выявления режимов функционирования сложных агрегатов [1], для выделения в сигналах стационарных участков (с дальнейшей их классификацией) [2], с целью осуществления прогноза нестационарных данных [3] и
пр.
Методы сегментации различаются, с одной стороны, по набору признаков исследуемых данных, а с другой – по способу поиска их эталонных
значений или моделей. Признаки выбираются исходя из природы временного ряда. Так, например, для аудио данных используются коэффициенты
спектральных разложений [4, 5], для экономических временных рядов
широко применяются коэффициенты линейных моделей [6] и т.д.
Для поиска эталонов (типов сегментов), соответствующих обрабатываемым данным, применяют такие методы, как сегментация через кластеризацию [7], сегментация через обучение и самообучение моделей (метод
максимального правдоподобия [8], обучение нейросетей, генетические
алгоритмы [9]). Эти методы используют квази-постоянную модель сегментов, что оправдано при необходимости построения их интерпретации.
Но использование подобных моделей накладывает существенные ограничения на представление сложных по динамике фрагментов временного
ряда, для которых характерны не постоянные значения признаков, а типовые траектории их изменения.
В работе предложен метод сегментации, ориентированный на векторные временные ряды со сложной динамикой, но достаточно плавным изменением признаков во времени. Каждый тип сегмента представляется
многослойным персептроном заданной архитектуры и определенными значениями синаптических коэффициентов. Разработана процедура настройки
эталонных нейросетевых моделей, предложен принцип их тестирования и
проведено исследование метода на модельных и натурных данных.
Постановка задачи сегментации векторного
временного ряда и принцип ее решения
Рассматривается векторный временной ряд (ВВР), полученный в результате измерений переменных некоторой динамической системы:
X (t )  ( X 1 (t ), X 2 (t ),..., X N (t )), X (t )  N , t 1, T , где t – дискретное время,
2
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
T – длительность наблюдений. Математическая модель системы неизвестна. В каждый момент времени система может находиться в одном из режимов функционирования, который сохраняется на некотором интервале
времени (сегменте). Число типов сегментов задано и равно K.
На каждом интервале времени  данным соответствующего эпизода Xτ
временного ряда соответствует некоторая динамическая модель. Например, при использовании кусочно-линейной модели она характеризуется
вектором
где
a()  (a1 (), a1 (),..., aN ()),
C()  (a(), b()) ,
b()  (b1 (), b1 (),..., bN ()) . При этом значения временного ряда линейно
аппроксимируются: X i (t )  ai () t  bi (), t   , i  1, N , . Для кусочнолинейной модели вводятся эталонные значения вектора характеристик
C (k ) , где k – номер режима (типа сегмента), k  1, K .
В этой работе используется нейросетевая модель данных, которая
представлена персептроном заданной архитектуры. Персептроны Pk ,
k  1, K , отличающиеся настройкой синаптических коэффициентов, соответствуют динамике системы в разных режимах ее функционирования.
Требуется найти последовательность непересекающихся временных
интервалов (сегментов)   ( j , j  1, M ) , полностью накрывающих временной ряд, и значения синаптических коэффициентов персептронов Pk ,
k  1, K , таким образом, чтобы оптимизировать точность представления
временного ряда нейросетевой сегментной моделью.
В отличие от общепринятой практики построения аппроксимационных
моделей сегментов, в работе предлагается использовать прогностические
модели, реализуемые на многослойных персептронах Pk , k  1, K . Прогностическая модель обучается по эпизодам временного ряда, зарегистрированным на временных интервалах заданной длины L. Предполагается,
что длина эпизода L достаточна для проявления закономерности динамики в любом из K режимов работы системы и в то же время не настолько
велика, чтобы накрывать два или более сегментов разных типов. Значение
L выбирается, исходя из априорной информации о содержании обрабатываемых данных. Если на текущем эпизоде система функционировала в
режиме k, то ошибка прогноза, полученного при помощи персептрона Pk ,
меньше чем ошибка прогноза, полученного при помощи любой другой из
K прогностических моделей.
УДК 004.032.26(08) Нейронные сети
3
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Ошибка прогностической модели при обработке одного эпизода временного ряда вычисляется как сумма квадратов отклонений выходов персептрона от наблюдаемых в реализации прогнозных значений по всем
координатам вектора X (t '  Lpred ) , где t ' – правая граница временного
интервала, L p red – время прогноза. Ошибка представления сегмента типа k
прогностической моделью на всей реализации определяется как средне2
квадратическая ошибка  k прогноза всех эпизодов временного ряда,
накрывающих сегменты типа k. В качестве критерия оптимальности представления временного ряда нейросетевой сегментной моделью может рас2
сматриваться минимизация показателя max ( k , k  1, K ) .
k
Алгоритмические аспекты реализации метода сегментации ВВР
При описании процедуры прогнозирования значений ВВР будем использовать параметры, приведенные на рис. 1: inputs – значения векторного временного ряда, которые подаются на входы нейронной сети; outputs –
значения векторного временного ряда, которые необходимо спрогнозировать при помощи НС; Lin p – ширина временного интервала, на котором
лежат значения, подающиеся на вход НС; Lo u t – ширина временного интервала, на котором лежат прогнозируемые значения; cinp – ширина временного интервала между сечениями ВВР, подающимися на входы прогностической модели; cout – ширина временного интервала между значениями ВВР, которые будут прогнозироваться; L p red – время прогноза, рассматриваемое от последнего измерения сигналов inputs до первого среди
спрогнозированных значений outputs.
Рис. 1. Схема расположения эпизода временного ряда и прогнозируемых
значений
4
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Кроме этих обозначений, введем ninp – число значений ВВР, подающихся на входы прогностической модели и nout – число прогнозируемых
значений ВВР. Тогда число входов прогностической модели будет равно
minp  ninp  N , а число выходов – mout  nout  N .
Для сегментации ВВР строится комитет из K прогностических моделей, каждая из которых соответствует одному режиму функционирования
динамической системы. Пусть на текущем шаге решается вопрос об отнесении момента времени t к сегменту одного из K типов. Рассматриваются
два эпизода ВВР длиной L, центры которых приходятся на моменты времени t и t+1. Обозначим их как episode(t ) и episode(t  1) соответственно.
Из этих эпизодов подготавливаются данные для прогностических моделей
согласно схеме, приведенной на рис. 1 (т.е. tcur  t и tcur  t  1 ). Момент
времени t будет отнесен к сегменту типа k * , если прогностическая модель с номером k * дает наилучший прогноз значений ВВР (по сравнению
с другими K–1 моделями).
Если прогностическая модель с номером k * дает наилучший прогноз
как для episode(t ) , так и для episode(t  1) , то все моменты времени, принадлежащие интервалу [t , t  L / 2] будут отнесены к сегменту типа k * , а
процесс сегментации перейдет к рассмотрению момента времени
t  L (моменты времени, принадлежащие интервалу (t  L / 2, t  L) , будут
отнесены к тому же типу, что и момент времени t  L ).
Для обучения персептронов Pk , k  1, K , подготавливаются примеры
обучающей выборки, сформированные на основе случайно выбранных
фрагментов ВВР длины L (рис. 1). Параметры всех K прогностических
моделей (весовые коэффициенты нейронных сетей (НС)) инициализируются одинаковыми небольшими положительными значениями. Каждый
пример x( p )  ( x1( p ) , x2( p ) ,..., xn( p) ) из обучающей выборки подается на все
inp
персептроны Pk , k  1, K , и оценивается величина ошибки прогноза,
которую допускает каждый из них. Сеть, функционирующая на рассматриваемом текущем примере с наименьшей ошибкой, признается победителем. Производные квадратичной ошибки по весовым коэффициентам
победителя накапливаются для его обучения градиентным методом в режиме "по эпохам". Длительность эпохи определяется экспериментально.
Обычно при старте процедуры обучения нейронных сетей весовые коэффициенты инициализируются равномерно распределенными случайУДК 004.032.26(08) Нейронные сети
5
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
ными значениями. В данном случае это приведет к равномерному распределению начальных положений центров кластеров в пространстве признаков. При обучении нейронных сетей описанным выше методом могут
возникнуть ситуации, когда одна или несколько из них ни разу не будут
победителями в процессе обучения. Для снижения возможности появления подобных ситуаций применяется метод выпуклой комбинации. Этот
метод был разработан для решения сходных задач, возникающих при самообучении сетей Кохонена [10]. Идея метода состоит в принудительном
стягивании обучающих примеров в одну точку в пространстве признаков
и постепенное (в ходе обучения) их возвращение на истинные позиции.
При этом все нейроны сети Кохонена (а в нашем случае – все персептроны) устанавливаются в ту же точку. Адаптация этого метода для самообучения комитета многослойных персептронов, решающих задачу прогноза,
может быть представлена следующим образом (предполагается, что все
входы персептронов xi( p ) , i  1, ninp , и желаемые выходы yi( p ) , i  1, nout ,
предварительно приведены к нулевому центру):
xi( p )  xi( p ) , i  1, ninp ; ~
y (j p )  y (j p ) , j  1, nout ;  [0;1] ,
где xi( p ) – модифицированные значения, подающиеся на вход НС; y (j p ) –
модифицированные значения желаемых выходов НС;  – коэффициент
модификации обучающих примеров, изменяющийся в процессе самообучения.
Методика тестирования обученного комитета нейронных сетей
При самообучении нейронных сетей отсутствуют контрольные примеры «учителя» для проверки обобщающей способности по данным. Это
обстоятельство объясняет необходимость разработки специальной методики тестирования комитета персептронов.
Введем следующие обозначения:
 X обуч (t ), t  [t1 , t 2 ] и X тест(t ), t  [t3 , t 4 ] – обучающая и тестовая реализации ВВР;
 Cобуч и Cтест – комитеты НС, настроенные по данным обучающей и
тестовой выборок соответственно;
  тест(Cобуч ) и тест (Cтест ) – результаты сегментации тестовой реализации Хтест(t) с использованием комитетов НС Cобуч и Cтест соответственно;
6
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
  k (Cобуч ) и  k (Cтест ) , k  1, K – множества временных отсчетов
тестовой реализации, которые принадлежат сегментам типа k по результатам сегментации  тест(Cобуч ) и тест (Cтест ) соответственно.
Естественно предположить, что качество сегментации тестовой реализации будет выше, если для нее был использован комитет нейронных сетей Cтест , обученный на той же реализации. Это позволяет считать «эталонной» сегментацию тест(Cтест) реализации X тест(t ) . Сегментация
 тест(Cобуч ) , выполненная комитетом Cобуч , может отличаться от эталонной. Показатель качества  обученного комитета Cобуч должен характеризовать меру этого отличия и способность комитета к обобщению данных.
Рассмотрим сначала частную характеристику – показатель  k качества
идентификации временных отсчетов реализации X тест(t ) , которые принадлежат сегментам типа k, k  1, K (множество точек  k (Cтест) принимается за эталон). Для построения показателя  k воспользуемся характеристиками, которые аналогичны традиционно применяемым оценкам качества функционирования информационно-поисковых систем [11]:
1) Точность Pk , определяемая как доля правильно идентифицированных точек сегментов типа k в множестве точек  k (Cобуч ) , найденных комитетом Cобуч : Pk | k (Cî áó÷ ) k (Cò åñò ) | / | k (Cî áó÷ ) | .
2) Полнота Rk , определяемая как доля правильно идентифицированных точек сегментов типа k среди множества точек  k (Cтест) эталонной
сегментации: Rk  | k (Cî áó÷ ) k (Cò åñò ) | / | k (Cò åñò ) | .
В качестве обобщенного показателя способности комитета Собуч идентифицировать временные отсчеты, принадлежащие сегментам типа k,
применяют среднее гармоническое значение показателей Pk и Rk
(F–мера): γ k  2Pk Rk / ( Pk  Rk ) , которое предпочтительнее среднего арифметического в случае существенно различающихся значений Pk и Rk .
Общий показатель качества  обученного комитета Собуч может быть
выражен функцией   ( 1 ,  2 , ...,  K ) . Вид этой функции зависит от содержания решаемой задачи. В приложении процедуры сегментации к анализу поведения животных в биологических экспериментах использован
показатель   min (1 ,  2 ,...,  K ) .
k
УДК 004.032.26(08) Нейронные сети
7
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Демонстрация алгоритма на модельном примере
Для исследования особенностей функционирования и обучения комитета нейронных сетей предложена следующая модель векторного временного ряда X (t )  ( x1 (t ), x2 (t )), t [0,T ] , размерности N  2 :
z (i ) (t )  sin(ω(i )t  φ(0i ) ), i  1, 3;
x1 (t )  α1 z (1)  α 2 z ( 2 ) ; x2 (t )  α 3 z ( 2 )  α 4 z ( 3) .
Выбор подобной модели объясняется гладкостью траекторий
( x1 (t ), x2 (t )), t  [0, T ] , необходимой для построения прогнозирующих
персептронов. Кроме того, при определенных значениях параметров порождается временной ряд, график которого внешне напоминает трек лабораторного животного в биологическом эксперименте. А это именно та
прикладная область, в интересах которой был разработан нейросетевой
алгоритм сегментации ВВР. Компоненты ВВР взаимосвязаны, что также
соответствует природе поведенческих признаков живой системы.
Для сегментации модельного временного ряда был использован комитет нейросетей, каждая из которых имела 8 входов, 8 нейронов скрытого
слоя и 2 выхода. На рис. 2 представлен график зависимости среднеквадратической ошибки прогноза значений ВВР от числа K типов сегментов.
Планками на рис.2 отображены величины разброса ошибки прогноза для
сегментов разных типов. На рис. 3 планками отображены величины разброса значений показателей генерализации γk , k  1, K .
Рис. 2. График зависимости
среднеквадратической ошибки прогноза значений ВВР от числа типов
сегментов
Рис. 3. График зависимости
среднего показателя генерализации
от числа типов сегментов
На рис. 3 выделяется ситуация, когда количество типов сегментов K
равно 7. Дополнительные исследования показали, что аномальное поведе8
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
ние графика при K=7 не случайно и является предпочтительным при выборе числа типов сегментов. Во-первых, дальнейшее увеличение числа
модулей комитета не ведет к существенному уменьшению ошибки прогноза. Во-вторых, при увеличении числа K показатель генерализации
уменьшается с допустимого значения 0.92 до значения 0.68, которое соответствует существенному росту ошибок сегментации. В-третьих, диапазоны разброса значений ошибки прогноза и показателя генерализации для 7
типов сегментов существенно меньше, чем в других случаях. Эти наблюдения позволяют сделать вывод, что выбор 7 типов сегментов является
оптимальным для рассматриваемого временного ряда.
Автоматическое выявление актов поведения
лабораторных животных в биологических экспериментах
Предложенный в работе метод сегментации ВВР был использован в
реальных задачах выделения актов поведения лабораторных животных
(ЛЖ) по динамике наблюдаемых и вычисляемых признаков. Были использованы результаты протоколирования экспериментов, предназначенных
для изучения влияния фуллеренов C60 на пространственную память у
животных с моделью болезни Альцгеймера. Для описания поведения ЛЖ
в водном лабиринте Морриса были рассчитаны следующие характеристики: модуль скорости центра масс ЛЖ, расстояние от центра бассейна до
центра масс животного, модуль скорости вращения ЛЖ вокруг собственного центра масс и модуль ускорения.
На рис. 4 и 5 показаны зависимости, аналогичные тем, что рассматривались для случая модельных данных. Зависимость среднего показателя
генерализации от числа типов сегментов (рис. 5) на натурных данных, как
и на модельных, характеризуется особыми точками, которые в рассматриваемом примере наблюдаются при K=6 и K=10. В этих точках показатель
генерализации достигает локальных максимумов при одновременных минимумах его разброса по разным типам сегментов. Кроме того, ошибка
прогноза (рис. 4) для этих случаев практически не отличается от значений,
рассчитанных для других K. Отсюда следует, что выбор K=10 позволит
строить наиболее точное и детальное описание актов поведения животных. Найденные 10 типов сегментов соответствуют 10 актам поведения,
которые выделяют биологи-эксперты при проведении ручного анализа
экспериментальных данных.
УДК 004.032.26(08) Нейронные сети
9
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Рис. 4. График зависимости
среднеквадратической ошибки прогноза значений ВВР от числа типов
сегментов
Рис. 5. График зависимости
среднего показателя
генерализации от числа типов
сегментов
Заключение
Предложенный в работе метод нейросетевой сегментации ВВР ориентирован на применение в условиях минимальных априорных знаний о
разнообразии возможных типов сегментов и отсутствия обучающей выборки для их определения. Более того, число типов сегментов, максимально соответствующее структуре ВВР, может быть установлено на основе анализа расчетных показателей точности. Достоинством метода является также возможность его применения в темпе реального времени.
Как показало тестирование на модельных данных, метод обеспечивает
высокую точность (в тестовом примере среднеквадратичная ошибка
нейросетевого прогноза временного ряда равна 0.027) и обладает способностью к генерализации данных (0.92 в тестовом примере).
Достигнутые показатели точности сегментации ВВР поведенческих
признаков животных в биологическом эксперименте подтверждают практическую значимость метода и его эффективность при решении прикладных задач.
Работа выполнена при поддержке федеральной целевой программы
"Научные и научно-педагогические кадры инновационной России": проекты П1052 и П264.
Список литературы
1. Shin J.Y. Robustness analysis and reliable flight regime estimation of an
integrated resilient control system for a transport aircraft /J.Y. Shin,
C. Belcastro, AIAA Guidance, Navigation and Control Conference, 2008.
10
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
2. Schuller, B. Timing levels in segment-based speech emotion recognition
//B. Schuller, G. Rigoll. Proc. Interspeech, 2006. Р. 1818-1821.
3. Halvey M. Time-based segmentation of log data for user navigation prediction in personalization// Halvey M., Keane M.T., Smyth B. Web Intelligence, 2005. Proceedings. The 2005 IEEE/WIC/ACM International Conference, 2005. Р.636-640.
4. Chan K., Fu W. Efficient time series matching by wavelets. Proc. of the
15th IEEE International Conference on Data Engineering, 1999. Р. 126–133.
5. West K. Finding an optimal segmentation for audio genre classification//K. West, S.Cox. Crawford and Sandler, 2005. Р. 680-685.
6. Fung G.P.C. The predicting power of textual information on financial
markets//G.P.C. Fung, J.X. Yu, H. Lu, IEEE Intelligent Informatics Bulletin,
2005. V. 5. №1. Р.1-10.
7. Abonyi J. Modified Gath-Geva clustering for fuzzy segmentation of multivariate time-series //J. Abonyi, B. Feil, S. Nemeth, P. Arva, Fuzzy Sets and
Systems, 2005. V. 149. № 1. Р. 39-56, 2005.
8. Kehagias A. A hidden Markov model segmentation procedure for hydrological and environmental time series// A. Kehagias, Stochastic Environmental
Research and Risk Assessment, 2004. V. 18. №2. Р. 117-130.
9. Mishulina O.A. Multivariate time series segmentation for generalized description of dynamic systems operation// O.A. Mishulina, I.N. Sukonkin. Optical Memory & Neural Networks, 2012. V. 21. №2. Р. 94-104.
10. Dlugosz R. Convex combination initialization method for Kohonen neural network implemented in the CMOS technology// R. Dlugosz, T. Talaska,
P.A. Farine, W. Pedrycz. Mixed Design of Integrated Circuits and Systems
(MIXDES), 2012. Proc. of the 19th International Conference. Р. 227-230.
11. Rijsbergen C.J. Information Retrieval: Uncertainty and Logics: Advanced Models for the Representation and Retrieval of Information. V. 4./
C.J.Rijsbergen, F.Crestani, M.Lalmas. Boston: Kluwer Academic Publishers,
1998.
УДК 004.032.26(08) Нейронные сети
11