Анализ временных рядов является одной из наиболее важных

А.М.Пилипенко
Модели и методы нахождения и учета
структурного изменения в динамических
регрессиях и их применение
Введение
Анализ временных рядов представляет собой одну из
наиболее важных областей в экономической теории и
практике. Впервые задача анализа временных рядов была
поставлена для независимой гауссовской случайной
последовательности с целью обнаружения изменения
математического ожидания наблюдаемой случайной
величины. Затем были разработаны оптимальные и
субоптимальные (в смысле минимизации среднего
запаздывания в обнаружении разладки при заданном
уровне
ложных
тревог)
алгоритмы,
проведены
исследования их свойств, а также были описаны наиболее
часто используемые методы нахождения структурных
изменений при анализе деятельности экономических
объектов.
Стандартным предположением анализа временных
рядов является предположение об устойчивых или слабо
изменяющихся свойствах того механизма, который
порождает данный временной ряд, поэтому многие
проблемы экономической и технической сфер сводятся к
обнаружению
резких
изменений
в
свойствах
анализируемого временного ряда. Основные работы в этой
сфере принадлежат Дарбину, Эвансу, Брауну, Никифорову.
Основные постановки задачи
поиска структурного изменения
Определим круг практических задач и типичные
содержательные постановки, в которых естественно
возникает потребность обнаруживать изменение (разладку)
свойств временных рядов. Можно сказать, что с точки
зрения практики существуют два основных типа задач,
решаемых с помощью алгоритмов обнаружения разладки.
В первом случае необходимо обнаруживать разладку
как можно быстрее после ее появления при заданном
уровне ложных тревог, но не требуется точно указывать
момент времени, когда произошла разладка. Такой
алгоритм будем называть последовательным. Одним
словом, везде, где функция потерь зависит от интервала
времени между моментом появления разладки и моментом
ее обнаружения и частоты ложных тревог, мы встречаем
первый основной тип задач. Например, при непрерывном
контроле
технологического
процесса
увеличение
запаздывания в обнаружении разладки приводит к
увеличению времени, в течение которого выпускается
бракованная продукция, а увеличение частоты ложных
тревог приводит, в свою очередь, к уменьшению выпуска
продукции из-за остановок технологического процесса для
его наладки и т.д. С точки зрения экономической теории
наиболее часто такая задача встречается на фондовом
рынке (анализ движения курсов ценных бумаг) и при
управлении
каким-либо
экономическим
объектом
(например, при управлении со стороны Центрального
банка (ЦБ) курсом доллара внутри страны). Как видно в
обоих этих случаях, запаздывание в принятии решения
приводит не только к финансовым потерям, но и к
отклонению от оптимальной в каком-либо смысле
траектории развития объекта (например, если целью ЦБ
является защита экономики страны от кризисов, то
запаздывание в обнаружении момента начала какого-либо
кризиса может привести к серьезным экономическим
потерям).
Второй основной тип задач, решаемых методами
обнаружения разладки, сводится к оцениванию момента
появления разладки post factum (апостерионая постановка
задачи). Здесь, в отличие от задачи скорейшего
обнаружения, конечная выборка наблюдений собирается
заранее (до начала решения задачи), и требуется оценить
момент появления разладки как можно точнее.
Апостериорным алгоритмом будем называть такой
алгоритм, когда мы пытаемся обнаружить как можно
точнее момент (элементарный, неделимый период)
разладки на основе всех данных. При этом предполагается,
что точность определения момента разладки важна в связи
с тем, что она важна для обоснованного уточнения
конструируемой модели. В некоторых случаях сам факт
наличия разладки (и даже нескольких разладок) в пределах
анализируемой выборки заранее неизвестен, и проверка ее
наличия
также
является
предметом
решения.
Практическими примерами второго типа задачи в
экономической жизни являются анализ результатов
управленческих воздействий на уровне фирмы и анализ
сложившейся на фондовом рынке ситуации.
Понятие структурного изменения.
Рекурсивные остатки
Под структурным изменением мы будем подразумевать
следующую ситуацию: когда на промежутке времени от до
действует регрессионная взаимосвязь одного вида
(например, ), а далее, на промежутке времени от до ,
наблюдается либо переходный процесс к новой
регрессионной взаимосвязи, либо действует регрессионная
взаимосвязь другого вида (например, ), и, наконец, на
последнем промежутке времени с до устанавливается
новая регрессионная взаимосвязь (например, вида ).
Заметим, что между этими зависимостями могут быть
обнаружены различные связи, проявляющиеся, например, в
совпадении (постоянстве) значений части параметров.
Графически
структурное
изменение
можно
проиллюстрировать с помощью следующих двух рисунков:
Для того чтобы ввести понятие рекурсивных остатков,
рассмотрим
следующую
регрессионную
модель.
Предполагается, что рассматриваемая регрессионная
модель линейна, т.е.
, (1)
где ;, X - неслучайная матрица порядка , n - количество
наблюдений, k - количество объясняющих факторов (т.е.
одна константа и (k-1) объясняющих переменных).
Обозначим
через
вектор-столбец
наблюдений
(размерностью ) относительно k объясняющих переменных
для j-го наблюдения из выборки. Таким образом мы имеем:
.
Общепринято, что в первом элементе в каждом векторе
стоит единица для того, чтобы в регрессионной модели
была константа.
Обозначим через матрицу размерностью , состоящую из
первых (r-1) рядов матрицы X. Если , то эта матрица может
быть использована для оценки параметров b. Обозначим
результирующую оценку как , то есть
,
где обозначает подвектор, состоящий из первых (r-1)
элементов вектора . Используя , мы можем
«предсказывать» в точке r из выборки, соответствующей
вектору объясняющих переменных в той же точке. Тогда
ошибка прогноза будет такой: , а дисперсия этой ошибки
прогноза будет выглядеть так:
.
Теперь введем базовое понятие задачи поиска
структурных изменений - рекурсивных остатков
(обозначенные далее как ) и производные от них величины
(например,
- квадраты рекурсивных остатков).
Рекурсивные остатки - это набор остатков, которые в
случае, если ошибки независимо и одинаково
распределены, сами будут независимо и одинаково
распределены. И именно с помощью этого свойства
рекурсивных остатков мы будем тестировать нулевую
гипотезу. Определим рекурсивный остаток так:
. (2)
При выполнении предположения (1) мы получаем, что .
Дальше мы специфицируем эту регрессионную модель и
сформулируем нулевую гипотезу, а также покажем, как
можно исследовать нулевую гипотезу с помощью
кумулятивных
сумм
рекурсивных
остатков
и
кумулятивных сумм квадратов рекурсивных остатков. Под
нулевой гипотезой мы подразумеваем то, что рекурсивные
остатки некоррелированы, с нулевым средним и
постоянной дисперсией и поэтому являются независимыми
в случае предположения о нормальности. Рекурсивные
остатки очень удобны для выявления структурного
изменения в модели, т.к. до тех пор, пока структурное
изменение не произошло, рекурсивные остатки ведут себя
в точности в соответствии с нулевой гипотезой.
Основные методы поиска структурного изменения
К основным методам поиска структурных изменений
относятся тест Chow и логвероятностный метод, а также
тесты CUSUM и CUSUMSQ, использующие рекурсивные
остатки. Поскольку тесты CUSUM и CUSUMSQ являются
наиболее чувствительными в части поиска структурного
изменения (сдвига), то именно их мы и будем далее
рассматривать. (При этом будем помнить, что если
коэффициенты являются константами до момента времени
и начинают отклонятся от своего значения после , то
рекурсивные остатки будут иметь нулевое среднее при , но
после в общем случае они будут иметь не нулевое
среднее.)
Тест кумулятивных сумм рекурсивных остатков
(CUSUM Test).
Этот метод основан на рекурсивных остатках
и
базируется на анализе отклонения от нуля величины
отношения нарастающей суммы рекурсивных остатков к
оценке стандартного отклонения () на протяжении всего
временного ряда, вычисляемой по формуле: , в
координатах (r, ), где r=k+l,...,T и обозначает оценку
стандартного отклонения, определяемую по формуле . Для
этого нам требуется способ тестирования значимости
отклонения выборочной траектории от линии среднего
значения . Удобным способом является нахождение пары
критических линий, лежащих симметрично выше и ниже
линии , таких, чтобы вероятность пересечения одной или
обеих линий нашей выборочной траекторией равнялась ,
т.е. требуемому уровню значимости. Графически это
выглядит так:
Здесь, задавшись определенным уровнем значимости ,
мы можем получить путем необходимых преобразований
соответствующие значение .
Тест кумулятивных сумм квадратов рекурсивных
остатков (CUSUMSQ Test).
Этот метод основан на квадратах рекурсивных остатков
и базируется на анализе поведения величины отношения
нарастающих сумм квадратов рекурсивных остатков к
общей сумме квадратов рекурсивных остатков (),
вычисляемой по формуле для всех r = k+1,..., T, j = k+1,...,
t.
Под гипотезой о постоянстве коэффициентов можно
предполагать то, что имеет бета-распределение со средним
E() == (r-k) / (T-k). Графически это выглядит так:
Здесь, задавшись определенным уровнем значимости ,
мы по соответствующей справочной статистической
таблице получаем значение величины .
Метод учета структурного изменения с помощью
dummy-переменной, сконструированной на основе
результатов тестов CUSUM и CUSUMSQ
Далее рассмотрим новый метод учета структурного
изменения в регрессионных моделях с помощью dummyпеременной (фиктивной переменной), сконструированной
на основе результатов применения этих двух тестов.
Отличие этого метода от простого использования
dummy-переменных,
возможно
введенных
с
использованием тестов CUSUM и CUSUMSQ, заключается
в том, что мы будем пытаться устранить структурные
сдвиги, анализируя результаты применения тестов CUSUM
и CUSUMSQ к очередной модифицированной модели с
включенными в нее сконструированными фиктивными
переменными, до тех пор, пока не убедимся в том, что все
структурные изменения действительно устранены.
Конечной целью применения разрабатываемого метода
будет являться получение такой структуры dummyпеременной, которая бы приводила к тому, чтобы
тестовая кривая, соответствующая модифицированному с
помощью dummy-переменной регрессионному уравнению,
лежала бы внутри критических линий тестов CUSUM и
CUSUMSQ (это говорило бы именно о том, что на
соответствующем уровне значимости для этих тестов нам
удалось «устранить» (а точнее, учесть в итоговой модели)
все имевшиеся структурные сдвиги.
Первоначальная сложность такого подхода заключается
в том, что кроме неизвестной структуры dummy-переменной нам также неизвестны те параметры регрессионной
модели, которые подвержены структурным изменениям.
Однако эту проблему можно снять посредством
тщательного
подхода
к
эконометрическому
моделированию (например, посредством длительного и
тщательного подбора наиболее адекватной модели).
Приблизительная
схема
эконометрического
исследования, при проведении которого активно
используется применение тестов CUSUM и CUSUMSQ,
может быть представлена в следующем виде:
На приведенной схеме стрелками 1 и 2 обозначен этап
эконометрического моделирования, на котором нам
необходимо сделать достаточно важный шаг. Если по ходу
нашего эконометрического исследования мы двигаемся
вдоль стрелки 1, то это означает следующее: мы вводим в
нашу исходную наиболее адекватную регрессионную
модель dummy-переменную (ые), руководствуясь при этом
экономическим смыслом и результами проведенных тестов
CUSUM и CUSUMSQ, и берем получившуюся модель в
качестве итоговой наиболее адекватной модели,
предполагая, что у нее уже не будет обнаружено
негативное свойство - наличие одного или нескольких
периодов (моментов), в которые происходят структурные
изменения. Если мы пойдем вдоль стрелки 2, то снова
будем тестировать модифицированную регрессионную
модель с помощью тестов CUSUM и CUSUMSQ.
Если мы хотим ответить на вопрос о том, смогли ли мы
хотя бы частично устранить структурный сдвиг (что
подтвердило бы правильность выбора, во-первых, тех
параметров модели, которые подвержены структурному
изменению, и, во-вторых, структуры dummy-переменной, с
помощью которой мы пытаемся устранить структурный
сдвиг), то здесь мы можем столкнуться с невозможностью
вычисления рекурсивных остатков на нескольких первых
шагах. Эта сложность связана с тем, что в результате
включения dummy-переменной в общепринятом виде в
исходную матрицу
на первых шагах мы получаем
вырожденную матрицу , что приводит к невозможности
вычисления рекурсивных остатков на основе формулы (2),
а это, в свою очередь, приводит к невозможности
повторного проведения тестов CUSUM и CUSUMSQ.
Необходимо отметить, что тесты CUSUM и CUSUMSQ
ранее не применялись к моделям с dummy-переменными.
Таким образом, мы, по-видимому, впервые столкнулись с
проблемой не только включения в модель dummyпеременной и выбора ее конструкции, но и формирования
структуры модифицированной модели так, чтобы она
допускала тестирование на наличие структурных сдвигов с
помощью анализа результатов применения тестов CUSUM и
CUSUMSQ.
Решить проблему вырожденности матрицы ,
предлагается следующими двумя способами:
1). Когда мы включаем dummy-переменную D
общепринятого вида – в данном случае в первоначальную
модель с целью модифицирования значения ее константы,
чтобы далее рассматривать исходную модель типа , для ,
для (где t - номер периода, в котором, по предположению,
произошла «разладка»), то в матрице
(которая
представляет собой первые (r-1) строк нашей матрицы
наблюдений ) при образуется столбец, состоящий из одних
нулей, т.к. эти нули соответствуют нулям нашей dummyпеременной общепринятого вида. В этом случае
получается, что матрица , не имеет обратной матрицы.
Предлагается
решить
проблему
формирования
структуры самих фиктивных переменных на основе
графического отображения результатов тестов CUSUM и
CUSUMSQ путем следующего преобразования dummyпеременной
общепринятого
вида
в
фиктивную
переменную нового вида (и в предположении о том, что в
исходной модели нет «свободного члена», т.е. константы):
D = (0,0, 0, 1,1); D'= (1,1, 1,0,0);
2). Если же мы предполагаем, что структурному
изменению подвержены коэффициенты при объясняющих
переменных, т.е. если в модели присутствуют переменные
вида , и, следовательно, исходная модель может выглядеть,
например, так: (а после логарифмирования иметь
следующий вид: , где D - фиктивная переменная
общепринятого вида), то мы столкнемся с проблемой
частичной коллинеарности, т.к. столбцы с объясняющими
переменными будут идентичными в тех местах, где наша
фиктивная переменная принимает значение единицы. В
данном случае предлагается уже в эту исходную модель
вместо фиктивной переменной D общепринятого вида
включать преобразованную dummy-переменную нового
вида D'. Преобразованная модель будет выглядеть так: . Но
поскольку напрямую применить тесты CUSUM и
CUSUMSQ к этой преобразованной модели мы еще не
можем, то необходимо также провести следующие
преобразования:
- оценить коэффициенты нашей регрессионной модели .
Сначала логарифмируем модель: . Получаем оценки
коэффициентов: , и ;
- трансформировать первоначальный временной ряд Y в
новый, Y**, путем следующего преобразования: ;
- получить остаточную модель (под остаточной моделью
мы будем подразумевать модель, которая получается в
результате исключения из соответствующей исходной
модели тех факторов, коэффициенты при которых не
подвержены структурному изменению). Для данного
примера остаточная модель будет такой: . При этом
оценки коэффициентов в преобразованной модели и в
остаточной модели будут совпадать.
Теперь можно применить тесты CUSUM и CUSUMSQ к
остаточной модели, т.к. здесь мы уже не сталкиваемся с
проблемой вырожденности матрицы .
Поиск структурных изменений по статистическим
макроэкономическим динамическим рядам
Для практического апробирования предложенного нами
нового метода учета структурных изменений в
динамических регрессиях был осуществлен поиск
структурных сдвигов, в котором объектом исследования
явились официальные ежемесячные статистические данные
Госкомстата РФ за период с января 1998 г. по март 2000 г.,
опубликованные в статистическом сборнике «Обзор
экономики России. Основные тенденции развития. 2000 г.
II.». Поскольку мы проводили практический поиск
структурных изменений на основе готового набора
экономических данных, то можно сказать, что наше
исследование представляет из себя случай практического
применения соответствующего апостериорного алгоритма
для решения конкретной эконометрической задачи.
Для исходных данных были приняты следующие
обозначения: Y - общий индекс потребительских цен; XI -
сводный индекс цен производителей; Х2 - реальный
обменный курс рубля (руб./дол.); ХЗ - реальное
потребление товаров и услуг (млрд.руб.); Х4 - розничный
товарооборот (млрд.руб.); Х5 - реальный объем розничного
товарооборота (млрд.руб.); t - время (месяц).
В
результате
тщательного
первоначального
моделирования была получена такая исходная модель:
(Модель 14*), для которой графическое отображение
результата проведения теста CUSUMSQ на 5%-ом уровне
значимости выглядит так:
На этом графике отображается наличие двух
структурных сдвигов, которые связаны с двумя важными
событиями,
имевшими
место
на
протяжении
рассматриваемого периода: экономический кризис августа
1998 года и смена руководства страны в начале 2000 года.
При этом результаты проведения теста CUSUMSQ
выявили, что данный эконометрический тест в процессе
поиска структурных изменений действительно показывает
большую чувствительность (в отличие от теста CUSUM),
т.к. он определил четкую тенденцию двух назревающих
структурных сдвигов, что для анализа эконометрических
данных является более ценным результатом, чем просто
отображение того факта, что структурный сдвиг имел
место.
После корректировки первоначальной модели с
помощью предложенных методов мы получили итоговую
наиболее
адекватную
модель
(Модель
18)
с
сконструированной dummy-переменной (D3) нового вида:
(Модель 18)
где D3=(1, 1,..., 1,0,0,..., 0),
r={1,2, ...,7,8,9, ... , 27}.
Для остаточной модели к Модели 18 (остаточная
модель: ) графическое отображение результата проведения
теста CUSUMSQ на 5%-ом уровне значимости выглядит
так:
Данный график показывает, что нам удалось
практически полностью устранить имевшиеся структурные
сдвиги.
Дополнительно для первоначальной модели (Модели
14*) были проведены тест Чоу и логвероятностный тест
(метод), которые не смогли выявить имевшие место
структурные сдвиги, хотя даже проведенный простейший
анализ графического отображения исходных данных
показывает резкое изменение их динамики в те моменты
времени, когда происходили структурные изменения. Это
факт подтверждает то, что тесты CUSUM и CUSUMSQ
являются более чувствительными при поиске структурных
сдвигов, чем тест Чоу и логвероятностный метод.
Также был произведен анализ остатков обеих моделей
на нормальность на основе статистики Жака-Бера (JarqueBera), который показал, что остатки первоначальной
модели (Модели 14*) распределены не нормально, а
остатки итоговой модели - нормально. Этот результат
говорит о том, что итоговая модель достаточно сильно
удовлетворяет предположениям теоремы Гаусса-Маркова,
что еще раз подтверждает ее высокую адекватность.
В завершение был проведен тест на наличие
автокорреляции с помощью статистики Дарбина-Уотсона,
который показал снижение автокорреляции в итоговой
Модели 18 по сравнению с исходной Моделью 14*.
Окончательная часть практического исследования
заключалась в том, чтобы на основе введения в модель
модифицированной
dummy-переменной,
структуру
которой мы получали на основе предложенных методов
(заключающихся в многократном применении тестов
CUSUM и CUSUMSQ к преобразованной модели и
необходимых для решения проблемы вырожденности
матрицы ), устранить выявленные структурные сдвиги.
При выборе корректной структуры dummy-переменной
(как общепринятого, так и нового вида) тесты CUSUM и
CUSUMSQ
применялись
уже
к
уточненной
(модифицированной) - т.е. остаточной - модели. Таким
образом в результате применения этих предложенных
методов модификации исходной модели при дальнейшем
эконометрическом исследовании была получена модель,
которая помогла не только выявить, но и практически
полностью «устранить» (а точнее, учесть в своей
структуре) все обнаруженные с помощью тестов CUSUM и
CUSUMSQ структурные сдвиги в рассматриваемом
интервале времени - Модель 18. Это подтвердило высокую
практическую пригодность нашего метода построения
структуры dummy-переменной на основе результатов
применения тестов CUSUM и CUSUMSQ к остаточной
модели.
Таким образом, благодаря правильно выбранной
структуре dummy-переменной D3, в Модели 18 нам
удалось устранить практически все структурные сдвиги,
что подтвердило жизнеспособность нашего метода учета
структурных изменений с помощью dummy-переменной,
сконструированной на основе результатов проведения
тестов CUSUM и CUSUMSQ.
Заключение.
На основе полученных результатов мы можем сделать
выводы о практической несомненности и очевидности
фактической пользы от применения при анализе
экономических данных таких эконометрических тестов,
как CUSUM и CUSUMSQ, базирующихся на вычисленных
рекурсивных остатках. Полученные результаты говорят о
том, что своевременное применение в практике
экономического прогнозирования таких достаточно
сложных эконометрических тестов, как тесты CUSUM и
CUSUMSQ, хотя и не смогло бы предотвратить, к примеру,
кризис августа 1998 года, но помогло бы значительно
облегчить его прохождение и уменьшить материальные
потери активных экономических агентов. Следовательно,
применение при прогнозировании динамики развития
экономики (в условиях либо сохранения действующих, либо изменения
соответствующих тенденций) тестов CUSUM и CUSUMSQ
весьма эффективно (при этом особо работоспособен тест
CUSUMSQ вследствие своей большей чувствительности).
Библиография
Никифоров И.В. Последовательное обнаружение изменения свойств
временных рядов. М. - Наука. - 1983.
Andrews D.W.K.. Test for Parameter Instability and Structural Change With
Unknown Change Point // Econometrica,. Vol. 61. No. 4. -Jul., 1993.
Brown R.L., Durbin J., Evans J.M.. Techniques for Testing the Constancy of
Regression Relationship over Time. Journal of the Royal Statistical Society.
Series B (Methodological). - Vol. 37. - No. 2. – 1975.
Eckstein P.. Graphical Stability Analysis of Linear Regression Relationship.
Humboldt-University to Berlin Institute for Statistics and Econometrics.
Maddala G.S. In-Moo Kim. Unit Roots, Cointegration and Structural
Change.- Cambridge University Press - 1998.
Westlund A.H.. On the Identification of Time for Structural Change by
MOSUMSQ and CUSUMSQ Procedures. Paper presented at the Meeting of
the working Group on «Statistical Analysis and Forecasting of Economic
Structural Changes», September 24-26, 1986, Lodz, Poland.