Автокорреляция

АВТОКОРРЕЛЯЦИЯ
y
1
x
Третье условие теоремы Гаусса-Маркова – независимость случайных возмущений
друг от друга.
На диаграмме видно, что это условие нарушено. За положительными
отклонениями следуют положительные. То же для отрицательных. Это пример
положительной автокорреляции.
1
АВТОКОРЕЛЛЯЦИЯ
y
1
x
Пример отрицательной автокорреляции. За положительными чаще всего слуедуют
отрицательные значения и наоборот.
2
3
АВТОКОРЕЛЛЯЦИЯ
yt    xt  ut
Авторегрессия 1-го порядка: AR(1)
ut  ut 1   t
Наиболее распространена автокорреляция 1-го порядка обычно обозначаемая AR(1).
Здесь ut определяется значениями той же самой величины с добавлением нового
элемента случайности εt ( инновации)
3
4
АВТОКОРЕЛЛЯЦИЯ
yt    xt  ut
Авторегрессия 1-го порядка : AR(1)
ut  ut 1   t
Авторегрессия 5-го порядка : AR(5)
ut  1ut 1   2 ut 2   3 ut 3   4 ut 4   5 ut 5   t
Авторкорреляция скользящих средних 3-го порядка: MA(5)
ut  0 t  1 t 1  2 t 2  3 t 3
Примеры более сложных авторегрессионных корреляций.
4
6
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  ut 1   t
Рассмотрим на качественном уровне примеры автокорреляции типа AR(1).
Имитационное моделирование автокорреляции: t – распределена по стандартному
нормальному закону с 0 средним и дисперсией 1,  меняется.
5
9
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.0ut 1   t
 = 0, т.е автокорреляция отсутствует. Процесс - нормальная случайная величина.
6
11
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.1ut 1   t
7
12
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.2ut 1   t
8
13
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.3ut 1   t
При  = 0.3, начинает проявляться небольшая положительная автокорреляция.
9
14
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.4ut 1   t
10
15
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.5ut 1   t
11
16
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.6ut 1   t
С  = 0.6, очевидно, что u подвержена положительной автокорреляции.
Положительные значения чаще следуют за положительными, а отрицательные за
12
отрицательными.
17
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.7ut 1   t
13
18
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.8ut 1   t
14
19
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.9ut 1   t
С  = 0.9 последовательность значений с одним знаком становится длинной, а
тенденция возврата к 0 слабой.
15
20
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.95ut 1   t
При больших  процесс становится нестационарным, приближаясь к случайному
блужданию.
16
21
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.0ut 1   t
Рассмотрим примеры отрицательной автокорреляции для тех же значений
 t.
17
22
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.3ut 1   t
18
23
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.6ut 1   t
С  = 0.6 можно видеть что положительные значения имеют тенденцию следовать за
отрицательными и наоборот. Отрицательная автокорреляция становится очевидной.
19
24
АВТОКОРЕЛЛЯЦИЯ
3
2
1
0
1
-1
-2
-3
ut  0.9ut 1   t
20
25
АВТОКОРЕЛЛЯЦИЯ
=============================================================
Dependent Variable: LGFOOD
Method: Least Squares
Sample: 1959 1994
Included observations: 36
=============================================================
Variable
Coefficient Std. Error t-Statistic
Prob.
=============================================================
C
2.658875
0.278220
9.556745
0.0000
LGDPI
0.605607
0.010432
58.05072
0.0000
LGPRFOOD
-0.302282
0.068086
-4.439712
0.0001
=============================================================
R-squared
0.992619
Mean dependent var
6.112169
Adjusted R-squared
0.992172
S.D. dependent var
0.193428
S.E. of regression
0.017114
Akaike info criter -5.218197
Sum squared resid
0.009665
Schwarz criterion
-5.086238
Log likelihood
96.92755
F-statistic
2219.014
Durbin-Watson stat
0.613491
Prob(F-statistic)
0.000000
=============================================================
Рассмотрим остатки логарифмической зависимости расходов на продовольствие в
зависимости от дохода и относительной цены в пакете EViews.
21
26
АВТОКОРЕЛЛЯЦИЯ
0.04
0.03
0.02
0.01
0.00
1959
1964
1969
1974
1979
1984
1989
1994
-0.01
-0.02
-0.03
-0.04
На графике видно, что случайные возмущения подвержены положительной
автокорреляции. Сравнивая с примерами имитационного моделирования можно
предполагать, что коэффициент корреляции  не ниже 0.6.
22
27
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
T
d
 (e
t 2
t
 et 1 )
2
T
2
e
t
t 1
ut    ut 1   t
Стандартный тест на автокорреляцию типа AR(1) основан на d статистике ДарбинаУотсона. Сравнивается среднеквадратичная разность соседних значений с
23
дисперсией остатков.
1
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
T
d
 (e
t
 e t 1 )
t 2
T
2
e
t
2
ut    ut 1   t
t 1
Для больших выборок
Нет автокорреляции
Положительная автокорреляция
Отрицательная автокорреляция
d  2  2
d 2
d 0
d 4
При отсутствии автокорреляции  близко к 0, а d близко к 2. Для положительной
автокорреляции  близко к 1, а d близко к 0. Соответственно для отрицательной
автокорреляции  близко к -1, а d близко к 4.
24
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
Положительная
автокорреляция
0
Нет
автокорреляции
2
Отрицательная
автокорреляция
4
Рисунок иллюстрирует поведение d графически. Поскольку d имеет вероятностное
распределение то необходимо оценить доверительный интервал значимости оценки.
25
6
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
0
нет
автокорреляции
dL dcrit dU
2
Нет автокорреляции
Положительная автокорреляция
Отрицательная автокорреляция
отрицательная
автокорреляция
dcrit
4
d 2
d 0
d 4
Нулевая гипотеза H0:  = 0 (нет автокорреляции). Если d лежит в доверительном интервале 2
± dcr то гипотеза не отвергается с заданной вероятностью. К сожалению dcr зависит от
конкретных данных выборки, но Дарбин и Уотсон дали значения для оценки
интервалов, в которых лежат критические значения, dU и dL, не зависящие от данных.
26
Интервалы расположены симметрично относительно 2.
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
0
нет
автокорреляции
dL dcrit dU
2
Нет автокорреляции
Положительная автокорреляция
Отрицательная автокорреляция
отрицательная
автокорреляция
dcrit
4
d 2
d 0
d 4
Если d меньше dL, то то нулевая гипотеза отвергается, автокорреляция положительная.
27
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
0
нет
автокорреляции
dL dcrit dU
2
Нет автокорреляции
Положительная автокорреляция
Отрицательная автокорреляция
отрицательная
автокорреляция
dcrit
4
d 2
d 0
d 4
Если d больше dU, то нулевая гипотеза не отвергается, но необходимо проверить
модель на отрицательную автокорреляцию. Если d лежит в интервале [dL , dU], то тест
не дает определенной оценки.
28
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
нет
автокорреляции
отрицательная
автокорреляция
d=0,63
0
dL dcrit dU
1.35
1.59
2
2.41
dcrit
2.65
4
Нет автокорреляции d  2
Положительная автокорреляция d  0
Отрицательная автокорреляция d  4
На рисунке приведены значения dL и dU для для модели с 2-мя объясняющими
переменными построенной по 35 наблюдениям при 5% пороге значимости. При
d=0,63, как в данном примере, 0,63 < 1,35, то нулевая гипотеза отвергается с 95%
вероятностью, автокорреляция остатков положительна.
29
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
нет
автокорреляции
отрицательная
автокорреляция
d=0,63
0
dL dcrit dU
1.35
1.59
2
2.41
dcrit
2.65
4
Нет автокорреляции d  2
Положительная автокорреляция d  0
Отрицательная автокорреляция d  4
При d=1,42, большим 1,35 и меньшим 1,59, тест не дает определенной оценки.
30
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
нет
автокорреляции
отрицательная
автокорреляция
d=0,63
0
dL dcrit dU
1.35
1.59
2
2.41
dcrit
2.65
4
Нет автокорреляции d  2
Положительная автокорреляция d  0
Отрицательная автокорреляция d  4
Если 1.59 < d < 2.41, нулевая гипотеза не отвергается и можно утверждать, что
автокорреляция остатков отсутствует.
31
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
нет
автокорреляции
отрицательная
автокорреляция
d=0,63
0
dL dcrit dU
1.35
1.59
2
2.41
dcrit
2.65
4
Нет автокорреляции d  2
Положительная автокорреляция d  0
Отрицательная автокорреляция d  4
Если 2.41 < d < 2.65, тест не дает однозначной оценки.
32
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
нет
автокорреляции
отрицательная
автокорреляция
d=0,63
0
dL dcrit dU
1.35
1.59
2
2.41
dcrit
2.65
4
Нет автокорреляции d  2
Положительная автокорреляция d  0
Отрицательная автокорреляция d  4
Если 2.65 < d < 4, нулевая гипотеза отвергается и можно утверждать, что имеется
отрицательная автокорреляция остатков.
33
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
положительная
автокорреляция
нет
автокорреляции
отрицательная
автокорреляция
d=0,63
0
dL dcrit dU
1.15
1.38
2
2.62
dcrit
2.85
4
Нет автокорреляции d  2
Положительная автокорреляция d  0
Отрицательная автокорреляция d  4
Интервалы оценки гипотез при 1% пороге значимости.
34
10
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
0.04
0.03
0.02
0.01
0.00
1959
1964
1969
1974
1979
1984
1989
1994
-0.01
-0.02
-0.03
-0.04
Диаграмма зависимости для логарифмической регрессии трат на продовольствие
показывает сильную положительную автокорреляцию.
35
22
ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ
=============================================================
Dependent Variable: LGFOOD
Method: Least Squares
Sample: 1959 1994
Included observations: 36
=============================================================
Variable
Coefficient Std. Error t-Statistic
Prob.
=============================================================
C
2.658875
0.278220
9.556745
0.0000
LGDPI
0.605607
0.010432
58.05072
0.0000
LGPRFOOD
-0.302282
0.068086
-4.439712
0.0001
=============================================================
R-squared
0.992619
Mean dependent var
6.112169
Adjusted R-squared
0.992172
S.D. dependent var
0.193428
S.E. of regression
0.017114
Akaike info criter -5.218197
Sum squared resid
0.009665
Schwarz criterion
-5.086238
Log likelihood
96.92755
F-statistic
2219.014
Durbin-Watson stat
0.613491
Prob(F-statistic)
0.000000
=============================================================
Значение d статистики очень низкое, ниже dL для 1% теста значимости (1.15), поэтому
можно отвергнуть нулевую гипотезу об отстутствии автокорреляции.
36
23
УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ
yt    xt  ut
ut  ut 1   t
yt 1    xt 1  ut 1
yt  yt 1   (1   )  xt  xt 1  ut  ut 1
yt   (1   )  yt 1  xt  xt 1   t
yˆ t  100  0.5 yt 1  0.8 xt  0.6 xt 1
Автокорреляция AR(1) может быть устранена в лаговых моделях. Для этого нужно
множить уравнение для yt-1 на ρ и вычесть из yt. Случайный член t, (инновация) не
является автокоррелированным. Проблема автокорреляции устранена.
Есть только одна проблема: нелинейность лаговой модели относительно xt-2. В силу
этого обычный МНК не применим из за конфликта параметров (0,5*0,8 ≠ 0,6).
Проблема может быть решена численными методами подбора параметров.
37
4
УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ
yt    xt  ut
ut  ut 1   t
yt 1    xt 1  ut 1
yt  yt 1   (1   )  xt  xt 1  ut  ut 1
yt   (1   )  yt 1  xt  xt 1   t
yt     1 x1t   2 x2 t  ut
yt 1     1 x1t 1   2 x2 t 1  ut 1
yt  yt 1   (1   )   1 x1t   1 x1t 1   2 x2 t   2 x2 t 1  ut  ut 1
yt   (1   )  yt 1   1 x1t   1 x1t 1   2 x2 t   2 x2 t 1   t
Аналогично устраняется влияние автокорреляции в множественной регрессионной
модели. Вновь получаем нелинейную лаговую модель свободную от автокорреляции.
38
11
УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ
yt   (1   )  yt 1  1 x1,t  1 x1,t 1   2 x2,t   2 x2,t 1   t
=============================================================
Dependent Variable: LGHOUS
Method: Least Squares
Sample(adjusted): 1960 1994
LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3)
*LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1)
=============================================================
Coefficient Std. Error t-Statistic
Prob.
=============================================================
C(1)
6.131576
0.727244
8.431247
0.0000
C(2)
0.972488
0.004167
233.3565
0.0000
C(3)
0.275879
0.078318
3.522532
0.0013
C(4)
-0.303387
0.085802
-3.535896
0.0013
=============================================================
R-squared
0.999695
Mean dependent var
6.017555
Adjusted R-squared
0.999665
S.D. dependent var
0.362063
S.E. of regression
0.006622
Akaike info criter -7.089483
Sum squared resid
0.001360
Schwarz criterion
-6.911729
Log likelihood
128.0660
F-statistic
33865.14
Durbin-Watson stat
1.423030
Prob(F-statistic)
0.000000
=============================================================
Пример расчета нелинейной лаговой регрессионной модели зависимости спроса на
жилье в зависимости от дохода и цен на жилье для AR(1) процесса автокорреляции,
39
используя пакет EViews.
14
ИТЕРАТИВНАЯ ПРОЦЕДУРА КОКРАНА - ОРКАТТА
yt    xt  ut
ut  ut 1   t
yt 1    xt 1  ut 1
yt  yt 1   (1   )  xt  xt 1  ut  ut 1
~y      x
~ 
t
t
t
(*)
~y  y  y
t
t
t 1
~  x  x
x
t
t
t 1
    (1   )
Метод решения состоит в оценке и последовательном уточнении коэффициента
корреляции. Модель может быть преобразована к (*) нелинейной свободной от
автокорреляции модели. Если автокорреляция AR(1)типа, то CORR(et ,et-1) ≈ CORR(ut,ut-1).
Используя это ρ, можно вычислить коэффициенты α и β для модели (*) и вновь провести
40
оценку ρ.
4
ИТЕРАТИВНАЯ ПРОЦЕДУРА КОКРАНА - ОРКАТТА
yt    xt  ut
ut  ut 1   t
yt  yt 1   (1   )  xt  xt 1  ut  ut 1
~y      x
~ 
t
t
t
~y  y  y
t
t
t 1
~  x  x
x
t
t
t 1
    (1   )
1. Построить регрессию yt от xt используя МНК
2. Вычислить et = yt - a - bxt и найти с помощью
регрессии et от et-1 оценку .
3. Вычислить ~yt и ~xt и найти регрессию y~t от x~t по
которой определить оценки для a и b. Повторить с
шага 2 до выполнения сходимости.
Сходимость алгоритма достигается когда оценка коэффициента корреляции будет
изменяться на величину меньшую заданной точности.
41