Modelos ARMA

Proceso Ruido Blanco

Una secuencia de variables aleatorias {at } tal que

at :

E ( at ) a

(normalmente a 0)

Var ( at ) a2
Cov ( at , at k ) 0 for k 0
Autocovarianza y autocorrelacion
a2

0
1
k
0
1
kk
0

k 0
k 0
k 0
k 0
k 0
k 0

....
1

La Descomposicion de Wold
Sea {Zt} una serie temporal estacionaria y no deterministica.
Entonces

Z t j at j Vt ( L)at Vt ,
j 0

donde

1. 0 1 y j2 ,
j 0

2. {at } es WN (0, 2 ), con 2 0,

3. Cov ( as , Vt ) 0 para todo s y t ,
4. at es el limite de combinaciones lineales de Z s , s t , y
5. {Vt } es un componente deterministico.

Algunos Notas sobre la Descomposicion de Wold

() a t Z t P[ Z t | Z t 1 , Z t 2 ,...]

() Como se calculan los coeficientes j ???

( ) Que significa

???

j0

E [ Z t j a t j ] 0 cuando n
j 0

Que no dice la descomposicin de Wold?

at no tiene por que seguir una distribucion normal y por tanto no
tiene por que ser iid
Aunque P[at|Zt-j]=0, esto no implica que E[at|Zt-j]=0 (piensa en las
posibles consecuencias!!!!)
Los shocks a no necesitan ser los verdaderos del sistema. Cuando
lo sern????
La unicidad del resultado solo dice que la representacion de Wold
es la unica representacion lineal donde los shocks son errores de
prediciones. Representaciones no-lineales o representaciones en
terminos de errores que no sean de prediccion son perfectamente
posibles.

Ejemplo de lineal versus no-lineal

Suponga que Yt=Xt2 + Zt con Xt y Zt N(0, 1) e independientes entre
ellas.
La mejor prediccion dado Xt es E[Yt|Xt]=Xt2.
La mejor prediccion lineal o projeccion lineal dado Xt es
a + b Xt donde se puede comprobar que a=1 y b=0.
Si calculamos el error cuadratico medio de las dos predicciones:
E[Yt-Xt2]2=E[Zt]2 =1
E[Yt-1]2=E[Xt4]+E[Zt]2-1=3
Que prediccion es mejor?
.

Nacimiento de los modelos ARMA

Bajo condiciones generales, el polinomio de retardos infinito de
la descomposicion de Wold puede ser aproximado por el cociente
de dos polinomios de retardos finitos:
( L)

Entonces
Z t ( L )a t

q ( L)
p ( L)

q ( L)
p ( L)

at ,

p ( L) Z t q ( L )a t
(1 1L ... p Lp ) Z t (1 1L ... q Lq )a t
Z t 1Z t 1 ... p Z t p a t 1a t 1 ... q a t q

AR(p)

MA(q)

Procesos MA(1)
Sea

at

un ruido blanco de media cero

a t (0, a2 )

Z t a t a t 1 MA (1)
Esperanza
Varianza

E ( Z t ) E ( at ) E ( at 1 )
Var ( Z t ) E ( Z t ) 2 E ( at at 1 ) 2
E ( at2 2 at21 2at at 1 ) a2 (1 2 )

Autocovarianza

1 orden
E(Z t )( Z t 1 ) E ( at at 1 )( at 1 at 2 )
E ( at at 1 at21 at at 2 2 at 1at 2 ) a2

Autocovarianzas de ordenes mayores

Proceso MA(1) (cont)

E ( Z t )( Z t j ) E ( at at 1 )( at j at j 1 )
E ( at at j at 1at j at at j 1 2at 1at j 1 ) 0

Autocorrelacion

1
2

2
2
0 (1 )
1 2
j 0 j 1

j 1

Proceso MA(1) (cont)

MA(1) es un proceso estacionario en covarianzas porque

E ( Z t ) Var ( Z t ) (1 2 ) 2
MA(1) es ergodico porque

2
2
2

(
1

j
j 0

Si at fuera Gaussiano, entonces

Zt

seria ergodico para todos los momentos

Grafico de la funcion

1
1 2

max( 1 ) 0.5 para 1

0.5

1 0.4 para 0.5

1 0.4 para 2

-1

-0.5

Si en 1

1
1/

substituim
os
,

1
1 2

1 (1 / ) 2 1 2

Z t at at 1
Z t at (

)at 1

Ambos procesos comparten

la misma funcion de autocorrelacion

MA(1) no es identificable, excepto para

Invertibilidad
Definicin: Un proceso MA(q) definido por la ecuacin

Z t q ( L)a t

se dice que es invertible si existe una secuencia de constantes

{ j } tales que j0 | j |

at

j Z t j,

t 0,1,...

j 0

Teorema: Sea {Zt} un MA(q). Entonces {Zt} es invertible si y solo si

( x ) 0 for all x C such that | x | 1. Los coeficientes {j} estn determinados

por la relacin

1
( x )
jx j
, | x | 1.
( x )
j 0

Identificacin de un MA(1)

Si identificamos el MA(1) a travs de la estructura de

autocorrelaciones, necesitamos decidir que valor de elegir, el
mayor que uno o el menor que uno. Si requerimos que se
cumpla condicion de invertibilidad (pensad por que???)
elegiramos el valor .
Otra razn por la cual elegimos el valor menor que uno se
encuentra en la varianza de los errores de las dos
representaciones alternativas:
Z t (1 1L)at , V ( at )
Z t (1

1
1

L )a

V ( at ) V ( at )

0
, invertible
2
(1 1 )

, V (a )

0 2
1

(1 )
2
1

, no - invertible

MA(q)

Z t at 1at 1 2 at 2 q at q
Momentos

E (Zt )

0 var( Z t ) (1 12 22 q2 ) a2
j E (at 1at 1 q at q )( at j 1at j 1 q at j q )
( j j 11 j 2 2 q q j ) 2 para j q

j
MA(q) es
Estacionario en
covarianzas y
ergodico, por las
mismas
por las que lo es un
MA(1)

0 for j q
j j j 11 j 2 2 q q j
j
q
0
2

i
i 1

Example MA(2)

2
1 1 2 1 2 2 2
2
1 1 2
1 1 22

3 4 k 0

MA(infinito)

Z t j at j

0 1

j 0

Es estacionario en covarianzas?
E (Zt ) ,

Var ( Z t )

2
a

i
i 0

j E ( Z t )( Z t j )

i 0

i j

El proceso es
estacionario en
covarianzas, si se
cumple que

i 0

i j

i
i 0

i
i 0

Procesos Causales y Estacionarios

p ( L) Z t a t

Definicin: Un AR(p) definido por la ecuacin

se dice que es causal, o una funcin causal de {at}, si existe una secuencia de
constantes
{ j } tales que j0 | j |

Zt

ja t j,

t 0,1,...

j 0

Causalidad es equivalente a

( x ) 0 para todo x C tal que | x | 1.

Definicion: Una solucion estacionaria {Zt} de la ecuacion p ( L) Z t a t existe

(y es la unica sol. estacionaria) si y solo si

( x ) 0 para todo x C tal que | x | 1.

Desde ahora en adelante solo trataremos como modelos AR
causales

AR(1)

Z t c Z t 1 at
Substituyendo hacia atras

Z t c c 2 Z t 2 at 1 at
c(1 ) at at 1 at 2
2

pogresin geometrica

MA( )

si 1
(1) 1 2

1
acotada
1

1
( 2) j
si 1
1
j 0
j 0

Recordad:

j
j 0

es la condicin para causalidad

y ergodicidad

AR(1) (cont)
1

Por lo tanto, el AR(1) es causal si

Alternativamente, considerando la solucion de la ecuacin

caracteristica:

1
1 x 0 x 1

i.e. las raices de esta ecuacin estan fuera del circulo unidad.
Esperanza

c
Zt
at at 1 2at 2
1
c
E (Zt )
1

Varianza
1
2
0 1
a
2
1
2

Autocovarianza de un AR(1) causal

Re-escribiendo el proceso como ( Z t ) ( Z t 1 ) at
j E Z t Z t j E Z t 1 at Z t j
E Z t 1 Z t j at Z t j j 1
j j 1 j 1

Autocorrelacion de un AR(1) causal

ACF j j j 1 j 1 j 1

j 2 j 2 3 j 3 j 0 j
PACF: De las ecuaciones de
Yule-Walker

11 `1
1 1

1 2
2 12 2 2
22

0
2
2
1 1
1 1
1 1
1 1
kk 0 k 2

AR(p)

Z t c 1Z t 1 2 Z t 2 ....... p Z t p at
Causal
ACF

Todas las p raices de la ecuacion caracteristica

fuera del circulo unidad
k 1 k 1 2 k 2 ...... p k p
1 1 0 2 1 ...... p p 1

Sistema para resolver las

2 1 11 2 0 ...... p p 2 primeras p autocorrelations:

p unknowns and p equations

p 1 p 1 2 p 2 ...... p 0

ACF decae como una mixtura de exponenciales y/o sinusoidales,

dependiendo de si las raices son reales o complejas
PACF

kk 0 para k p

Relacion entre un AR(p) y un MA(q)

AR(p) Causal
p ( L ) Z t at

p ( L) (1 1L 2 L2 .... p Lp )

1
Zt
a t ( L ) at
p ( L)

( L) (1 1L 2 L2 ....)

1
( L) p ( L) ( L) 1
p ( L)
AR( 2)

Como obtener de ?

(1 1L 2 L2 )(1 1L 2 L2 .....) 1

Ejemplo

1 1L 2 L2 3 L3 ......
1L 1 1L2 1 2 L3 ......
2 L2 2 1L3 ............. 1
igualando coeficientes de ambos polinomios :

1 1 0
1 1
j 2

2
j
j 1 1
j 2 2
2 1 1 2 0 2 1 2

3 1 2 2 1 0 3 1 (12 2 ) 21

MA(q) Invertible
Z t q ( L ) at

q ( L) (1 1L 2 L2 .... q Lq )

1
( L) Z t
Z t at
q ( L)
1
( L)
q ( L)

( L) (1 1L 2 L2 ....)

q ( L) ( L) 1

Como obtener de ?

Transforme un MA(2) en un AR(infinito)

ARMA (p,q)

p ( L) Z t q ( L)a t

Invertible raices de q ( x ) 0

Causal roots of p ( x ) 0

x 1

x 1

Representacion AR pura ( L) Z t
Representacion MA pura Z t

p ( L)
q ( L)

q ( L)
p ( L)

Z t at

at ( L)a t

ARMA(1,1)

(1 L) Z t (1 L)a t
causal 1
invertible 1

j ( ) j 1

j 1

MA puro Z t (L)a t j ( ) j 1

j 1

AR puro (L)Z t at

ACF de un ARMA(1,1)

Z t Z t k Z t 1Z t k at Z t k at 1Z t k
Tomando esperanzas

k k 1 E (at Z t k ) E (at 1Z t k )

k 0

E ( at Z t ) 2 a

E ( at 1Z t ) ( ) a

0 1 a ( ) a
2

k 1 1 0 a
k 2 k k 1

sistema de 2 ecuaciones y 2 incognitas

resolver para 0 y 1

ACF

( )1
k
2
1

k 1
PACF

k 0
k 1
k2

MA(1) ARMA(1,1)
decaimiento exponencial

ACF and PACF of an ARMA(1,1)

ACF and PACF of an MA(2)

ACF and PACF of an AR(2)

Apendice: Operador de Retardos L

Definicion

LZ t Z t 1

Propiedades

1.

L Z t Z t k

2.

L(Z t ) LZ t Z t 1

3.

L( Z t Yt ) LZ t LYt Z t 1 Yt 1

Ejemplos

1.

Z t 1Z t 1 2 Z t 2 at (1 1L 2 L2 ) Z t at

2. (1 1L)(1 2 L) Z t (1 1L 2 L 12 L2 ) Z t
3.

Z t at at 1 (1 L)at

4. (1 L) Z t at

Apendice: Operador Inverso

Definicion

(1 L) 1 lim j (1 L 2 L2 3 L3 ....... j L j )
tal que (1 L) 1 (1 L) L0 (operador identidad)

Observad que :

si 1 esta definicion no se mantiene porque el limite no existe

Ejemplo:

AR (1)

(1 L) Z t at
(1 L) 1 (1 L) Z t (1 L) 1 at
Z t at at 1 2 at 2 ......

Apendice: Operador Inverso (cont)

( L ) Z t ( L )a t
Supongamos que tenemos el modelo ARMA
y queremos encontrar la representacion MA Z t ( L)a .t
Se puede intentar hacerlo directamente 1 ( L)( L)
pero no es nada divertido. Alternativamente se puede encontrar

( L)at ( L) Z t ( L) ( L)a t , tal que ( L) ( L) ( L)

e igualar coeficientes en los terminos en Lj .
Example: Suppose

(L) ( 0 1L) and (L) ( 0 .1L 2 L2 )

0 0 0

1 1 0 0 1
2 ...............
0 1 j1 0 j ; j 3.

que se puede resolver recursivamente

INTENTALO!!!

Apendice: Factorizando Polinomios de retardos

Supongamos que necesitamos invertir

2
(L) (1 1L 2 L )

el polinomio
Se puede hacer factorizando:

(1 1L 2 L2 ) (1 1L)(1 2 L) with
1 2 2
1 2 1

Ahora invirtiendo cada factor y multiplicando:

(1 1L) 1 (1 2 L) 1 (

j 0

j k
k1 2 ) L j

j 0 k 0

Check the last expression!!!!

j
L j )(
1

j 0

j
L j ) (1 (1 2 )L ...
2

Apendice: Algunos trucos

La ultima expresion se puede espresar via la factorizacion parcial.
Encuenta las constantes a y b tal que
a (1 1L) b(1 2 L)
1
a
b

(1 1L)(1 2 L) (1 1L) (1 2 L)
(1 1L)(1 2 L)

El numerador del lado derecho debe ser 1, asi que

a b 1

2 a 1b 0
Resolviendo,
b

2 1

,a

1 2

por lo que

1
2
1
1
1

(1 1 L)(1 2 L)
(1 2 ) (1 1 L)
(1 2 ) (1 2 L)

(
j 0

(1 2 )

1j

(1 2 )

2j )

Apendice: Mas sobre Invertibilidad

Considere un MA(1) Z t 1 L at

Si 1, (1 L) 1 esta definido
(1 L) -1 ( Z t ) (1 L) 1 (1 L)at a t
Definicion

(1 L 2 L2 3 L3 .......)( Z t ) at

AR ( )

Un proceso MA es invertible si se puede re-escribir como un AR()

Un MA(1) es invertible si

[ 1 x 0 x

1
1]

Un MA(q) es invertible si todas las raices de la ecuacion caracteristica

estan fuera del circulo unidad.
Procesos MA tienen representaciones invertibles y no-invertibles
Representaciones invertibles: prediciones optimas dependen de
informacion pasada.
Representaciones no-invertibles: prediciones dependen del futuro!!!