Modelos ARMA
Proceso Ruido Blanco
Una secuencia de variables aleatorias {at } tal que
a t  :
E (at )  a
te  a  0 )
(normalmen
Var ( a t )   a
2
Cov ( a t , a t  k )  0 for k  0
Autocovari
k
  a2
 
0
anza y autocorrel acion
k 0
k 0
1
k  
0
k 0
1
 
0
k 0
 kk
k 0
k 0
k
....
1
2
3
4
k
La Descomposicion de Wold
Sea {Zt} una serie temporal estacionaria y no deterministica.
Entonces

Zt 

j
a t j  Vt   ( L )a t  Vt ,
j0
donde

1 .
0
 1y

2
j
 ,
j 0
2 . { a t } es WN ( 0 ,  ), con 
2
3 . Cov ( a s , V t )  0
4 . a t es el limite
2
para todo
de combinacio
5. {V t } es un componente
 0,
s y t,
nes lineales
determinis
tico.
de Z s , s  t , y
Algunos Notas sobre la Descomposicion de Wold
(  ) a t  Z t  P [ Z t | Z t  1 , Z t  2 ,...]
(  ) Como se calculan
los coeficient
es 

(    ) Que significa

???
j 0
n
E [Z t 

j0
a t  j ]  0 cuando n  
2
j
j
???
Que no dice la descomposición de Wold?
• at no tiene por que seguir una distribucion normal y por tanto no
tiene por que ser iid
• Aunque P[at|Zt-j]=0, esto no implica que E[at|Zt-j]=0 (piensa en las
posibles consecuencias!!!!)
• Los shocks a no necesitan ser los “verdaderos” del sistema. Cuando
lo serán????
• La unicidad del resultado solo dice que la representacion de Wold
es la unica representacion lineal donde los shocks son errores de
prediciones. Representaciones no-lineales o representaciones en
terminos de errores que no sean de prediccion son perfectamente
posibles.
Ejemplo de lineal versus no-lineal
Suponga que Yt=Xt2 + Zt con Xt y Zt N(0, 1) e independientes entre
ellas.
La mejor prediccion dado Xt es E[Yt|Xt]=Xt2.
La mejor prediccion lineal o projeccion lineal dado Xt es
a + b Xt donde se puede comprobar que a=1 y b=0.
Si calculamos el error cuadratico medio de las dos predicciones:
E[Yt-Xt2]2=E[Zt]2 =1
E[Yt-1]2=E[Xt4]+E[Zt]2-1=3
Que prediccion es mejor?
.
Nacimiento de los modelos ARMA
Bajo condiciones generales, el polinomio de retardos infinito de
la descomposicion de Wold puede ser aproximado por el cociente
de dos polinomios de retardos finitos:
 (L ) 
Entonces
Z t   (L )a t 
 q (L )
 p (L )
 q (L )
 p (L )
at ,
 p (L ) Z t   q (L )a t
(1   1 L  ...   p L
p
) Z t  (1   1 L  ...   q L
q
)a t
Z t   1 Z t  1  ...   p Z t  p  a t   1 a t  1  ...   q a t  q
AR(p)
MA(q)
Procesos MA(1)
Sea a t 
un ruido blanco de media cero
Z t    a t   a t 1
Esperanza
Varianza
2
a t  (0,  a )
 MA (1)
E ( Z t )    E ( a t )   E ( a t 1 )  
Var ( Z t )  E ( Z t   )  E ( a t   a t 1 ) 
2
2
 E ( a t   a t  1  2 a t a t 1 )   a (1   )
2
2
2
2
2
Autocovarianza
1º orden
E(Z t   )( Z t 1   )  E ( a t   a t  1 )( a t  1   a t  2 ) 
 E ( a t a t  1   a t  1   a t a t  2   a t  1 a t  2 )  
2
2
2
a
Proceso MA(1) (cont)
Autocovarianzas de ordenes mayores
E ( Z t   )( Z t  j   )  E ( a t   a t 1 )( a t  j   a t  j  1 ) 
 E ( a t a t  j   a t 1 a t  j   a t a t  j 1   a t 1 a t  j 1 )  0
2
Autocorrelacion
1 
1
0
j 0


2
(1   )
2
j1
2


1
2
j1
Proceso MA(1) (cont)
MA(1) es un proceso estacionario en covarianzas porque
E (Zt )  
Var ( Z t )  (1   )
2
2
MA(1) es ergodico porque



  (1   )  
2
j
2
2

j0
Si a t fuera Gaussiano, entonces Z seria ergodico para todos los momentos
t
1 
Grafico de la funcion
1

1
2
max(  1 )  0 . 5 para   1
0.5
 1  0 . 4 para   0 . 5
 1  0 . 4 para   2
-1
Si en  1 
-0.5

1
2
substituim
Z t  a t   a t 1
Z t  at

1



1
 ( ) a t 1 


os
1

, 1 
1/
1  (1 /  )
2


1
2
 Ambos procesos comparten
la misma funcion de autocorrelacion
MA(1) no es identificable, excepto para
1  
Invertibilidad
Definición: Un proceso MA(q) definido por la ecuación
Z t   q (L )a t
se dice que es invertible si existe una secuencia de constantes

{ j } tales que


j 0
|  j | 
y
at 

 j Z t  j,
t  0 ,  1,...
j 0
Teorema: Sea {Zt} un MA(q). Entonces {Zt} es invertible si y solo si
 ( x )  0 for all x  C such that
Los coeficientes {j} están determinados
| x | 1.
por la relación

(x ) 

j 0
 jx
j

1
(x )
, | x | 1.
Identificación de un MA(1)
• Si identificamos el MA(1) a través de la estructura de
autocorrelaciones, necesitamos decidir que valor de  elegir, el
mayor que uno o el menor que uno. Si requerimos que se
cumpla condicion de invertibilidad (pensad por que???)
elegiríamos el valor 1.
• Otra razón por la cual elegimos el valor menor que uno se
encuentra en la varianza de los errores de las dos
representaciones alternativas:
Z t  (1   1 L ) a t , V ( a t ) 
Z t  (1  
1
1
L )a

V (at )  V (at )

t

t
0
(1  
, V (a ) 
2
1
, invertible
)
 0
2
1
(1  
2
1
, no - invertible
)
MA(q)
Z t    a t   1 a t 1   2 a t  2     q a t  q
Momentos
E (Zt )  
 0  var( Z t )  (1   1   2     q ) a
2
2
2
2
 j  E ( a t   1 a t 1     q a t  q )( a t  j   1 a t  j 1     q a t  j  q )
 ( j   j  1 1   j  2 2     q q  j ) 2 para j  q
j 
 0 for j  q
MA(q) es
Estacionario en
covarianzas y
ergodico, por las
mismas
por las que lo es un
MA(1)
j 

j
0

 j   j  1 1   j  2 2     q q  j
q
 i
2
i 1
Example
1 
MA(2)
 1   1 2
1  1  
2
2
2
2 
2
1  1  
2
2
2
3  4    k  0
MA(infinito)
Zt   


j
at

j
 1
0
j0
Es estacionario en covarianzas?

E (Zt )  ,
Var ( Z t )  
2
a
2

 i
i0

j
 E ( Z t   )( Z t  j   )   

2
 
i
i0
i j
El proceso es
estacionario en
covarianzas, si se
cumple que

 
i

j

i j
i0


i0
2
i


i0
2
i
 
Procesos Causales y Estacionarios
 p (L )Z t  a t
Definición: Un AR(p) definido por la ecuación
se dice que es causal, o una función causal de {at}, si existe una secuencia de
constantes
{ j } tales que


j 0
|
j
| 
y

Zt 

 j a t  j,
t  0 ,  1,...
j 0
Causalidad es equivalente a
 ( x )  0 para todo x  C tal que | x | 1.
Definicion: Una solucion estacionaria {Zt} de la ecuacion  p ( L ) Z t  a t existe
(y es la unica sol. estacionaria) si y solo si
 ( x )  0 para todo x  C tal que | x | 1.
Desde ahora en adelante solo trataremos como modelos AR
causales
AR(1)
Z t  c   Z t 1  a t
Substituyendo hacia atras
Z t  c   c   Z t  2   a t 1  a t 
2
 c (1    
2
  )  a t   a t 1   a t  2  
2

  

MA (  )
pogresión geometrica
si   1 
(1 )
1   

(2)


j

j0


j0
1

j0
Recordad:
1
2

j
 
j

1
1 
acotada
  si   1
es la condición para causalidad
y ergodicidad
AR(1) (cont)
 1
Por lo tanto, el AR(1) es causal si
Alternativamente, considerando la solucion de la ecuación
caracteristica:
1
1  x  0  x   1

i.e. las raices de esta ecuación estan fuera del circulo unidad.
Esperanza
Zt 
c
1
 a t   a t 1   a t  2  
2
  E (Zt ) 
c
1
Varianza
 0  1       
2
4
2

1
1
2
a
2
Autocovarianza de un AR(1) causal
Re-escribiendo el proceso como ( Z t   )   ( Z t 1   )  a t
 j  E  Z t   Z t  j     E   Z t 1     a t Z t  j    
  E  Z t 1   Z t  j     a t Z t  j     
 j  
j 1
j 1
j1
Autocorrelacion de un AR(1) causal


ACF  j  j   j 1   j 1 j  1
o
0
 j    j2    j3      0  
2
3
PACF: De las ecuaciones de
Yule-Walker
j
j
 11   `1  
1
 22 
1
1  2
1
1
 kk  0
1
 2  1
2

1
k  2
1 
2
1
 
2

1 
2
1
2
 0
AR(p)
Z t  c   1 Z t 1   2 Z t  2  .......  p Z t  p  a t
Causal
ACF
Todas las p raices de la ecuacion caracteristica
fuera del circulo unidad
 k   1  k 1   2  k  2  ......  p  k  p
 1   1  0   2  1  ......  p  p 1
 Sistema para resolver las

 2   1  11   2  0  ......  p  p  2  primeras p autocorrelations:
 p unknowns and p equations


 p   1  p 1   2  p  2  ......  p  0 
ACF decae como una mixtura de exponenciales y/o sinusoidales,
dependiendo de si las raices son reales o complejas
PACF
 kk  0 para k  p
Relacion entre un AR(p) y un MA(q)
AR(p) Causal
 p ( L )  (1   1 L   2 L  ....  p L )
 p ( L )Z t  at
Zt 
1
 p (L)
1
 p (L)
2
at   ( L )at
 ( L )  (1   1 L   2 L  ....)
2
  ( L)   p ( L ) ( L )  1
AR ( 2 )
p
Como
obtener
(1  1 L   2 L )( 1   1 L   2 L  .....)  1
2
2
 de  ?
Ejemplo
1   1 L   2 L   3 L  ...... 
2
3
 1 L  1 1 L  1 2 L  ...... 
2
3
  2 L   2 1 L  .......... ...  1
2
igualando
coeficient
3
es de ambos polinomios
:

 1  1
 

2
 2  1 1   2  0  2  1   2


2
 3  1 2   2 1  0 
 3  1 (1   2 )   21 
 1  1  0
j

 
j 1 1
2
j2
j2
MA(q) Invertible
 q ( L )  (1   1 L   2 L  ....  q L )
Z t   q ( L )at
 (L)Z t 
1
q (L)
2
1
q (L)
Z t  at
  (L) 
Como
q
 ( L )  (1   1 L   2 L  ....)
2
 q ( L ) ( L)  1
obtener
 de  ?
Transforme un MA(2) en un AR(infinito)
ARMA (p,q)
 p ( L )Z t   q ( L )a t
Invertible
 raices de  q ( x )  0
Causal  roots of  p ( x )  0
x 1
x 1
Representa cion AR pura   ( L ) Z t 
Representa cion MA pura  Z t 
 p (L)
 q (L)
 q (L)
 p (L)
Z t  at
a t   ( L )a t
ARMA(1,1)
(1   L ) Z t  (1   L ) a t
causal    1
invertible
  1
 at

MA puro  Z t   (L) a t

AR puro   (L)Z
t
 (    )
j
j
 (    )
j 1
j 1
j 1
j 1
ACF de un ARMA(1,1)
Z t Z t  k   Z t 1 Z t  k  a t Z t  k   a t 1 Z t  k
Tomando esperanzas
 k   k 1  E ( a t Z t  k )   E ( a t 1 Z t  k )
k  0
E (atZ t )  
E ( a t  1 Z t )  (    ) a
2
a
 0   1   a   (   ) a
2
k 1
 1   0  
k  2
 k  
k 1
2
a
2
2
 sistema de 2 ecuaciones

 resolver para  0 y  1
y 2 incognitas
ACF
k
1

 (   ) 1  
 
2
1


 2 


 k  1
k  0

k 1
k  2
PACF
MA (1)  ARMA (1,1)
decaimient
o exponencia
l
ACF and PACF of an ARMA(1,1)
ACF and PACF of an MA(2)
ACF and PACF of an AR(2)
Apendice: Operador de Retardos L
Definicion
LZ t  Z t 1
Propiedades
1.
L Z t  Z tk
2.
L ( Z t )   LZ t   Z t 1
3.
L ( Z t  Y t )  LZ t  LY t  Z t 1  Y t 1
k
Ejemplos
1.
Z t   1 Z t 1   2 Z t  2  a t  (1   1 L   2 L ) Z t  a t
2.
(1   1 L )( 1   2 L ) Z t  (1   1 L   2 L   1 2 L ) Z t
3.
Z t    a t   a t 1    (1   L ) a t
4.
(1   L ) Z t  a t
2
2
Apendice: Operador Inverso
Definicion
(1   L )
1
(1   L   L   L  .......  L )
j 
 lim
2
1
2
3
tal que (1   L ) (1   L )  L (operador
0
3
j
j
identidad)
Observad que :
si   1 esta definicion no se mantiene porque el limite no existe
Ejemplo:
AR (1)
(1   L ) Z t  a t
1
1
(1   L ) (1   L ) Z t  (1   L ) a t
Z t  a t   a t  1   a t  2  ......
2
Apendice: Operador Inverso (cont)
 (L ) Z t   (L )a t
Supongamos que tenemos el modelo ARMA
y queremos encontrar la representacion MA Z t   ( L ) a .t
Se puede intentar hacerlo directamente   1 ( L )  ( L )
pero no es nada divertido. Alternativamente se puede encontrar
 ( L ) a t   ( L ) Z t   ( L )  ( L ) a t , tal que  ( L )   ( L )  ( L )
e igualar coeficientes en los terminos en Lj .
Example: Suppose
2
 ( L )  (  0   1 L ) and  ( L )  (  0  .1 L   2 L )
00 0
1  1  0   0  1
 2  .......... .....
0   1  j  1   0  j ; j  3.
que se puede resolver recursivamente
j
INTENTALO!!!
Apendice: Factorizando Polinomios de retardos
Supongamos que necesitamos invertir
2
 ( L )  (1  1 L   2 L )
el polinomio
Se puede hacer factorizando:
2
(1   1 L   2 L )  (1   1 L )( 1   2 L ) with
 1 2    2
 1   2  1
Ahora invirtiendo cada factor y multiplicando:

(1   1 L )
1
(1   2 L )
1
 (

j 0

j

(
k j k
j
 
)L
1 2
j 0 k  0
Check the last expression!!!!

j j
 L )(
1

j 0
j j
 L )  (1  (  1   2 ) L  ... 
2
Apendice: Algunos trucos
La ultima expresion se puede espresar via la factorizacion parcial.
Encuenta las constantes a y b tal que
1
(1   1 L )( 1   2 L )

a
(1   1 L )

b
(1   2 L )

a (1   1 L )  b (1   2 L )
(1   1 L )( 1   2 L )
El numerador del lado derecho debe ser 1, asi que
a  b  1
 2 a  1b  0
Resolviend
b 
2
 2  1
o,
,a 
1
1   2
,
por lo que
1
(1   1 L )( 1   2 L )


j0
(
1
( 1   2 )
 1j 

1
1
(  1   2 ) (1   1 L )
2
( 1   2 )
 2j )

2
1
(  1   2 ) (1   2 L )

Apendice: Mas sobre Invertibilidad
Considere un MA(1) Z t    1   L a t
Si   1,
(1   L )
1
esta definido
1
(1   L) ( Z t   )  (1   L ) (1   L ) a t  a t
-1
(1   L   L   L  .......)( Z t   )  a t

      

2
2
Definicion
3
3
AR (  )
Un proceso MA es invertible si se puede re-escribir como un AR( )
• Un MA(1) es invertible si
 1
[ 1  x  0  x 
1

 1]
• Un MA(q) es invertible si todas las raices de la ecuacion caracteristica
estan fuera del circulo unidad.
• Procesos MA tienen representaciones invertibles y no-invertibles
• Representaciones invertibles: prediciones optimas dependen de
informacion pasada.
• Representaciones no-invertibles: prediciones dependen del futuro!!!
Descargar

Modelos ARMA