Cantidad de Información de Fisher y
propiedades de los MLE
Programa de doctorado en Estadística,
Análisis de datos y Bioestadística
Fundamentos de Inferencia
Estadística
Departament
d’Estadística
Jordi
Ocaña
Rebull
Divisió de Ciències Experimentals i
Matemàtiques
Diapositiva resumen
 Problema regular de estimación
 Información de Fisher observada
 Información de Fisher esperada
 Propiedades de la información de
Fisher
 Desigualdad de Cramér-Rao
 Propiedades asintóticas de los MLE
 MLE e información de Fisher en los
modelos exponenciales
Problema regular de
estimación
 Modelo estadístico F identificable
 Espacio paramétrico, , es un abierto
de Rk
 Para toda densidad f  F, soporte de
f(y;q) independiente de q
 Derivación respecto de q e integración
respecto de y doblemente
intercambiables:
Problema regular de
estimación
intercambiabilidad de integración y derivación
 Caso de parámetro escalar:
òY
òY
d
f ( y ; q )d n ( y ) =
dq
d2
dq
2
d
d q òY
f ( y ; q )d n ( y ) =
d2
dq
2
f ( y ; q )d n ( y )
òY
f ( y ; q )d n ( y )
 Para parámetro multidimensional,
igualdad entre matrices
òY
d2
d qd q ¢
f ( y ; q )d n ( y ) =
d2
d qd q ¢ òY
f ( y ; q )d n ( y )
Cantidad de información de
Fisher observada
 Definida como:
I
( qˆ )
2
æ
d
= - l ¢¢( qˆ ) çç = log f ( y ; q )
2
çè
dq
q = qˆ
sien d o qˆ la est im a ción M L E
 Medida de la curvatura local de l en la
MLE: indicador del grado de preferencia
del MLE sobre los puntos de alrededor.
qˆ es M L E
Û I
( qˆ ) >
0
ö
÷
÷
÷
ø
Cantidad de información de
Fisher esperada
 Definición:
ìï
ü
d2
ï
I (q ) = E í log f (Y ; q ) ý
2
ïîï d q
ïþ
ï
 Equivalente a:
ìïï d
I (q ) = E í
log f (Y ; q )
ïîï d q
(
= v a r ( u ( q ;Y ) ) = E
2
)
ü
ïï
ý
ïþ
ï
2
{( u ( q ;Y ) )
d on d e u ( q ) = l ¢( q ) fu n ción "scor e"
}
Cantidad de información de
Fisher esperada
 Parámetro multidimensional:
ü
ìï d 2
ï
log f (Y ; q ) ïý
I ( q ) = - E ïí
ï
ï d q d q¢
ï
þ
îï
ìï d
log f (Y ; q )
= E ïí
ï dq
ïî
= v a r {u ( q ;Y ) }
(
)(
ü
ï
¢
d
log f (Y ; q ) ïý
dq
ï
ïþ
)
m a t r iz d e cov a r ia n za s d e la fu n ción scor e
Propiedades de la información
de Fisher. (i)
 Aditividad: siY1,Y2 son (sub)muestras
independientes con información I1(q) e
I2(q) respectivamente, la información
asociada a (Y1;Y2) es I1(q)+I2(q)
 Consecuencia: si i(q) es la información
asociada a un dato yj, ni(q) es la
información asociada a una m.a.s. de
tamaño n, y1,...,yn
Propiedades de la información
de Fisher. (y ii)
 Sea y = y(q) invertible y diferenciable
– Para parámetros escalares:
2
IY
æd q ( y ) ö
÷
(y ) = ç
÷ I (q )
çè d y ø
– En general:
I Y ( y ) = J ¢I ( q ) J ,
q = q( y )
æ¶ q
i
J = çç
çè ¶ y j
 Si T(Y) estadístico, IT(q)  IY(q)
– Si suficiente para q, IT(q) = IY(q)
ö
÷
÷
÷
÷
ø
Desigualdad de Cramér-Rao.
(i)
 T estadístico con momentos de
segundo orden finitos, con
a(q)=Eq{T(Y)}, a(q) derivable y 0 < I(q)2<
¢( q ) )
a
(
:S E (T (Y ) ) ³ v a r (T (Y ) ) ³
M
I (q )
– Si T insesgado:
v a r (T (Y ) ) ³
1
I (q )
- 1
– Si parámetro
)) ³ I ( q )
v a r (T (Y multidimensional
Desigualdad de Cramér-Rao.
(y ii)
 No siempre existe (o es único) T(y) que
llegue a varianza mínima de CramérRao
 Condición necesaria y suficiente para
que exista un tal estimador: que exista
una constante k(q) tal que la igualdad
d
l ( q ; y ) = k ( q )(T ( y ) - a ( q ) )
dq
se cu m p la con p r ob a b ilid a d 1
Consecuencias de la igualdad
anterior
Supongamos que T(y) alcanza la cota
de Cramér-Rao:
 Si q̂ es MLE de q, T(y) función de q̂:
d
dq
l ( qˆ ; y
)=
0 Þ T ( y ) = a ( qˆ )
 Si T estimador insesgado de q, coincide
con el MLE, qˆ = T ( y )
 T(y) es suficiente
Propiedades asintóticas de los
estimadores MLE
 Bajo (complicadas) condiciones de
regularidad (por ejemplo):
– Problema regular de estimación
– Existencia y valor positivo de I(q)
– Existencia y acotación de terceras
derivadas de l
– Muestreo aleatorio simple
 MLE son consistentes, asintóticamente
normales y asintóticamente eficientes
(Una) expresión concreta de
las propiedades asintóticas de
MLE
S ea q0 el "v a lor v er d a d er o" d e q, en t on ces
ex ist e u n M L E , qˆ n , t a l q u e:
P
qˆ n ¾ ¾ ® q0
n ( qˆ n - q0 ) ¾ ¾ ® Z :
d
lim
n® ¥
v a r ( qˆ n
)
1
n i ( q0 )
= 1
æ
1
N çç 0,
çè i ( q
0
ö
÷
÷
) ÷ø
MLE e información de Fisher
en los modelos exponenciales
 Caso q unidimensional. t(y) es
suficiente
L ( q ; y ) µ ex p { y ( q ) t ( y ) - t ( q )}
l ¢( q ) = 0 Û y ¢( q ) t ( y ) = t ¢( q )
p r op ied a d fa m ilia ex p on en cia l:
t ¢( q )
E {t (Y )} =
Þ
y ¢( q )
E
{t (Y
) ; qˆ
}=
t (y )
MLE e información de Fisher
en los modelos exponenciales
 Relación con información de Fisher
observada:
l ¢¢( q ) = y ¢¢( q ) t ( y ) - t ¢¢( q )
I ( q ) = E {- l ¢¢( q ;Y )}
= y ¢¢( q ) E {t ( y ) ; q } - t ¢¢( q )
I
ˆ
ˆ
¢
¢
q
=
l
q
( )
( )= I
ˆ
q
( )
Descargar

Cantidad de Información de Fisher y propiedades de