Estimación de máxima verosimilitud
Programa de doctorado en
Estadística, Análisis de datos y
Bioestadística
Fundamentos de Inferencia Estadística
Jordi Ocaña Rebull
Departament d’Estadística
Divisió de Ciències Experimentals i
Matemàtiques
Contenido
 Concepto de estimación de máxima
verosimilitud (MLE)
 Relación con la suficiencia
 Equivariancia
 Obtención práctica de MLE. Ecuaciones
de verosimilitud
 Métodos numéricos de obtención de
MLE
 Algoritmo de Newton-Raphson
Concepto de estimación de
máxima verosimilitud MLE
 Dada una función de verosimilitud L
para un parámetro q Î Q , una
estimación de máxima verosimilitud es
un valor qˆ Î Q tal que
L ( qˆ ) = m a x L ( q )
qÎ Q
– “Escoger aquel valor que dé las máximas
oportunidades a los hechos observados”
– Fisher en su formulación actual, orígenes
en el siglo XVIII (Bernouilli, Lambert)
Comentarios sobre el
concepto de estimación MLE
 Q no tiene por que ser numérico
 Puede no existir
 Puede no ser única
– Pero en general existe y es única. Entonces
se puede hablar con propiedad de “la” MLE
 Maximización sobre Q, no sobre los
valores matemáticamente admisibles
 A menudo sin expresión cerrada, para y
concreto buscar numéricamente max L
Relación con la suficiencia
 Supongamos que existe una (o “la”)
estimación MLE de q, qˆ. Entonces se
puede afirmar que es función de
cualquier estadístico suficiente:
T ( y ) su ficien t e p a r a q Þ
qˆ = h (T ( y ) )
– Consecuencia del teorema de factorización
– Maximizar L ( q ) µ f (y ; q ) equivale a
maximizar L ( q ) µ g (t ; q )
Equivariancia
 La MLE es invariante frente a
transformaciones biyectivas:
S ea y : Q ® Y b iy ect iv a .
qˆ M L E d e q
Þ
y
( qˆ )
M L E d e y (q )
 Si y no biyectiva lo anterior cierto si se
considera verosimilitud inducida:
L Y (y ) =
m ax
{q : y ( q )= y }
L (q )
Obtención práctica de MLE.
Ecuaciones de verosimilitud
 Maximizar L equivalente a maximizar la
log-verosimilitud, l, cosa que suele ser
más fácil. El problema se suele reducir a
resolver las “ecuaciones de
d
verosimilitud”
l (q ) = 0
dq
d2
– Sólo condición necesaria. Estudiar
)
l ( qtambién
las segundas derivadas,d q (d q ) '
q = qˆ
 Si no, estudio detallado de L o l
Métodos numéricos de
obtención de MLE
 Estos problemas son tema importante
de la Estadística computacional
 Dos situaciones distintas:
– Obtención directa del máximo de L o de l
– Si es posible derivar analíticamente l:
solución numérica de las equaciones de
verosimilitud (problema más fácil)
 Muchas técnicas aplicables: básica es
el algoritmo de Newton-Raphson
Algoritmo de Newton-Raphson
(expresión general)
 Objetivo: solucionar la ecuación g(x)=0
 Procedimiento:
– valor inicial x0 propuesto como solución
aproximada
– iteración con sucesivas soluciones
aproximadas x0, x1, ..., xs, ... Mediante
xs+ 1 = xs -
- 1
d
( d x g (x ))
s
g (x s )
– detenida al cumplirse algún criterio de
convergencia
Algoritmo de Newton-Raphson
(aplicado a la estimación MLE)
d
l (q )
 Ahora x = q, g ( q ) =
dq
 Procedimiento:
– inicial qˆ 0 (p.e. método de los momentos)
– iteración
- 1
æ d2
ö d
÷
ç
ˆq
ˆ
ˆ
ˆ
÷
=
q
l
q
l
q
ç
( s ) ÷÷ d q ( s )
s
s+ 1
ççè d q d q '
ø
– detenida al cumplirse algún criterio de
convergencia, p.e. d
l ( qˆ ) < e
dq
Descargar

Estimación de máxima verosimilitud