“an information criterion” (AIC)
Akaike’s information criterion
… en pocas palabras.
Luis M. Carrascal
En vez de obtener la diferencia entre dos modelos, se obtiene una
estima de la distancia relativa esperada entre cada modelo estimado y
los verdaderos mecanismos que realmente han generado los datos
observados (posiblemente de una dimensionalidad muy alta).
AIC sirve para seleccionar el mejor modelo dentro de un conjunto de
estos obtenidos con los mismos datos. Debemos hacer un esfuerzo por
asegurarnos de que el conjunto de modelos de trabajo sea sólido y esté
bien apoyado.
AIC sirve para medir la distancia de cada modelo bajo comparación
respecto a la “verdad” representada por los datos. Lo único verdadero son
los datos; nuestros modelos pretenden representar esa realidad.
En el caso de modelos GLM, AIC se calcula del siguiente modo:
AIC = n·[ln(2·π)+1] + n·ln(SSerror/n) + 2·K
donde n es el tamaño muestral,
SSerror/n es la varianza residual (SSerror es la suma de cuadrados error del modelo)
y K es el número de parámetros del modelo de regresión (intercepto + predictores + error).
Otra expresión simplificada, a efectos comparativos, es
AIC = n·ln(SSerror/n) + 2k
En el caso de modelos Generalizados
AIC = 2·K – 2·ln(L)
donde L es la estima de “maximum likelihood”
y K el número de parámetros del modelo de regresión.
Lo importante no es el valor absoluto de AIC, sino las diferencias entre los
valores AICi de i modelos (desde i=1 a i=R, siendo R modelos = comparados)
AIC se recomienda cuando n/K es mayor de 40.
siendo n el número de observaciones (tamaño muestral)
Si este no es el caso, deberíamos utilizar:
Akaike’s second order information criterion (AICc):
AICc = AIC + (2·K·(K+1))/(n-K-1)
Trabajaremos, por tanto, con diferencias en una serie de valores AIC.
Para ello seleccionaremos el menor valor AIC dentro de nuestro subconjunto
de modelos (AICmin), para a continuación calcular incrementos de AIC sobre
ese valor mínimo.
Δi =AICi – AICmin
No son los valores absolutos de AICi lo importante, sino las …
diferencias relativas entre los AICi (Δi) de diferentes modelos.
Escala relativa de plausibilidad de modelos:
Δi
Plausibilidad
0–2
Similar
4–7
Menor
> 10
Mucho menor
La verosimilitud relativa de un modelo se calcula mediante exp(-0.5·Δi).
Pesos Akaike (wi)
Se utilizan para una mejor interpretación de la plausibilidad de los modelos
cuando estos se comparan.
Sean R modelos seleccionados, entonces el peso relativo del modelo i (wi)
es:
wi = exp(-0.5·Δi) / Σ(exp(-0.5·Δi))
con la suma (Σ) de modelos de i=1 a i=R
wi se interpreta como el peso de la evidencia de que el modelo i sea el mejor
dentro del conjunto de los modelos candidatos a representar la realidad
contenida en los datos.
También puede interpretarse wi como la probabilidad de que ese modelo i
sea el mejor modelo dentro del conjunto de modelos que se están
comparando.
Con estos pesos relativos se estiman los coeficientes de evidencia,
… para comparar la plausibilidad de modelos sometidos a comparación,
peso relativo mayor / peso relativo menor
Estos coeficientes de evidencia son invariantes respecto al número de modelos
que hemos considerado en el análisis.
Δi
0–2
4–7
> 10
Plausibilidad
Similar
Menor
Mucho menor
Coef. evidencia
1 – 2,7
7,4 – 33,1
>148
Los pesos wi también pueden ser utilizados para calcular la importancia de los
parámetros individuales incluidos en los diferentes modelos.
Para ello se suman los pesos de los modelos en los que han entrado cada una de las
variables que están siendo analizadas para explicar la variable respuesta.
Ambivalencia.
Es la falta de habilidad para poder identificar el mejor modelo recurriendo a
criterios AIC.
No es indicativo de un defecto en las estimas de AIC, sino de que los datos
son simplemente inadecuados para alcanzar una inferencia fuerte.
En tales casos, varios modelos pueden ser utilizados con el objetivo de
hacer inferencias.
Usos de los pesos:
Estos pesos podemos utilizarlos para estimar el valor medio ponderado de
cada variable predictora, usando los coeficientes de regresión y sus errores
estándar en los modelos en que entran esas variables, y los pesos wi de
esos modelos.
También los podemos utilizar para efectuar medias ponderadas de valores
predichos por una serie de modelos.
Detalles importantes … aunque discutibles:
1) Los valores AIC no pueden ser comparados utilizando diferentes juegos de
datos (los datos deben ser fijos)
2) Todos los modelos deben ser calculados utilizando la misma variable
dependiente, o la misma transformación de ésta.
3) Todos los modelos deben asumir idénticas distribuciones canónicas,
funciones de vínculo, estructura de errores y varianzas de ellos.
4) “Information-Theoretic Criteria” no es un test. Establece criterios para
seleccionar modelos. Es una herramienta exploratoria, no de contraste de
hipótesis.
5) No se deben utilizar los valores Δi, wi, o cocientes wi/wj para hablar de
diferencias significativas entre modelos.
6) AIC y AICc son sensibles a la presencia de sobredispesión en los datos (ĉ).
Dicho aspecto se puede:
• valorar con dicho parámetro de sobredispersión, o,
• contemplar con la estima de los coeficientes QAIC y QAICc.
Bibliografía relevante:
Akaike information criterion [pdf] [pdf]
Information theory and hypothesis testing
Information criterion
Kullback-Leibler information as a basis for strong inference in ecological studies
Model Based Inference in the Life Sciences - A Primer on Evidence - Introduction
Model selection in ecology and evolution
AIC myths and misunderstandings
Avoiding Pitfalls When Using Information-Theoretic Methods
Multimodel inference
Model selection and multimodel inference
Multimodel Inference: Understanding AIC and BIC in Model Selection
Model weights and the foundations of multimodel inference: Comment
Model del Inference and Averaging
Model Based Inference in the Life Sciences - A Primer on Evidence - Quantifying the Evidence About Science Hypotheses
Model Based Inference in the Life Sciences - A Primer on Evidence – Appendices … interesantes los apéndices E y F
Statistical Modeling by AIC
Bootstrap Information Criterion
Information theory and hypothesis testing - a call for pluralism
Concerns regarding a call for pluralism of information theory and hypothesis testing
Information theory in willdlife science - critique and viewpoint
Uninformative parameters and model selection using Akaike’s Information Criterion
Testing ecological theory using the information-theoretic approach - Examples and cautionary results
Performance of several variable-selection methods applied to real ecological data
Descargar

“an information criterion” (AIC) Akaike`s information criterion … en