Análisis Estadístico
de
Datos Climáticos
Verificación y valor de los
pronósticos
M. Barreiro – M. Bidegain – A. Díaz
Facultad de Ciencias – Facultad de Ingeniería
2008
Verificación de pronósticos
Una definición: La verificación de pronósticos es
la exploración y evaluación de la calidad de un
sistema de pronósticos basado en una muestra de
pronósticos previos y en las observaciones
correspondientes.
Aquí la calidad tiene que ver con la capacidad de
los pronósticos para reducir la incertidumbre sobre
el estado futuro (desconocido) de un sistema.
(Para eso se hacen los pronósticos…)
Está bastante aceptado que la calidad de un pronóstico
tiene muchos atributos diferentes que no pueden ser
resumidos con un solo indicador o medida (“score”).
En general, son necesarios varios scores para poder
medir la calidad de un pronóstico.
Nota: los métodos para verificar pronósticos son
también útiles para otros problemas como comparar
dos conjuntos de datos (p. ej., cuando se usa un
conjunto para estimar al otro).
Las razones para realizar verificación de
pronósticos son de 3 tipos:
• administrativas
• científicas
• económicas
Además los resultados de la verificación deberían
dar información de interés, no realizarse por mera
conveniencia.
El predictando (es decir, aquello que se quiere
predecir) puede ser:
• continuo
(temperatura, presión, precipitación, etc)
• discreto (categórico)
(ocurrencia o no ocurrencia, valor por encima o debajo
de una referencia, o en un rango, cobertura de nubes
(ordinal), tipo de nubes (nominal), etc)
• univariado
• multivariado
(viento, varias variables, campos espaciales en
puntos de grilla)
• una probabilidad
(la probabilidad de que mañana haya niebla es un
40%)
• ensembles de pronósticos de modelos
Predictando categórico
(caso binario)
Pronóstico de Tornados
(Finley, 1884)
Matriz de contingencia
Osí Ono
Psí
Pno
Indicador de performance
de Finley:
Fracción de aciertos:
PC = (28+2680)/2803
= 0.966
Pronóstico alternativo:
“Nunca hay Tornado”
Osí Ono
Psí
Pno
Indicador:
Fracción de aciertos
• PC = (0+2752)/2803
= 0.982 (> 0.966!!)
Comentarios
• El esquema de Finley pronosticó correctamente más
de la mitad de los tornados ocurridos.
(El otro obviamente no.)
• El score “fracción de aciertos” puede no ser el mejor
indicador para sintetizar el valor de este esquema de
pronósticos en este caso, porque los pronósticos de
“no tornado” son en general correctos. Es decir que
no es un buen indicador para eventos “raros”.
• Los aciertos (Psí; Osí) son cruciales, y este score no
los destaca.
Recalibración (usuario):
El esquema de Finley:
• Cuando pronostica tornado,
acierta el 28% de los casos.
• Cuando
pronostica
“no
tornado”, se equivoca menos
del 1% de los casos.
El otro esquema:
• Nunca acierta un tornado
• Se equivoca el 1.8% de los casos
Otros indicadores para pronósticos binarios
a = aciertos
b = falsa alarma
c = fallos
d = negativo correcto
a+b+c+d =n
TS  CSI 
FAR 
H
b
ab
a
ac
a
abc
es útil si a << d. Para el caso
Finley da 0.228
false alarm ratio
Hit rate
(0.55)
etc etc etc…
(0.72)
BIAS= (a+b)/(a+c)
(1.96)
• No hay un solo score que resuma toda la
información
• Al tratar de resumir la información dada
por los valores de la tabla en uno solo, se
pierde información
• Se suelen analizar varios conjuntamente
• Los valores de pronósticos de un
predictando continuo escalar se pueden
dividir en dos rangos separados por un
umbral, considerarlos como pronósticos
categóricos binarios, y calcular los scores
ya vistos.
• También se puede variar ese umbral y
graficar los scores en función del umbral.
Ej: Estimación de precipitación por satélite
Ebert, 2002
• También se puede dividir en K intervalos o
rangos, y obtener una tabla de
contingencia de KxK
Murphy y Winkler (1987) establecieron un
marco general para la verificación de
pronósticos basado en las distribuciones de
probabilidad conjuntas de los eventos
observados y pronosticados.
En el caso de variables discretas, si llamamos x al
valor observado, y x’ al correspondiente valor
pronosticado, se llama distribución conjunta de
pronósticos y observaciones
p(x’,x)
a la
probabilidad de que x’ tome un valor determinado
y, al mismo tiempo, x tome otro valor determinado.
A su vez, a partir de la distribución conjunta se definen
las distribuciones marginales y condicionales.
Para variables discretas, las distribuciones marginales
de x’ y x son:
p(x' ) 
 p (x' , x)
x
p(x) 
 p (x' , x)
x'
y las condicionales:
p (x' | x ) 
p (x' , x)
p (x)
p (x | x' ) 
p (x' , x)
p (x' )
Un sistema de pronóstico es completamente inútil si
los pronósticos son independientes de las
observaciones, o sea si:
p (x | x' )  p(x)
o
p (x' | x )  p(x' )
para todos los valores de x y x’
Habilidad de pronóstico (forecast skill)
• Se define en relación con un sistema de
pronóstico de referencia (típicamente,
persistencia o climatología).
Skill
score 
s - s ref
s perf - s ref
Si s = sperf, skill = 1 (máximo)
Si s = sref skill = 0 (igual que la referencia)
Si s < sref , skill < 0 (peor que la referencia)
Predictandos continuos
Medidas de performance usuales
su raíz cuadrada es el
RMSE
Correlaciones
Pronóstico de probabilidades
• “La probabilidad de que llueva mañana es 30%”
• ¿Cómo se evalúa?
Con varios (muchos) pronósticos de 30%
• El sistema de pronóstico debe ser consistente y
tener resolución.
Consistencia:
entre
las
probabilidades
pronosticadas y observadas.
Resolución: capacidad de clasificar eventos
observados en grupos diferentes entre sí. Por ej.,
distinguir eventos que ocurren con mayor o menor
frecuencia que la climatológica.
“Habilidad artificial”
• Es una habilidad aparente que no se conserva
cuando se aplica el modelo de pronóstico a un
conjunto independiente de datos.
• Cuantos más predictores potenciales se incluyan, es
más posible que aparezca esta habilidad artificial.
Para evitar este problema:
• Usar un período de “entrenamiento” y un período de
“verificación”
• Usar validación cruzada.
Características deseables de un esquema de
pronóstico
• Que tenga base física
• Estadísticamente correcto
• Reproducible y transparente (NO “caja
negra”)
• Mostrar cómo hubiera funcionado en el
tiempo.
• Que permita tomar decisiones en un área
dada.
• Ser sometido al juicio de los pares, a través
de publicación arbitrada.
Valor de los pronósticos
•Se refiere al valor económico para el usuario,
que está relacionado con la calidad del
pronóstico.
•Como dijimos, la calidad tiene que ver con la
posibilidad de reducir la incertidumbre sobre el
estado futuro del sistema.
Veremos un modelo muy sencillo que define el
valor de un pronóstico.
Modelo de decisión “costo-pérdida”
•
•
•
Se tiene un evento climático cuya
ocurrencia produce una pérdida P.
Se pueden tomar acciones preventivas,
cuyo costo es C. (C<P).
La frecuencia climatológica del evento es s.
(0 < s < 1)
1) Si no se dispone de pronóstico, (y
suponiendo que siempre se realiza la
misma acción):
Eclim = min (C , sP) (valor esperado del gasto)
Modelo de decisión “costo-pérdida”
(cont.)
2) Disponiendo de un modelo perfecto:
Eperf = sC (a éste gasto se quiere llegar)
3) Si se tiene un pronóstico que da un gasto
esperado Epron , se define:
V 
E clim  E pron
E clim  E perf
(es el valor del sistema
de pronóstico)
Si V > 0, el sistema da beneficio (Vmax = 1)
Comentarios
El beneficio de un mismo pronóstico será
distinto para distintos usuarios, ya que cada uno
tiene su C y P.
Se
demuestra
que
los
pronósticos
probabilísticos dan más beneficio que los
determinísticos.
(Hay
una
probabilidad
umbral
óptima
dependiendo del valor C/P.)
Descargar

Verif_pronost2009