Entender la característica de
funcionamiento relativa
Simon J. Mason
International Research Institute for
Climate and Society
QUE?
El WMO incluye caracteristicas relativas
operacionales (ROC) como parte de su sistema
estandarizado de verificacio (SVS).
El nombre incomprensible no significa
intimidacion! El nombre fue heredado de la teoria
de descubrimiento o identificacion.La maioria de
los meteorogolos se refieren a ella como ROC
simplemente.
El ROC se usa para medir que tan buenos son los
pronosticos, pero la misma o es una medida
sencilla de prognostico de abilidad como la
correlacion, sino que se presenta generalmente
gratificante.
¿Por qué?
El ROC fue seleccionado como parte del SVS del
WMO por muchas rezones, incluyendo las
siguientes characteristicas:
1. Se puede utilizar con pronosticos determinantes
y de probabilidad.
2. Fue disenado para medir que tan buenos son
los pronosticos en el contexto de un modelo
muy simple al tomar decisiones determinantes, y
por lo tanto es mas conveniente para medir que
tan buenos son los prognosticos desde la
perspectiva del usuario en comparacion con
otras medidas comunmente usadas.
3. Reconoce que la calidad del pronostico no
puede ser medida por un simple numero.
¿Cuándo?
El ROC funciona con incognitas binarias.
Incognitas binarias son preguntas que tienen
respuestas "si" /"no" Por ejemplo:
Llovera esta tarde?
Estara caliente manana?
Producira tornados esta tormenta?
Por supuesto, la Segunda y tercera pregunta
tienen que ser definidas exactamente: "Caliente"
podria ser definida como "mayor de 30o C,"
"inusualmente humedo" podria significar "mas de
500 mm de lluvia.
Como veremos posteriormente, el pronostico no
tiene que ser expresado con un simple "si" o "no,"
pero la respuesta si tiene que ser un simple "si"
o "no." Si los pronosticos son expresados como ( o
convertidos a) "si" o "no," la verificacion es simple:
F o re c a s t s a y s e v e n t w ill h a p p e n ?
Event happens?
Yes
No
Yes
H it
M is s
No
F a ls e A la rm
C o rre c t R e je c tio n
As cajas amarillas son pronosticos correctos, las
cajas azules son pronosticos incorrectos.
Como?
F o re c a s t s a y s e v e n t w ill h a p p e n ?
Event happens?
Yes
No
Yes
H it
M is s
No
F a ls e A la rm
C o rre c t R e je c tio n
El ROC plantea las siguientes preguntas:
1. Para cuantos de los no-acontecimientos las
advertenciasfueron proporcionadas
incorrectamente?
2. Para cuantos de los acontecimientos las
advertencies fueron proporcionadas corretamente?
La major manera de ilustrar es por medio de un
juego.
A Usted le sera mostrado un arreglo de
120 azulejos de Mahjong organizados
en 8 filas numeradas y 15 columnas
(A-O). Usted tendra un minuto para
recordar las posiciones de 12 "wind"
azulejos. Ellos son los unicos azulejos
que se distinguen por sus characters
Chinos, negros, y grandes (mostrados
en el lado opuesto). Hay 3 de cada
uno, pero no se preocupe por distinguir
entre los azulejos, solo trate de
recordar las 12 posiciones. Trate de
recordar el mayor numero possible. La
mayoria de la gente recordaran unos
cuantos.
Por ejemplo, en el subconjunto abajo hay 3
azulejos del viento; están en C1, B3, y G3.
Usted debe también indicar cómo estas confidente y
se ha recordado la localización correctamente.
Utilice las categorías siguientes:
1.
2.
3.
4.
Muy confidente
(usted recuerda esta
localización claramente);
Bastante confidente (usted piensa que hay un
azulejo del viento aquí, pero
puede estar en una localización
vecina);
Levemente confidente (usted piensa que puede
haber un azulejo del viento en
alguna parte cerca aquí);
Apenas conjeturando (usted piensa que puede haber
localizado del azulejo que
espera arbitrariamente,hay
conseguido por suerte).
Si usted no puede recordar los 12, intento que
enumera un racimo de las localizaciones para ésos
usted no es totalmente seguro alrededor. Por ejemplo,
si usted piensa hay un azulejo del viento en alguna
parte en el centro de la fila 1 pero no puede recordar la
columna exacta, enumera el que usted piensa es
primer correctos, y después enumerar localizaciones
cualquier lado. Proceda solamente cuándo usted es
listo para la prueba.
¡no más
de
tiempo!
Ahora anote las 12 localizaciones como usted las
recuerda, e indique su nivel de confianza (1-4). Utilice
las referencias de la rejilla abajo.
G R ID
1
2
3
4
5
6
7
8
9
10
11
12
C O N F ID E N C E
Usted debe ahora tener una lista de 12
localizaciones con indicaciones en cómo es
confidente y se las localizaciones están correctas.
Una vez que usted sea feliz con sus respuestas, y
haya indicado su nivel de confianza
apropiadamente, vaya a continuación y
compruebe contra las respuestas en la diapositiva
siguiente.
The 12 correct locations are:
A8 C7 D4 E1 E4 H8 I2 K3 L2 L5 L7 M4
Cuente el número que usted consiguió derecho e
incorrecto para cada nivel de confianza, y después
calcule los totales. Por ejemplo, las cuentas del dr Xs
eran como sigue:
VERY
F A IR L Y
S L IG H T L Y
C O N F ID E N T C O N F ID E N T C O N F ID E N T
JUST
G U E S S IN G
ALL
CORRECT
4
2
1
0
7
IN C O R R E C T
1
1
2
1
5
VERY
C O N F ID E N T
CORRECT
IN C O R R E C T
4 out of 12
= 3 3 .3 %
1 out of 108
= 0 .9 %
En el ejemplo, mirando
primero solamente las
localizaciones que el dr X era
muy confidente alrededor, 4
localizaciones esté correcto.
Puesto que hay 12 azulejos
del viento en total, las
localizaciones de el 33% de
los azulejos del viento fueron
identificadas correctamente.
El dr X es tan muy confidente
sobre las localizaciones de el
33% de los azulejos del
viento.
Pero una localización es incorrecta. Hay 108 azulejos del
no-viento, y así que 0,9% de los azulejos del no-viento
fueron escogidos erróneamente. El dr X es muy
confidente que 0,9% de los azulejos del no-viento son
azulejos del viento.
La mayoría de la gente podría conseguir más de los azulejos del
viento si ella incluye las localizaciones que esta bastante
confidente alrededor. En el ejemplo, ahora hay las localizaciones
4+2=6 correctas, así que las localizaciones de el 50% de los
azulejos del viento fueron identificadas correctamente. Pero las
localizaciones 1+1=2 son incorrectas, así que 1,9% de los
azulejos del no-viento fue escogido erróneamente.
VERY
C O N F ID E N T
CORRECT
IN C O R R E C T
4 out of 12
= 3 3 .3 %
1 out of 108
= 0 .9 %
F A IR L Y
C O N F ID E N T
4+2=6
6 out of 12
= 5 0 .0 %
1+1=2
2 out of 108
= 1 .9 %
Semejantemente usted puede poder conseguir aún
más de los azulejos del viento si incluimos las
localizaciones que usted era levemente confidente
alrededor, y de ésos para los cuales usted era el
conjeturar justo. Sin embargo, como comenzamos a
incluir las localizaciones para las cuales usted es
menos confidente, el número de las localizaciones
escogidas incorrectamente es probable aumentar. La
proporción de azulejos del viento escogió tan
correctamente aumentos como la confianza
disminuye, pero tan también hace la proporción de
azulejos del no-viento escogidos incorrectamente.
Calcule la proporción correcta e incorrecta en todos
los niveles de la confianza.
Su tabla debe mirar algo como el siguiente
VERY
C O N F ID E N T
CORRECT
IN C O R R E C T
4 out of 12
= 3 3 .3 %
1 out of 108
= 0 .8 %
F A IR L Y
C O N F ID E N T
S L IG H T L Y
C O N F ID E N T
JU ST
G U E S S IN G
4+2=6
6 out of 12
= 5 0 .0 %
1+1=2
2 out of 108
= 1 .9 %
4+2+1=7
7 out of 12
= 5 8 .3 %
1+1+2=4
4 out of 108
= 3 .7 %
4+2+1+0=7
7 out of 12
= 5 8 .3 %
1+1+2+1=5
5 out of 108
= 4 .6 %
Podemos trazar estos puntos en un gráfico…
FAIRLY
CONFIDENT
0.500
0.019
SLIGHTLY
CONFIDENT
0.583
0.037
Mahjong Memory Game Scores
1.00
Proportion of wind tiles picked correctly
CORRECT
INCORRECT
VERY
CONFIDENT
0.333
0.009
0.80
0.60
0.40
0.20
0.00
0.00
0.02
0.04
0.06
0.08
0.10
Proportion of non-wind tiles picked incorrectly
JUST
GUESSING
0.583
0.046
¡Felicitaciones!!
¡Usted acaba de dibujar (parte de) un gráfico de ROC!
Antes de que intentemos tener más sentido del gráfico
intentemos resolverse cómo es bueno es su cuenta.
¿Cómo podemos determinarnos cómo esta buena
su cuenta? Una forma es comparar su cuenta con
las cuentas de la gente que no había sido dada una
oportunidad de memorizar las localizaciones de los
azulejos. Esta gente habría tenido que conjeturar
todas las localizaciones.
Enumeran a la gente que conjetura también
localizaciones de la lista 12, pero todos como
conjetura.Consideremos cuántas localizaciones ella
es probable conseguir correcta.
Hay 12 azulejos del viento y 120 azulejos en total:
12
120
 10%
los tan 10% de los azulejos son azulejos del viento.
¿Hay 108 = 120? 12 azulejos del no-viento:
120  12
120

108
120
 90%
los tan 90% de los azulejos son azulejos del noviento.
Alguna de la gente que conjetura será afortunada y
conseguirá un número grande correcto, pero otras serán
desafortunadas y conseguirán poco correcto. Asumiendo
tenemos porciones de conjeturar de la gente, podríamos
hacer un promedio de sus cuentas.
En promedio el
10% de las
localizaciones
estarán correcto,
y el 90%
incorrecto. Tan
para cualquier
número de
conjeturas
podemos calcular
las cuentas
medias.
NUMBER OF
GUESSES
AVER AG E
CORRECT
AVER AG E
IN C O R R E C T
1
2
3
4
5
6
7
8
9
10
11
12
0 .1
0 .9
0 .2
1 .8
0 .3
2 .7
0 .4
3 .6
0 .5
4 .5
0 .6
5 .4
0 .7
6 .3
0 .8
7 .2
0 .9
8 .1
1 .0
9 .0
1 .1
9 .9
1 .2
1 0 .8
NUMBER OF
GUESSES
El porcentaje de los
azulejos del viento
conjeturaba
correctamente, y de
los azulejos del noviento conjeturado
incorrectamente, es
igual.
Agreguemos estas
cuentas al gráfico.
1
2
3
4
5
6
7
8
9
10
11
12
AVER AG E
CORRECT
AVER AG E
IN C O R R E C T
0 .1 o u t o f 1 2
= 0 .8 %
0 .2 o u t o f 1 2
= 1 .7 %
0 .3 o u t o f 1 2
= 2 .5 %
0 .4 o u t o f 1 2
= 3 .3 %
0 .5 o u t o f 1 2
= 4 .2 %
0 .6 o u t o f 1 2
= 5 .0 %
0 .7 o u t o f 1 2
= 5 .8 %
0 .8 o u t o f 1 2
= 6 .7 %
0 .9 o u t o f 1 2
= 7 .5 %
1 .0 o u t o f 1 2
= 8 .3 %
1 .1 o u t o f 1 2
= 9 .2 %
1 .2 o u t o f 1 2
= 1 0 .0 %
0 .9 o u t o f 1 0 8
= 0 .8 %
1 .8 o u t o f 1 0 8
= 1 .7 %
2 .7 o u t o f 1 0 8
= 2 .5 %
3 .6 o u t o f 1 0 8
= 3 .3 %
4 .5 o u t o f 1 0 8
= 4 .2 %
5 .4 o u t o f 1 0 8
= 5 .0 %
6 .3 o u t o f 1 0 8
= 5 .8 %
7 .2 o u t o f 1 0 8
= 6 .7 %
8 .1 o u t o f 1 0 8
= 7 .5 %
9 .0 o u t o f 1 0 8
= 8 .3 %
9 .9 o u t o f 1 0 8
= 9 .2 %
1 0 .8 o u t o f 1 0 8
= 1 0 .0 %
La línea para
cualquier número
de conjeturas se
demuestra, pero
las marcas se
demuestran
solamente para la
comparación
directa con las
cuentas del
ejemplo.
Las cuentas de la memoria son mejores que
conjeturando si hay más azulejos del viento y pocos
azulejos del no-viento seleccionados, es decir más de
las localizaciones se identifican correctamente que se
conjeturan correctamente.
En el ejemplo, 5 azulejos eran?very marcado
confidente?, y 4 de éstos estaban correctos. En
promedio, solamente 0,5 azulejos estarían correctos
conjeturando, así que la memoria del dr X es buena.
En el gráfico, una buena memoria demostraría puntos a
la izquierda y sobre la línea para las conjeturas.
Más adelante en nosotros consideraremos la cuestión
de cuánto mejor que conjeturando sus cuentas sea.
Pero ahora déjenos se aplican qué se ha aprendido a
algunos pronósticos del clima.
En el ejemplo de Mahjong le dieron 12 ocasiones de
señalar a las localizaciones de 12 azulejos del viento
de un total de 120 azulejos. Usted podía utilizar su
memoria para mejorar en conjeturar, y podíamos
identificar si su memoria mejoró sobre conjeturas.
Esta clase de problema es muy común, tan ahora
nos dejó tomar un ejemplo climatológico
equivalente…
Esta vez tenemos 30 años de pronósticos de la
precipitación, y el problema es identificar los 10 años
“secos” sobre el período de 30 años. El problema es
similar al juego de Mahjong, pero con las diferencias
siguientes:
30 años en vez de 120 azulejos
10 años secos en vez de 12 azulejos del viento
20 años no-secos en vez de 108 azulejos del noviento
No tenemos acceso a los datos de la precipitación, y
así que no podemos memorizar los años.En lugar
utilizaremos los pronósticos para seleccionar el años.
Year
F o re c a s t
Year
F o re c a s t
Year
F o re c a s t
1961
1962
1963
1964
1965
1966
1967
1968
1969
1970
1 .2 7 9
1 .3 4 6
0 .7 2 9
1 .0 8 4
0 .8 2 1
0 .7 9 6
0 .8 8 2
0 .8 4 4
0 .9 7 2
1 .2 1 6
1971
1972
1973
1974
1975
1976
1977
1978
1979
1980
0 .8 7 2
0 .8 8 6
1 .1 3 4
1 .0 7 1
0 .8 5 0
0 .9 3 3
0 .8 8 4
1 .0 2 5
1 .0 3 9
1 .0 3 2
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1 .0 2 3
1 .0 6 0
1 .2 2 1
0 .5 3 0
1 .0 4 2
1 .1 2 0
1 .0 0 2
0 .9 2 8
1 .0 2 5
1 .2 2 3
El acercamiento más lógico es utilizar el pronóstico
para la menos precipitación (1984 en 0,530) como
nuestra indicación más probable de un año seco, el
pronóstico para el segundo menos precipitación
(1963 en 0,729) como nuestro segundo probable, y
el pronóstico para el tercero menos precipitación
(1966 en 0,796) como nuestro tercero muy
probablemente...
Rank
Year
F o re c a s t
Rank
Year
F o re c a s t
Rank
Year
F o re c a s t
1
1984
0 .5 3 0
11
1988
0 .9 2 8
21
1982
1 .0 6 0
2
1963
0 .7 2 9
12
1976
0 .9 3 3
22
1974
1 .0 7 1
3
1966
0 .7 9 6
13
1969
0 .9 7 2
23
1964
1 .0 8 4
4
1965
0 .8 2 1
14
1987
1 .0 0 2
24
1986
1 .1 2 0
5
1968
0 .8 4 4
15
1981
1 .0 2 3
25
1973
1 .1 3 4
6
1975
0 .8 5 0
16
1989
1 .0 2 5
26
1970
1 .2 1 6
7
1971
0 .8 7 2
17
1978
1 .0 2 5
27
1983
1 .2 2 1
8
1967
0 .8 8 2
18
1980
1 .0 3 2
28
1990
1 .2 2 3
9
1977
0 .8 8 4
19
1979
1 .0 3 9
29
1961
1 .2 7 9
10
1972
0 .8 8 6
20
1985
1 .0 4 2
30
1962
1 .3 4 6
Podríamos continuar enumerando todos los años
en orden de cómo es confidente somos que cada
año es uno de los 10 años “secos”. ¿Seríamos los
más confidentes que 1984 es “seco” y lo más
menos posible confidente que 1962 es “seco”.
Rank
Year
F o re c a s t
Rank
Year
F o re c a s t
Rank
Year
F o re c a s t
1
1984
0 .5 3 0
11
1988
0 .9 2 8
21
1982
1 .0 6 0
2
1963
0 .7 2 9
12
1976
0 .9 3 3
22
1974
1 .0 7 1
3
1966
0 .7 9 6
13
1969
0 .9 7 2
23
1964
1 .0 8 4
4
1965
0 .8 2 1
14
1987
1 .0 0 2
24
1986
1 .1 2 0
5
1968
0 .8 4 4
15
1981
1 .0 2 3
25
1973
1 .1 3 4
6
1975
0 .8 5 0
16
1989
1 .0 2 5
26
1970
1 .2 1 6
7
1971
0 .8 7 2
17
1978
1 .0 2 5
27
1983
1 .2 2 1
8
1967
0 .8 8 2
18
1980
1 .0 3 2
28
1990
1 .2 2 3
9
1977
0 .8 8 4
19
1979
1 .0 3 9
29
1961
1 .2 7 9
10
1972
0 .8 8 6
20
1985
1 .0 4 2
30
1962
1 .3 4 6
Los años realmente “secos” se destacan arriba.
Calculemos una tabla de la cuenta de la misma
manera que para el juego de la memoria.
Utilizaremos a cada fila como nivel que disminuye
de la confianza.
Rank
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Year
1984
1963
1966
1965
1968
1975
1971
1967
1977
1972
1988
1976
1969
1987
1981
C o rre c t
10%
10%
10%
20%
20%
30%
40%
40%
40%
50%
60%
60%
70%
70%
70%
In c o rre c t
0%
5%
10%
10%
15%
15%
15%
20%
25%
25%
25%
30%
30%
35%
40%
Rank
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Year
1989
1978
1980
1979
1985
1982
1974
1964
1986
1973
1970
1983
1990
1961
1962
C o rre c t
70%
70%
70%
70%
70%
70%
70%
70%
70%
80%
80%
90%
90%
100%
100%
In c o rre c t
45%
50%
55%
60%
65%
70%
75%
80%
85%
85%
90%
90%
95%
95%
100%
Nuestra primera selección está correcta, así que
hemos identificado 1 (el 10%) de los 10 años “secos”
correctamente. El segundo es incorrecto, así que
hemos seleccionado 1 (5%) de los 20 ”no-secos”
años incorrectamente.Ahora podemos trazar estos
puntos?
Podemos determinar cómo los pronósticos están
buenos exactamente de la misma manera que para
el juego de la memoria. Comparemos las cuentas
para los pronósticos con las cuentas para la gente
que no tiene ningún pronóstico disponible. Esta
gente habría tenido que conjeturar todos años
“secos”.
¿Allí son 10 años “secos” y 30 años en total:
10
30
 33%
tan los cerca de 33% de los años son “secos”.
Hay 20 = 30 10 años “no-secos”:
30  10
30

20
30
 67%
tan los cerca de 67% de los años son ”no-secos”.
En el promedio el cerca de 33% de los años escogidos
esté correcto, y el 67% incorrecto. Tan para cualquier
número de conjeturas las cuentas medias estarán:
NUMBER OF
GUESSES
AVER AG E
CORRECT
AVER AG E
IN C O R R E C T
1
1  3 3 % = 0 .3 3
0 .3 3 o u t o f 1 0
= 3 .3 %
1  6 7 % = 0 .6 7
0 .6 7 o u t o f 2 0
= 3 .3 %
2
2  3 3 % = 0 .6 7
0 .6 7 o u t o f 1 0
= 6 .7 %
2  6 7 % = 1 .3 3
1 .3 3 o u t o f 2 0
= 6 .7 %
3
3  3 3 % = 1 .0 0
1 .0 0 o u t o f 1 0
= 1 0 .0 %
3  6 7 % = 2 .0 0
2 .0 0 o u t o f 2 0
= 1 0 .0 %
…
Y podemos agregar estas cuentas al gráfico…
Recuerde eso para que los pronósticos sean mejores
que conjeturando, los pronósticos deben identificar
correctamente ma's los años “secos” e identifican
poco incorrectamente años “no-seco” que las
conjeturas. Para los buenos pronósticos la curva
estará a la izquierda y sobre la línea diagonal: aquí
los pronósticos identifican una proporción grande de
años “secos” mientras que escoge solamente una
proporción
pequeña
del
años
“no-secos”
incorrectamente.
Los pronósticos parecen ser buenos en la parte
izquierda y media del gráfico solamente. ¿Qué este
medio?
Considere otra vez la tabla que demuestra la orden en la
cual escogimos el años “secos” . Note que la mayoría de
los años “secos” son identificados por nuestras opciones
más confidentes. Nuestras selecciones más confidentes
eran bastante acertadas.
Rank
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Year
1984
1963
1966
1965
1968
1975
1971
1967
1977
1972
1988
1976
1969
1987
1981
C o rre c t
10%
10%
10%
20%
20%
30%
40%
40%
40%
50%
60%
60%
70%
70%
70%
In c o rre c t
0%
5%
10%
10%
15%
15%
15%
20%
25%
25%
25%
30%
30%
35%
40%
Rank
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Year
1989
1978
1980
1979
1985
1982
1974
1964
1986
1973
1970
1983
1990
1961
1962
C o rre c t
70%
70%
70%
70%
70%
70%
70%
70%
70%
80%
80%
90%
90%
100%
100%
In c o rre c t
45%
50%
55%
60%
65%
70%
75%
80%
85%
85%
90%
90%
95%
95%
100%
Sin embargo, después alrededor de la décimotercero
selección, los pronósticos no proporcionan la
dirección útil para identificar más del años “secos”.
Rank
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Year
1984
1963
1966
1965
1968
1975
1971
1967
1977
1972
1988
1976
1969
1987
1981
C o rre c t
10%
10%
10%
20%
20%
30%
40%
40%
40%
50%
60%
60%
70%
70%
70%
In c o rre c t
0%
5%
10%
10%
15%
15%
15%
20%
25%
25%
25%
30%
30%
35%
40%
Rank
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Year
1989
1978
1980
1979
1985
1982
1974
1964
1986
1973
1970
1983
1990
1961
1962
C o rre c t
70%
70%
70%
70%
70%
70%
70%
70%
70%
80%
80%
90%
90%
100%
100%
In c o rre c t
45%
50%
55%
60%
65%
70%
75%
80%
85%
85%
90%
90%
95%
95%
100%
Podemos dibujar la conclusión siguiente del gráfico
de ROC:
Cuándo el pronóstico sugiere que las condiciones
vayan a ser secas nosotros puedan ser
razonablemente confidentes que “secos” las
condiciones ocurrirán.Sin embargo, cuando el
pronóstico sugiere que las condiciones vayan a ser
normales o mojadas no podemos hacer declaración
útil sobre la probabilidad de condiciones “secas”.
La correlación entre haber observado y la
precipitación del pronóstico es 0,044. De acuerdo con
la correlación, no haríamos caso normalmente de
estos pronósticos, pero el gráfico de ROC sugiere que
puedan ser útiles en el pronóstico condiciones
“secas”.
¿El gráfico de ROC indica que los pronósticos son
mejores que conjeturas, pero por cuánto?
Podemos utilizar un fórmula especial, conocido como
la ecuación hipergeométrica, para calcular la ocasión
alguien que conjetura el mismo número de años
“secos” como pronosticamos correctamente.
n u m b e r o f d ry ye a rs

  n u m b e r o f n o n -d ry ye a rs 



 n u m b e r o f c o rre c t w a rn in g s   n u m b e r o f in c o rre c t w a rn in g s 
chance 
 n u m b e r o f ye a rs 


 n u m b e r o f w a rn in g s 
Esta ecuación está disponible como función en
paquetes tales como MS sobresale
(HYPGEOMDIST).
Utilizar esta ecuación para calcular cómo es bueno son los
pronósticos, debemos primero elegimos a que los años
vamos a tratar como pronósticos de condiciones
“secas”.Publiquemos una advertencia de condiciones
“secas” cuando el pronóstico es menos de 1,0.Los años
realmente “secos”están marcados en azul marino.
Year
F o re c a s t
Year
F o re c a s t
Year
F o re c a s t
1961
1962
1963
1964
1965
1966
1967
1968
1969
1970
1 .2 7 9
1 .3 4 6
0 .7 2 9
1 .0 8 4
0 .8 2 1
0 .7 9 6
0 .8 8 2
0 .8 4 4
0 .9 7 2
1 .2 1 6
1971
1972
1973
1974
1975
1976
1977
1978
1979
1980
0 .8 7 2
0 .8 8 6
1 .1 3 4
1 .0 7 1
0 .8 5 0
0 .9 3 3
0 .8 8 4
1 .0 2 5
1 .0 3 9
1 .0 3 2
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1 .0 2 3
1 .0 6 0
1 .2 2 1
0 .5 3 0
1 .0 4 2
1 .1 2 0
1 .0 0 2
0 .9 2 8
1 .0 2 5
1 .2 2 3
Ahora podemos definir los términos individuales
de la ecuación:
número de años secos
número de años no-secos
número de años
número de advertencias correctas
número de advertencias incorrectas
número de advertencias
= 10
= 20
= 30
=7
=6
= 13
n u m b e r o f d ry ye a rs

  n u m b e r o f n o n -d ry ye a rs 



 n u m b e r o f c o rre c t w a rn in g s   n u m b e r o f in c o rre c t w a rn in g s 
chance 
 n u m b e r o f ye a rs 


 n u m b e r o f w a rn in g s 
El resultado nos dice que solamente cerca de 3,9% de
la gente que tenía 13 tentativas de conjeturar los 10
años “secos” conseguirían 7 de los años correctos.
Pero el resultado solamente nos dice las ocasiones
alguien que consigue exactamente el mismo número
correcto conjeturando que conseguimos con los
pronósticos. Alguna gente podría conseguir más de 7
correctos conjeturando.
Porque alguna de la gente que está conjeturando
puramente puede tener más de 7 años de correcto,
debemos contar éstos también. Necesitamos tan
calcular las ocasiones alguien que hace así como,
o mejoramos que, nuestros pronósticos apenas
conjeturando.
Las ocasiones de conseguir 8, 9, o 10
conjeturando son cerca de 0,58%, 0,02%, y
0,0004% respectivamente. Adición de éstos, de las
ocasiones de 7 que conjeturan o más del los años
“secos” son cerca de 4,5%.
Por supuesto, conseguiríamos una diversa
respuesta si utilizamos un diverso criterio para
decidir cuando publicar una advertencia. Usted
debe ser cuidadoso de los muchos problemas en la
ejecución de tales pruebas de la significación.
Sin embargo, el gráfico de ROC sugiere que estos
pronósticos contengan una cierta información útil, a
pesar de una correlación de cerca de cero.
Como medida sumaria del gráfico, el área debajo
de la curva de ROC se calcula con frecuencia…
El área debajo de la
línea que conjetura es
0,5, y así que un área
mayor de 0,5 sugiere
que los pronósticos
sean buenos. El área
debajo del gráfico
para nuestros
pronósticos es 0,61.
¿Qué este medio?
El área debajo del gráfico nos dice la probabilidad
esa el pronóstico para un año “seco” es más que el
pronóstico para un año “non-seco”.
Si nos dieron un pronóstico para uno año “seco” y
para uno año “non-seco”, identificaríamos el año
“seco” correctamente el 61% del tiempo.
En la práctica, esta información no es muy
provechosa al usuario. Sin embargo, el gráfico en
su totalidad debe ser muy informativo al
previsionista.
Feedback
Para supervisar la utilidad de este curso, y llevar a cabo revisiones
y mejoras, podían usted remitir por favor cualquier comentario o
sugerencias.
Dr Simon J. Mason
International Research Institute for Climate Prediction
Columbia University
61 Route 9 W
Palisades, NY 10964-8000
USA
E-mail: [email protected]
Lecturas recomendadas
• Murphy, A. H., 1993: What is a good forecast? An essay on the
nature of goodness in weather forecasting. Weather and
Forecasting, 8, 281–293.
• Wilks, D. S., 1995: Statistical Methods in the Atmospheric
Sciences, Academic Press, San Diego. Chapter 7, Forecast
verification, pp 233–283.
• Mason, S. J., and N. E. Graham, 1999: Conditional probabilities,
relative operating characteristics, and relative operating levels.
Weather Forecasting, 14, 713–725.
• Mason, S. J., and N. E. Graham, 2002: Areas beneath the
relative operating characteristics (ROC), and levels (ROL)
curves: statistical significance and interpretation. Quarterly
Journal of the Royal Meteorological Society, 128, 2145–2166.
Descargar

International Research Institute for Climate and Society QUE?