A Bayesian Decision Procedure
to Test Simultaneous Multiple
Hypotheses in DNA Microarray
(2014). Statistical Applications in Genetics and Molecular Biology, 13, 49-65
Miguel A. Gómez-Villegas1, Isabel Salazar2 y Luis Sanz1
1
Departamento de Estadística e Investigación Operativa, Universidad Complutense de Madrid
2 Departamento de Producción Animal, Universidad Complutense de Madrid
Workshop Métodos Bayesianos’14. Madrid
Noviembre 2014
Contenidos
1. Criterios de decisión: regla bayes y criterio FNH
2. Propiedades del criterio FNH
3. Medidas de error
4. Modelo Gaussiano
5. Ejemplos ilustrativos
6. Conclusiones
1. Criterios de decisión. Regla bayes
1.1 Regla bayes
Sea
X~
P




f , θ  Θ .
θ

- La regla bayes: elegir, para cada x, la acción bayes a posteriori
a  (x ),
que minimiza la pérdida esperada a posteriori,
ρ ( π (θ | x ), a )   L( θ, a ) π (θ | x ) d θ ,
- Cuando se contrasta una sola hipótesis:
H : θΘ
0
El espacio paramétrico es Θ  {{H 0  0}, {H 0  1}}.
El espacio de acciones es A  { a0 , a1}.
0
frente
H : θ Θ - Θ ,
1
0
1. Criterios de decisión. Regla bayes
La función de pérdida:
L( θ, a ) 
i





si
0
C
i
si
θΘ
i
θΘ
j
con i, j  {0, 1} ( j  i)
Las pérdidas esperadas a posteriori de a0 y a1 :
C 0 Pr( Θ 1 | x ),
C1Pr( Θ 0 | x )
La decisión será elegir la acción con menor pérdida esperada
a posteriori.
1. Criterios de decisión. Regla bayes
- Cuando se contrastan simultáneamente N hipótesis:
H : θ Θ
0i
i
H : θ  Θ - Θ , i  1, ... , N.
frente
0i
1i
2
i
0i
N
El espacio paramétrico es Θ   Θ j,
j1
donde
N
Θ  
j
i1



H

0i
 ε ,
ij 
siendo ε ij  0 cuando H0i es cierta y ε ij  1
cuando H0i es falsa.
El espacio de acciones es
donde
N
A  A ,
j
j1
N
A   a e i,
j
i1
2
siendo
ij
cuando se rechaza H0i.
e 0
ij
cuando se acepta H0i y e ij  1
1. Criterios de decisión. Regla bayes
(Duncan (1965) y Lewis y Thayer (2004)
La función de pérdida:
N
L( Θ , A )   L i(H 0i  ε , a e i )
k
j
ik
i1
ij
donde
L (H
i
0i
 ε , ae i ) 
ik
ij







e ε
0
Ce
ij
ij
i
e ε
ij
ik
ik
Pérdida esperada a posteriori individual de a 0i : C 0iPr(H 0i  1| x ).
Pérdida esperada a posteriori individual de a1i : C 1iPr(H 0i  0 | x ).
1. Criterios de decisión. Regla bayes
La acción a1i es preferible a la acción a 0i , para cada i, si
C Pr(H
1i
0i
 0 | x )  C Pr(H
0i
0i
 1| x ).
Regla bayes:
Reñññ
Para
cada x rechazar todas las hipótesis H0i nulas tales que
Pr(H
 0|x) 
C
0i
Para cada x rechazarC todas
las hipótesis
C
H0i nulas
tales que
y aceptar
el resto, dados C y C .
0i
0i
0i
1i
1i
1. Criterios de decisión. Criterio FNH
1.2 Criterio basado en la estimación del número de
hipótesis nulas falsas (FNH)
Sea N1 el número de hipótesis nulas falsas
El criterio consiste en rechazar las Nˆ 1 hipótesis nulas falsas con
menor probabilidad a posteriori de ser ciertas
1. Criterios de decisión. Criterio FNH
Estimador bayesiano de N1:
 p  Pr(H
0i
 0 | p)  1- p  Pr(H
 1| p)  H | p ~ Bernoulli( 1- p)
0i
0i
N
 N  H
1
0i
i1

Suponemos que las H0i son independientes, i = 1,…, N.
Entonces,
pˆ  E
π (p | t, α, β )
N | p ~ Binomial(N
1
[p],
donde t ( t 1,..., t ) y t (x
N
i
N | pˆ ~ Binomial(N ,1  pˆ ) 
1
,1  p)
,..., x ),
i1
in
ˆ  E[N | pˆ ]  N(1  pˆ )
N
1
1
i  1,..., N
2. Propiedades del criterio FNH
1.
Cutoff
RBayes

C
C
0i
0i
C
Cutoff
,
FNH
1i
 p ˆ  Pr(H
N
1
(0 Nˆ )
 0 | t ),
1
donde Pr(H (0i )  0 | t ) son las probabilidades a posteriori ordenadas.
Entonces, si
C
C
la
regla bayes
equivalentes.
1- p
1i
0i

p
y el criterio
Nˆ
Nˆ
1
1
FNH proporcionan resultados
2. Propiedades del criterio FNH
2. Si
C
C
1i
0i

1- p
p
k
, donde pk es la probabilidad final más alta con la que se
k
rechazan k hipótesis nulas.
- Para valores fijos de los costes por falsos negativos C0i, i = 1, …, N, la
pérdida esperada a posteriori para la regla bayes que rechaza k
hipótesis, ρ( π (θ | x ), ak ) , es una función decreciente en k, el número de
hipótesis nulas rechazadas:
Si k1 < k2, entonces ρ( π (θ | x ), ak )  ρ( π (θ | x ), ak )
1
2
Donde ak es la acción bayes a posteriori que nos lleva a rechazar
k hipótesis nulas.
2. Propiedades del criterio FNH
- Si los costes por falsos negativos son iguales y positivos, C0i = C > 0
para i = 1, ..., N, entonces, ρ( π ( θ | x ), ak )  0 .
N1 es el número más pequeño de hipótesis nulas rechazadas con
el que se podría obtener una pérdida esperada a posteriori cero.
2. Propiedades del criterio FNH
3. Rechazando el número de hipótesis nulas falsas, N1 , con menor
probabilidad a posteriori de ser ciertas se obtiene el mismo número
Esperado a posteriori de falsos positivos y de falsos negativos, FP  FN ,
N
Donde
1
FP   Pr(H
i1
Siendo
(0i)
 0 | t)
y
FN 
N

i  N 1
Pr(H
(0i)
 1| t ),
1
N
N
i1
i 1
FP   ( 1 - z ) δ , FN   z (1 - δ i ) , zi = 0 si H 0i es cierta y zi = 1 si
i
i
i
es falsa, y δ i  1 si H 0i es rechazada y δ i  0 si es aceptada.
Por tanto,
Aplicando el criterio FNH se obtienen unas estimaciones del número
esperado a posteriori de falsos positivos y de falsos negativos muy
similares.
3. Medidas de error
Nº de hipótesis
aceptadas
rechazadas
Total
nulas ciertas
U
V
N0
nulas falsas
T
S
N1
W
R
N
FWER  Pr  V  1
-
The family-wise error rate (FWER):
-
The false discovery rate (FDR) (Benjamini and Hochberg, 1995):
FDR 
E  V/R






0



si
R 0
si
R 0

3. Medidas de error
- The realized FDR
y the realized FNR (Genovese and Wasserman,
2002, 2003):
rFDR

N
N
 (1 - z i ) δ i
 z i (1 - δ i )
rFNR
i1
N

i1
N
 δi
 (1 - δ i )
i1
i1
donde zi = 0 si H 0i es cierta y zi = 1 si H 0i es falsa, y δ i  1 si H 0i es rechazada y
δ  0 si es aceptada.
i
Consideran:
N
 Pr(H
rFDR
 E rFDR | t  
0i
 0 | t) δ
i1
N
N
 Pr(H
i
,
rFNR  E rFNR | t  
0i
 1| t ) (1 - δ )
i1
N
 δi
 (1 - δ i )
i1
i1
i
3. Medidas de error
- The number of false discoveries and false negatives realized:
N
N
FN   z (1 - δ ) ,
i
i
FP   ( 1 - z ) δ
i
i
i1
i 1
donde zi = 0 si H 0i es cierta y zi = 1 si H 0i es falsa, y δ i  1
si H 0i es
rechazada y δ i  0 si es aceptada.
N
FP  E FP | t   Pr(H




i1
0i
 0 | t) δ ,
i
N
FN  E FN | t    Pr(H


i1
Consideramos
FP r 
FP
N
0
donde Nˆ 1  E[N 1 | pˆ ]  N(1  pˆ ) y Nˆ 0  N - Nˆ 1 .
FN r 
FN
N
1
(0i)
 1| t ) (1  δ )
i
4. Modelo Gaussiano
Consideramos el siguiente problema de contrastes múltiples:
H : μ 0
0i
i
frente
H : μ  0, i  1, ... , N.
1i
i
Suponemos que
- Para cada hipótesis observamos un estadístico Ti
- Ti |H0i  N(0, 1/  ) ,  desconocida
- Ti |H1i  N( μ i, 1/  ) , i, i = 1, … N, son los parámetros de interés
- Ti i.i.d. f ( t i | p, μi,  )  p f0 ( t i |  )(1  p) f1( t i | μi,  ) , f0 y f1 son las densidades
bajo H0i y H1i, respectivamente
4. Modelo Gaussiano
La verosimilitud:
N
N
l (θ | t )   f ( t | θ )   p f ( t |  ) (1  p) f1( t | μ ,  )
i
i1
i1

0
i
i
i
donde θ  (p , , μ 1, ... , μ N ) , t  ( t1, ... , t N ) y t i  Ti ( x i1, ... , x in )
Como distribución a priori, π(θ ) , consideramos las siguientes
distribuciones conjugadas:
p  Beta (α , β )
  Gamma ( a / 2, b / 2 )
i|  N (0, 1/ c  ) i  1,..., N

4. Modelo Gaussiano
La distribución a posteriori:
π( θ | t )  l (θ | t ) π( θ )
Se aplicó un Gibbs sampling para estimar los parámetros del modelo y
la probabilidad a posteriori de cada hipótesis nula es cierta.
También se aplicó una aproximación Empírico Bayes para estimar el
parámetro c asociado a la varianza de la distribución a priori de i
(Ausín et al., 2011).
5. Ejemplos ilustrativos. Datos simulados
- Se realizó una simulación con N = 5000 hipótesis y n = 5
observaciones por hipótesis
- Se generaron tres conjuntos de datos: x  N (0, 1) con probabilidad p y
ij
x
ij
 N (μ i, 1) con probabilidad 1 – p, para i = 1, …, 5000 y j = 1, …, 5 y
para valores de p = 0,7, 0,8 y 0,9
- Para i, i = 1, …, 5000, se eligieron diferentes valores en [-10, 10]
5
- Para cada conjunto de datos: t i  1  x ij , i = 1, …, 5000, de modo que
5
j1
ti  p N (0, 1/ 5 )  (1 - p ) N (μ i, 1/ 5 ) , con p = 0,7, 0,8 y 0,9
- (α, ) = (1, 1) y ( a, b )  (0, 0 )
5. Ejemplos ilustrativos. Datos simulados.
Resultados
Estimación a posteriori de c, p y ϕ, para diferentes valores de p y con distribuciones
a priori p ∼ Beta(1,1) y ϕ ∼ Gamma(0,0)
cˆ
pˆ
p = 0,7
0,0053
0,67
ˆ
5,61
p = 0,8
0,0034
0,78
5,88
p = 0,9
0,0066
0,88
5,25
5. Ejemplos ilustrativos. Datos simulados.
Resultados
Regla bayes (C0i = C1i):
ˆ
Rechazamos H0i, i = 1, …, 5000, si P0i  0,5
N
ˆ
ˆ
 P I( P  0,5)
0i
0i
^
i

1
rFDR 
R
N
ˆ
ˆ
 P I( P  0,5)
1i
0i
^
i

1
rFNR 
N-R
B
B
N
ˆ
ˆ
 P I( P  0,5)
0i
0i
^
i

1
FP r 
N - Nˆ
1
N
ˆ
ˆ
 P I( P  0,5)
1i
0i
^
i

1
FN r 
Nˆ
1
Donde Pˆ 0i  Pˆ r(H 0i  0 | t, α, β, a, b, cˆ ) , Pˆ 1i  Pˆ r(H 0i  1| t, α, β, a, b, cˆ ) , RB es
el número de hipótesis rechazadas según la regla bayes con C0i = C1i,
i = 1, …, 5000 y Nˆ 1  E[N 1 | pˆ ]  N (1 pˆ ).
5. Ejemplos ilustrativos. Datos simulados.
Resultados
Criterio FNH:
Rechazamos las Nˆ 1 hipótesis nulas falsas con menor probabilidad a
posteriori de ser ciertas
N
ˆ
ˆ
 P I( P  p ˆ )
0i
0i
N
^
1
i

1
rFDR 
R
N
ˆ
ˆ
 P I( P  p ˆ )
1i
0i
N
^
1
i

1
rFNR 
N-R
N
ˆ
ˆ
 P I( P  p ˆ )
0i
0i
N
^
1
i

1
FP r 
N - Nˆ
N
ˆ
ˆ
 P I( P  p ˆ )
1i
0i
N
^
1
i

1
FN r 
Nˆ
FNH
1
FNH
1
Donde Pˆ 0i  Pˆ r(H 0i  0 | t, α, β, a, b, cˆ ) , Pˆ 1i  Pˆ r(H 0i  1| t, α, β, a, b, cˆ ) ,
p ˆ  Pˆ r(H
N
1
ˆ )
(0 N
 0 | t, α, β, a, b, cˆ ),
1
según el criterio FNH.
y RFNH es el número de hipótesis rechazadas
5. Ejemplos ilustrativos. Datos simulados.
Resultados
R (%)
p = 0,7
p = 0,8
p = 0,9
^
FP r
^
FN r
^
rFDR
^
rFNR
Regla bayes 28,80 0,0092 0,1501 0,0214 0,0699
Criterio FNH 33,18 0,0559 0,1121 0,1127 0,0556
Regla bayes 18,96 0,0047 0,1438 0,0195 0,0385
Criterio FNH 21,72 0,0302 0,1085 0,1088 0,0301
Regla bayes
9,76
0,0018 0,1906 0,0163 0,0251
Criterio FNH 11,88 0,0201 0,1480 0,1493 0,0199
5. Ejemplos ilustrativos. Datos simulados.
Resultados
^
^r
^ (solid line) y FN
^ (thick line), b) FP
^ (thick line) y c) FP
a) rFDR (solid line) y rFNR
(solid line)
^
y FN r (thick line) como función del número de hipótesis nulas rechazadas con p = 0,9
5. Ejemplos ilustrativos. Datos simulados.
Resultados
Pérdida esperada a posteriori, con C0i = 1, i = 1, …, 5000, como función del número de
hipótesis nulas rechazadas, para los diferentes valores de p
5. Ejemplos ilustrativos. Datos reales
Identificación de genes con expresión diferencial
Datos sobre cáncer de colon de Alon et al. (1999)
Genes
Tejido normal
x1 1, ....... ,x1
x2 1, ....... ,x2
.
.
.
Tejido tumoral
22,
x1
x2
22,
.
.
.
x2000 1, … ,x 2000
……. ,x1
23, ……. ,x2
23,
.
.
.
22,
x 2000
62
62
.
.
.
23,
… ,x 2000
62
5. Ejemplos ilustrativos. Datos reales
H : μ 0
0i
Estadístico:
T  X
i
(n)i
frente
i
-
X
(t)i
,
H : μ  0, i  1, ... , 2000
1i
i  1, ... ,2000,
i
donde
X
(n)i

1 22
22
 x ij y X (t)i 
j1
1
62
40
j  23
 x ij
-Ti |H0i  N(0, 1/  ) ,  desconocida
- Ti |H1i  N( μ i, 1/  ) , i, i = 1, … 2000, son los parámetros de interés
- Ti i.i.d. f ( t i | p, μi,  )  p f0 ( t i |  )(1  p) f1( t i | μi,  ) , f0 y f1 son las densidades
bajo H0i y H1i, respectivamente
- θ  (p , , μ 1, ... , μ N ) , π(θ ) : p  Beta (1, 1)
  Gamma (0, 0 )
i|  N (0, 1/ c  ), i  1,...,2000
5. Ejemplos ilustrativos. Datos reales
cˆ = 0,0041, pˆ = 0,75 y ˆ = 0,00059
R (%)
^
FP r
^
FN r
^
rFDR
^
rFNR
Regla bayes (C0i = C1i)
21,95 0,0195 0,1782 0,0669 0,0567
Criterio FNH
24,90 0,0434 0,1297 0,1310 0,0429
5. Ejemplos ilustrativos. Datos reales
^
^
^
^
^
a) rFNR (solid line) y rFDR (thick line), b) FP (solid line) y FN (thick line) y c) FP r
^ r (thick line) como función del número de hipótesis nulas
(solid line) y FN
rechazadas
5. Ejemplos ilustrativos. Datos reales
Pérdida esperada a posteriori como función del número de hipótesis nulas
rechazadas:
6. Conclusiones
- El criterio de decisión FNH, basado en la estimación del número de hipótesis
nulas falsas, detecta más hipótesis nulas falsas que la regla bayes (tomando
C0i = C1i para i = 1, . . .,N), ya que se obtiene una proporción menor de falsos
negativos, manteniéndose la proporción de falsos positivos en niveles aceptables.
6. Conclusiones
- El criterio de decisión FNH, basado en la estimación del número de hipótesis
nulas falsas, detecta más hipótesis nulas falsas que la regla bayes (tomando
C0i = C1i para i = 1, . . .,N), ya que se obtiene una proporción menor de falsos
negativos, manteniéndose la proporción de falsos positivos en niveles aceptables.
- Si los costes por falsos negativos son iguales y positivos, C0i = C > 0, i = 1, … , N,
entonces el número de hipótesis nulas falsas, N1, es el número más pequeño de
hipótesis nulas rechazadas con el que se podría obtener pérdida esperada a
posteriori cero.
6. Conclusiones
- El criterio de decisión FNH, basado en la estimación del número de hipótesis
nulas falsas, detecta más hipótesis nulas falsas que la regla bayes (tomando
C0i = C1i para i = 1, . . .,N), ya que se obtiene una proporción menor de falsos
negativos, manteniéndose la proporción de falsos positivos en niveles aceptables.
- Si los costes por falsos negativos son iguales y positivos, C0i = C, i = 1, … , N,
entonces el número de hipótesis nulas falsas, N1, es el número más pequeño de
hipótesis nulas rechazadas con el que se podría obtener pérdida esperada a
posteriori cero.
- Rechazando el número de hipótesis nulas falsas, N1, con menor probabilidad a
posteriori de ser ciertas se obtiene el mismo número esperado a posteriori de
falsos positivos y de falsos negativos, FP  FN .
6. Conclusiones
- Con el criterio de decisión FNH no hay que fijar, para cada hipótesis, los costes
C0i y C1i que son necesarios para poder aplicar la regla bayes y que no siempre
son fáciles de fijar.
6. Conclusiones
- Con el criterio de decisión FNH no hay que fijar, para cada hipótesis, los costes
C0i y C1i que son necesarios para poder aplicar la regla bayes y que no siempre
son fáciles de fijar.
- El criterio FNH con las medidas de error
FP r
y
FN r
resultan más apropiadas que
la regla bayes con (con C0i = C1i para i = 1, . . .,N) y las medidas de error
rFNR
rFDR
y
, en nuestros ejemplos y especialmente en los experimentos con microarrays
de ADN.
Referencias
- Alon, U. Barkai, N., Notterman, D. A., Gish, K., Ybarra, S., Mack, D. and Levine, A. J. (1999). Broad patterns
of gene expression revealed by clustering analysis of tumor and normal colon tissues probed by
oligonucleotide arrays. Proc. Natn. Acad. Sci. USA, 96: 6745–6750.
- Ausín, M. C., Gómez-Villegas, M. A., González-Pérez, B, Rodríguez-Bernal, M. T., Salazar, I. and Sanz, L.
(2011). Bayesian analysis of multiple hypothesis testing with applications to microarray experiments.
Communications in Statistics–Theory and Methods, 40(13): 2276–2291.
- Benjamini, Y., and Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful
approach to multiple testing. J. R. Stat. Soc. Ser. B, 57: 289-300.
- Duncan, D. B. (1965). A Bayesian approach to multiple comparisons. Technometrics, 7: 171–222.
- Genovese, C. and Wasserman, L. (2002). Operating characteristics and extensions of the false discovery
rate procedure. J. Roy. Statist. Soc. Ser. B, 64: 499–517.
- Genovese, C. and Wasserman, L. (2003). Bayesian and frequentist multiple testing. In Bayesian Statistics 7,
eds. J. M. Bernardo, M. Bayarri, J. O. Berger, A. P. Dawid, D. Heckerman, A. F. M. Smith and M. West,
145–162. Oxford, U.K.: Oxford University Press.
- Lewis, C. and Thayer, D. T. (2004). A loss function related to the FDR for random effects multiple
comparisons. J. Statist. Plann. Inference, 125: 49–58.
Muchas gracias
Descargar

A Bayesion decision procedure to test simultaneous multyple