CURSO DE EPIDEMIOLOGÍA BÁSICA
8a. Propiedades de las pruebas
de diagnóstico
Juan José Romero Zúñiga, DMV, MSc, PhD
Programa de Investigación en Medicina Poblacional
Escuela de Medicina Veterinaria
Universidad Nacional
Centro de Capacitación – Alto de Ochomogo
Lunes, 3 de mayo 2010
Conceptos generales



Una prueba diagnóstica es el proceso mediante el cual un individuo
o grupo de individuos es clasificado como poseedor o no de un
determinado atributo.
En general, por simplicidad, se habla de presencia o ausencia de
enfermedad; pero puede ser aplicado a eventos de manera
general.
Ejemplos:




Exámenes clínicos (físicos)
Exámenes laboratoriales (Ac, Ag, Aislamiento, etc.)
Imágenes
Procedimientos
Conceptos generales



Se desarrollan o para detectar una enfermedad subclínica o para
reemplazar otra técnica muy laboriosa o cara.
Debería tener una validez alta lo que significa que los porcentajes
de resultados falsos (positivos o negativos) deberían ser limitados.
La validez será expresada por la Sensibilidad y la Especificidad.
Para determinarlos es necesaria una prueba patrón llamada Prueba
de Oro ó Gold Standard.
Conceptos generales

Según el objetivo de la prueba y el orden de uso de ellas, se ha
generalizado el uso de los términos:

Pruebas de tamizaje:


Para detectar los individuos con alta probabilidad de poseer o no
una enfermedad en un individuo o grupos de individuos
aparentemente sanos.
Pruebas confirmatorias

Tiene como objetivo determinar si el individuo sospechoso
(generalmente luego de una prueba tamiz) es clasificado
definitivamente como enfermo o sano.
Conceptos generales

Las pruebas diagnósticas deberían cumplir con tres
premisas:



Todos los individuos sanos tienen un rango de valores uniforme
en los resultados de la prueba.
Todos los individuos enfermos tienen un rango de valores
uniforme en los resultados de la prueba, pero diferente de los
obtenidos en los individuos sanos.
Todos los resultados de la prueba diagnóstica son consistentes
con la condición del individuo sano o enfermo.
Frecuencia (x 100)
Situación ideal de las pruebas de
diagnóstico.
9
8
7
6
5
4
3
2
1
0
Individuos negativos
2
4
8
16
Individuos positivos
32
Títulos de Ac
64
128
256
Variabilidad de las pruebas
diagnósticas

Confiabilidad y precisión


Ausencia de error aleatorio.
Validez

Ausencia de error sistemático o sesgo
Por ejemplo:
Una prueba puede repetir consistentemente resultados falsos
positivos (confiable pero no válido), o puede dar resultados
correctos pero con relativa alta variabilidad (válido pero poco
confiable).
Variabilidad de las pruebas
diagnósticas


Evaluar una prueba = confirmar su confiabilidad
Validar una prueba = determinar la capacidad
discriminatoria
Falta de validez:
Falla en la prueba para detectar verdaderos
poseedores o no, de una condición dada.
Variabilidad de las pruebas
diagnósticas

Exactitud



Es el grado en que la prueba representa el verdadero valor
del atributo que se esta midiendo.
En la práctica se estima por la concordancia observada entre
la prueba y otra prueba de referencia.
Se requiere de ausencia de desviaciones sistemáticas en los
resultados.
Variabilidad de las pruebas
diagnósticas

Precisión



Se refiere al grado de detalle de la medición.
Entre más preciso es la prueba diagnóstica más exacta es la
clasificación de un individuo como sano o enfermo.
Ej. Títulos de Ac.


2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048, 4096....
80, 160, 320, 640, 1280, 2560....
Variabilidad de las pruebas
diagnósticas

Validez



Se refiere al hecho de que la prueba mida lo que debe medir.
Por ejemplo: Si se mide presencia y niveles de antígeno
prostático, debemos estar seguro de que es eso lo que está
midiendo y no otra cosa (falsos positivos). Resultados en
mujeres o en hombres sanos deben ser nulos o muy bajos.
La falta de validez provoca errores de medición sistemáticos
(sesgo).
Variabilidad de las pruebas
diagnósticas

Confiabilidad



Es el grado de estabilidad cuando la prueba es repetida en
condiciones idénticas.
Es el grado en el cual los resultados obtenidos en una medición
pueden ser replicados.
Influenciada por:



Variabilidad
Variabilidad
Variabilidad
condiciones
de las condiciones del paciente y el laboratorio
de interpretación entre observadores (concordancia)
de interpretación del mismo observador en
diferentes
Variabilidad en los individuos sanos

Al aplicar una prueba a un grupo de individuos sanos,
se debe obtener una serie de resultados variables.



Variación biológica verdadera
Variación por los métodos de medición
Son este rango de resultados “normales”?
Determinación de normalidad
Distribución Gaussiana



Se basa en el supuesto de los resultados siguen una
curva de Gauss.
El 95% de los valores están ±2 DE de la media, a los
que se les considerará “normales”.
Problemas:




Algunas mediciones tienes distribución no normal
Todas las enfermedades tendrían la misma frecuencia esperada
Definición de enfermedad sin sustento biológico (matemático)
Cambios en un mismo individuo, dentro del rango de normalidad
podrían significas patología.
Determinación de normalidad
Percentiles

Se utiliza, de manera arbitraria un percentil sobre o
debajo del cual se considera como anormal un resultado



P. ej. 5% inferior o superior
Es una estimación no paramétrica pues no depende de
que los datos presenten una curva Gaussiana.
Se aplica a todo tipo de distribución.

Si los datos presentan distribución Gaussiana, utilizar este
método resulta idéntico que usar el anterior.
Determinación de normalidad
Lo socialmente aceptable


No hay procesos estadísticos que medien en la
definición del criterio de normalidad, sino la
subjetividad.
P. ej. Figura femenina, color de la piel, estatura, etc.
Determinación de normalidad
Terapéutico


Se basa en los valores a partir de los cuales un sujeto
requiere tratamiento médico.
Anormal:
 Niveles de glicemia sobre 126mg/dL
 Tensión arterial sobre 130/85
 IMC sobre 30
 Etc.
Determinación de normalidad
Factores de riesgo



Se considera normal aquel sujeto que no presenta el
factor de riesgo para la enfermedad.
Se circunscribe a los valores de la prueba (exposición)
que no adicionan riesgo de morbilidad o mortalidad.
No todos los expuestos enferman y viceversa, por lo
que el riesgo de ser “anormal” es alto respecto a la
probabilidad de enfermar.
Determinación de normalidad
A partir del diagnóstico


Conocido como Valor Predictivo
Se basa en la comparación de los resultados respecto a
una prueba patrón (estándar de oro).


Normal: negativo a la prueba
Anormal: positivo a la prueba

No importa la distribución de los resultados.

No considera los falsos positivos ni falsos negativos.
Características deseables de las
pruebas diagnósticas

Alta capacidad discriminatoria


Debe diferenciar muy bien los individuos sanos de los
enfermos.
Economía




Uso de pequeñas cantidades de material biológico.
Uso de pequeñas cantidades de antígeno.
Equipo sencillo.
Bajo costo por muestra
Características deseables de las
pruebas diagnósticas

Simplicidad



Facilidad de aprehensión y aplicación.
Entre más compleja la prueba hay más fuentes de error.
Seguridad

Preferiblemente no debe utilizar material biológico
potencialmente patógeno.
Características deseables de las
pruebas diagnósticas

Objetividad


Es preferible el uso de pruebas con equipos de lectura
automática, los cuales deben estar bien calibrados y
estandarizados.
P. ej : ELISA vs. Inmunofluorescencia indirecta.
Propiedades de las pruebas de
diagnóstico
Golden standard test
ó realmente enfermos
+
Test
+
a
b
a+b
alternativo c
d
c+d
a+c b+d
N
a = número de verdaderos positivos
b = número de falsos positivos
c = número de falsos negativos
d = número de verdaderos negativos
Sensibilidad


Es la probabilidad de que un individuo realmente enfermo
(infectado) sea clasificado como enfermo utilizando una prueba
diagnóstica.
Se basa en el hecho que ninguna prueba diagnóstica es perfecta.
Se =
# de individuos enfermos clasificados positivos por la prueba
Número total de individuos enfermos
a
Se =
a+c
Especificidad

Es la probabilidad que un individuo verdaderamente no enfermo
(no infectado) sea clasificado como negativo por la prueba
diagnóstica.
# de individuos sanos* clasificados negativos por la prueba
Sp=
Número de individuos sanos*
d
Sp=
b+d
* Se puede usar los términos no infectado, seronegativo, etc.
Razones de obtener baja
sensibilidad
(aumento en número de falsos negativos)




Tolerancia natural o inducida (no hay producción de Ac al contacto
con el Ag [BVDV]).
Tiempo de toma de muestra inadecuado.
 Tiempo entre infección y producción de Ac.
 Muestras cerca del parto.
Inhibidores no específicos.
Bloqueo de Ac (altas cantidades de IgG1 pueden bloquear o
enmascarar las cantidades de IgG2).

Errores de laboratorio.

Inmunosupresión.
Razones de obtener baja
especificidad
(aumento en número de falsos positivos)

Reacciones cruzadas (TBC-PTBC).

Reacciones no específicas.

Exposiciones verdaderas pero no relacionadas con el estado actual.




Vacunación.
Inmunización pasiva (Ac calostrales).
Exposición previa (no vacunal).
Errores de laboratorio.
Uso de pruebas con alta
sensibilidad


En fases tempranas de patogénesis cuando existen varios
posibles agentes etiológicos.
Si la probabilidad de encontrar la enfermedad (infección) es
muy baja (baja prevalencia).
Uso de pruebas con alta
especificidad



Para confirmar los resultados de otras pruebas con alta
sensibilidad.
Si los falsos positivos tienen un gran efecto (efectos sicológicos,
sociológicos, etc.. en individuos falsos positivos.
P. ej: VIH, Uso de drogas prohibidas en deporte).
Relación entre los resultados de las
pruebas diagnósticas y el estado de
salud del individuo
Juan José Romero Zúñiga, DMV, MSc, PhD
Programa de Investigación en Medicina Poblacional
Escuela de Medicina Veterinaria
Universidad Nacional
Frecuencia (x 100)
Situación ideal de las pruebas de
diagnóstico.
9
8
7
6
5
4
3
2
1
0
Individuos negativos
2
4
8
16
Individuos positivos
32
Títulos de Ac
64
128
256
Frecuencia (x 100)
Situación ideal de las pruebas de
diagnóstico.
9
8
7
6
5
4
3
2
1
0
Individuos negativos
2
4
8
16
Individuos positivos
32
Títulos de Ac
64
128
256
Relación entre estado de salud y
resultado de la prueba diagnóstica
Golden standard test
ó realmente enfermos
Test
alternativo
+
̶
+
̶
Enfermos
positivos
Sanos
positivos
Aparentemente
Enfermos
Enfermos
negativos
Sanos
negativos
Aparentemente
Sanos
Verdaderos Verdaderos
Enfermos
Sanos
Población
Tasa de falsos positivos

Proporción de resultados positivos a la prueba y que corresponden
a individuos sin el evento.
Tasa falsos positivos = 1 - Sp
1-

VN
FP+VN
Efecto relativo importante en enfermedades que signifiquen la
muerte del individuo (animal) o de fuerte efecto social o personal.
Tasa de falsos negativos

Proporción de resultados negativos a la prueba y que corresponden
a individuos con el evento.
Tasa falsos negativos = 1 - Se
1
VP
VP+FN
Importante efecto relativo si se tata de enfermedades que se desea
eliminar de una población, pues significaría la persistencia del
agente infeccioso en esa población.
Frecuencia (x 100)
Relación entre estado de salud y
resultado de la prueba diagnóstica
9
8
7
La mejor prueba
es la que tiene el
menor área de
superposición de
positivos y negativos
Cut-off
6
5
4
3
Individuos negativos
2
1
Individuos positivos
FN
0
2
4
8
FP
16
32
Títulos de Ac
64
128
256
Frecuencia (x 100)
Relación entre sensibilidad y
especificidad
Sensibilidad
Especificidad
9
8
7
Cut-off
6
5
4
3
2
1
0
Sensibilidad
Especificidad
Individuos negativos
2
4
8
Individuos positivos
16
32
Títulos de Ac
64
128
256
Frecuencia (x 100)
Relación entre sensibilidad y
especificidad
Sensibilidad
Especificidad
9
8
7
Cut-off
6
5
4
3
2
1
0
Individuos negativos
2
4
8
Individuos positivos
16
32
Títulos de Ac
64
128
256
Frecuencia (x 100)
Relación entre sensibilidad y
especificidad
Sensibilidad
Especificidad
9
8
7
Cut-off
6
5
4
3
2
1
0
Individuos negativos
2
4
8
Individuos positivos
16
32
Títulos de Ac
64
128
256
El cálculo usando WinEpiscope
Exactitud

Qué proporción de todas las muestras han dado el resultado
correcto?
Exactitud= Verdaderos positivos + verdaderos negativos
Total de muestras
Exactitud=
a+d
a+b+c+d
Seguridad de las pruebas
diagnósticas
Juan José Romero Zúñiga, DMV, MSc, PhD
Programa de Investigación en Medicina Poblacional
Escuela de Medicina Veterinaria
Universidad Nacional
La seguridad de las pruebas
diagnósticas

La sensibilidad y la especificidad:



Valoran la validez de una prueba diagnóstica.
Informan de la probabilidad de obtener un resultado
concreto (positivo o negativo) en función de la verdadera
condición del enfermo con respecto a la enfermedad.
Carecen de utilidad en la práctica clínica.
La seguridad de las pruebas
diagnósticas

Cuando a un paciente se le realiza una prueba:


Ante un resultado (positivo o negativo) en la prueba, ¿cuál
es la probabilidad de que el paciente esté realmente
enfermo (sano)?.
Los valores predictivos nos brindan esa información.
Valor predictivo positivo

Clínicamente: es la probabilidad de padecer la enfermedad si se
obtiene un resultado positivo en el test.

Cuantitativamente: es la proporción de individuos que resultaron
positivos a la prueba diagnóstica, y que estaban realmente enfermos,
con respecto a la totalidad de individuos positivos a la prueba.
a
VP+ = a + b
Valor predictivo negativo

Clínicamente: Es la probabilidad de que un sujeto con un resultado
negativo en la prueba esté realmente sano.

Cuantitativamente: Es la proporción de individuos que resultaron
negativos, y que estaban realmente sanos, con respecto a la totalidad
de individuos que fueron negativos a la prueba.
d
VP- = c + d
Resumen
Test
alternativo
Sensibilidad (%)
Especificidad(%)
Valor predictivo + (%)
Valor predictivo - (%)
Tasa de falsos positivos
Tasa de falsos negativos
Gold standard test
ó realmente enfermos
+
+
a
b
c
d
a+c
b+d
a+b
c+d
N
= 100*a/(a+c)
= 100*d/(b+d)
= 100*a/(a+b)
= 100*d/(c+d)
= (a/a+c) / (1- (d/b+d) )… Se/1-Sp
= (1- (a/a+c))/ (d/b+d) ... (1- Se)/Sp
También pueden (y deben)establecerse los límites de confianza para
la sensibilidad, especificidad, valores predictivos y prevalencias
usando una aproximación normal al error estándar para proporciones.
Propiedades de las pruebas
de diagnóstico
Cómo determinar los valores umbrales
Juan José Romero Zúñiga, DMV, PhD
Programa de Investigación en Medicina Poblacional
Escuela de Medicina Veterinaria
Universidad Nacional
Valor umbral (cut off) de una
prueba diagnótica



Es un valor límite para la positividad y negatividad de la prueba. En
función de éstos se determinará la sensibilidad (Se), la especificidad
(Sp) y los valores predictivos (VP) de dicha prueba.
Se puede hacer mediante (al menos) dos métodos:

Usando la distribución de las muestras controles (positivos y negativos).

Mediante curvas de ROC (Receiver Operating Characteristic)
Cambiar el punto de corte modifica la sensibilidad, especificidad y
valores predictivos de un estudio, y por ende, la forma en que este se
utiliza.
Método de “desviaciones
estándar”




Se requiere de al menos 100 muestras de controles positivos y
300 muestras de controles negativos (Se debe esperar una
distribución normal !!!)
Se debe aplicar la prueba y medir el resultado.
Posteriormente se describen los datos para obtener la desviación
estándar de cada grupo de muestras control (positivas y
negativas).
Se selecciona el número de desviaciones estándar en que los
resultados de las muestras incógnita serán clasificadas como
positivos o negativos.
Método de “desviaciones
estándar”
9
8
7
6
5
4
3
Controles negativos
2
1
0
2
4
8
1
Controles positivos
23 3 2
16
32
1
64
128
Zona de problema
256
Método de curvas ROC

Método desarrollado en la década de los 50 para discriminar
entre las señales de radar y el ruido.

Fue empleado por primera vez en medicina para la valoración
radiológica

Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a
receiver operating characteristic (ROC) curve. Radiology. 143: 29-36

Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under
receiver operating characteristic curves derived from the same cases.
Radiology. 148: 839-43
Método de curvas ROC

Gráfica que representa la sensibilidad (Y) versus el
complementario de la especificidad (1-espec) para todos los
valores de corte posibles.

Permite obtener una valoración gráfica sobre la utilidad de una
prueba diagnóstica, independientemente de la incidencia de la
enfermedad en la población.
Método de curvas ROC


Una prueba diagnóstica
perfecta se ubicaria en la
esquina superior izquierda
Una prueba que no discrimina
haría una curva de 45º, desde
el 0 hasta la esquina superior
derecha
Método de curvas ROC
Valor T4
Hipotiroideo
<5
total

Eutiroideo
18
1
5.1-7
7
17
7.1-9
4
36
>9
3
39
32
93
Se cuantificaron los valores de
T4 de 125 pacientes, 32 de
los cuales eran conocidos
hipotiroideos (mediante
gamma)
Método de curvas ROC
T4

Se calcula la sensibilidad y
especificidad para cada valor,
mediante tablas de 2x2.
Hipotiroideo
<5
18
1
>5
14
92
32
93
Total:
Sensibilidad: 0.56

Nuestro punto de corte definira
quién se tomará como
“positivo” y “negativo”
Eutiroideo
T4
Especificidad: 0.99
Hipotiroideo
Eutiroideo
<7
25
18
>7
7
75
32
93
Total:
Sensibilidad: 0.78
Especificidad: 0.81
Método de curvas ROC

Conociendo estos valores, se
puede elaborar la gráfica
Punto corte
Sensibilidad
Especificidad
5
0.56
0.99
7
0.78
0.81
9
0.91
0.42
Método de curvas ROC

Área bajo la curva

El área bajo la curva se puede emplear para conocer en forma
simple la exactitud global se una prueba


Area total hacia la izq= 1 (prueba perfecta)
Area de la diagonal= 0.5

Entre más cercana a 1, la prueba es mejor

Permite hacer comparaciones entre pruebas
Método de curvas ROC





0.90-1 = excelente
0.80-0.90 = bueno
0.70-0.80 = regular
0.60-0.70 = pobre
0.50-0.60 = fallida
Eficiencia de las pruebas
diagnósticas
Juan José Romero Zúñiga, DMV, MSc, PhD
Programa de Investigación en Medicina Poblacional
Escuela de Medicina Veterinaria
Universidad Nacional
Prevalencia verdadera

Es la proporción de individuos realmente enfermos (o positivos a
la prueba de oro) dentro del total de la población estudiada
Prueba
Diagnóstica
Realmente enfermos
+
+
a
b
c
d
a+c
b+d
Prevalencia verdadera=
a+b
c+d
a+b+c+d
a + c
a+b+c+d
Prevalencia aparente

Es la proporción de individuos positivos a la prueba diagnóstica,
dentro del total de la población estudiada
Prueba
Diagnóstica
Realmente enfermos
+
+
a
b
c
d
a+c
b+d
Prevalencia aparente=
a+b
c+d
a+b+c+d
a + b
a+b+c+d
Efecto de la Se y Sp de la prueba
sobre la prevalencia aparente

PA =
Total de positivos (a+b)
La Se afecta directamente
la cantidad de verdaderos
positivos (a).

< efecto sobre PA
Total de población (N)

La Sp afecta directamente
la cantidad de falsos
positivos (b).

> efecto sobre PA
Efecto de la Se y Sp de la prueba
sobre la prevalencia aparente
Efecto de la Se y Sp de la prueba
sobre la prevalencia aparente
Efecto de la Se y Sp de la prueba
sobre la prevalencia aparente
Efecto de la prevalencia sobre los
Valores predictivos

Se y Sp definen la validez de la prueba diagnóstica

Ventajas:



son propiedades intrínsecas a la prueba diagnóstica
definen la validez independientemente de cuál sea la prevalencia
de la enfermedad en la población a la cual se aplica
Desventaja de que no proporcionan información relevante a la
hora de tomar una decisión clínica ante un determinado
resultado de la prueba.
Efecto de la prevalencia sobre los
Valores predictivos

Valores predictivos

Ventaja:


Enorme utilidad a la hora de tomar decisiones clínicas y transmitir a
los pacientes información sobre su diagnóstico
Desventaja

Dependen en gran medida de lo frecuente que sea la
enfermedad a diagnosticar en la población objeto de estudio.
Altamente afectados por la prevalencia
Efecto de la prevalencia sobre los
Valores predictivos
Resultado negativo
Prevalencia baja
> VP negativo
Seguridad
Descarta enfermedad
Resultado
del test
Verdadero diagnóstico
VIH+
VIH-
Total
Positivo
5.970
13.970
19.940
Negativo
30
2.780.030
2.780.060
Total
6.000
2.794.000
2.800.000
Prevalencia =
0,21%
VP + =
VP- =
29,9 %
99,9 %
Se =
Sp=
99,5%
99,5%
Efecto de la prevalencia sobre los
Valores predictivos
Resultado positivo
Prevalencia alta
> VP positivo
Seguridad
Asegurar enfermedad
Resultado
del test
Verdadero diagnóstico
VIH+
VIH-
Total
Positivo
796.000
10.000
806.000
Negativo
4.000
1.990.000
1.994.000
Total
800.000
2.000.000
2.800.000
Prevalencia =
28,6%
VP + =
VP- =
98,7 %
99,8 %
Se =
Sp=
99,5%
99,5%
Efecto de la prevalencia sobre los
Valores predictivos
Efecto de la prevalencia sobre los
Valores predictivos
Impacto de los VP sobre programas
de control y erradicación
Resultado negativo
Prevalencia baja
Seguridad
Descarta enfermedad

Utilizar para tamizaje


Pruebas diagnósticas con alta Se
Altos VP
especialmente el VP negativo
> VP negativo
Ejemplo


Un país centroamericano con quien Costa Rica tiene
relaciones comerciales (importa pollo desde nuestro
país) decide, ante la alerta sanitaria en Costa Rica
por un caso de laringotraqueitis, retener varios
contenedores con carne de esas aves y declarar el
cierre de sus fronteras comerciales de esas aves con
nuestro país.
Se realiza una reunión entre las direcciones de salud
animal de ambos países.
Ejemplo (continuación)



Costa Rica exige igualdad de trato, por lo que pide a
ese país que demuestre que está libre de esa
enfermedad.
El director de salud animal de aquel país dice que
ellos están libres de la enfermedad “… porque hemos
realizado, este año, varios muestreos; llevamos
muestreadas 20.000 (veinte mil) aves, les corrimos
un ELISA y todas las muestras fueron negativas…”
Ejemplo (continuación)


Qué opinión les merece la aseveración
del director de salud animal de ese
país?
Por qué?
Una herramienta

WinEpiscope
Pasos para su instalación




Bajar el archivo de instalación de internet.
Guardarlo en un directorio nuevo, específico
para ese archivo.
Descomprimir el archivo.
Hacer doble click sobre el archivo
“instalar.exe”.
Navegación rápida por
WinEpiscope
Consideraciones finales, discusión y consultas.
Descargar

Capítulo 8a