Cómo evaluar un estudio
clínico de manera crítica
Nikolaos P. Polyzos M.D. PhD
The material was supported by an educational grant from Ferring
Objetivos de aprendizaje
• Al terminar esta presentación, usted
debería notar que no aceptará las
conclusiones de ningún artículo científico
sin cuestionarlas.
• Esta presentación lo guiará sobre cómo
debería cuestionar las conclusiones de los
artículos científicos.
Ensayo: Por qué la mayoría de los hallazgos de
investigaciones que se publican son falsos - John P.A. Ioannidis
Es menos probable que un descubrimiento
de un estudio sea certero cuando:
• los estudios que se llevan a cabo en un campo son más
pequeños
• los tamaños de los efectos son menores
• hay mayor flexibilidad en el diseño, las definiciones, los
resultados y los modelos analíticos
• hay grandes intereses financieros o de otros tipos y
prejuicios
Ioannidis JP, Plos Med 2005
Por qué debería cuestionar los resultados
en todas las publicaciones científicas
Los artículos más citados NO SIEMPRE
dicen la verdad
Los artículos más citados no siempre
dicen la verdad
• Los descubrimientos iniciales....pueden
resultar erróneos en el futuro
• Entre los estudios más citados (>1000 citas)
con argumentos de eficacia
– el 16% fue refutado por investigaciones posteriores
– el 16% tuvo efectos iniciales más fuertes
– el 44% fue replicado también con un tamaño mayor de
muestra en estudios posteriores comparados con el
estudio original más citado originalmente
– el 24% se mantuvo mayormente sin cambios
Ioannidis JP, JAMA 2005
Cómo debería cuestionar los resultados
en todas las publicaciones
La fabricación de datos existe aún en las
revistas más prestigiosas
La fabricación de datos existe aún en las
revistas más prestigiosas
Sudbø case (Lancet)
De 908 pacientes incluidos
en el estudio, 250 tenían la
misma fecha de
nacimiento.
Por qué debería cuestionar los resultados
en todas las publicaciones científicas
Los estudios randomizados de baja calidad pueden
mostrar efectos de tratamiento inflados
Los estudios randomizados de baja calidad pueden mostrar
efectos de tratamiento totalmente inflados
• Base de datos de embarazo y nacimientos de
Cochrane
– 250 ensayos controlados de 33 meta-análisis
• Mayores efectos aparentes de tratamiento en
estudios de menor calidad
– Temas de randomización
• Las razones de momios. Los rangos de probabilidad se
exageraron hasta un 41%
– Puesta a ciego inadecuada
• Las razones de momios. Los rangos de probabilidad se
exageraron hasta un 17%
Schulz. JAMA 1995; 273 (5): 408–412
Los estudios de baja calidad demostraron que los
efectos del tratamiento no se confirmaron en los
estudios de mayor calidad.
GRÁFICO DE META-ANALISIS PARA NACIMIENTO PRETÉRMINO <37 SEMANAS DE GESTACIÓN
Estudio o subgrupo
Con
Tratamiento
Sin
tratamiento
Peso
Razón de momios
Razón de momios
Relación de probabilidades
Relación de probabilidades
(M-A, fija)
IC del 95 %
(M-A, fija)
IC del 95 %
Eventos/total Eventos/total
Estudios de baja calidad
Subtotal (IC del 95%)
Prueba de heterogeneidad:
χ2 = 4.95, df = 5, P = 0.42, I2 = 0%
Prueba de efectos totales:
z = 4.01, P<0.001
Estudios de alta calidad
Subtotal (IC del 95%)
Prueba de heterogeneidad:
χ2 = 4.02, 4.95, df=4, = 5, P = 0.40, I2 = 1%
Prueba de efectos totales:
z = 4.01, P<0.001
Total (IC del 95%)
Prueba de heterogeneidad:
χ2 = 25.94, df = 10, P = 0.004, I2 = 61%
Prueba de efectos totales: ut2}z = 0.86, P
= 0.39 z = 0.86, P = 0.39
(%)
114/996
147/725
35.2
0.52 (0.38 a 0.72)
250/2303
219/2290
64.8
1.15 (0.95 a 1.40)
364/3299
366/3015
100
0.93 (0.79 to 1.10)
0.1
M-H = Modelo de efectos fijos de Mantel-Haenszel
0.2
0.5
Favorece al tratamiento
1
2
5
10
Favorece al no tratamiento
Polyzos NP et al., BMJ 2010
Por qué debería cuestionar los resultados
en todas las publicaciones científicas
Los estudios con resultados negativos no se
publican o se publican más tarde
Los estudios con resultados negativos no se
publican o se publican más tarde
Resultado a favor de
el brazo experimental
Proporción de resúmenes publicados en texto completo
1.0
No positivo
Positivo
No positivo - censurado
Positivo -censurado
0.8
0.6
0.4
0.2
0.0
0
20
40
60
80
100
Tiempo hasta la publicación (meses)
Entre los estudios presentados en las principales conferencias científicas, los estudios con resultados
positivos tienen mayores posibilidades de ser publicados (en comparación con los de resultados
negativos)
Polyzos NP et al., Hum Reprod 2011
Por qué debería cuestionar los resultados
en todas las publicaciones científicas
Los meta-análisis a menudo se basan en evidencia insuficiente o
inconsistente
Los meta-análisis a menudo se basan en evidencia
insuficiente o inconsistente
• 61 revisiones sistemáticas publicadas durante
julio de 2012 en Cochrane
– 15% de las revisiones incluyeron 1 ó o 0 ensayos
– La mitad abarcaron menos de 1.000 pacientes randomizados
– 31 fueron revisiones actualizadas
– 11 de estas 31 revisiones actualizadas incluyeron la misma
cantidad de ensayos y participantes que la revisión anterior que
buscaban actualizar
Humaidan & Polyzos Nat Med 2012
Por qué debería cuestionar los resultados
en todas las publicaciones científicas
Los estudios avalados por la industria pueden
demostrar efectos de tratamiento mayores
Los estudios avalados por la industria pueden
demostrar efectos de tratamiento mayores
Las investigaciones
financiadas por las
empresas farmacéuticas
tienen 4 veces más
probabilidades de arrojar
resultados que favorecen
al producto del
patrocinador auspiciante
que las investigaciones
financiadas por otras
fuentes
Azimi12
Cho14
Clifford15
Davidson16
Dieppe18
Djulbegovic19
Djulbegovic20
Friedberg23*
Friedberg23┼
Kamal-Bahl26╪
Kamal-Bahl26§
Koep30
Mandelkern32
Sacristan36¶
Sacristan36**
Thomas38
Vandenbroucke39
Yaphe41
0.1 0.2 0.5 1 2
OR 4.05; 95% CI 2.98-5.51
Razón de momios Relación de probabilidades
Estudio (primer autor)
5 10
100
1000
Lexchin J et al., BMJ. 2013
10000
Los estudios avalados por la industria pueden
demostrar efectos de tratamiento mayores
El 82% de los análisis de efectividad de costos patrocinados por la
industria demuestran que las drogas son efectivas desde el punto
de vista del costo.
Valachis et al., J Clin Oncol 2012
Los estudios avalados por la industria pueden
demostrar efectos de tratamiento mayores
El comparador “hombre de paja” Straw-man" (testaferro) Hombre Sorbete)
Afiliación del autor o financiación o conflicto de interés con el fabricante
100
90
80
Sensibilidad
70
60
50
40
30
20
10
0
0
10
20
30
40
50
60
70
80
90
100
1 - Especificidad
Estimaciones de CEA sin autores afiliados, financiación o conflictos de interés con el fabricante.
Estimaciones de CEA con al menos un autor afiliado con el fabricante o la financiación o con conflictos de interés con el fabricante.
Los análisis de efectividad de costos comprometidos donde se involucra la industria estaban asociados
con supuestos de referencia más bajos de la sensibilidad de la prueba de Papanicolaou.
Polyzos NP et al., BMJ 2010
Por qué debería cuestionar los resultados
en todas las publicaciones científicas
Estudios financiados por la industria, y hasta también los patrocinados
por el gobierno, se han publicado tarde en el pasado.
Los estudios auspiciados por la industria pueden
publicarse más tarde que los no auspiciados
• Tiempo hasta la publicación
– Industria (24 meses) vs. No industria (20 meses) luego de la
terminación del estudio p<0.001
Ross JS et al., JAMA 2013
• Tasas de publicación dentro de los dos años
– Industria (40%) vs. No gobierno / No industria (56%)
– RR = 0.73, 95% CI 0.61–0.87; p<0.001
– Industria (40%) vs. ensayos del gobierno (47%); p = 0.22
Ross JS et al., Plos Med 2009
Aun los ensayos patrocinados por el
gobierno pueden no publicarse enseguida
• Ensayos de los Institutos Nacionales de Salud, INS. Los ensayos
de la NIH NO FUERON PUBLICADOS luego de su finalización
–
80
Porcentaje de estudios publicados
Porcentaje de estudios publicados
30 meses - la mitad sin publicar
– 51 meses - 1/3 sin publicar
60
40
20
0
0
20
40
60
100
80
80
Ensayo terminado antes de 2007
Ensayo terminado en 2007-8
60
40
P<.001
20
0
0
Tiempo desde la finalización del estudio (meses)
N° de estudios sin publicar
Ensayo terminado antes de 2007
N° en riesgo
635
5
10
15
20
25
30
Tiempo desde la finalización del estudio (meses)
635
635
635
493
330
220
153
95
54
44
269
264
259
235
221
197
175
324
282
244
215
176
Ensayo terminado en 2007-8
366
356
Ross JS et al., BMJ 2011
Cómo debería cuestionar los resultados
No rechace de antemano un estudio basándose en su condición, ya que la
gestión y la presentación de informes han mejorado con el tiempo
No rechace de antemano un estudio basándose
en su condición
La relación de la industria con una publicación disminuye su valor para
los médicos.
Razón de momios
Relación de probabilidades
Voluntad de los médicos de recetar un medicamento
1.25
0.68 (95% CI, 0.49-0.94)
P = .02
0.52 (95% CI, 0.37-0.71)
P<.001
1.00
0.75
0.50
Industria vs ninguna
No
Industria vs NIH
(Institutos Nacionales de Salud)
Financiación
Menores probabilidades hasta de querer leer el artículo completo!!!
El patrocinio de la industria:
•influye negativamente en la percepción de los médicos sobre su calidad metodológica
•reduce la voluntad de creer y actuar en función de los hallazgos del estudio, independientemente de la
calidad del mismo.
Kesselheim NEJM 2012
Por qué no se debe rechazar de antemano
un estudio basándose en su condición
• The Good Clinical Practice Directive (Directiva sobre Buenas
Prácticas Clínicas 2005/28/EC de 8 de abril de 2005 del Parlamento
Europeo y del Consejo)
• EudraCT v9 vs. 9 (Registro de Ensayos Clínicos de la Unión Europea)
• Se deben proporcionar los resultados de todos los ensayos clínicos
intervencionales que comenzaron en la UE desde el 1° de Mayo de
2004 en adelante
• El informe y la divulgación pública incluyen:
– Ensayos que terminaron prematuramente
– Ensayos con resultados tanto positivos como negativos
– Ensayos de productos CON O SIN autorización de venta dentro de la comunidad
https://eudract.ema.europa.eu/index.html
No rechace de antemano un estudio
basándose en su condición
Esta situación mejoró a través del tiempo?
•
Para que la industria farmacéutica introduzca Pharma lance, una nueva
droga, ésta tiene que pasar satisfactoriamente ensayos clínicos de Fase II
para establecer la seguridad y la dosificación, luego los de Fase III para
confirmar la eficacia y demostrar aun más la seguridad. Esto se monitorea
externamente y debe cumplir con estudios altamente metodológicos
•
Las tasas de éxito de Fase II para los nuevos proyectos en desarrollo han
caído del 28% (2006-2007) al 18% (2008-2009)
Arrowsmith. Nature Reviews Drug Discovery 2011
•
La tasa de éxito combinada en la Fase III y en la presentación ha bajado a
~50% de 2007 a 2010
Arrowsmith. Nature Reviews Drug Discovery 2011
Cómo debería cuestionar los resultados
Utilice un criterio de evaluación crítica científica estándar
al evaluar un artículo científico
Utilice un enfoque crítico estándar al evaluar
un artículo científico
Evalúe críticamente el objetivo del estudio
•Cuál es la base para llevarlo a cabo
• Está (n) formulada (s) claramente la (s) pregunta (s) del
estudio? Si no, lo están, cómo deberían estar?
Pautas sobre cómo leer y criticar un estudio de investigación
American Nurses Association
http://www.nursingworld.org
Utilice un enfoque crítico estándar al
evaluar un artículo científico
Evalúe críticamente el diseño del estudio
•¿El diseño es adecuado para el estudio?
•¿La muestra es coherente con el diseño del estudio? ¿Es
suficiente el tamaño?
•¿Cómo se recolectaron los datos?
•¿El enfoque analítico es consistente con las preguntas
del estudio y el diseño de la investigación?
Pautas sobre cómo leer y criticar un estudio de investigación
American Nurses Association
http://www.nursingworld.org
Utilice un enfoque crítico estándar al
evaluar un artículo científico
Determine si el estudio se inscribió en un
registro público
•¿El estudio fue inscripto antes del comienzo del ensayo?
•¿Los objetivos primarios son los mismos que los de la
versión inscripta del ensayo?
Utilice un enfoque crítico estándar al
evaluar un artículo científico
Revise siempre la literatura existente
•¿La literatura reciente es relevante para el estudio? ¿Es
exhaustiva? ¿Contiene investigaciones recientes?
•¿La revisión de la literatura apoya la necesidad de este
estudio?
•¿Los hallazgos son consistentes con la literatura
existente?
Pautas sobre cómo leer y criticar un estudio de investigación
American Nurses Association
http://www.nursingworld.org
Utilice un enfoque crítico estándar al evaluar
un artículo científico
Evalúe de manera crítica los resultados y
conclusiones
•¿Los resultados están presentados claramente en el texto, tablas,
figuras y gráficos?
•¿Las estadísticas están explicadas claramente?
•¿Los resultados están explicados en relación con el fundamento
científico y las preguntas de la investigación?
•¿Se debatieron las limitaciones presentadas y sus implicancias?
•¿Hay recomendaciones para la práctica clínica?
Pautas sobre cómo leer y criticar un estudio de investigación
American Nurses Association
http://www.nursingworld.org
Conclusiones
• Ningún estudio carece de limitaciones, los resultados pueden
ocurrir por casualidad
• También existe el riesgo de que los resultados sean
engañosos. Pueden presentar el riesgo de llevar a
conclusiones falsas.
• Cuánto mas robusto es el estudio, más posibilidades de que
sea certero.
• Revise siempre toda la literatura y busque la consistencia y las
incoherencias en lo que se informa.
• No acepte ni rechace de antemano los resultados de un estudio
basándose solamente en la revista que lo publica, el grupo de
investigación o su relación con la industria.
¡GRACIAS!