Post on 15-Apr-2017
Carlos A. Cuello Garcia MD, PhD(c) Health Research Methodology Program Department of Clinical Epidemiology and Biostatistics
Guías de práctica clínica
2a. PARTE evaluando la calidad de la evidencia
Conflictos de interés• Trabajo en:
‣ MacGRADE centre & Cochrane GRADEing group
‣ Cochrane
• He recibido apoyo económico de la WAO, y OPS para desarrollo de GPC y proyectos relacionados
GRADEingMethods
Requisito: conocer / repasar lo siguiente
• ensayo clínico aleatorio y sus riesgos de sesgo
‣ aleatorización
‣ ocultación de la secuencia aleatoria
‣ cegamiento adecuado
‣ seguimiento y desgaste
• los diseños de estudios observacionales (cohorte, casos y controles)
• Conocer los conceptos:
‣ riesgo relativo (RR), diferencia de riesgos (DR), reducción del riesgo relativo (RRR)
‣ intervalos de confianza 95% (IC95%)
• las partes de un meta-análisis
‣ interpretar un gráfico de bosque
‣ heterogeneidad (I2)
‣ sesgo de publicación
Requisito: conocer / repasar lo siguiente
Veremos hoy
• Perfiles de evidencia y tablas de resumen de hallazgos del sistema GRADE
‣ Qué es y cómo graduar la calidad de la evidencia en base a una pregunta clínica
‣ La relevancia de los desenlaces clínicos de importancia
RECOMENDACIÓN CLÍNICA
EVIDENCIA
VALORES DEL
PACIENTEACEPTABI-
LIDAD
BENEFICIOS VS DAÑOS COSTOS
OBJETIVO FINAL EN GUÍAS CLÍNICAS (para pacientes)
DECISIÓN
EVIDENCIA
VALORES DEL
PACIENTE
ACEPTABI-LIDAD
BENEFICIOS VS DAÑOS VIABILIDAD
EQUIDAD USO DE RECURSOS
EN GUÍAS PARA SALUD PÚBLICA
GUÍAS DE PRÁCTICA CLÍNICA๏ Necesitamos una guía de práctica clínica
๏ Necesitamos dar una recomendación final
IOM · AHRQ 2011
GENERACIÓN DE EVIDENCIA
PUBLICACIÓN
REVISIONES SISTEMÁTICAS
GUÍAS DE PRÁCTICA CLÍNICA
¿es necesaria?Configurar equipo de
trabajo
¿existe una GPC previa que pueda adaptarse?
Desarrollar GPC Adaptar GPC
no sí
¡sí!
Desarrollar GPC búsqueda de REVISIONES SISTEMÁTICAS para la pregunta PICO
¿existen RS?
¯\_( )_/¯sorry, parece que tendrás que hacer una RS (si la pregunta vale la pena)
NO
¿la RS y su evidencia es de calidad,
actual, relevante, suficiente?
SÍ
evaluar la CALIDAD global de la EVIDENCIA
SÍ
formular las RECOMENDACIONES
NO
ok!
recomendaciones de experto
transversal
serie de casos, reporte de un caso
caso-control
cohorte
ensayo clínico aleatorio
REVISIONES SISTEMÁTICAS
CTFPHE 1979
recomendaciones de experto
transversal
serie de casos, reporte de un caso
caso-control
cohorte
ensayo clínico aleatorio
REVISIONES SISTEMÁTICAS
CTFPHE 1979
I good
II fair
III poor
EVIDENCIA
recomendaciones de experto
transversal
serie de casos, reporte de un caso
caso-control
cohorte
ensayo clínico aleatorio
REVISIONES SISTEMÁTICAS
CTFPHE 1979
I good
II fair
III poor
EVIDENCIA
A
B
C
RECOMENDACIÓN
D
si voy a saltar de un avión…
¿recomiendas paracaídas para evitar muerte y/o daños severos?
Parachute use to prevent death and major trauma related to gravitational challenge:
systematic review of randomised controlled trials
BMJ 2003;327:1459
DECISIÓN
EVIDENCIA
VALORES DEL
PACIENTE
ACEPTABI-LIDAD
BENEFICIOS VS DAÑOS VIABILIDAD
EQUIDAD USO DE RECURSOS
no solo de evidencia se trata
RECOMENDACIÓN o
DECISIÓN EN SALUD
EVIDENCIA
Grading of Recommendations Assessment, Development and Evaluation
๏ Usa criterios explícitos para subir y bajar la calidad de la evidencia encontrada
๏ Consideración de la importancia de los desenlaces clínicos (outcomes)
๏ Toma en consideración preferencias y valores del paciente y del clínico
Ventajas del sistema GRADE
Ventajas del sistema GRADE๏ Transparencia del movimiento evidencia -> recomendación ๏ Consejos explícitos sobre el curso de acción a tomar aún cuando la
evidencia es escasa ๏ Interpretación clara y pragmática de las recomendaciones débiles y
fuertes ๏ Simplicidad para el lector, sistematización para el creador de GPC
CALIDAD de evidencia
Fuerza de RECOMENDACIÓN
Indica hasta que punto nuestra confianza en la estimación de un efecto es adecuada para apoyar una recomendación
Indica hasta que punto podemos confiar si en poner en práctica esta recomendación conllevará más beneficios que riesgos
Empezando por la importancia de los desenlaces para nuestros pacientes
Chalmers I, Glasziou P. Lancet 2009;374:86-9 Cooper NJ, et al Clin Trials 2005;2:260–4.
outcomes Pacientes con asma
óxido nítrico inhalado placebo
O2 sat
FEV1
días de hospital
muerte
DESENLACES ¿QUÉ TAN IMPORTANTE ES
CADA UNO?
P
I C
O
outcomes Pacientes con asma
óxido nítrico inhalado placebo
O2 sat
FEV1
días de hospital
muerte
DESENLACES ¿QUÉ TAN IMPORTANTE ES
CADA UNO?
P
I C
O
ponderación de desenlacesMortalidad 9Días de hospital 8Uso de medicamentos 7
6Saturación de oxígeno 5FEV1 4
32
Flatulencia por medicamento 1
Crítico para la toma de decisiones
Importante mas no crítico para la toma de decisiones
No importante para la toma de decisiones o para los pacientes
DESENLACES
¿ qué es CALIDAD de la evidencia?
También se le puede llamar “certeza” ó “confianza” de la evidencia
Balshem H, et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. 2011;64(4):401-6
EN REVISIONES
SISTEMÁTICASEN GUÍAS CLÍNICAS
El grado de confianza que tenemos de que el estimado del efecto visto es el correcto
El grado de confianza que tenemos en que el estimado del efecto es adecuado y apoya una decisión / recomendación particular
recomendación de experto
transversal series de casos
caso-control
cohorte
ECA
transversal series de casos
caso-control
cohorte
ECA ECA
Observacional
EXPERIENCIA ES UNA
HERRAMIENTA
por default...
transversal serie de casos
caso-control
cohorte
ECA ECA
observacional
ALTA CALIDAD
BAJA CALIDAD
CALIDAD DE LA EVIDENCIAALTA Estamos muy seguros que el verdadero efecto está cerca del que
estimamos
Estamos moderadamente seguros del efecto que estimamos: El verdadero efecto puede estar cerca, pero existe la posibilidad de que sea substancialmente diferente
Nuestra confianza en el efecto que estimamos es limitada: El efecto verdadero puede ser substancialmente diferente del que estimamos
Tenemos muy poca confianza en el efecto estimado: El efecto verdadero es probable que sea muy diferente
MODERADA
BAJA
MUY BAJA
¿Cómo se determina la calidad de la
evidencia?
¿Debemos administrar oxígeno a pacientes con infarto al miocardio para disminuir el riesgo de muerte?
Ejemplo
P I C O
Pacientes con infarto al miocardio
Oxígeno
No oxígeno
Muerte en hospital debido al infarto
๏El riesgo de MUERTE no disminuyó e incluso puede incrementarse con el uso de oxígeno en pacientes con infarto al miocardio
๏RR=2.12 (IC 95% 0.74 a 6.10) ๏430 participantes, 3 estudios
Cabello JB, Burls A, Emparanza JI, Bayliss S, Quinn T.Oxygen therapy for acute myocardial infarction.
Cochrane Database of Systematic Reviews 2013, Issue 8. Art. No.: CD007160.
¿Qué haría disminuir tu certidumbre?
¿te lo crees?
discutan…
Si los estudios están mal hechos… es decir, tienen riesgo de sesgo…
¿tu certidumbre en la evidencia disminuye?
riesgo de sesgo
P
I C
yes yes
no no
A
O
riesgo de sesgo
P
I C
yes yes
no no
A
O
Sesgo de selección •Generación de la secuencia aleatoria •Ocultación de la secuencia aleatoria
Sesgo de desempeño •cegamiento de participantes y personal
Sesgo de detección •cegamiento de evaluadores
Sesgo de desgaste •datos incompletos del desenlace
Sesgo de reporte/notificación •reporte selectivo
riesgo de sesgo
P
I C
yes yes
no no
A
O
Sesgo de selección •Generación de la secuencia aleatoria •Ocultación de la secuencia aleatoria
Sesgo de desempeño •cegamiento de participantes y personal
Sesgo de detección •cegamiento de evaluadores
Sesgo de desgaste •datos incompletos del desenlace
Sesgo de reporte/notificación •reporte selectivo
estudio 1
estudio 2
estudio 3
Sec
uenc
ia a
leat
oria
Ocu
ltac
ión
de la
sec
uenc
ia
Ceg
amie
nto
de p
artici
pant
es
Ceg
amie
nto
de p
erso
nal
Ceg
amie
nto
de e
valu
ador
es
Dat
os in
com
plet
osRep
orte
sel
ectivo
Si los estudios son diferentes entre sí…
¿tu certidumbre en la evidencia disminuye?
inconsistencia‣ Inconsistencias clínicas, metodológicas, estadísticas
• los puntos de estimado varían mucho entre los estudios
• IC muestran no traslape
• La prueba para heterogeneidad tiene un valor p bajo
• I2 es grande
Si los estudios no proveen de evidencia directa para contestar la pregunta PICO…
¿tu certidumbre en la evidencia disminuye?
evidencia indirecta๏ Considera que tan incierto estás
acerca de la aplicabilidad de la evidencia a tu pregunta
๏ Considera la pregunta PICO ‣ Population ‣ Intervention and comparison ‣ Outcome
P I C O
?
evidencia indirecta๏ ejemplo ‣ P- pacientes con influenza H1N1 ‣ I- oseltamivir ‣ C- placebo ‣ O- Mejoría clínica, complicaciones,
etc.
P I C O
evidencia indirecta๏ ejemplo ‣ P- pacientes con influenza H1N1 ‣ I- oseltamivir ‣ C- placebo ‣ O- Mejoría clínica, complicaciones,
etc.
P I C O
¡NOEXISTEN!
Estudios que incluyan
pacientes con H1N1
evidencia indirecta๏ ejemplo ‣ P- pacientes con influenza H1N1 ‣ I- oseltamivir ‣ C- placebo ‣ O- Mejoría clínica, complicaciones,
etc.
P I C O
¡NOEXISTEN!
Estudios que incluyan
pacientes con H1N1
sólo hay con influenza H5N1
Si los estudios proveen de evidencia imprecisa…
¿tu certidumbre en la evidencia disminuye?
imprecisión• Considera
1. tamaño de muestra y número de eventos
– evalúa tamaño del efecto, frecuencia de eventos en el grupo control y tamaño óptimo de información (optimal information size -OIS)
2. anchura de los intervalos de confianza (IC)
– ICs anchos indican incertidumbre del efecto
– IC anchos incluyen el efecto nulo (el “1”) y el daño o beneficio apreciable (rule of thumb: RR<0.75 or >1.25)
1 102 50.50.20.1
la imprecisión se aborda diferente
REVISIONES
SISTEMÁTICASGUÍAS CLÍNICASvs
la imprecisión se aborda diferente
REVISIONES
SISTEMÁTICAS
antes, dos definiciones:
๏ tamaño óptimo de información
๏ umbrales de probable daño/beneficio
¿tamaño óptimo de información?๏ Si el número total de pacientes incluidos en una revisión
sistemática es menor que el número ideal de pacientes que se requerirían en un ensayo clínico aleatorio (basado en un cálculo del tamaño de muestra para el mismo)…
๏ entonces, considera bajar la calidad de la evidencia por imprecisión
Guyatt G, et al. J Clin Epidemiol. 2011;64(12):1283-93
Control group event rate
Tota
l sam
ple
size
requ
ired
0.2 0.4 0.6 0.8 1.0
010
0020
0030
0040
0050
0060
00
RRR=30%
RRR=25%
RRR=20%
ej. el tamaño de muestra requerido para una frecuencia de eventos en el grupo control del 20% (control group event rate 0.2) con una intervención con reducción del riesgo relativo (RRR) del 30%
Control group event rate
Tota
l sam
ple
size
requ
ired
0.2 0.4 0.6 0.8 1.0
010
0020
0030
0040
0050
0060
00
RRR=30%
RRR=25%
RRR=20%
ej. el tamaño de muestra requerido para una frecuencia de eventos en el grupo control del 20% (control group event rate 0.2) con una intervención con reducción del riesgo relativo (RRR) del 30%
Control group event rate
Tota
l sam
ple
size
requ
ired
0.2 0.4 0.6 0.8 1.0
010
0020
0030
0040
0050
0060
00
RRR=30%
RRR=25%
RRR=20%
ej. el tamaño de muestra requerido para una frecuencia de eventos en el grupo control del 20% (control group event rate 0.2) con una intervención con reducción del riesgo relativo (RRR) del 30%
corresponde a un tamaño de muestra de aproximadamente 1200 participantes
Más exacto…
x 2 = 1,230
URL: www.stat.ubc.ca/~rollin/stats/ssize/b2.html
considera también el número de eventos
¿umbral de probable daño / beneficio?
๏ no es tan fácil de obtener ๏ varía en cada condición y depende de aplicar los valores y
preferencias de pacientes
ejemplo con diarrea
0 12–12
¿Cuántas horas menos con diarrea crees que sea lo adecuado y empezarías
a usar el medicamento??
horas de diarrea
–24 24
¿3 horas?
imagina medicamento que provee disminución de 12 horas (IC95% de –18 a –6)
–18 –6
ejemplo con diarrea
0 12–12
¿Cuántas horas menos con diarrea crees que sea lo adecuado y empezarías
a usar el medicamento??
horas de diarrea
–24 24
¿6 horas?
ejemplo con diarrea
0 12–12
¿Cuántas horas menos con diarrea crees que sea lo adecuado y empezarías
a usar el medicamento??
horas de diarrea
–24 24
¿12 horas?
ejemplo con diarrea
0 12–12
con 6 horas, piensa en cada ejemplo de abajo y
discute…
horas de diarrea
–24 24
¿6 horas?
los dos umbrales
0 12–12
umbral de probable beneficio
umbral de probable daño
horas de diarrea
–24 24
entonces…
tamaño óptimo de información
Tamaño de muestra grande (n ≥ 2,000)?
no
Bajar calidad
alcanzado
No bajar calidad
evalúa umbral de probable beneficio o daño
no alcanzado
sí
¿Cómo está el IC95%?
IC95% excluye efecto nulo (ie, RR=1)
1 1.250.75
RR
1IC95% incluye efecto nulo
(ie, RR=1)
1 1.250.75
RR
1
IC95% excluye umbral de probable daño o beneficio
1 1.250.75
RR
1
IC95% incluye umbral de probable daño o beneficio
1 1.250.75
RR
1
Imprecisión en resumen…
1 1.250.75
umbral de probable beneficio
umbral de probable daño
RR
preciso
impreciso
la imprecisión se aborda diferente
GUÍAS CLÍNICAS
Bajar calidad
No bajar calidad
evalúa umbral de probable beneficio o daño
IC95% excluye umbral de probable daño o beneficio
1 1.250.75
RR
1
IC95% incluye umbral de probable daño o beneficio
1 1.250.75
RR
1
tamaño óptimo de informaciónalcanzado no alcanzado
bajo número de eventos y tamaño de muestra grande (n≥2,000) no
sí
si crees que faltaron estudios a incluir en la revisión…
¿tu certidumbre en la evidencia disminuye?
sesgo de publicación
0.1 0.33 1 3 3
2
1
0
10 0.6
Pre
cisi
ón (
erro
r es
tándar
)
Efecto (p ej, RR)
repasando…
calidad de la evidencia
inconsistencia
eviden
cia
indirecta
P I C O
?
imprecisión
sesgo de publicación
riesgo de sesgo
estudio 1 estudio 2 estudio 3
por default...
transversal serie de casos
caso-control
cohorte
ECA ECA
observacional
ALTA CALIDAD
BAJA CALIDAD
por default...
transversal serie de casos
caso-control
cohorte
ECA ECA
observacional
ALTA CALIDAD
BAJA CALIDAD
puede bajar
puede subir
ECA
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
riesgo de sesgo
ECA
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
ECA
riesgo de sesgo
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
ECA
riesgo de sesgo
inconsistencia
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
ECA
riesgo de sesgo
inconsistencia
imprecision
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
ECA
riesgo de sesgo
inconsistencia
imprecision
evidencia
indirecta
sesgo de publicación
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
ECA
riesgo de sesgo
inconsistencia
imprecisionevidencia
indirecta
sesgo de publicación
MUY BAJA
un ensayo ALEATORIO puede acabar con MUY BAJA CALIDAD
OBSERVACIONAL
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
OBSERVACIONAL
fuerte asociación
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
OBSERVACIONAL
fuerte asociación
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
dosis - respuesta
OBSERVACIONAL
fuerte asociación
dosis - respuesta
confusores residuales
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
ALTAOBSERVACIONAL
fuerte asociación
dosis - respuesta
confusores residuales
un estudio OBSERVACIONAL puede acabar en ALTA CALIDAD
ejemplo
¿Debemos administrar oxígeno a pacientes con infarto al miocardio para disminuir el riesgo de muerte?
P I C O
Pacientes con infarto al miocardio
Oxígeno
No oxígeno
Muerte en hospital debido al infarto
encontramos una revisión
Cabello JB, Burls A, Emparanza JI, Bayliss S, Quinn T.Oxygen therapy for acute myocardial infarction.
Cochrane Database of Systematic Reviews 2013, Issue 8. Art. No.: CD007160.
Desenlace: Muerte intrahospitalaria
Evaluar el riesgo de sesgo de cada estudio
Rawles 1976
Ukholkina 2005
Ranchord 2012
Sec
uenc
ia a
leat
oria
Ocu
ltac
ión
de la
sec
uenc
ia
Ceg
amie
nto
de p
artici
pant
es
Ceg
amie
nto
de p
erso
nal
Ceg
amie
nto
de e
valu
ador
es
Dat
os in
com
plet
osRep
orte
sel
ectivo
Otr
os
PERFIL DE EVIDENCIA
GRADE
DESENLACES
¿Cuál es la importancia del desenlace?
¿Cuántos estudios y qué diseño?
¿Qué calidad tiene el cuerpo de evidencia?
Si algo está mal, siempre anotar el “por qué” en los pié de página
¿Cuáles son los resultados?
¿Cuál es la calidad global del cuerpo de evidencia?
TABLA DE RESUMEN DE HALLAZGOS
vimos…• la calidad de la evidencia (también llamada certidumbre o confianza) para
responder a una pregunta se obtiene de uno o más estudios
• la calidad obtenida de ensayos aleatorios puede disminuir por riesgo de sesgo, imprecisión, inconsistencia, evidencia indirecta y sesgo de publicación
• la calidad obtenida de estudios observacionales puede incrementarse por un efecto importante, dosis-respuesta o factores confusores residuales
vimos…
• GRADE presenta dos tablas importantes para exponer de forma transparente la forma y juicios de cómo se obtuvo la calidad global de un cuerpo de evidencia:
‣ tabla de perfil de evidencia
‣ tabla de resumen de hallazgos
herramientas y sitios útiles
• guidelinedevelopment.org
• cebgrade.mcmaster.ca
• gradeing.cochrane.org
• agreetrust.org
GRADEingMethods
¡Gracias! cuelloca@mcmaster.ca@CharlieNeck
�
Monterrey, N.L. México 2014