8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales
-
Upload
philip-bennett -
Category
Documents
-
view
34 -
download
0
description
Transcript of 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales
![Page 1: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/1.jpg)
8b. Propiedades de las 8b. Propiedades de las pruebas de diagnósticopruebas de diagnóstico
Cómo determinar los valores Cómo determinar los valores umbralesumbrales
Juan José Romero Zúñiga, DMV, PhDJuan José Romero Zúñiga, DMV, PhDPrograma de Investigación en Medicina PoblacionalPrograma de Investigación en Medicina Poblacional
Escuela de Medicina VeterinariaEscuela de Medicina VeterinariaUniversidad NacionalUniversidad Nacional
CURSO DE EPIDEMIOLOGÍA BÁSICA
Centro de Capacitación – Alto de OchomogoLunes, 3 de mayo 2010
![Page 2: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/2.jpg)
Valor umbral (Valor umbral (cut offcut off) de una ) de una prueba diagnóticaprueba diagnótica
Es un valor límite para la positividad y negatividad deEs un valor límite para la positividad y negatividad de llaa pruebaprueba. . En función de éstos se determinará la sensibilidad (Se), la En función de éstos se determinará la sensibilidad (Se), la especificidad (Sp) y los valores predictivos (VP) de dicha prueba.especificidad (Sp) y los valores predictivos (VP) de dicha prueba.
Se puede hacer mediante (al menos) dos métodos:Se puede hacer mediante (al menos) dos métodos: Usando la distribución de las muestras controles (positivos y Usando la distribución de las muestras controles (positivos y
negativos).negativos). Mediante curvas de ROC (Receiver Operating Characteristic)Mediante curvas de ROC (Receiver Operating Characteristic)
Cambiar el punto de corte modifica la sensibilidad, especificidad Cambiar el punto de corte modifica la sensibilidad, especificidad y valores predictivos de un estudio, y por ende, la forma en que y valores predictivos de un estudio, y por ende, la forma en que este se utiliza.este se utiliza.
![Page 3: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/3.jpg)
Método de “desviaciones Método de “desviaciones estándar”estándar”
Se requiere de al menos 100 muestras de controles Se requiere de al menos 100 muestras de controles positivos y 300 muestras de controles negativospositivos y 300 muestras de controles negativos ( (Se debe Se debe esperar una distribución normalesperar una distribución normal !!! !!!))
Se debe aplicar la prueba y medir el resultado.Se debe aplicar la prueba y medir el resultado.
Posteriormente se describen los datos para obtener la Posteriormente se describen los datos para obtener la desviación estándar de cada grupo de muestras control desviación estándar de cada grupo de muestras control (positivas y negativas). (positivas y negativas).
Se selecciona el número de desviaciones estándar en que Se selecciona el número de desviaciones estándar en que los resultados de las muestras incógnita serán clasificadas los resultados de las muestras incógnita serán clasificadas como positivos o negativos.como positivos o negativos.
![Page 4: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/4.jpg)
0
1
2
3
4
5
6
7
8
9
2 4 8 16 32 64 128 256
Método de “desviaciones Método de “desviaciones estándar”estándar”
Controles positivos
1 2 3 1 2 3
Zona de problema
Controles negativos
![Page 5: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/5.jpg)
Método de curvas ROCMétodo de curvas ROC
Método desarrollado en la década de los 50 para discriminar Método desarrollado en la década de los 50 para discriminar entre las señales de radar y el ruido.entre las señales de radar y el ruido.
Fue empleado por primera vez en medicina para la valoración Fue empleado por primera vez en medicina para la valoración radiológicaradiológica
Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. receiver operating characteristic (ROC) curve. RadiologyRadiology. . 143143: 29-36: 29-36
Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under receiver operating characteristic curves derived from the same cases. receiver operating characteristic curves derived from the same cases. Radiology.Radiology. 148148: 839-43: 839-43
![Page 6: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/6.jpg)
Método de curvas ROCMétodo de curvas ROC
Gráfica que representa la sensibilidad (Y) versus el complementario de la especificidad (1-espec) para todos los valores de corte posibles.
Permite obtener una valoración gráfica sobre la utilidad de una prueba diagnóstica, independientemente de la incidencia de la enfermedad en la población.
![Page 7: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/7.jpg)
Método de curvas ROCMétodo de curvas ROC
Las áreas a la derecha del valor de corte x corresponden a la sensibilidad (áreas clara y oscura) y 1-especificidad (área oscura), equivalente a los falsos positivos
x
![Page 8: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/8.jpg)
Método de curvas ROCMétodo de curvas ROC
Una prueba diagnóstica perfecta se ubicaria en la esquina superior izquierda
Una prueba que no discrimina haría una curva de 45º, desde el 0 hasta la esquina superior derecha
![Page 9: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/9.jpg)
Método de curvas ROCMétodo de curvas ROCValor T4 Hipotiroide
oEutiroideo
<5 18 1
5.1-7 7 17
7.1-9 4 36
>9 3 39
total 32 93
Se cuantificaron los valores de T4 de 125 pacientes, 32 de los cuales eran conocidos hipotiroideos (mediante gamma)
![Page 10: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/10.jpg)
Método de curvas ROCMétodo de curvas ROC
Se calcula la sensibilidad y Se calcula la sensibilidad y especificidad para cada especificidad para cada valor, mediante tablas de valor, mediante tablas de 2x2.2x2.
Nuestro punto de corte Nuestro punto de corte definira quién se tomará definira quién se tomará como “positivo” y como “positivo” y “negativo”“negativo”
T4 Hipotiroideo Eutiroideo
< 5 18 1
> 5 14 92
Total: 32 93
Sensibilidad: 0.56 Especificidad: 0.99
T4 Hipotiroideo Eutiroideo
< 7 25 18
> 7 7 75
Total: 32 93
Sensibilidad: 0.78 Especificidad: 0.81
![Page 11: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/11.jpg)
Método de curvas ROCMétodo de curvas ROC
Punto corte
Sensibilidad Especificidad
5 0.56 0.99
7 0.78 0.81
9 0.91 0.42
Conociendo estos valores, Conociendo estos valores, se puede elaborar la se puede elaborar la gráficagráfica
![Page 12: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/12.jpg)
Método de curvas ROCMétodo de curvas ROC
Área bajo la curvaÁrea bajo la curva El área bajo la curva se puede emplear para conocer en forma El área bajo la curva se puede emplear para conocer en forma
simple la exactitud global se una pruebasimple la exactitud global se una prueba
Area total hacia la izq= 1 (prueba perfecta)Area total hacia la izq= 1 (prueba perfecta) Area de la diagonal= 0.5Area de la diagonal= 0.5
Entre más cercana a 1, la prueba es mejorEntre más cercana a 1, la prueba es mejor
Permite hacer comparaciones entre pruebasPermite hacer comparaciones entre pruebas
![Page 13: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/13.jpg)
Método de curvas ROCMétodo de curvas ROC
0.90-1 = excelente 0.80-0.90 = bueno 0.70-0.80 = regular 0.60-0.70 = pobre 0.50-0.60 = fallida
![Page 14: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/14.jpg)
Método de curvas ROCMétodo de curvas ROC
VentajasVentajas Representación gráfica simple y de fácil comprensión.Representación gráfica simple y de fácil comprensión.
Incluye todos los rangos de valores posibles, facilita toma Incluye todos los rangos de valores posibles, facilita toma
de decisiones con respecto al valor más adecuado.de decisiones con respecto al valor más adecuado.
Es independiente de la prevalenciaEs independiente de la prevalencia
Facilita la comparación visual entre varias pruebasFacilita la comparación visual entre varias pruebas
Aplicable a pruebas con resultados tanto ordinales, como Aplicable a pruebas con resultados tanto ordinales, como
escalonados o continuosescalonados o continuos
![Page 15: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/15.jpg)
Método de curvas ROCMétodo de curvas ROC
Aspectos operativosAspectos operativos
Toma en cuenta los resultados de muestras Toma en cuenta los resultados de muestras diagnosticadas con una prueba de oro, la cual mide el diagnosticadas con una prueba de oro, la cual mide el resultado de muestras controles positivas y negativas.resultado de muestras controles positivas y negativas.
Se debe correr las muestras incógnitas tanto en la prueba Se debe correr las muestras incógnitas tanto en la prueba de oro como en la alternativa.de oro como en la alternativa.
Luego se debe hacer una tabla comparativa para Luego se debe hacer una tabla comparativa para determinar, por clases (rangos de valores para la prueba determinar, por clases (rangos de valores para la prueba alternativa), cuántas muestras fueron clasificadas como alternativa), cuántas muestras fueron clasificadas como positivas o negativas. positivas o negativas.
![Page 16: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/16.jpg)
Método de curvas ROCMétodo de curvas ROC
![Page 17: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/17.jpg)
Método de curvas ROCMétodo de curvas ROC
![Page 18: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/18.jpg)
Propiedades de las pruebas Propiedades de las pruebas de diagnóstico de diagnóstico
Medidas de concordancia entre Medidas de concordancia entre pruebaspruebas
![Page 19: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/19.jpg)
Prueba de concordancia entre Prueba de concordancia entre pruebas diagnósticas pruebas diagnósticas (valor (valor kappa)kappa)..
En esta prueba se analiza, mediante una tabla de En esta prueba se analiza, mediante una tabla de contingencia, la concordancia entre dos pruebas contingencia, la concordancia entre dos pruebas diagnósticas, o entre el diagnóstico de dos clínicos.diagnósticas, o entre el diagnóstico de dos clínicos.
Se utiliza cuando no se conoce la sensibilidad o Se utiliza cuando no se conoce la sensibilidad o especificidad de una nueva prueba, o cuando se quiere especificidad de una nueva prueba, o cuando se quiere probar si se puede utilizar una prueba más barata o probar si se puede utilizar una prueba más barata o rápida. En este caso se corren las dos pruebas y los rápida. En este caso se corren las dos pruebas y los resultados se comparan tomando como buenos los del resultados se comparan tomando como buenos los del “golden standard test”“golden standard test”..
![Page 20: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/20.jpg)
Prueba de concordancia entre Prueba de concordancia entre pruebas diagnósticas pruebas diagnósticas (valor (valor kappa)kappa)..
Kappa expresa la proporción de concordancia más allá del Kappa expresa la proporción de concordancia más allá del azar.azar.
La concordancia entre dos pruebas diagnósticas no indica La concordancia entre dos pruebas diagnósticas no indica que ambas posean la misma sensibilidad y especificidad ni que ambas posean la misma sensibilidad y especificidad ni sirve como medida de las mismas.sirve como medida de las mismas.
Kappa no indica cual es el método que da los mejores Kappa no indica cual es el método que da los mejores resultados en términos del número correcto de resultados en términos del número correcto de individuosindividuos sanos o enfermos diagnosticados. sanos o enfermos diagnosticados.
![Page 21: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/21.jpg)
Tabla de contingencia para Tabla de contingencia para determinar el valor determinar el valor kappakappa..
Golden standard testGolden standard test (ó clínico 1)(ó clínico 1)
++ -- Prueba Prueba ++ aa bb a+ba+b alternativa alternativa -- cc dd c+dc+d (ó clínico 2) (ó clínico 2) a+c b+d a+c b+d N N
![Page 22: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/22.jpg)
Fórmula de cálculo para Fórmula de cálculo para kappakappa
Kappa=Kappa=
a + da + d Ea + Ed Ea + Ed N N N N Ea + EdEa + Ed NN
--
--11
Donde:Donde:EaEa es igual a es igual a : [(a + b) * (a + c)] / N: [(a + b) * (a + c)] / NEd es igual aEd es igual a : [(c + d) * (b + d)] / N: [(c + d) * (b + d)] / NEa+Ed/N Ea+Ed/N : proporción esperada o de : proporción esperada o de
resultados iguales debidos al azarresultados iguales debidos al azar
![Page 23: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/23.jpg)
Comparando los diagnósticos de dos experimentadores Comparando los diagnósticos de dos experimentadores clínicos debería obtenerse un valor de kappa alrededor clínicos debería obtenerse un valor de kappa alrededor de 0.6.de 0.6.
La concordancia de los diagnósticos clínicos realizados La concordancia de los diagnósticos clínicos realizados sobre los mismos sujetos en diferentes ocasiones por sobre los mismos sujetos en diferentes ocasiones por un mismo experimentador debería dar un valor de un mismo experimentador debería dar un valor de kappa entre 0.6 y 0.8kappa entre 0.6 y 0.8
Interpretación de kappaInterpretación de kappa
Valores de kappa:Valores de kappa: 0.0 - 0.4 malo0.0 - 0.4 malo0.4 - 0.50.4 - 0.5 moderadomoderado0.5 - 0.6 0.5 - 0.6 aceptableaceptable0.6 - 0.8 0.6 - 0.8 buenobueno0.8 - 1.00.8 - 1.0 perfectoperfecto
![Page 24: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/24.jpg)
El cálculo usando El cálculo usando WinEpiscopeWinEpiscope
![Page 25: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/25.jpg)
Propiedades de las pruebas Propiedades de las pruebas de diagnóstico de diagnóstico
Uso de múltiples pruebasUso de múltiples pruebas
![Page 26: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/26.jpg)
Pruebas diagnósticas Pruebas diagnósticas múltiplesmúltiples
Algunas veces se necesario el uso de dos pruebas Algunas veces se necesario el uso de dos pruebas diagnósticas o más para aumentar la fiabilidad de un diagnósticas o más para aumentar la fiabilidad de un diagnóstico realizado.diagnóstico realizado.
Se pueden realizar pruebas múltiples de dos formasSe pueden realizar pruebas múltiples de dos formas En serieEn serie En paraleloEn paralelo
![Page 27: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/27.jpg)
PruebasPruebas en paralelo en paralelo
Se considera que dos pruebas se realizan en paralelo Se considera que dos pruebas se realizan en paralelo cuando ambas se hacen simultáneamente.cuando ambas se hacen simultáneamente.
Se consideran negativas aquellas muestras que obtienen Se consideran negativas aquellas muestras que obtienen resultados negativos para ambas pruebas, y positivas a resultados negativos para ambas pruebas, y positivas a todas las demás (con cualquiera de las dos pruebas todas las demás (con cualquiera de las dos pruebas positivas). positivas).
El resultado es un aumento de la Sensibilidad.El resultado es un aumento de la Sensibilidad.
![Page 28: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/28.jpg)
PruebasPruebas en serie en serie
Se realizan aplicando una prueba en primer lugar y a Se realizan aplicando una prueba en primer lugar y a continuación se aplica una segunda prueba a aquellas continuación se aplica una segunda prueba a aquellas muestras positivas a la primera.muestras positivas a la primera.
Se consideran positivas las muestras que dan positivo a Se consideran positivas las muestras que dan positivo a ambas pruebas, y negativas todas las demás. ambas pruebas, y negativas todas las demás.
El resultado es un aumento de la Especificidad.El resultado es un aumento de la Especificidad.
![Page 29: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/29.jpg)
Se y Sp usando múltiples Se y Sp usando múltiples pruebas pruebas
CaracterísticaCaracterística ParaleloParalelo SerieSerie
SensibilidadSensibilidad 1-[(1-Se1-[(1-Se11) x (1-Se) x (1-Se22)])] SeSe11 x Se x Se22
EspecificidadEspecificidad SpSp11 x Sp x Sp22 1-[(1-Sp1-[(1-Sp11) x (1-Sp) x (1-Sp22)])]
![Page 30: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/30.jpg)
El cálculo usando El cálculo usando WinEpiscopeWinEpiscope
![Page 31: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/31.jpg)
Links recomendadosLinks recomendados
http://www.stat.uiuc.edu/~jeffdoug/medstats/medov5.pdf
http://www.emedicine.com/emerg/TOPIC779.HTM#section~Bayes'TheoremandLikelihoodRatios
http://www.aepap.org/EvidPediatr/numeros/vol3/2007_numero_1/2007_vol3_numero1.24.htm
http://books.google.co.cr/books?id=HhxhlETYsfgC&pg=PT204&lpg=PT204&dq=caracter%C3%ADsticas+de+las+pruebas+diagn%C3%B3sticas&source=web&ots=Jkbh2YIOG7&sig=P6uBr5nj8h47oGVmb1v9EFMHuSM&hl=es&sa=X&oi=book_result&resnum=3&ct=result#PPT6,M1
![Page 32: 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales](https://reader035.fdocument.pub/reader035/viewer/2022062301/568133cc550346895d9ac491/html5/thumbnails/32.jpg)
Consideraciones finales, discusión y Consideraciones finales, discusión y consultas.consultas.