Post on 06-Jan-2017
ValidaciValidacióón de Mn de Méétodos todos CualitativosCualitativos
““Caso de AplicaciCaso de Aplicacióónn””
Agenda
Introducción
Definiciones
Clasificación
Validación
Evaluación de Métodos Cualitativos
Caso de Aplicación
Conclusiones
La validación de métodos debe llevarse a cabo cada vez que se incorpore un nuevo método en el laboratorio.
VALIDAR / VERIFICAR EL DESEMPEÑO DEL MÉTODO
ASEGURAR LA CALIDAD DE LOS RESULTADOS
Introducción
En el laboratorio existen mEn el laboratorio existen méétodos:todos:
--
CuantitativosCuantitativos
--
SemiSemi--cuantitativoscuantitativos
--
CualitativosCualitativos
Introducción
Existen guExisten guíías claramente definidas para la as claramente definidas para la validacivalidacióón de mn de méétodos cuantitativos.todos cuantitativos.
No existen lineamientos claros para los No existen lineamientos claros para los mméétodos cualitativos y todos cualitativos y semisemi--cuantitativos.cuantitativos.
Los parLos paráámetros de calidad que caracterizan a metros de calidad que caracterizan a los mlos méétodos cualitativos son distintos.todos cualitativos son distintos.
Introducción
Agenda
Introducción
Definiciones
Clasificación
Validación
Evaluación de Métodos Cualitativos
Caso de Aplicación
Conclusiones
MMéétodos Cualitativostodos Cualitativos
“Aseguran la presencia o ausencia de uno o más analitos en una muestra considerando sus propiedades físicas, biológicas o químicas”.
“Métodos de análisis cuya respuesta es la presencia o ausencia de un analito, detectado en forma directa o indirecta en una muestra”.
Se emplean para saber si una muestra contiene uno o más analitos.Presencia/ausencia con respecto a un nivel de concentración.Por debajo de ese límite la concentración del analito se considera despreciable.
Definiciones
Puede ser necesario un instrumento para la detección del analito o se puede aplicar únicamente los sentidos.
La respuesta de estos métodos suele ser binaria (más allá del tipo de detección)
-SI / NO-POSITIVO / NEGATIVO-REACTIVO / NO REACTIVO
Existen otros tipos de respuesta
-POSITIVO / Zona Gris / NEGATIVO-REACTIVO / Zona Gris / NO REACTIVO
Definiciones
MMéétodos todos SemiSemi--cuantitativoscuantitativos
Se encuentran entre los métodos cualitativos y cuantitativos.
Ofrecen una cuantificación somera con una incertidumbre importante.
Los resultados se terminan agrupando en clases:
- Positivo (+ + +)
- Positivo Débil (+)
- Zona Gris (+ / -)
- Negativo (-)
Definiciones
““Los mLos méétodos cualitativos o todos cualitativos o semisemi--cualitativos se cualitativos se emplean como memplean como méétodos de todos de screeningscreening””
MMéétodos (tests) de todos (tests) de ““ScreeningScreening””
- Separan o discriminan muestras de un grupo más grande.- Uno o más analitos por encima o por debajo de un valor
preestablecido.- Este valor preestablecido puede haber sido establecido de
distintas formas:1) Organismo oficial2) Control de Calidad Interno3) Requerimientos del Cliente
Límite de EspecificaciónValor de Corte
Definiciones
DefinicionesHay analito por encima de un determinado valor, Xsl?
SISTEMA DE SCREENING
NO SE ANALIZA
ANÁLISIS CUANTITATIVOSI
NO
MUESTRAS
>Xsl<Xsl
Agenda
Introducción
Definiciones
Clasificación
Validación
Evaluación de Métodos Cualitativos
Caso de Aplicación
Conclusiones
Existen distintos criterios de clasificación.
Clasificación
DetecciDeteccióón sensorialn sensorial
• A través de la vista
• Ejemplos:¿?
DetecciDeteccióón Instrumentaln Instrumental
• La respuesta instrumental se transforma en respuesta binaria
• Se trabaja con la respuesta del límite de especificación o calor de corte
• Ejemplos: ¿?
Clasificación
Agenda
Introducción
Definiciones
Clasificación
Validación
Evaluación de Métodos Cualitativos
Caso de Aplicación
Conclusiones
Los métodos cualitativos deben Validarse / Verificarse
VALIDACIÓN
Validation es la confirmación mediante el exámen y la provisión de una evidencia objetiva de que se han satisfecho unos requisitos particulares para un uso retendido y específico (1).
Validaciones
(1) Definición según la norma ISO 8402 – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.
Establecer parámetros de desempeño.
¿¿Los mismos que en los mLos mismos que en los méétodos cuantitativos?todos cuantitativos?
Validaciones
Verificar o Validar los parámetros de desempeño
Trazabilidad
Sensibilidad
Especificidad
Tasa de Falsos positivos
Tasa de falsos negativos
Límite de corte y su incertidumbre
Límite de detección
Validaciones
Trazabilidad y Veracidad -
Algunas consideraciones
1)- Por lo general no existen CRMs para métodos cualitativos
2)- El uso de CRMs en métodos cualitativos es complicado
3)- Comparación frente a Métodos de Referencia
4)- Los métodos de referencia suelen ser métodos cuantitativos
5)- Participación en esquemas interlaboratorio
Validaciones
Valor de corte ““CutCut
OffOff””
En un mundo ideal!!!En un mundo ideal!!!
En el mundo real!!!En el mundo real!!!
Validaciones
Falso Positivo (FP)Falso Positivo (FP)“Muestras (+) por el “test de screening” y (-) por el método de referencia”
Falso Negativo (FN)Falso Negativo (FN)“Muestras (-) por el “test de screening” y (+) por el método de referencia”
Validaciones
Positivo Verdadero (TP)Positivo Verdadero (TP)“Muestra (+) por el “test de screening” y (+) por el método de referencia”
Negativo Verdadero (TN)Negativo Verdadero (TN)“Muestra (-) por el “test de screening” y (-) por el método de referencia”
Validaciones
Tasa de Falsos PositivosTasa de Falsos Positivos“Probabilidad de que una muestra con valor verdadero
negativo dé un valor positivo por el test de screening”
FP
FP + TNTasa de FP =
FP: Falso PositivoFP: Falso PositivoFN: Falso NegativoFN: Falso NegativoTP: Positivo VerdaderoTP: Positivo VerdaderoTN: Negativo VerdaderoTN: Negativo Verdadero
Validaciones
Tasa de Falsos NegativosTasa de Falsos Negativos“Probabilidad de que una muestra con valor verdadero
positivo dé un valor negativo por el test de screening”
FN
FN + TPTasa de FN =
FP: Falso PositivoFP: Falso PositivoFN: Falso NegativoFN: Falso NegativoTP: Positivo VerdaderoTP: Positivo VerdaderoTN: Negativo VerdaderoTN: Negativo Verdadero
Validaciones
Sensibilidad Sensibilidad “Capacidad o habilidad de un test de test de screeningscreening de detectar
muestras positivas cuando realmente son positivas”
TP
TP + FNSensibilidad =
FP: Falso PositivoFP: Falso PositivoFN: Falso NegativoFN: Falso NegativoTP: Positivo VerdaderoTP: Positivo VerdaderoTN: Negativo VerdaderoTN: Negativo Verdadero
Validaciones
Especificidad Especificidad “Capacidad o habilidad de un test de test de screeningscreening de detectar muestras negativas cuando realmente son negativas”
TN
TN + FPEspecificidad =
FP: Falso PositivoFP: Falso PositivoFN: Falso NegativoFN: Falso NegativoTP: Positivo VerdaderoTP: Positivo VerdaderoTN: Negativo VerdaderoTN: Negativo Verdadero
Validaciones
Zona de IncertidumbreZona de Incertidumbre
“Corresponde a la región en la cual se obtienen respuestas falsas (falso negativo o falso positivo)”
Validaciones
“Menor cantidad de analito que puede ser detectada en una matriz”Error: Tipo Beta 5 %Máximo nivel de concentración permitidoLímite superior de la zona de incertidumbreSensibilidad 95%Cut Off
LLíímite de Deteccimite de Deteccióón y n y CutCut OffOff
Validaciones
Error Beta: Tasa de FN
Error Alfa: Tasa de FP
LLíímite de Deteccimite de Deteccióón y n y CutCut OffOff
Validaciones
Error Beta: Tasa de FNError Alfa: Tasa de FP
“Si consideramos el caso de mínima concentración permitida”Error Alfa: 5 % Límite inferior de la Zona de incertidumbre
CutCut OffOff
“Nivel de concentración en el cual el test de screening diferencia las muestras con una probabilidad de error
aceptable ( 5 %)”
Si hablamos de máximo nivel permitido:- Cut Off se relaciona con sensibilidad- Corresponde a la concentración donde la sensibilidad es del 95 %y el error de tipo Beta (Falso negativo) ha sido fijado al 5 %
Validaciones
Error Beta: Tasa de FNError Alfa: Tasa de FP
Agenda
Introducción
Definiciones
Clasificación
Validación
Evaluación de Métodos Cualitativos
Caso de Aplicación
Conclusiones
Evaluación de Métodos Cualitativos
Básicamente existen varias formas de evaluar los parámetros de desempeño de los métodos cualitativos
Destacamos cuatro, todas ellas con ventajas y desventajas:
- Tablas de Contingencias
- Teorema de Bayes
- Test Estadísticos de Hipótesis
- Curvas Características de Desempeño
Evaluación de Métodos Cualitativos
Tablas de ContingenciaTablas de ContingenciaDiferencian las muestras en 2 categorías ( + y -) por el test de
screening y establecen una tabla de comparación con respecto al método de referencia o confirmación.
FP: Falso FP: Falso PositivoPositivoFN: Falso FN: Falso NegativoNegativoTP: Positivo TP: Positivo VerdaderoVerdaderoTN: Negativo TN: Negativo VerdaderoVerdaderoN: NN: Núúmero total mero total de ensayosde ensayos
Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.
Evaluación de Métodos Cualitativos
Tablas de ContingenciaTablas de Contingencia
Permiten calcular 4 parámetros de desempeño- Falsos Positivos- Falsos Negativos-
Sensibilidad
-
Especificidad
Permiten calcular 2 valores predictivos-
Probabilidad de Resultado positivo (PVP)
-
Probabilidad de Resultado negativo (PVN)
Probabilidad de Resultado Positivo (PVP)Probabilidad de Resultado Positivo (PVP)“Probabilidad de que un individuo con un resultado positivo
del test tenga una enfermedad o característica, que el test está diseñado para detectar”
TP
TP + FPPVP =
FP: Falso PositivoFP: Falso PositivoFN: Falso NegativoFN: Falso NegativoTP: Positivo VerdaderoTP: Positivo VerdaderoTN: Negativo VerdaderoTN: Negativo Verdadero
Validaciones
Probabilidad de Resultado Negativo (PVN)Probabilidad de Resultado Negativo (PVN)“Probabilidad de que un individuo con un resultado negativo
del test no tenga una enfermedad o característica, que el test está diseñado para detectar”
TN
TN + FNPVN =
FP: Falso PositivoFP: Falso PositivoFN: Falso NegativoFN: Falso NegativoTP: Positivo VerdaderoTP: Positivo VerdaderoTN: Negativo VerdaderoTN: Negativo Verdadero
Validaciones
Evaluación de Métodos Cualitativos
Tablas de Contingencia Tablas de Contingencia ––
Desventajas Desventajas
Asume que las muestras desconocidas tienen el mismo comportamiento que las que se emplearon en el estudio.
Su capacidad depende del número de muestras analizadas.
Requiere el procesamiento de las muestras por 2 métodos.
Evaluación de Métodos Cualitativos
Teorema de BayesTeorema de Bayes
Calcula la probabilidad de dar un resultado correcto (+ o -) cuando realmente lo es.
Trabaja con probabilidades condicionales.
Requiere de muchos análisis.
Terminología compleja.
Muchos cálculos (Probabilidades intermedias)
Evaluación de Métodos Cualitativos
Test EstadTest Estadíísticos de Hipsticos de Hipóótesistesis
Aplica únicamente a test con una respuesta instrumental.
Se establece la respuesta a nivel del corte.
Se compara la respuesta de la muestra con el valor previamente establecido de corte.
Comparación a través de Test de Hipótesis
Trabaja con los errores alfa y beta.
Permite estimar la incertidumbre o probabilidad de equivocarnos empleando el test de screening.
Evaluación de Métodos Cualitativos
Curvas CaracterCurvas Caracteríísticas de Desempesticas de Desempeññoo
Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.
Evaluación de Métodos CualitativosCurvas CaracterCurvas Caracteríísticas de Desempesticas de Desempeññoo
“Probabilidad de tener un resultado positivo en Probabilidad de tener un resultado positivo en funcifuncióón de la concentracin de la concentracióón del analiton del analito””
- Permiten calcular los 4 parámetros clásicos- Permiten calcular el límite de detección- Permiten calcular el Cut
Off
- Permiten calcular la zona de incertidumbre
Desventajas
- Requieren realizar el ensayo repetidas veces por cada concentración
Evaluación de Métodos Cualitativos
GuGuíía para la Evaluacia para la Evaluacióón de Desempen de Desempeñño o
de Tests Cualitativos.de Tests Cualitativos.
Evaluación de Métodos Cualitativos
EP12 EP12 --
Estudios de PrecisiEstudios de Precisióónn
Recomienda desarrollar experimentos de Recomienda desarrollar experimentos de precisiprecisióón en concentraciones cercanas al n en concentraciones cercanas al CutCut
Off.Off.
50 % (+)50 % (+)50 % ( 50 % ( --))
CutCut
Off Off ––
C50C50
95 % (+)95 % (+)5 % ( 5 % ( --))
5 % (+)5 % (+)95 % ( 95 % ( --))
Intervalo 95 % (C5Intervalo 95 % (C5--C95)C95)
C5C5 C95C95
Evaluación de Métodos CualitativosEP12 EP12 --
Estudios de PrecisiEstudios de Precisióónn
Establecer la concentración de Cut Off
Establecer que el Cut Off +/- un 20 % está dentro del intervalo del 95%.
El Cut Off puede estar en el inserto del reactivo
El Cut Off puede ser estimado por repeticiones de diluciones sucesivas de una muestra +.
Preparar muestras en las siguientes concentraciones:
1) Cut Off + 20 % 3) Cut Off
2) Cut Off – 20 %
Repetir las muestras 20 veces
Evaluación de Métodos CualitativosEP12 EP12 --
Estudios de PrecisiEstudios de Precisióónn
Para cada una de las tres muestras determinar el % de resultados + y-.
Verificar los resultados.
Evaluación de Métodos CualitativosEP12 EP12 --
Estudio de ComparaciEstudio de Comparacióónn
Puntos Críticos:
- Muestras
- Número de muestras
- Duración
- Inspección de datos
- Manejo de datos discordantes
- Método de comparación
Evaluación de Métodos CualitativosEP12 EP12 --
Estudio de ComparaciEstudio de Comparacióónn
Análisis de Datos de acuerdo al Comparador
El comparador es
Criterio de Exactitud Diagnóstica
El comparador no
es Criterio de Exactitud Diagnóstica
Evaluación de Métodos CualitativosEP12 EP12 --
Estudio de ComparaciEstudio de Comparacióónn
Si el comparador
es
Criterio
de Exactitud
Diagnóstica
Se puede
estimar:
SENSIBILIDADESPECIFICIDADTASA DE FALSOS POSITIVOSTASA DE FALSOS NEGATIVOSPVPPVN
Evaluación de Métodos CualitativosEP12 EP12 --
Estudio de ComparaciEstudio de Comparacióónn
Si el comparador
NO es
Criterio
de Exactitud Diagnóstica
Se puede
estimar:
Porcentaje
de Acuerdo
Positivo
Porcentaje
de Acuerdo
Negativo
Agenda
Introducción
Definiciones
Clasificación
Validación
Evaluación de Métodos Cualitativos
Caso de Aplicación
Conclusiones
Caso de Aplicación
Anticuerpos totales Anticuerpos totales para HIV1 y HIV2.para HIV1 y HIV2.
ElecsysElecsys
HIV combi HIV combi ––
Modular Modular AnalyticsAnalytics
E170E170
Caso de AplicaciónEL ENSAYOEL ENSAYO
ECLIA –
Principio sandwichEl Cut
Off se calcula a partir de los calibradores: CAL-1
(negativo) y CAL-2 (positivo).(1)
El resultado se expresa como Cot Off Index.(2)
Interpretación de resultados:COI < 0.9 No ReactivoCOI >
1 Reactivo
COI > 0.9 a < 1 Indeterminado
(1) (2) Fuente
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióónn
Se ensayan los CONTROLES DE CALIDAD INTERNOS durante 20 días.
C 1 –
Negativo (Cut
Off Index: 0.237)
C2 –
Positivo (Cut
Off index: 9.96)
C3 –
Positivo (Cut
Off index: 11.33)
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióónn
CONTROLES DE CALIDAD INTERNOS
INSERTO DEL REACTIVO
Laboratorio Dr House
SD Claim = CV inserto x Claim Concentration/100
EP Evaluator R8
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióónn
CONTROLES DE CALIDAD INTERNOS
EP Evaluator R8
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióónn
CONTROLES DE CALIDAD INTERNOS
EP Evaluator R8
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C5 n C5 ––
C95C95
Se ensayan dos diluciones con valores de COI cercanos al Cut
Off.
¿
Cómo seleccionamos las diluciones ?
Se desarrolla un perfil de precisión cercano al Cut Off.
C5 dil 1/32C95 dil 1/16
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C5 n C5 ––
C95C95
Se ensayan las diluciones al menos 20 veces cada una.Se emplean los operadores estadísticos para demostrar que:Ambas poblaciones tienen una distribución
normal.Ambas poblaciones son estadísticamente
diferentes del Cut
Off (1).Ambas poblaciones son estadísticamente
diferentes entre sí.
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C5 n C5 ––
αα
0.050.05
CV= 4.6 %
Programa NCSS
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C95 n C95 ––
ββ
0.010.01
CV= 4.1 %
Programa NCSS
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C5 n C5 ––
C95C95
Programa NCSS
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C5 n C5 ––
C95C95
Programa NCSS
Caso de AplicaciónEstudios de PrecisiEstudios de Precisióón C5 n C5 ––
C95C95
CV C5= 4.6 %
CV C95= 4.1 %
Caso de AplicaciónEstudios de ComparaciEstudios de Comparacióónn
Se estudian dos poblaciones de pacientes:
150 pacientes sanos (no reactivos)
50 pacientes con diagnóstico de HIV (Western blot
y clínica)
Caso de AplicaciónEstudios de ComparaciEstudios de Comparacióónn
EP Evaluator R8
Caso de AplicaciónEstudios de ComparaciEstudios de Comparacióónn
EP Evaluator R8
Comparar los valores obtenidos con las especificaciones de performance declaradas por el fabricante.
Sensibilidad declarada: 100%Especificidad declarada: 99.63%
Zonas deAcuerdo
FalsosPos.+
FalsosNeg.-
Las Las ááreas de las circunferencias dependen dereas de las circunferencias dependen dela cantidad de muestrasla cantidad de muestras
Caso de Aplicación
EP Evaluator R8
BUBBLE CHART
ALGUNAS DEFINICIONES ADICIONALES
Acuerdo
% total de los casos en que los 2 métodos dan el mismo resultado
Acuerdo +% de los casos en que hay acuerdo cuando el método de referencia da +: TP/ (TP+FP)
Acuerdo Acuerdo ––% de los casos en que hay acuerdo cuando el método de referencia da -: TN/ (TN+FN)
Caso de Aplicación
ALGUNAS DEFINICIONES ADICIONALES
Prevalencia: “Frecuencia de datos positivos en una población estudiada”
-Dato experimental-Dato de Bibliografía-Cantidad de datos evaluados
Caso de Aplicación
Estimación de la ZONA DE NO CONFIABILIDAD
Se estima a través de resultados de calibraciones y empleando la Ley de Propagación de Errores.
1) Buscar la ecuación utilizada para el cálculo del Cut
Off.
2) Calcular el Cut
Off.3) Estimar el CV del cut
Off.
4) Comparar el CV del Cut
Off con la zona de no confiabilidad declarada por el fabricante.
Caso de Aplicación
Estimación de la ZONA DE NO CONFIABILIDAD
Cut
Off Promedio: 23997 RLU
S2co
= ∂CO x Scal1
2 + ∂CO x Scal2
∂Cal1
∂Cal2
S co
= 1680 RLU CV co = 7.0% < 10% (ZNC)
Caso de Aplicación
2 2
Evaluación de Métodos Cualitativos
Un ejemploUn ejemplo……
El comparador no
es Criterio de Exactitud Diagnóstica
Evaluación de Métodos Cualitativos
Evaluación de Métodos Cualitativos
Indica el nivel de acuerdo entre 2 métodos
Puede adoptar valores entre -100% y 100%
Un valor de 0% indica ausencia de acuerdo
Un valor de 100% indica acuerdo perfecto
Es deseable un valor por encima de 75%
Evaluación de Métodos Cualitativos
Indica la probabilidad de que los métodos sean significativamente diferentes.
Si son diferentes indica en qué dirección.
Evalúa simetría entre los dos métodos.
Evaluación de Métodos Cualitativos
Agenda
Introducción
Definiciones
Clasificación
Validación
Evaluación de Métodos Cualitativos
Caso de Aplicación
Conclusiones
Conclusiones
Existen cada vez más métodos cualitativos.Hay confusión en la nomenclatura.Hay confusión en la clasificación de métodos cualitativos.La validación de métodos cualitativos es un tema importante para asegurar la calidad de los resultados que estos métodos generan.No existe consenso sobre cómo realizar estas validaciones.Los parámetros de desempeño están bien definidos.Guía de consenso: EP 12-A2 de la CLSi
MUCHAS GRACIAS!MUCHAS GRACIAS!