Vérification et validation de méthode: De la théorie à ... · quantitatives ou...

Synapse Consulting sprl

Vérification et validation deméthode:

De la théorie à la pratique

1Synapse Consulting sprl

Journée des utilisateurs ImmuliteSiemens

Jeudi 20 octobre 2016

Validation vs Vérification

Synapse Consulting sprl 2

Avant la mise en« production » !!!

Méthode quantitative vs qualitative

� Méthodes quantitatives:

?Elles fournissent des résultats issus de donnéesnumériques.

?Les résultats issus d’un ratio (%) sont égalementconsidérés comme des résultats quantitatifs.



� Méthodes qualitatives:

? Elles fournissent des résultats issus de données nonnumériques

? Des méthodes qualitatives basées sur des donnéesnumériques, c’est-à-dire basées sur une évaluation parrapport à un seuil, doivent être vérifiées/validées commedes méthodes quantitatives (par exemple : sérologieHIV).



EXIT les méthodes semi-quantitatives

? Les résultats de méthodes assimilées comme semi-quantitatives ou semi-qualitatives sont à considérer commeétant des méthodes quantitatives.


Chronologie et recommandation� Choisir un guideline pour votre validation !!! (SH-GTA-

04)

� Fixer les contours de l’étude« méthode/équipement/réactif »

� Que veut-on étudier?� Corrélation / non corrélation� Linéarité� Limites de détection ?

� Réaliser l’étude sur le site de production

� Par le personnel du laboratoire qui va utiliser la technique


Chronologie et recommandation� Etablir un planning

� Etablir les coûts, si possible avant lanégociation avec le fournisseur

� Etudier les données bibliographiques et lesréférentiels

� (Guideline reconnu, recommandations fabricants, ISP,Publication scientifique, Consensus de clinicien… )

� Fixer la performance à atteindre et leslimites d’acceptabilité


Chronologie et recommandations

� Analyses et traitement des résultats

� Détermination des conclusions

� Finalisation du dossier et diffusion auxpersonnes concernées


Tableau résumé des performances àévaluer


Items Vérification ValidationQuantitative Qualitative Quantitative Qualitative

Répétabilité Site Site Site SiteReproductibilité Site Site Site SiteExactitude Site Site Site SiteIncertitude Maîtrise des

facteurs devariabilité

Maîtrise desfacteurs devariabilité

Comparaison avec méthode déjàutilisée au laboratoire ou autreméthode du laboratoire (appareilen miroir…)

site site site site

Limite de quantification etlimites de linéarité

Bibliographie NA Site NA

Interférence Bibliographie Bibliographie Site SiteCross contamination Bibliographie Bibliographie Site SiteRobustesse Bibliographie Bibliographie Site SiteStabilité réactif Bibliographie Bibliographie Site SiteIntervalle de référence Bibliographie Bibliographie Site SiteLimite de détection NA Bibliographie NA SiteSensibilité / spécificité NA Bibliographie NA SiteVérification des transferts électroniques Site

Choisir ses limites

Ne vous tirez pas une balle dans le pied …vous n’aurez pas de médaille


Exemple : FerValeurs de référence homme

65 – 175 µg/dl

Ricos donne pour la reproductibilité


Eliminer les valeurs aberrantes

Test de GrubbsCe test permet le rejet de points aberrants dans une série de

mesures.


Répétabilité� Sur chaque niveau pertinent, avec au moins 2 niveaux et dans

des zones de comparabilité par rapport à la bibliographie.

� La matrice de premier choix sera un échantillon patient. Endeuxième intention, un contrôle peut être utilisé.

� Les essais doivent être réalisés sur un même échantillon avecle même opérateur, même lot de réactif, même instrument,même étalonnage et dans un délai le plus court possible.

� L’effectif idéal est de 30 mesures. Si un nombre d’essaisinférieur est utilisé, alors le biologiste doit argumenter.


Répétabilité

� Calcul :

� CVrepet %= sd/M * 100

� Acceptabilité:

◦ CV firme◦ le CVrepet doit être < CVreprod / 1,33


Reproductibilité� L’étude porte sur chaque niveau pertinent, avec au

moins 2 niveaux et dans des zones de comparabilitépar rapport à la bibliographie.

� La matrice de premier choix sera un contrôle quiest également utilisé par des laboratoires pairs

� L’effectif idéal est de 30 mesures sur 15 joursdifférents, dans des séries différentes.


Reproductibilité� Calcul :

CVreprod %= sd/M * 100

� Le CVreprod est comparé aux limites préalablement définies

� 2x CVreprod doit être < CVreprod limite qui se calcule de lamanière suivante :◦ Calculer la valeur de X = (borne supérieure de la valeur de référence –

borne inférieure de la valeur de référence)/ 4◦ Calculer la valeur de référence centraleVRC = (Valeur supérieure de la

valeur de référence + valeur inférieure de la valeur de référence)/ 2◦ Calculer CVreprod limite = (X/VRC) * 100◦ Acceptabilité 2xCVreprod < CVreprod lim

◦ Si acceptabilité différente, alors le biologiste responsable doitargumenter


Exactitude� L’étude porte sur chaque niveau pertinent, avec au

moins 2 niveaux et dans des zones de comparabilitépar rapport à la bibliographie.

� La matrice de premier choix sera un contrôle dequalité interne, externalisé c'est-à-dire utilisé par ungrand nombre de laboratoires pairs. En deuxièmeintention, un contrôle de qualité externe sera utilisé.

� La moyenne obtenue lors de la reproductibilité estcomparée à la valeur moyenne du groupe des pairs(appelé V) pour les contrôles internes externalisés.

� Calcul : Biais %= ((M-V)/V) * 100


Incertitude� Elle est calculée à partir de la reproductibilité et

du biais suivant le calcul de TE de Ricos

� TE % = (1,65 x CV) + Biais

� Le TE est comparé en première intention auTEA des tables de Ricos. Si les valeurs de Ricosne sont pas disponibles, le biologiste utiliserad’autre référentiel qu’il documentera


Incertitude� Autre méthode de calcul:

◦ Incertbiais: Bias / √3◦ Incertreprod: sd

◦ Incertitude totale : √(Incertbiais)² +(Incertreprod)²

◦ Incertitude élargie = 2 x incertitude totale


ExempleFer : 115 µg/dl

CV : 2,1 %Biais : 1,8 %

Méthode TEA

TE% = (1,65 x CV) + Biais

= (1,65x2,1)+1,8 = 5,265 %

TEA Ricos Min : 15,3 %

Autre méthode

Incertbiais: Bias / √3 = 1,196 µg/dl

Incertreprod: sd = 2,415 µg/dl

Incertitude totale : √(Incertbiais)²+(Incertreprod)² = 2,69 µg/dl

Incertitude élargie = 5,39 µg/dlsoit 4,69 %


Exemple


Comparaison de méthodes

Un écart entre 2 méthodes est acceptables’il ne modifie pas le diagnostic ou le suivimédical.

Le coefficient de corrélation mesurel’intensité de la liaison entre 2 variables etnon leur concordance



� Utiliser au minimum 30 échantillonspatients couvrant l’ensemble du domainede mesure de façon homogène.

� Dosage en simple sur chaque appareildans un délai le plus court possible

� La méthode à tester est appelée Y� La méthode de référence est appelée X



Exemple : comparaison automate XE vs XNpour RBC (106/µl)




TEA : 6,6 %

TEA : 2,2 %


Exemple : comparaison automate XE vs XNpour RBC (106/µl)


Concordance de 2 tests qualitatifs


Calcul

Po= 1/200 x (72+87)= 0,795

Pe= 1/200² x ((88x97)+(112x103)) = 0,5018

K = (0,795-0,5018)/(1-0,5018)= 0,5885

Test de contamination

� La matrice de premier choix sera unéchantillon patient fortement dosé avecun marqueur (p.ex HCG). En deuxièmeintention, un contrôle hautement dosépeut être utilisé.

� Passage de 3 essais hautementdosés appelé H1, H2 et H3 suivis de 3blancs appelés B1, B2 et B3

� Réaliser 5 fois cette opération


Test de contamination


Si contamination, alors calculer le pourcentage:

Cont = ((Moyenne B1 – Moyenne B3) / (Moyenne des H –Moyenne B3)) * 100

NB: tester également, s’il y a eu, sur la contamination des réactifs via lesaiguilles de prélèvement

Spécificité / sensibilité pourméthode qualitative


Transfert électronique� Les cas suivants seront vérifiés, s’il y a eu lieu :◦ Valeurs normales◦ Valeurs avec le signe <◦ Valeurs avec le signe >◦ Valeurs avec un commentaire◦ Valeurs avec calcul◦ Valeurs paniques

� 5 dossiers par cas sont étudiés. Ils reprennent lesvaleurs brutes, les valeurs dans le middleware etles valeurs dans le LIS.


Un mot sur la limite dequantification

� C’est le plus petit dosage obtenu avec unCV max de 10 %

� A faire uniquement en cas de validation

� Pour éviter les coûts supplémentaire, nepas aller au-delà des valeurs« intelligentes » ....


Avez-vous des Questions ?


Merci pour votre attention


Vérification et validation de méthode: De la théorie à ... · quantitatives ou...

Documents

Transcript of Vérification et validation de méthode: De la théorie à ... · quantitatives ou...