EVALUAREA PERFORMANTELOR TESTELOR
Prof. dr. Doina Azoicai
Definitii utile
TEST : termenul care exprima procedeele de culegere a datelor (chestionare, gesturi clinice, examene complementare) privitoare la starea indivizilor
TEST DIAGNOSTIC: demonstrarea existenţei stării de boală sau demonstrarea abaterii de la normalitate (test diagnostic)
TEST DE DEPISTARE : identificarea într-o populaţie aparent sănătoasă a persoanelor cu risc crescut de a fi în mod real bolnave sau de a prezenta o abatere de la normalitate (test screening)
(OMS) : depistarea permite identificarea prezumtivă a unei boli necunoscute sau a unui factor de risc, cu ajutorul testelor, examinărilor sau altor investigaţii cu posibilitatea aplicării în populaţie.
În mod caracteristic, testul screening identifică într-o populaţie aparent în bună sănătate, persoanele probabil afectate de o boală, ceea ce face posibilă selecţia acestora pentru a fi supuse unor investigaţii suplimentare sau terapiei (preventia secundara)
Diferenţe între testul de depistare şi testul diagnostic (dupa P.Czernichow, J.Chaperon, 2001)
Tipul de test : criterii Depistare Diagnostic
Obiectivul vizat prezumtia certitudinea
Presoanele evaluate aparent in buna sanatate simptome sau semne
Categorii tinta grupuri persoane
Precizia mediocra buna
Invazivitatea testului inacceptabila posibila
Efectivul evaluat important limitat
Costuri in mod necesar reduse uneori importante
Rezultate pozitive rare frecvente
Decizia pentru tratament niciodata posibil
Tipuri de teste
Testele permit evaluari diferite in functie de natura examinarilor:
1. Calitative (ex. : imagistica medicala - radiografie, echografie, scanner;
citologie; raspunsurile la un chestionar etc)
*raspunsurile sunt – binare (dichotomice) : da/nu; prezent/absent
- sub forma unei scale nominale : necroza, fibroza - sub forma unei scale ordinale : germeni sensibili, intermendiar sensibili, rezistenti la antibiotice
2. Cantitative (ex: biochimice, hematologice, serologice masuratori ale TA, IMC …)
* rezultatele sunt variabile cantitative ; necesita definirea valorilor de referinta sau se accepta un “standard de aur” (gold standard) pentru separarea
situatiilor “normale” de cele “patologice”
Domenii de interes
CERCETARE : pentru gasirea unor noi tehnologii (inovatie) : extinderea
cunoasterii, validarea unui nou criteriu de referinta etc. (nu se
urmareste a fi repetabil din momentul in care a fost recunoscut ca
valid, reproductibil si acceptabil);
PARACTICA : pentru ameliorarea procedurilor existente intr-un anumit
context si la un moment dat ; primeaza considerentul practic si mai
putin valoarea teoretica a testului utilizat ( este prioritar ca testul sa
fie repetabil ceea ce obliga etalonari repetate )
Criterii de evaluare a testului
1.VALOAREA INFORMATIONALA A TESTULUI IN CERCETARE
Validitatea datelor culese
Fiabilitatea rezultatelor
2.VALOAREA INFORMATIONALA A TESTULUI IN PRACTICA
3. ALTE CRITERII DE EVALUARE
Acceptabilitate
Costuri
Utilitatea “operationala”
1.Valoarea informationala a testului in cercetare
Validitatea datelor culese :
* valoarea unui test trebuie stabilită pe baza unui număr mare de persoane investigate atât dintre cele sănătoase cât şi bolnave
* interpretările rezultatelor unui test şi a rezultatelor metodei de referinţă trebuie efectuate independent pentru a nu se subestima utilitatea testului
Definiţie:
Validitatea internă a unui test diagnostic este dată de performanţa acestuia în raport cu o metodă de referinţă (Gold standard) şi de performanta de selecţie a subiecţilor examinaţi la sfârşitul validării = capacitatea testului de a identifica boala
Validitatea externă a unui test este dată de capacitatea testului de a descrie situaţia reală a unei stări patologice în populaţia generală şi performanţa acestuia în condiţiile în care datele sunt deja colectate
ERORI
Selectia persoanelor examinate (bolnave/santoase )
ameliorare: in prealabil interpretarea statistica a rezultatelor pentru a stabili valorile eventual comparabile obtinute la diverse persoane care exprima absenta bolii de cele care traduc existenta bolii
Calitatile operatorului/observatorului care utilizeaza testul
( experienta, atentie, disponibilitate)
ameliorare : protocoale de examinare standardizate (lectura filmelor radiologice, a lamelor histo-patologice etc) sau utilizarea mai multor interpretari independente
Procedeele de masurare utilizate (chestionare – interogator ; examen clinic sau de laborator – etalonare, aparatura – calitati tehnice)
ameliorare : evaluarea calitatilor intrinseci
Fiabilitatea rezultatelor
Reproductibilitatea unui test este aptitudinea diversilor observatori de a
ajunge la acelasi concluzii in conditiile in care sunt confruntati cu rezultatele aceluiasi test realizat la aceleasi persoane
Teste calitative : reproductibilitatea este masurata prin calculul coeficientul de corelaţie Kappa
Teste cantitative : reproductibilitatea este masurata prin simpla legatura intre valorile celor 2 masuratori sau prin similaritatea dintre valorile medii ale celor 2 masuratori
2.Valoarea informationala a testului in practica
Masurarea experimentala a performantelor testului după criteriile:
Sensibilitate
Specificitate
Masurarea in situatia reala a performantelor testului după criteriile:
Valoare predictivă
Valoare globală (eficienţă)
Definiţii SENSIBILITATEA unei metode indică proporţia bolnavilor pe care
testul este în măsură să-i identifice din întreag efectivul ca urmare a rezultatelor pozitive ale testului
SPECIFICITATEA indică proporţia persoanelor sănătoase confirmate
ca fiind în afara stării de boală în urma înregistrării rezultatelor negative ale testului
VALOAREA PREDICTIVĂ A REZULTATELOR POZITIVE indică
proporţia rezultatelor valabile (adevarate) din ansamblul rezultatelor pozitive
VALOAREA PREDICTIVĂ A REZULTATELOR NEGATIVE indică
proporţia rezultatelor valabile (adevarate) din ansamblul rezulatelor negative
VALOAREA GLOBALĂ (EFICIENŢA) testului indică proporţia
rezultatelor valabile din ansamblul evaluărilor efectuate
INDICATORI DE APRECIERE
Bolnavi Sănătoşi TOTAL
TEST Rezultat pozitiv AP FP AP+FP
Rezultat negativ FN AN FN+AN
Total AP+FN FP+AN AP+FP+FN+AN
AP – rezultat adevărat pozitiv (rezultat pozitiv la persoane bolnave);
FP – rezultat fals pozitiv (rezultat pozitiv la persoane sănătoase)
FN – rezultat fals negativ (rezultat negativ la persoane bolnave);
AN – rezultat adevărat negativ (rezultat negativ la persoane sănătoase)
Se = AP/ AP+FN x 100
Sp = AN/ AN+FP x 100
VPP = AP/AP+FP x 100
VPN = AN/AN+FN x100
VG = AP+AN/ AP+FP+FN+AN x100
Ideal: sensibilitatea (Se), Specificitatea (Sp) şi Valoarea predictivă (VP) = 100%
Rationament : prin aplicarea testului distributia valorilor biologice numerice obtinute sunt
diferite de la un individ la altul deci este necesara
stabilirea unei valori de referinta care sa claseze subiectii in bolnavi si sanatosi deoarece
calitatea diagnostica a testului variaza in functie de nivelul de referinta ales
Teorema lui BAYES sec. XVIII – Bayes pune bazele matematice pentru calculul valorii predictive a
testelor diagnostice prin : estimarea mediei şanselor pentru judecarea corectă (deci a valorii predictive
a unui test) a unui fenomen dat (starea de sănătate sau de boală) pe baza validităţii testului utilizat (Se, Sp, probabilitatea unui rezultat FP şi FN) cât şi amploarea unui fenomen în condiţii date (prevalenţa unei boli sau prevalenţa stării de sănătate într-o populaţie)
utilitate: este posibil ca prin teorema lui Bayes să se determine
probabilitatea unui subiect la care testul a fost pozitiv să fie efectiv bolnav şi ca la un subiect cu testul negativ să fie în mod real sănătos
Cazul testelor cantitative
Distributia valoriilor masurate printre non-bolnavi (B--) Distributia valorilor masurate printre bolnavi (B+)
lipsa Se lipsa Sp
L = valoare de referinta
Daca se deplaseaza limita valorii L la dreapta, se diminua Se si se amelioreaza Sp.
Ex (după M.Jenicek et al):
Exemplul A
Test:Hb<12g%= anemie Anemici Sănătoşi
pozitiv 19 10 29
negativ 1 70 71
20 80 100
Se = (19/19+1) x100 = 95% ; Sp = (70/70+10 ) x 100= 88%
VPP = (19/19+10) x 100= 66% ; VPN = (70/70+1) x 100= 99%
VG = [(19+70) : (19 +10+1+70)]x 100 = 89%
Exemplul B
Test: Hb<10g% = anemie Anemici Sănătoşi
pozitiv 15 5 20
negativ 2 78 80
17 83 100
Se = (15/15 +2) x100 = 88% ; Sp = (78/78+5 ) x 100= 94%
VPP = (15/15+5) x 100= 75% ; VPN = (78/78+2) x 100= 98%
VG = [(15+78) : (15+5+2+78)]x 100 = 93%
Nivelul de referinta a testului diagnostic are ca rezultat compromisul dintre Se şi Sp = exprimat grafic prin curba ROC (Receiver Operator
Characteristic curve)
Utilitatea curbei ROC :
1. determinarea unui nivel de referinta optimal
2. compararea rezultatelor mai multor teste care pot avea, fiecare dintre ele alte nivele de referinta
Criteriile de alegere a testului diagnostic (postulatele lui Galen şi Gambio)
1. este de preferat un test sensibil dacă: boala este gravă; boala este tratabilă; rezultatele fals pozitive nu generează prejudicii psihologice sau economice
persoanelor examinate
2. este de preferat un test cât mai specific dacă: boala este gravă dar dificil de vindecat (sau chiar incurabilă); a şti că nu există boala este un element important atât din punct de vedere
psihologic cât şi din punct de vedere managerial (economic); rezultatele fals pozitive pot fi psihologic şi economic traumatizante pentru
persoanele examinate
3. este de preferat utilizarea rezultatelor pozitive ale unui test dacă acesta are o valoare predictivă crescută în situaţii în care tratamentul persoanelor cu diagnostic fals pozitiv ar avea consecinţe grave
4. este de preferat un test cu valoare globală crescută dacă:
boala este importantă dar tratabilă; rezultatele fals pozitive şi fals negative sunt traumatizante şi implică
producerea unor consecinţe grave asupra persoanelor examinate
Top Related