Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12...
-
Upload
anunciata-ferrero -
Category
Documents
-
view
231 -
download
3
Transcript of Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12...
Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di VeneziaAzienda ULSS 12 Veneziana
ANALISI DELLE CONCORDANZE
4° Confronto interistituzionale in citologia mammaria da screening
Padova, 23 Novembre 2011
“Primi in Italia, terzi in Europa”
Rovigo 19 maggio 2009
Partecipazione di 20 Centri regionali(18 A.P./21 Ulss + 2 Lab Privati)
Centri che hanno partecipato
• Adria• Arzignano• Bassano• Castelfranco• Cittadella• Conegliano• Dolo• Este• Feltre• Mestre
• Rovigo• San Bonifacio• San Donà• Thiene • Treviso• Venezia• Verona Borgo Tn • Vicenza• “Datamedica”• “Laboratorio
Pennelli”
Sestri Ponente Chiavari
2° Round 14/12/09 PD
• 20 casi citologici• inviati da 8 centri• letti da 16 centri
1° Round 19/5/09 RO
• 25 casi citologici• inviati da 12 centri• letti da 11 centri
3° Round 23/11/10 VR
• 27 casi citologici
• inviati da 15 centri
• letti da 21 centri
Analisi delle concordanze ….
N° Caso Diagnosi di riferimento
1 C2
2 C2
3 C3
4 C5
5 C2
6 C5
7 C3
8 C5
9 C5
10 C5
11 C2
12 C5
13 C4
14 C5
15 C3
16 C5
17 C4
18 C5
19 C5
20 C5
21 C5
22 C2
23 C2
24 C4
25 C5
DIAGNOSI DI RIFERIMENTO
24
12 12
52
6 3 3 13
4° Round
4° Confronto interistituzionale in citologia mammaria: analisi delle
concordanze• 25 casi citologici inviati da un centro• 20 anatomie patologiche • 5 Categorie diagnostiche (C1 – C5)• 1 categoria diagnosticata in 4 casi• 2 categorie diagnosticate in 9 casi• 3 categorie diagnosticate in 8 casi• 4 categorie diagnosticate in 3 casi• 5 categorie diagnosticate in 1 caso
Confronto interistituzionale in citologia mammaria
2° Round 1 categoria in 1 caso 2 categorie in 4 casi 3 categorie in 8 casi 4 categorie in 6 casi 5 categorie in 1 caso
1° Round1° Round 1 categoria in 4 casi1 categoria in 4 casi 2 categorie in 6 casi2 categorie in 6 casi 3 categorie in 9 casi3 categorie in 9 casi 4 categorie in 6 casi4 categorie in 6 casi
3° Round 1 categoria in 0 casi 2 categorie in 2 casi 3 categorie in 10 casi 4 categorie in 13 casi 5 categorie in 2 casi
4° Round1 categoria in 4 casi2 categorie in 9 casi3 categorie in 8 casi4 categorie in 3 casi5 categorie in 1 caso
Concordanza maggiore in 9 casi + 1 (C4-C5) (C2)
Concordanza minore in 6 casi (C3-C4-C5)
Discordanza minore in 4 casi (C1-C2-C3)
Discordanza maggiore in 5 casi (C1-C5)
2° Round Concordanza maggiore in 1 caso (C5)
Concordanza minore in 4 casi (C4-C5)
Discordanza minore in 6 casi (C3-C5)
Discordanza maggiore in 9 casi (C1-C5)
1° Round1° Round Concordanza maggiore in 4 casi Concordanza maggiore in 4 casi (C5)(C5)
Concordanza minore in 6 casi (C4-Concordanza minore in 6 casi (C4-C5)C5)
Discordanza minore in 5 casi (C3-Discordanza minore in 5 casi (C3-C5)C5)
Discordanza maggiore in 10 casi Discordanza maggiore in 10 casi (C1-5)(C1-5) 3° RoundConcordanza maggiore in 3 casi (C4-C5)
Concordanza minore in 6 casi (C3-C4-C5)
Discordanza minore in 1 caso (C1-C2-C3)
Discordanza maggiore in 17 casi (C1-C5)
4° RoundConcordanza maggiore in 10 casi (C2)(C4-C5)
Concordanza minore in 6 casi (C3-C4-C5)
Discordanza minore in 4 casi (C1-C2-C3)
Discordanza maggiore in 5 casi (C1 – C5)
• Diagnosi di maggioranza uguale al gold standard in 19 casi
• Diagnosi di maggioranza diversa dal gold standard in 5 casi
• 1 caso di parità diagnostica
N° caso
C1 C2 C3 C4 C5
1 5 9 5 1
2 17 3
3 7 4 9
4 20
5 17 3
6 20
7 9 9 2
8 1 3 16
9 1 19
Diagnosi GS Diagnosi dimaggioranza ≠ GS
N° caso
C1 C2 C3 C4 C5
10 1 2 17
11 9 11
12 1 19
13 13 7
14 20
15 1 8 9 1 1
16 5 11 4
17 4 10 5 1
18 3 12 5
N° caso
C1 C2 C3 C4 C5
19 1 19
20 2 18
21 1 4 15
22 15 4 1
23 20
24 2 1 12 5
25 1 19
Grado di accordo …
• Valori di K < 0.40 sono indicativi di una concordanza debole
• Valori di K compresi tra 0.40 e 0.75 sono indicativi di una concordanza buona
• Valori di K > 0.75 sono indicativi di una concordanza eccellente.
Indici di concordanza
• K statistics for nominal response (K): valuta la concordanza indipendentemente dal significato della categoria
• K pesato (Kw): valuta la concordanza secondo pesi convenzionali prestabiliti delle categorie.
• Coefficiente di Kendall: valuta il coefficiente di concordanza fra 2 o più categorie.
Buongiorno, invio l’analisi della concordanza per la citologia mammaria:
•Foglio diagnosi: distribuzioni di frequenza dei “raters” (lettori/ASL)•Foglio kappa complessivo: analisi della concordanza tra Raters senza considerare la diagnosi di riferimento•Foglio kappa x raters: concordanza tra raters e gold standard (diagnosi di riferimento) considerare il kappa pesato se le 5 categorie possono essere assunte su scala ordinale (dal meno grave al più grave) saluti Stefano Guzzinati
Accordo complessivo tra raters senza considerare la diagnosi di riferimento
5 categorie
Kappa Standard Error Z Prob>Z
C1 0,52204 0,036054 14,4796 0
C2 0,54739 0,050916 10,751 0
C3 0,21173 0,044524 4,7555 0
C4 0,31391 0,047716 6,5787 2,37E-11
C5 0,68854 0,087822 7,8401 2,22E-15
Overall 0,49550 0,021077 23,5087 0
4° Round
Kappa statistics for nominal response (3° ROUND)
Kappa Standard Error Z Prob>Z
C1 0,03164 0,029996 1,055 0,14572
C2 0,31944 0,047965 6,66 0
C3 0,11648 0,052721 2,2094 0,01357
C4 0,10226 0,055233 1,8513 0,03206
C5 0,38409 0,061445 6,2511 0
Overall 0,22689 0,009504 23,873 0
Kendall's Coefficient of Concordance for ordinal response
Coeff of Num Denom
Concordance F DF DF Prob>F
0,55859 25,31 25,9048 518,095 <.0001
ACCORPANDO C4 CON C5 (4 categorie)
Kappa Standard Error z Prob>Z
C1 0,52204 0,036054 14,4796 0
C2 0,54739 0,050916 10,751 0
C3 0,21173 0,044524 4,7555 0
C4-C5 0,75792 0,11901 6,3684 9,55E-11
Overall 0,56394 0,03766 14,9759 0
4° Round
ACCORPANDO C4 CON C5 (4 livelli) 3° Round
Kappa statistics for nominal response
Kappa Standard Error z Prob>Z
C1 0,03164 0,029996 1,055 0,14572
C2 0,31944 0,047965 6,66 0
C3 0,11648 0,052721 2,2094 0,01357
C4-C5 0,405 0,099026 4,0898 0,00002
Overall 0,28388 0,026535 10,6984 0
Kendall's Coefficient of Concordance for ordinal response
Coeff of Num Denom
Concordance F DF DF Prob>F
0,48818 19,08 25,9048 518,095 <.0001
Kappa complessivo 2° round: 0,32866
ACCORPANDO C3 CON C4 (4 categorie)
Kappa Standard Error z Prob>Z
C1 0,52204 0,036054 14,4796 0
C2 0,54739 0,050916 10,751 0
C3-C4 0,35036 0,064537 5,4288 2,84E-08
C5 0,68854 0,087822 7,8401 2,22E-15
Overall 0,53629 0,019434 27,595 0
4° Round
ACCORPANDO C3 CON C4 (4 livelli) (3° Round)
Kappa statistics for nominal response
Kappa Standard Error z Prob>Z
C1 0,03164 0,029996 1,055 0,14572
C2 0,31944 0,047965 6,66 0
C3-C4 0,17368 0,086451 2,0089 0,02227
C5 0,38409 0,061445 6,2511 0
Overall 0,27367 0,019244 14,2211 0
Kendall's Coefficient of Concordance for ordinal response
Coeff of Num Denom
Concordance F DF DF Prob>F
0,5039 20,31 25,9048 518,095 <.0001
Concordanza tra raters e gold standard
Raters K pesato K simple
A 0,8514 0,7031
C 0,5726 0,3187
D 0,9392 0,8765
E 0,6347 0,478
F 0,7271 0,5921
G 0,6689 0,4136
H 0,9102 0,8166
I 0,7073 0,4141
L 0,7387 0,4617
M 0,6228 0,3193
O 0,5843 0,3929
Q 0,5198 0,1972
R 0,5307 0,3857
T 0,6622 0,4369
U 0,748 0,536
V 0,6208 0,4731
W 1 1
Y 0,7972 0,6575
Z 0,6495 0,42
AA 0,8514 0,7031
Concordanza tra Raters e gold standard
RatersK 4°
RoundK 3°
Round K 2° Round
A 0,8514 0,5070 0,7386
C 0,5726 0,5601
D 0,9392 0,6343 0,3333
E 0,6347 0,5263 0,3023
F 0,7271 0,3800
G 0,6689 0,5214 0,3333
H 0,9102 0,6538 0,5425
I 0,7073 0,2146 0,0972
L 0,7387 0,4057 0,3882
M 0,6228 0,1925
O 0,5843 0,4639 0,2949
Q 0,5198
R 0,5307 0,3963 0,2262
T 0,6622 0,5601
U 0,7480 0,6172 0,4093
V 0,6208 0,6113
W 1 0,3551 0,2308
Y 0,7972 0,3490
Z 0,6495 0,4369
AA 0,8514 0,4617 0,6226
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
2°Round
3°Round
4°Round
K nominaleK pesato
K > 0,7
Motivazioni …..• Casistica di “routine” (2008), non
selezionata, inviata da un solo centro• Allestimento unico • Colorazione unica • Presenza di notizie (età, clinica, es.
radiologici)• > esperienza in telecitopatologia
Rizzo
Capitanio
Mencarelli
Bianchini
Briani
Casi con diagnosi di maggioranza ≠ da gold standard
Caso n°2
• 61 a, non palpabile, U3
• 17 C1• 3 C2 (ectasia
duttale)
Caso n° 7
• 67 a, cisti palpabile, R2, U2
• 9 C3• 9 C4• 2 C5
CDIS
Caso n° 11
• 69 a, non palpabile, R3, U3
• 9 C2• 11 C3
Fillode
Caso n° 16
• 60 a, sospetta• 5 C3• 11 C4• 4 C5
Caso n° 18
• 60 a, non palpabile, R3, U3
• 3 C3• 12 C4• 5 C5
B5
Casi discordanti
Caso n° 1
C1 C2 C3 C4 C5
5 9 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
54 Palpabile
R3 U3
Caso n° 1
C1 C2 C3 C4 C5
5 9 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
54 Non Palpabile
R3 U3
Caso n° 15
C1 C2 C3 C4 C5
1 8 9 1 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
60 Non Sospett
a
Caso n° 15
C1 C2 C3 C4 C5
1 8 9 1 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
60 Non Sospett
a
Lesione benigna
Caso n° 17
C1 C2 C3 C4 C5
4 10 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
51 R1 U3
Caso n° 17
C1 C2 C3 C4 C5
4 10 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
51 R1 U3
Caso n° 22
C1 C2 C3 C4 C5
15 4 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
50 Non palpabil
e
U3
Caso n° 22
C1 C2 C3 C4 C5
15 4 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
50 Non palpabil
e
U3
Fibroadenoma
Caso n° 24
C1 C2 C3 C4 C5
2 1 12 5
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
63 Palpabile
R5 U5
Caso n° 24
C1 C2 C3 C4 C5
2 1 12 5
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
63 Palpabile
R5 U5