Statistical Process Control - utilizzo dei funnel plot per il confronto tra istituzioni
-
Upload
elena-nannipieri -
Category
Health & Medicine
-
view
227 -
download
7
description
Transcript of Statistical Process Control - utilizzo dei funnel plot per il confronto tra istituzioni
Statistical Process Control:utilizzo dei funnel plot per il
confronto tra istituzioniElena Nannipieri
Analisi Statistica dei Dati Socio-Sanitari
AA. 2013/2014
Università degli Studi di Firenze
Corso di Laurea Magistrale in
Statistica, Scienze Attuariali e Finanziarie
Sommario
1) Origini e metodi di Statistical Process Control
2) Le carte di controllo: tipologie e caratteristiche
3) I funnel plot come strumento di confronto tra istituzioni
Componenti di un funnel plot
Limiti di controllo
Aggiustamento per il rischio
Dati di variazione
Relazione con il volume
Il problema della sovradispersione
Statistical Process Control
Lo Statistical Process Control (SPC) è una metodologia che fa ricorso a tecniche statistiche al
fine di definire, analizzare e verificare le condizioni che determinano la variabilità di un
processo produttivo.
La qualità di un processo è inversamente proporzionale alla sua variabilità.
SCOPO DELLO STATISTICAL PROCESS CONTROL:migliorare la qualità di un processo, minimizzando le cause di variabilità.
Origine del SPC
Primi anni Venti
Walter ShewartLa variazione nei processi produttivi può essere compresa e controllata con l’utilizzo di metodi statistici.
1924: Shewart sviluppa il concetto statistico di «carta di controllo»
Inizio formale del controllo statistico della qualità.
I metodi di SPC sono stati utilizzati prevalentemente nel controllo industriale della qualità, ma recentemente il loro impiego si è esteso anche alla pratica sanitaria.
Cause di variabilità dei processi
Ogni processo produttivo è soggetto a variabilità.
CAUSE COMUNI: ‐ sorgono in modo casuale durante il normale
svolgimento del processo produttivo;‐ insite nella variabilità del processo produttivo.
CAUSE SPECIALI: ‐ dovute ad eventi occasionali; ‐ non inerenti al processo produttivo.
Un processo si dice «sotto controllo» se è affetto solo da cause di variazione comuni. Se si verificano cause speciali, il processo si dice «fuori controllo».
Processi sotto-controllo e fuori-controllo
Il processo è in controllo fino a t1 ; da t1 in poi subentrano fattori specifici che portano il processo fuori controllo.
OBIETTIVO DEL SPC :eliminare le cause speciali di variazione.
Media della caratteristica di qualità, corrispondente al valore desiderato quando il processo è «sotto controllo»
Carte di controllo
Limiti di controllo (superiore e inferiore): se il processo è «sotto controllo» la gran parte dei punti sta tra questi limiti.
La carta di controllo è la rappresentazione grafica di una caratteristica di qualità di un processo, con riferimento a dei limiti di controllo che tengono conto della variabilità naturale del processo preso in esame.
Le carte di controllo di Shewart
Tipi di carte Tipo di dati Carte di controllo adottate
Carte di controllo per VARIABILI
La caratteristica di qualità è misurabile numericamente e rappresentabile su scala
continua.
Continui
Carte di controllo per ATTRIBUTI
La caratteristica di qualità non può essere misurata
numericamente;sidefinisce l’oggetto solo in base alla conformità delle
unità prodotte.
Discreti
Carte di controllo e test d’ipotesi
•
Concludere che il processo èfuori controllo quando è
sotto controllo.
Concludere che il processo è sotto controllo quando è fuori
controllo.
Definizione dei limiti di controllo
Quanto più i limiti vengono posizionati LONTANO dalla linea centrale
Minore sarà il rischio di errore di I tipo
Maggiore sarà il rischio di errore di II tipo
Quanto più i limiti vengono posizionati VICINO alla linea centrale
Maggiore sarà il rischio di errore di I tipo
Minore sarà il rischio di errore di II tipo
Richiesta di maggiore «accountability» da parte del servizio pubblico
Maggiore attenzione al confronto tra istituzioni
Utilizzo delle LEAGUE TABLES:
Le istituzioni vengono ordinate in una classifica in base ad un indicatore di performance;
Le istituzioni outlyer vengono individuate con l’aiuto di intervalli di confidenza.
Focus eccessivo sul ranking…
Confronto tra istituzioni
L’utilizzo dei funnel plot per il confronto tra istituzioni
Componenti del funnel plot (1)
•
Componenti del funnel plot (2)
Componenti del funnel plot (3)
Limiti di controllo (1)
Limiti di controllo (2)
Tassi di mortalità a 30 giorni dal trattamento per la frattura dell'anca di ultra-sessantacinquenni in 51 ospedali in Inghilterra nel periodo 2000-2001.
Plot dei valori osservati di un indicatore (tasso di mortalità) in relazione ad una misura della sua precisione (volume di casi)
La linea orizzontale rappresenta il target (9.3%)
I limiti di controllo al 95% e 99.8% si riducono all’aumentare del volume di casi
Limiti di controllo (3)
Limiti di controllo per la distribuzione Binomiale
Limiti di controllo per la distribuzione di Poisson
Gli studi che mettono a confronto istituzioni sanitarie devono tenere conto delle disomogeneità esistenti nelle popolazioni studiate.
RISK-ADJUSTMENT: permette di determinare quale parte delle differenze osservate negli esiti sia attribuibile a caratteristiche dei pazienti (fattori di rischio) e quale parte sia riconducibile alla qualità dell'assistenza.
Modelli lineari → outcome “corretti”, al netto degli effetti del diverso case mix
Esempio: Risk-Adjustment (1)
AGGIUSTAMENTO PER IL RISCHIO DEL TASSO DI MORTALITA’
Regressione logistica per modellare l’outcome binario:(paziente morto in ospedale VS paziente dimesso vivo)
Covariate : fattori di rischio.
Esempio: Risk-Adjustment (2)
TASSO DI MORTALITA’ ATTESO
(Expected Mortality Rate)
TASSO DI MORTALITA’ OSSERVATO
(Observed Mortality Rate)
TASSO DI MORTALITA’
RISK-ADJUSTED
(Risk-Adjusted Mortality Rate)
AGGIUSTAMENTO INDIRETTO
Tasso di mortalità complessivo a
livello nazionale
Esempio: Risk-Adjustment (3)
Tassi di mortalità aggiustati per il rischio a 30 giorni dall’intervento di innesto del bypass dell’arteria coronarica nello Stato di New York(1997–1999)
Il target è il tasso di mortalità nazionale del 2,2%.
Esempio: Risk-Adjustment (4)
Relazione con il volume (1)
Bristol Royal Infirmary
Possibile associazione tra outcome e volume di casi
Tassi di mortalità in seguito a interventi di chirurgia cardiaca pediatrica in pazienti con meno di 1 anno di età in 12 centri specializzati inglesi, 1991-1995
Relazione con il volume (2)
Sovradispersione (1)
Tassi di riammissione di emergenza entro 28 giorni dalla dimissione per 67 ospedali in Inghilterra dal 2000 al 2001.
La grande maggioranza delle istituzioni giace al di fuori dell’imbuto!
I limiti di controllo non tengono conto della variabilità in eccesso → SOVRADISPERSIONE
Sovradispersione (2)
Questo comportamento è dovuto all’impatto di covariate
non misurate, che contribuiscono a creare variabilità in
eccesso.
→ AGGIUSTAMENTO PER IL RISCHIO INSUFFICIENTE
Se l’eccesso di variazione non viene tenuto in
considerazione, la maggioranza delle istituzioni può
essere identificata dal funnel plot come unità fuori-
controllo.
Il problema della sovradispersione può essere
risolto in vari modi…
Sovradispersione (3)
1) Non usare l’indicatore• indicatore non adatto al confronto; • non sono stati compresi i fattori che generano la
variabilità in eccesso.
2) Migliorare la stratificazione del rischio• misurare i fattori che contribuiscono alla eccessiva
variabilità e riportare il processo “sotto controllo”;• non funziona in tutti i contesti.
3) Analisi tramite clustering• “clusterizzare” le istituzioni in gruppi più omogenei in
modo tale da confrontare “simile con simile”; • il cluster è trattato come un fattore di rischio.
Sovradispersione (4)
La sovradispersione (5)
Sovradispersione (6)
Sovradispersione (7)
Sovradispersioneintorno al funnelplot non aggiustato
Conclusioni
Largo utilizzo dei metodi di SPC nella sanità pubblica: Individuare pattern insoliti o outlyers valutare livelli di performance e raggiungimento dei target; studiare differenze tra istituzioni sanitarie.
I funnel plot sono un potente strumento per rappresentare dati sanitari e mettere a confronto le istituzioni: evitano di porre le istituzioni in un ordine di classifica; forte indicazione visiva di performance “divergente”;→ rispetto alle league tables, è più facile capire quali dati indicano aree che meritano ulteriori analisi; scelta degli assi intuitiva e quindi facile plotting; limiti di controllo facilmente ottenibili usando i più comuni
pacchetti di fogli elettronici.
Bibliografia
Flowers J. «Statistical process control methods in public healthintelligence», APHO Technical Briefing 2 (2007) (http://www.apho.org.uk/resource/item.aspx?RID=39445)
Noyez L. «Control charts, Cusum techniques and funnel plots. A review of methods for monitoring performance in healthcare», Interactive CardioVascular and Thoracic Surgery 9 (2009): 494–499
Spiegelhalter DJ. «Funnel plots for institutional comparison», QualSaf Health Care (2002): 390-1
Spiegelhalter DJ. «Funnel plots for comparing institutional performance», Stat Med (2005): 1185-1202.
Spiegelhalter DJ. «Handling over-dispersion of performance indicators», Qual Saf Health Care (2005): 347-351
Woodall W.H. «The Use of Control Charts in Health-Care and Public-Health Surveillance», Journal of Quality Technology 38 (2006)