Valutazione Delle Capacità Predittive di un FMS
-
Upload
scattareggia -
Category
Documents
-
view
405 -
download
0
description
Transcript of Valutazione Delle Capacità Predittive di un FMS
Marco Scattareggia September, 13th 2011
Valutazione delle
Capacità Predittive
di un
Fraud Management System
Marco Scattareggia
Marco Scattareggia September, 13th 2011 2
Blacklists
Velocity & collision
High risk destinations
Unknown/ unauthorized/ suspended subscriber
Thresholds & profiling
Cross dimensions
Patterns
Stuffing
Prepaid scams (balance,
odd recharges)
Split packages
Automatic dialer
SIM gateway
NRTRDE - TAP IN, HUR
Etc.
Architettura di un FMS
Marco Scattareggia September, 13th 2011
Chi è il migliore?
Perché?
Cosa fare per migliorare?
Come innescare un
Circolo Virtuoso ?
3
Benchmarking
Marco Scattareggia September, 13th 2011
4
1. Riconoscimento e Consapevolezza del problema
2. Adeguamento dell’Organizzazione
3. Avviamento delle procedure di Prevenzione
4. Adeguamento delle infrastrutture e delle tecnologie
per l’Individuazione ed il Contrasto delle frodi.
5. Collaborazione con gli altri Operatori, le Associazioni
di Categoria, le Istituzioni Pubbliche ed i Fornitori.
6. Innovazione continua
Best Practice
Marco Scattareggia September, 13th 2011
Fattori di Skewness e Kurtosis
Fre
qu
en
za
Valore misurato
Frode Non Frode
Distribuzione Gaussiana della probabilità
5
Minimo, Massimo e Range
Media, Mediana e Moda
Varianza e Deviazione Standard
Statistica Descrittiva
Ha l’obiettivo di ricavare da un insieme di
dati raccolti in tabelle e grafici (troppo
numerosi per poter essere esaminati sin-
golarmente) alcune informazioni signifi-
cative per il problema studiato.
Marco Scattareggia September, 13th 2011
Fattore di sbilanciamento asimmetrico
FP TN
Not Fraud
Fre
quenza
Valore misurato
Soglia
TP FN
Frode
Skewness Factor
Fre
quenza
Valore misurato
Non Frode
Skew
Negativa
Skew Positiva
Marco Scattareggia September, 13th 2011
Kurtosis Factor
Fre
quenza
F
requenza
Valore misurato
Valore misurato
FP TN
TP FN
Frode
Non Frode
Fattore Curtosi sulla concentrazione
Fre
quenza
Valore misurato
Kurtosis Factor
Marco Scattareggia September, 13th 2011 8
Statistica Inferenziale (Induttiva)
L’obiettivo della statistica inferenziale è fornire metodi che
servono ad imparare dall'esperienza, cioè a costruire
modelli per passare da casi particolari al caso generale.
Nella statistica inferenziale o induttiva, si usano tecniche
del calcolo delle probabilità.
Laplace stabilì le regole per un ragionamento
matematico induttivo, basato sulla probabilità, che oggi
chiamiamo Bayesiano e avviò la Statistica Inferenziale
Marco Scattareggia September, 13th 2011 9
Teorema di Bayes per la Probabilità delle Cause
Tabella di Contingenza
Acquista Non Acquista Probabilità Marginale
Sesso S A NA
Uomo U 0,40 0,30 0,70
Donna D 0,10 0,20 0,30
Prob.Marginale 0,50 0,50 1,00
Probabilità Congiunta
P(SD A)
Probabilità Marginale
P(A) = P(SU A) + P(SD A)
Probabilità Marginale
P(SU) = P(SU A) + P(SU NA)
Probabilità Condizionante
P(A SU) 0,40
P(ASU) = = = 0,57
P(SU) 0,70
Teorema di Bayes
P(ASU) x P(SU) 0,40
P(SUA) = = = 0,80
P(ASi) x P(Si) 0,50
Effetto
Causa
Utilizza la “probabilità condizionata” e risponde alla domanda: “Sapendo che si è verificato l’effetto
B, qual è la probabilità che la causa sia A ?” Fornisce la probabilità della causa dato l’effetto.
Marco Scattareggia September, 13th 2011 10
Predictive Analytics
Score Monitoring
Business
understanding Data
understanding
Data
preparation
Model
Evaluation
Model
Deployment
Score
Modeling
Analysis
Database
Model Refreshing
Marco Scattareggia September, 13th 2011 11
KPI SMART Specific specifici, chiari, non ambigui
Measurable misurabili in modo pratico e oggettivo
Attainable sfidanti ma realistici
Relevant significativi per il business dell’operatore
Time bound verificabili su periodi di tempo prestabiliti
Key Performance Indicator
Marco Scattareggia September, 13th 2011 12
Matrice di Confusione
Frode Non-Frode
Casi previsti come Frode
True Positive TP = True Positive/p
False Positive
FP = False Positive/n
Casi previsti come Non-Frode
False Negative FN = False Negative /p
True Negative
TN = True Negative/n
Casi Totali Total Positive = p
TP + FN = 1
Total Negative = n
FP + TN = 1
KPI di Base per un FMS
Marco Scattareggia September, 13th 2011 13
Distribuzione delle Frodi
Marco Scattareggia September, 13th 2011
p = total Frauds True Positive rate = True Positive / p = TP = 1 - FN False Negative rate = False Negative / p = FN = 1 - TP n = total Not Frauds False Positive rate = False Positive / n = FP = 1 - TN True Negative rate = True Negative / n = TN = 1 - FP
14
Accuracy = “Total correctly classified” / “Total cases” = (TP+TN) / (p + n) Misclassification-Rate = "Total not correctly classified" / "Total cases" = (FN+FP) / (p + n)
Precision = True Positive / (True Positive + False Positive) Recall = True Positive / p = True Positive rate
Hit Rate 1 = Precision Hit Rate 2 = Recall
Sensitivity = True Positive rate = Recall Specificity = True Negative rate
1 – Specificity = False Positive rate
KPI utili per misurare le Capacità Predittive
Marco Scattareggia September, 13th 2011 15
Visualizzazione in forma grafica dei KPI (1/2)
• Precision = TP / (TP+FP) = % di
TP presentati all’analista sul totale
dei Casi.
• Recall = TP / (TP+FN) = % di TP
individuati dal sistema sul totale dei
casi realmente esistenti.
All the cases presented are fraud
(TP=100%, FP=0%), but 50% of fraud are
missed (TN=50%, FN=50%).
Only 37% of the cases analyzed are
fraud (TP=37%, FP=63%), but analyst
have seen 100% of fraud cases
(TN=100%, FN=0%).
Marco Scattareggia September, 13th 2011 16
Visualizzazione in forma grafica dei KPI (2/2)
• Sensitivity = TP , % di Frodi
presentate come frodi.
• 1-Specificity = FP, % di Non-Frodi
presentate come frodi.
• Specificity = TN, % di Non-Frodi
presentate come non frodi.
Marco Scattareggia September, 13th 2011
Analisi delle
curve ROC
e della AUC