Scoring Séance II
description
Transcript of Scoring Séance II
Scoring Séance II
Rappel de la modélisation sur un exemple
- Y : variable dichotomique Bon/Mauvais avec un horizon à 24 mois
- X : variables explicatives (âge, revenu,…)- Population d’estimation: crédits accordés de
2001 à 2004- Modélisation Logistique
Plan
1- Travail sur les variables : X et Y
2- Mesure de la qualité d’un score
a-Courbe de performance et courbe de sélection
b- Propriétés
c- Comparaison de courbes de performance
d- Courbe de discrimination
3- Performance pour un établissement de crédit
1- Travail sur les variables explicatives
a- Découpages des variables quantitatives
Objectif:
- délinéariser
Moyens: - Transformation des variables quantitatives en variables
dichotomiques- Découpage selon des critères de risques (critère de
variance, Belson, Qui-Deux)
1- Travail sur les variables explicatives
a- Découpages des variables quantitatives
1- Travail sur les variables explicatives
b- Regroupement des modalités des var. qualitatives
Objectif: - Réduire le nombre de modalités des variables qualitatives
afin de rendre l’estimation plus robuste
Moyens: - Selon une logique subjective: instituteur avec professeur- Selon un taux de risque: si l’intervalle de confiance des
taux de risques est faible- Selon le profil selon toutes les autres variables
1- Travail sur les variables explicatives
c- Sélection des variables à mettre dans le modèle
Objectif: - Mettre un minimum de variables dans le modèle afin de simplifier et de rendre
le modèle plus robuste
Moyens: - Sélection Backward:
- Etape 1: estimation d’un modèle avec toutes les variables disponibles. - Etape 2: calcul de la significativité de chaque variable.- Etape 3: suppression des variables disponibles de la moins significative.Retour à l’étape 1 si un seuil de significativité n’est pas attend (5%, 1%,…)
- Sélection Foreward- Etape 1: on estime tous les modèles à une variable en plus des variables imposées- Etape 2: on calcul la performance de tous les modèles- Etape 3: on impose en plus la variable qui donne le meilleure modèleRetour à l’étape 1 si un seuil de gain de performance est atteint (5%, 1%)
1- Travail sur les variables explicatives
d- Sélection des croisements de variables
Objectif: - Trouver des liens non additifs- Décorréler le modèle
Moyens: - Sélection subjective:
- Exemple: (Revenu-Charges) / (Nb de personnes dans le foyer)- Exemple: Situation familiale et âge et nb d’enfants
- Recherche automatique- Analyse du gain marginal de performance de chaque croisement par
rapport au modèle avec les variables seules- Analyse de la matrice de corrélation des variables explicatives entre elles.
2- Mesure de la qualité d’un score
Rappel des objectifs:
- Classer les individus
- Discriminer les bons des mauvais
- Définir un seuil d’acceptation
- Arbitrer entre risques et volume
2- Mesure de la qualité d’un scorea- Courbe de performance et courbe de sélection
Courbe de performance:La courbe de performance du score S est définie par l’équation
paramétrique:- x(s)=P(S ≥ s)- y(s)=P(Y=0/S ≥ s)/P(Y=0)On note y=p(x) l’équation implicite.y(s) représente la proportion relative de défaillants sélectionnés
Courbe de sélection- x(s)=P(S ≥ s)- y(s)=P(S ≥ s/Y=0) On note y=s(x) l’équation implicitey(s) représente la proportion conditionnelle de défaillants sélectionnés
Rque: s(x)=P(S ≥ s/Y=0)=P(Y=0/S ≥ s)P(S ≥ s)/P(Y=0)=x p(x)
La courbe de sélection est souvent préférée car plus interprétable.
2- Mesure de la qualité d’un scoreb- Propriétés
Propriété 1: La courbe de sélection (resp. performance) est indépendante de la représentation retenue pour le score (ex: Xß, 1/(1+exp(Xß))) :
Dém: soit h strictement croissante et S*=h(S). Alors la courbe de performance associée à S* a pour équation paramétrique:
- x*(s)=P(S* ≥ s)=x(h-1(s))=x(s*)- y*(s)=y(h-1(s))=P(Y=0/S ≥h-1(s))P(Y=0)=y(s*)
La courbe de sélection (resp. de performance) regarde la qualité du classement, elle est invariante par transformation bijective
Autres propriétés de la courbe de sélection:- La courbe est dans le carré [0,1] x [0,1]- La courbe est croissante: plus bas est le seuil moins accepte de mauvais- La courbe passe par (0,0): si on n’accepte personne, on n’accepte pas de
mauvais- La courbe passe par (1,1): si on accepte tout le monde, on accepte tous les
mauvais
2- Mesure de la qualité d’un scoreb- Exemple
Courbe de sélection
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 0,2 0,4 0,6 0,8 1
Taux d'acceptation
Tau
x d
e m
auva
is a
ccep
té
Hasard
Courbe 1
1-P(Y=0)
2- Mesure de la qualité d’un scorec- Comparaison des Courbes de sélection
Remarque: Les courbes de sélection dépendent à la fois du score S considéré, de la population sur laquelle on l’évalue et du critère Y.
- Application d’un score sur des populations différentes:- Population de test et de construction- Par génération de production
- Application de différents scores:- Ancien et nouveau scores- Selon le seuil de sélection des variables- Selon les variables utilisées
- Application sur différents critères Y: - Critère 3 incidents de paiements ou Critère contentieux (Cf. partie 3)
Comparaison: Le score S* est plus performant sur la population Pop* que le score S^ sur la population Pop^ ssi la courbe de sélection de (S*,Pop*) est en dessous de (S^, Pop^).
Remarque: Cette comparaison est une relation d’ordre partiel. Si les scores sont non comparables, il faut faire intervenir le seuil d’acceptation.
2- Mesure de la qualité d’un scorec- Comparaison des Courbes de sélection
Scores comparables
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 0,2 0,4 0,6 0,8 1
Taux d'acceptation
Taux
de m
auva
is ac
cept
é Hasard
Courbe 1
Courbe 2
Scores non comparables
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 0,2 0,4 0,6 0,8 1
Taux d'acceptation
Taux
de m
auva
is ac
cept
é Hasard
Courbe 1
Courbe 2
2- Mesure de la qualité d’un scored- Mesure synthétique de la performance
Indice de Gini:C’est le rapport entre la qualité du score S mesurée comme la surface sous la
bissectrice et la performance du score idéal.
Gini= Surf1 / Surf2
Courbe de sélection
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 0,2 0,4 0,6 0,8 1
Taux d'acceptation
Tau
x d
e m
au
vais
accep
té
Hasard
Courbe 1
1-P(Y=0)
2- Mesure de la qualité d’un scored- Mesure synthétique de la performance
Adéquation à la loi logistique:
On calcule sur des intervalles de X ß:x= moyenne sur l’intervalle de (X ß)y= ln (P1 / (1-P1) ) avec P1=moyenne sur l’intervalle de P (Y=1/ X ß)
Pour mémoire, on a posé: P(Y=1/ X ß) = 1/( 1+exp(-X ß) )
La courbe doit se rapprocher d’une droite.
2- Mesure de la qualité d’un scoree- Courbes de Discrimination
On regarde les lois conditionnelles des scores sachant les valeurs de Y:- f0(s) densité de S sachant Y=0- G0(s) fonction de répartition de S sachant Y=0- f1(s) densité de S sachant Y=1- G1(s) fonction de répartition de S sachant Y=1
Courbe de discrimination:- x(s)= G1(s) pourcentage de bon refusé- y(s)= G0(s) pourcentage de mauvais refusé
Un autre indice synthétique de performance: La statistique de Kolmogorov-Smirnov : KS=Max sur s de (G0(s) – G1(s))
Comparaison: un score (S*,Pop*) est plus discriminant qu’un score (S^, Pop^) ssi il se trouve au dessus. C’est une relation d’ordre partielle.
Remarque: un score qui est plus discriminant qu’un autre est également plus performant.
2- Mesure de la qualité d’un scoree- Courbes de Discrimination
Courbe de Discrimination
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 0,2 0,4 0,6 0,8 1
Taux de bon refusés
Tau
x d
e m
auva
is r
efu
sés
Hasard
Courbe 1
3- Performance pour un établissement de Crédit
En variant les critères de risque
On estime sur les incidents lourds mais on vérifie la performance sur les contentieux et les pertes.
L’estimation et la mesure de performance se font sur des critères différents car il faut un nb minimum de réalisations observées supérieure pour l’estimation.
Nombre Latence d’observation
Pertinence
Incidents légers
1 mois de retard++++ ++++ +
Incidents lourds 3 mois de retard
+++ +++ ++
Contentieux ++ ++ +++
Perte + + ++++
3- Performance pour un établissement de Crédit
En variant les critères marketing
On estime sur les demandes de documentations mais on mesure la performance sur la prise de produit
Nombre Pertinence
Demande de Documentation
++ +
Prise de produit + ++
3- Performance pour un établissement de Crédit
En variant les horizons d’observation
Question: est ce que mon score est performant pour prévoir les risques proches et lointains?
Mesure de performance sur des taux de mauvais à 1 an, 2 an, 3 an, 4 an,…
En variant les générations
Question: est ce que mon score est performant pour toutes les générations de production? Crédit produit en 2000, 2001, … 2005
Mesure de performance par génération de production Détection des effets produits, temporels, commerciaux
3- Performance pour un établissement de Crédit
En variant les variables
Question: est ce que je peux garder la même performance mais avec des variables plsu stables/robustes? Exemple: âge versus CSP.
Mesure de performance en variant les variables explicatives