Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.
-
Upload
tatienne-rigal -
Category
Documents
-
view
107 -
download
4
Transcript of Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.
![Page 1: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/1.jpg)
Régression ou corrélation
Professeur E. Albuisson
> CHU et Faculté de Médecine
![Page 2: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/2.jpg)
Rechercher l’existence
d’une liaison (relation, dépendance)
entre deux variables
quantitatives
X et Y
appariées
ayant ou non la même unité
Principe général pour ces deux approches (corrélation ou régression)
Observation ou expérience
A définir
On dit alors ‘simple’
Nature des variables
Aléatoires(ou non)Rôles(idem ou non)
n couples (xi, yi) de (X , Y)
Parmi les rares approches à le permettre
![Page 3: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/3.jpg)
** * *** * ****** ************
Deux approches différentes(corrélation ou régression)
** * *** * ****** ************
Nuage de points: X et Y sont interchangeables (rôles identiques). Calcul du
coefficient de corrélation linéaire r
Nuage de points : X et Y ne sont pas interchangeables (rôles différents). Calcul des paramètres du modèle f(X).
X peut être contrôlée
Modèlef (X)
ici une droite
XX
YY
r
![Page 4: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/4.jpg)
Régression: La connaissance de la valeur prise par X permet-elle de prédire la valeur prise par Y ?
Y = f ( X )
X est la variable ‘explicative’ ou
prédicteur
Y est la variable ‘à expliquer’ ou critère. Y est la prévision de Y par X en utilisant le modèle
MODELE : RECHERCHE DE f( ) LA PLUS APPROPRIEE.LINEAIRE, LOGARITHMIQUE, INVERSE,
CUBIQUE, PUISSANCE, LOGISTIQUE, EXPONENTIELLE,…
![Page 5: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/5.jpg)
En toute rigueur, les n couples (xi, yi) constituent un échantillon d’observations qui sont des réalisations de
( X, Y ), X et Y étant des variables aléatoires. Il est important de noter que la corrélation ne s’appliquera
que dans ce cas.
Si la variable X est contrôlée par l’expérimentateur:ex: dose croissante de médicament: d1, …, dkex: temps: t1, … , tk
alors X n’est pas aléatoire et il s’agit plus d’un modèle linéaire que d’une régression linéaire.
Remarque: La méthode des moindres carrés utilisée pour rechercher les paramètres du modèle s’applique aussi bien au modèle linéaire qu’à la régression linéaire.
X aléatoire ou contrôlée?
![Page 6: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/6.jpg)
Régression linéaireModèle linéaire
Traités indifféremment dans la suite de ce cours grâce à l’utilisation de la
méthode des moindres carrés
![Page 7: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/7.jpg)
Le Modèle linéaire simple
Y = + X +
Variable à expliquer
Paramètres du modèle
Variable explicative
Erreur aléatoire
f (X)
Prévision du modèle
Ecart au modèle
Y = Y +
![Page 8: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/8.jpg)
Relation positive entre X et Y: Quand X augmente, Y augmente.
Un test devra être réalisé pour savoir si cette relation est significative
Sens de la pente
**
* * * ****
Y
X
** *** * **
Y
X
** * * * *** * * ** **** ** ** * ** ** *
Y
X
Relation négative entre X et Y:Quand X augmente, Y diminue.
Un test devra être réalisé pour savoirsi cette relation est significative
Pas de relation entre X et Y:Les variations de Y ne dépendent
pas des variations de X
![Page 9: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/9.jpg)
Estimation des paramètres de la droite de régression
x
y
xi
yi
Valeur
observée
pour Xi
yi = a xi + b
valeur prédite par le modèle pour la valeur de xi
Modèle théorique Y = + X
Au couple (xi, yi ) observé s’ajoute yi prédit par le modèle
Réalisation: y = b + a x
![Page 10: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/10.jpg)
Importance de l’erreur εappelée aussi résidu, écart au modèle,
erreur aléatoire.
Y = Y +
= Y - Y
ei = yi - yi
![Page 11: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/11.jpg)
Estimation des paramètres de la droite de régression
x
y
xi
yi
Valeur
observée
pour Xiyi = a xi + b
valeur prédite par le modèle pour la valeur de xi
L’écart « » est égal à yi - yi soit égal à ei
y = b + a x
![Page 12: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/12.jpg)
Estimation des paramètres de la droite de régression (prise en compte des n écarts)
n
i 1
x
y
Somme des écarts
= « » = = ei
Somme des carrés des écarts (SCE) = = ei2
2
1
)( i
n
ii yy
)(1
i
n
ii yy
n
i 1
n
i 1
![Page 13: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/13.jpg)
Estimation des paramètres du modèle par le méthode des moindres carrés
Trouver pour le nuage des n points ( xi , yi ) une droite dont l’équation soit telle que SCE soit minimale
)(1
i
n
ii yy
SCE =
2 =2
1
))(( baxy i
n
ii
Deux inconnues: a et b Connus: n couples ( xi ,yi )
![Page 14: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/14.jpg)
Méthode des moindres carrés
2
1
))(( baxy i
n
ii
SCE = = F( a ,b )
Le minimum est atteint pour l’annulation des deux dérivées partielles:
0
0
b
SCE
a
SCE
![Page 15: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/15.jpg)
0]12[
02
1
1n
iii
n
iiii
)b))((ax(y
)xb))((ax(y
On obtient un système de deux équations à deux inconnues a et b
Méthode des moindres carrés
![Page 16: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/16.jpg)
Après simplification par - 2
0
0
11 1
11
2
1n
i
n
i
n
iii
n
ii
n
ii
n
iii
bxay
xbxayx
Méthode des moindres carrés
![Page 17: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/17.jpg)
On exprime b dans la seconde équation
n
xa
n
yb
xbxayx
n
ii
n
ii
n
ii
n
ii
n
iii
11
11
2
1
0
xayb
Méthode des moindres carrés
![Page 18: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/18.jpg)
2
2
11
2
21 11
)(
n
x
n
x
n
yx
n
yx
an
ii
n
ii
n
i
n
iii
n
iii
On remplace b par sa valeur dans la 1er équationpour obtenir a et on × par numérateur et dénominateur
n
1
Méthode des moindres carrés
![Page 19: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/19.jpg)
COVARIANCE (X,Y)
YEXEXYEYX,COV
XY2COVYVARXVARYXVAR
YX,COVXY,COV XVARXX,COV
21 11y)COV(x,n
yx
n
yxn
i
n
iii
n
iii
La covariance s’exprime comme «unité de X × unité de Y»
![Page 20: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/20.jpg)
On obtient finalement une solution unique pour la droite de régression dont le résultat général est:
XaYb
)var(
),cov(
X
YXa
Ce résultat montre bien que X et Y ne sont pas interchangeables dans la régression
La pente s’exprime comme
L’ordonnée à l’origine s’exprime
avec l’unité de Y
X de unité
Y de unité
Méthode des moindres carrés
![Page 21: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/21.jpg)
01
n
en
ii
),( yx
•La droite de régression passe par le point quiest le centre de gravité du nuage de points
•Les résidus ont une moyenne nulle (e réalisation de ε)
Le point est solution de l’équation (vérification)
),( yx
Méthode des moindres carrés
![Page 22: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/22.jpg)
Conditions d’application pour X et Y
•Quantitatives examen des données •Appariées examen des données (attention aux données manquantes)
•distribution normale du couple (X,Y) soit binormalité de X , Y
soit pour tout X, les Y ont une distribution normale etpour tout Y, les X ont une distribution normale
Rq: Si la binormalité est difficile à vérifier (souvent le cas): distribution normale des X et distribution normale des Y
?
?
?
![Page 23: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/23.jpg)
Ex: Pour chaque X, les Y sont-ils distribués normalement?
Etude des distributions des Y pour les valeurs de X (si
répétitions de y pour un x).
x
y
Distributions non normales
?
x1 x2…
* ****
********** ****
*
xk xkx1 x2…
***
******
**** **
*** ***
*****
**** *** ***
* **
Distributions normales
* ****
********** ****
*
* ****
********** ****
*
x
y
Conditions d’application pour X et Y
![Page 24: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/24.jpg)
Contrôle de l’hypothèse de linéarité
• Linéarité entre X et Y Visualisation du nuage de
points.
X
Y
* ** * *** ******
X
Y
* * *** * * ** * ** ***
Linéarité plausible Pas de linéarité
?
![Page 25: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/25.jpg)
Vérification (souvent) empirique
Etude des résidus ε
Les résidus doivent :1/avoir une distribution normale N ( 0 , σ )2/avoir une variance constante quelle que soit la
valeur de x (homoscédasticité) 3/ être indépendants (non autocorrélés). On ne peut
pas déduire la valeur d’un résidu à partir des autres résidus(tests d’indépendance des résidus).
Contrôle des hypothèses dont dépendent les propriétés de la méthode des moindres carrés
?
![Page 26: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/26.jpg)
Etude des résidus:Normalité: Histogramme des résidus (aspect gaussien)
Normalité plausible Pas de normalité
Contrôle des hypothèses dont dépendent les propriétés de la méthode des moindres carrés
![Page 27: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/27.jpg)
Etude des résidus : HomoscédasticitéGraphe des résidus en fonction du prédicteur (il ne doit pas apparaître de tendance)
Homoscédasticité plausible Hétéroscédasticité
Contrôle des hypothèses dont dépendent les propriétés de la méthode des moindres carrés
![Page 28: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/28.jpg)
VAR(Y)VAR(X)
Y)COV(X,, YX
11 , YX
X et Y ont des rôles interchangeables
Coefficient de corrélation linéaire
![Page 29: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/29.jpg)
Coefficient de corrélation linéaire (réalisation)
2
2
112
2
11
21 11
,
²²
n
y
n
y
n
x
n
x
n
yx
n
yx
rn
ii
n
ii
n
ii
n
ii
n
i
n
iii
n
iii
yx
11 , yxr
Mesure l'intensité de la liaison entre X et Y
|rx,y| Proche de 1 RELATION entre les variables
![Page 30: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/30.jpg)
2
)( 22
n
yy ii
Variance résiduelle de la régression
2
22
x
ans
Variance de a
Estimation des variances des coefficients a et b
![Page 31: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/31.jpg)
addln
at
)2(
2
2)2(
x
ddln
ns
at
H0 : = 0H1: ≠ 0(attention correspond ici à la pente et non au risque du même nom)
soit
Pour le risque de première espèce donné (en général égal à 5%)Si la valeur calculée du test de Student < valeur tabulée pour (n-2) ddl : rejet de H1Si la valeur calculée du test de Student ≥ valeur tabulée pour (n-2) ddl : rejet de H0
Test de la pente à 0
![Page 32: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/32.jpg)
addln
at
1)2(
2
2
1)2(
x
ddln
ns
at
H0 : = 1 H1: ≠ 1(attention correspond ici à la pente et non au risque du même nom)
soit
Pour le risque de première espèce donné (en général égal à 5%)Si la valeur calculée du test de Student < valeur tabulée pour (n-2) ddl : rejet de H1Si la valeur calculée du test de Student ≥ valeur tabulée pour (n-2) ddl : rejet de H0
Test de la pente à une valeur 1
![Page 33: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/33.jpg)
Test du coefficient de corrélation à 0
rddln
rt
)2(
21 2)2(
nr
rt ddln
H0 : = 0H1: ≠ 0
soit
Pour le risque de première espèce donné (en général égal à 5%)Si la valeur calculée du test de Student < valeur tabulée pour (n-2) ddl : rejet de H1Si la valeur calculée du test de Student ≥ valeur tabulée pour (n-2) ddl : rejet de H0
2
1 22
n
rrEstimation de la variance de r
![Page 34: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/34.jpg)
Remarque sur les tests
Le test de la pente à 0 et le test du coefficient de corrélation à 0
donnent la même conclusion
![Page 35: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/35.jpg)
Covariance positive Pente positiveCoefficient de corrélation positif
Relation significative si le test de la pente à 0 (ou le test du coefficient de corrélation à 0) est significatif
**
* * * ****
Y
X
** *** * **
Y
X
Covariance négative, Pente négativeCoefficient de corrélation négatifRelation significative si le test de la
pente à 0 (ou le test du coefficient de corrélation à 0) est significatif
Pas de relation entre X et Y:Les variations de Y ne dépendent
pas des variations de X Le test de la pente à 0 et le test ducoefficient de corrélation à 0 sont
non significatifs
** * * * *** * * ** **** ** ** * ** ** *
Y
X
Sens de la pente ou du coefficient r
![Page 36: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/36.jpg)
Sur les n mêmes couples (x,y) • Même signe pour a, a’ et r
(celui de cov(x,y))
• Les deux droites se coupent au point
• La valeur absolue du coefficient de corrélation linéaire est égal à la moyenne géométrique des pentes.
Relation a a’ r (aspect théorique)
baxy
'' byax XaYb
)var(
),cov(
X
YXa
)var(
),cov('
Y
XYa
YaXb ''
(Y)(X)
(X,Y)rX,Y
varvar
cov
),( yx
'aar
![Page 37: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/37.jpg)
Une fois connue l’équation de la droite :
y = b + a x il est possible de calculer la valeur de y pour x donné
Prédiction de Y à partir de l’équation de la droite : Interpolation, extrapolation
Attention :
Modèle linéaire plausible.Rester dans les limites +++
![Page 38: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/38.jpg)
• Position du problème: En préalable à une intervention chirurgicale, la mesure de L1 (longueur en mm) et la mesure de L2 (angle en degrés) sont effectuées à partir de résultats d’imagerie. La mesure L2 est particulièrement importante pour préparer l’intervention mais son obtention est plus difficile que celle de la mesure L1.
• Objectif: Le but est de savoir si la mesure L1 pourrait aider à prédire la mesure L2
Exemple
![Page 39: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/39.jpg)
mmmL 65.211
• Les mesures L1 et L2 ont été réalisées sur n=149 sujets. On admettra que la binormalité (L1,L2) est respectée.
• Les valeurs suivantes sont obtenues:
degrés 52.172 Lm22
2 degrés 48.24Ls
degrés mm35.23cov 2,1 LL
221 46.36 mmsL
Exemple
²degrés²/mm00177.02 a
![Page 40: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/40.jpg)
a = 0.640 degrés/mm
b = 3.655 degrés
Equation de la droite: L2(degrés) = 0.640 L1 + 3.655
Régression L2=aL1+b
![Page 41: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/41.jpg)
•Test de la pente à 0
= 15.2 (>1.96 Significatif)
•Prédiction de L2 pour L1=15mm13,26 degrés
•Prédiction de L2 pour L1=50mmHors limites
•r = 0.782•Test de r à 0 = 15.2 (>1.96 Significatif)
Résidus et Tests (=5%)
ddlt )147(,
Normalité plausible
ddlt )147(,
![Page 42: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/42.jpg)
• Les tests (pente à 0 et r à 0) montrent qu’il existe unerelation significative entre L1 et L2, cette relation étantpositive (signe de la covariance).
• La valeur de L1 peut ainsi aider à prédire la valeur de L2.
• Remarque: Attention, cela ne prouve pas pour autant que l’estimation de L2 obtenue à partir de la mesure de L1puisse remplacer la mesure de L2. Des tests non traités dans ce cours sont alors nécessaires pour aller plus loindans cette démarche particulière.
Régression L2=aL1+b
![Page 43: Régression ou corrélation Professeur E. Albuisson > CHU et Faculté de Médecine.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9d84497959293b8bf2cc/html5/thumbnails/43.jpg)