REGRESIA LINIARA SIMPLĂ
Transcript of REGRESIA LINIARA SIMPLĂ
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 1/61
1
REGRESIA LINIARA SIMPL
Regresie ± Se numete r egr esia var iabilei aleatoar e X în r apor t cu Y, var iabila aleatoar e
M(X/Y) cu mulimea valor ilor posibile: M(X/Y=y), . R x�
Similar, r egr esia var iabilei aleatoar e Y în r apor t cu X este: M(Y/X=x), . R y� Dac M(X/Y)=aX+ b sau M(Y/X)=cY+d se spune c r egr esia este liniar
Studiem, pentru început, cel mai sim plu model econometr ic: o var iabil endogen r epr ezint
evoluia f enomenului consider at i aceast evoluie este ex plicat pr intr-o singur var iabil exogen.
În cadrul capitolului este pr ezentat metoda de estimar e a par ametr ilor car e intervin într-un
model econometr ic, se vor examina pr opr ietile estimator ilor obinui i se vor gener aliza
r ezultatele analizei pentru modele mai com plexe. Într-o pr ima par te se va tr ata obiner ea
estimator ilor par ametr ilor modelului i pr opr ietilor lor, iar într-o a doua par te se d o inter pr etar ea
geometr ic a metodei utilizate, determinar ea intervalelor de încr eder e r ef er itoar e la par ametr i i
pr eviziunea car e poate f i fcut cu un astf el de model.
2.1. Modelul liniar al regresiei simple
Considerm modelul:
(1) t t t ba x y I ! , t=1, 2, ...,T
în car e: Y r epr ezint o var iabil endogen; X o var iabil exogen;
I o var iabil aleatoar e ale cr ei car acter istici vor f i pr ecizate pr in
ipoteze.
Se dispune de T observaii asu pr a lui Y i X , adic T cu plur i ( xt , yt ) car e sunt
r ealizr i ale lui X i Y . a i b sunt par ametr i r eali necunoscui pe car e dor im s -i
estimm cu ajutorul observaiilor ( xt , yt ) cunoscute.
Ipoteze fundamentale
Pentru a putea obine r ezultatele enunate la început, vom sim plif ica lucrur ile
im punînd o ser ie de ipoteze r estr ictive asu pr a modelului. Ulter ior, în alte capitole, se
vor r elaxa aceste r estr icii, discutînd im plicaiile abandonr ii unor a din aceste ipoteze
asu pr a calitii estimator ilor.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 2/61
2
I1:
xt i yt sunt mr imi numer ice observate fr er oar e;
X ±var iabila ex plicativ se consider dat autonom în model;
Y ±var iabila endogen este o var iabil aleatoar e, p r in intermediul lui I .
I2: a )- I urmeaz o lege de distr ibuie independent de tim p, adic media i
disper sia lui I nu depind de t :
T t E t ,...,2,1,0 !!I ,
2I W I !t V ar , cantitate f init, t .
Observaie:
S-au f olosit aici, pentru medie i disper sie, notaiile y E , r espectiv yV ar ,
pr ovenind de la Äsper ana matematic´ i Ävar iana´ unei var iabile aleatoar e. Se
pr esu pune c studenii au cunotine elementar e despr e teor ia pr obabiliti lor i
statistic matematic. Altf el, ele tr ebuie r evzute!
b)- R ealizr ile lui I sunt independente de r ealizr ile lui X în cur sul tim pului.
Aceasta este ipoteza de homoscedasticitate . În caz contr ar, exist
heteroscedasticitate.c )- Independena er or ilor (se va vedea pe parcur s c var iabila aleatoar e I
r epr ezint Äer or i´ sau Är eziduur i´). Dou er or i r elative la dou observaii dif er ite t i
t¶ sunt independente într e ele, însemnînd c au covar iana nul: 0,cov !dt t I I , ceea
ce im plic 0. !dt t E I I .
Pr in def iniie, cov( !d), t t I I ? A))())((( t t t t E E E dd I I I I i inînd cont de a ) r ezult
im plicaia.d)- Normalitatea er or ilor. Pr esu punem c I urmeaz o lege de r epar tiie
normal , cu media 0 i disper sia 2I
, ceea ce poate f i scr is astf el: 2,0 I ¡ I N � .
I3:
Pr imele momente em pir ice ale var iabilei X , pentru T f oar te mar e, sunt
f inite:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 3/61
3
§!
gp� � p�
T
t T t
x xT 1
0
1(media em pir ic).
§!
gp� � p�
T
t T t s x x
T 1
221(var iana em pir ic).
Aceast ipotez va f i f olosit pentru a pr eciza pr opr ietile asim ptotice ale estimator ilor par ametr ilor a i b.
I potezele I1, I2, I3 pot pr ea f oar te r estr ictive. Vom vedea ulter ior ce consecine
ar e abandonar ea unor a dintr e ele asu pr a pr opr ietilor estimator ilor lui a i b.
2.2. Determinarea estimatorilor parametrilor prin metoda celor mai mici
ptrate
Determinar ea estimator ilor par ametr ilor a i b (notai cu aÖ i bÖ ) pr in metoda
celor mai mici ptr ate (MCMMP) se f ace punând condiia ca suma ptr atelor er or ilor
s f ie minim, adic:
? A §§!!
!!T
t
t t
T
t
t baba x y1
2
1
2 ,N I .
Pentru ca ba,N s f ie minimal, tr ebuie ca:
1. condiii necesar e: 0!xx
aN , 0!
xx
bN .
2. condiii suf iciente: 02
2
"x
x
a
N , 0
2
22
2
2
2
"
x
x
xx
xxx
x
x
x
bab
baaN N
N N
.
Calculm der ivatele par iale ale funciei ba,N .
021
!!x
x§
!
t
T
t
t t xba x y
a
N
0121
!!x
x§
!
T
t
t t ba x y
b
N
021
22
2
§!
"!x
x T
t
t x
a
N
T b
22
2
!x
x N
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 4/61
4
§!
!xx
x!
xx
x T
t
t x
abba 1
22
2N N .
Atunci, condiiile de ordinul I (necesar e) conduc la sistemul de ecuaii:
±±°
±
±
¯
®
!
!
§§
§§§
!!
!!!
0
0
1
11
11
2
1
Tb xa y
xb xa y x
T
t
t
T
t
t
T
t
t
T
t
t
T
t
t t
,
iar condiiile suf iciente (de ordinul II) sunt ver if icate.
Ecuaiile condiii de ordinul I (numite ecuaii normale, vezi justif icar ea
geometr ic din par tea a II-a), le îm pr im la T , r ezultând:
±°
±¯
®
!
! §§!!
0
011
1
2
1
b xa y
xb x
T
a y x
T
T
t
t
T
t
t t
.
Din a doua ecuaie avem xa yb !Ö i înlocuind în pr ima ecuaie:
§
§§§
§
§
!
!
! 222221
1
Ö x x
x x y y
xT x
x yT y x
x xT
x y y xT a
t
t t
t
t t
t
t t
.
Am obinut estimator ii aÖ i bÖ ai par ametr ilor a i b dai de r elaiile:
±±°
±±¯
®
!
!
§§
xa yb
x x
x x y ya
t
t t
ÖÖ
,Ö 2
2
Observaie:
aÖ este o var iabil aleatoar e pentru c e funcie de yt , iar bÖ este aleator pentru c
e funcie de aÖ .
2.3. Proprietile estimatorilor
Vom arta c estimator ii aÖ i bÖ obinui pr in metoda celor mai mici ptr ate sunt
nedepl a sai i converg en i. În demonstr aie vom ine cont de ipotezele I 1, I2, I3. Pentru
a uur a demonstr ar ea pr opr ietilor enunate, tr ansf ormm mai întâi ex pr esiile (2)
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 5/61
5
pentru a le ex pr ima în funcie de par ametr ii a i b. Vom consider a modelul (1)
t t t ba x y I ! , t=1, 2, ...,T , însumm du p toi t i îm pr im la T . R ezult:
§ §§ ! t t t T
b xT
a yT
I 111
, adic
I ! b xa y 2 .
Scdem mem bru cu mem bru pe (2) din (1) :
I I ! t t t x xa y y
i înlocuim y yt în ex pr esia lui aÖ :
? A
§§
§§ §
§
§ §
§
§
!
!
!
!
!
22
2
2
2Ö
x x x xa
x x x x x xa
x x
x x x xa
x x
x x x xaa
t
t t
t
t t t
t
t t t
t
t t t
I I I
I I I I
(deoar ece 0)()( !! §§ x x x xt t
I I ).
Din ex pr esia lui bÖ , avem c xa yb ÖÖ ! , adic b xa y ÖÖ ! , iar din (2)
I ! b xa y , astf el c pr in scder e r ezult: I ! bb xaa ÖÖ0 sau xaabb ! ÖÖ I .
Am obinut c:
§
§
! 2Ö x x
x x
aat
t t I
xaabb ! ÖÖ I .
aÖ i bÖ sunt estimator i nedeplasai pentru a i b.
Un estimator este nedeplasat dac media estimatorului este chiar
par ametrul estimat. Vom aplica oper atorul de medie E în r elaiile gsite
mai sus. Pentru comoditate, notm cu wt cantitatea: §
! 2 x x
x x
wt
t
t , astf el c
§! t t waa I Ö
R ezult:
a E wa E a E t t !! § I Ö , pentru c E ( a )=a i E ( I t )=0.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 6/61
6
aa E x E b E b E ! ÖÖ I
Avem c: E (b)=b, §§ !!¹ º
¸©ª
¨! 0
11t t E
T T E E I I I i
0ÖÖ !!! aaa E
a E
aa E
, deci bb E !Ö
. aÖ i bÖ sunt estimator i conver geni pentru a i b.
tiind c aa E !Ö i bb E !Ö , este suf icient s artm c 0Ö � � p� gpT
aar
i 0Ö � � p� gpT
bar pentru ca aÖ i bÖ s f ie conver geni în pr obabilitate ctr e a i b.
Calculm var iana estimator ilor aÖ i bÖ .
tim c §! t t w
aa I Ö , adic §! t t waa I Ö .
§ §
§ §§
!
!¹ º
¸©ª
¨!!!
'''
22
'''
2222
2
2ÖÖ
t t
t t t t t t
t t
t t t t t t t t
E ww E w
www E w E aa E a¢ ar
I I I
I I I I
Conf orm ipotezelor fundamentale , 22I £ I !t E i 0' !t t E I I , pentru 't t { ,
r ezultând:
§§ !!2222
Ö t t wwa¤
ar I I ¥ ¥
,
dar § §
§§ !¹
¹
º
¸
©©
ª
¨
!
2
2
22 1
x x x x
x xw
t t
t
t .
În f inal, disper sia estimatorului aÖ este:
§
!2
2
Ö x x
aV ar
t
I W .
Conf orm ipotezei I3, 221 s x x
T T t � � p� gp§ i avem c
0Ö2
2
� � p� ! gpT TsaV ar I W
.
Am obinut c aa P
T � � p�
gpÖ ( aÖ este conver gent în pr obabilitate ctr e a).
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 7/61
7
Determinm acum disper sia estimatorului bÖ :
? A ? A ? A 222
22222
ÖÖ2
ÖÖ2ÖÖÖ
aa E xaa E x E
xaaaa x E xaa E bb E b¦ ar
!
!!!!
I I
I I I
Evalum, pe rînd, f iecar e termen:
T T
T V ar
T E
T E
T
T E
T E E
t
t t
t t t
t t
t t t t
2
2
2
2§
§ 22
2
§
§
2
2
22
121
211
I I W W I I I I
I I I I I
!!!!
!¼½
»¬«
¹ º
¸©ª
¨!¼½
»¬«!
§§§
§ §§
(deoar ece 0' !t t E I I ).
? A
§§§§
§ §§§
!!!
!¼½
»¬«
!¼½
»¬«
¹ º
¸©ª
¨!
t t t
t t
t t t t t
t t
t t t t t t t t
wT
V ar wT
E wT
E wT
ww E T
wT
E aa E
2
''2
''
2
111
11Ö
I ̈
I I I I
I I I I I I
dar
01
21
21
!
!
! §
§§§
§!!
x x x x x x
x xw
t
t
T
t t
t T
t
t ,
adic ? A 0Ö ! aa E I .
Folosind aceste r ezultate par iale, se obine:
§
!!!2
2222
222
2
ÖÖÖ
x x
x
T
aV ar x
T
aa E x
T
bV ar
t
I I I I W W W W
Disper sia estimatorului bÖ este:
¼¼½
»
¬¬«
!§ 2
2
2
)(
1)Ö(
x x
x
T bV ar
t
I ©
Cum îns 01
� � p� gpT T
i
011
22� � p� !
gp
§T
t Ts x x
r ezult c
0Ö � � p� gpT
bV ar , adic bb P
T � � p� gp
Ö (bÖ conver ge în pr obabilitate ctr e
b) .
2.3.1. Covariana estimatorilor aÖ i bÖ
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 8/61
8
Calculm acum covar iana estimator ilor pornind de la def iniie:
? A ? A ? A ? A
? A
§
!!!
!!!
!!!
2
22
2
ÖÖÖ
ÖÖÖÖ
ÖÖÖ(Ö)ÖÖÖ,Öcov
x x
xaV ar xaa E xaa E
aa xaa E aa xaa E
bbaa E b E ba E a E ba
t
I
I
I I .
Matr icea de var ian i covar ian a lui aÖ i bÖ , notat ba Ö,Ö; este deci:
¹¹¹¹¹¹
º
¸
©©©©©©
ª
¨
!
!
¹¹¹¹¹¹
º
¸
©©©©©©
ª
¨
¼¼
½
»
¬¬«
!¹
¹ º
¸©©ª
¨!;
§§
§§
§§
§§
2
2
2
22
2
2
2
2
2
2
2
2
2
2
Ö,Ö
1
1
1ÖÖ,Öcov
Ö,ÖcovÖ
x x
x
T x x
x
x x
x
x x
x x
x
T x x
x
x x
x
x x
bV ar ab
baaV ar
t t
t t
t t
t t
ba
I
I I
I I
W
W W
W W
Se r emarc f aptul c ba Ö,Ö; conine pe 2
I W , adic var iana lui t I car e este
necunoscut. Se pune deci pr oblema de a obine o estimaie pentru ba Ö,Ö; , adic o
estimaie pentru2
)( I
I !t V ar . Notm aceast estimaie cu
2
Ö I .
2.3.2. Determinarea unui estimator nedeplasat pentru variana erorilor
Utilizând estimator ii aÖ i bÖ putem calcula estimaia var iabilei endogene yt ,
notat t yÖ (se mai numesc i valor i ajustate ale var iabilei endogene): b xa y t t ÖÖÖ ! .
Atunci dif er ena dintr e yt i t yÖ este un estimator pentru er oar ea t I . Notm
t t t y y ÖÖ !I . Avem c
bb xaab xaba xb xa y y y t t t t t t t t t t !!!! ÖÖÖÖÖÖÖÖ I I I . Remarc:
deoar ece aÖ i bÖ conver g în pr obabilitate ctr e a i b, distr ibuia lui t I Ö conver ge în
pr obabilitate ctr e distr ibuia lui t I (distr ibuie normal, conf orm I2).
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 9/61
9
tim c xaabb ! ÖÖ I i înlocuind obinem:
x xaa xaa xaa t t t t t !! ÖÖÖÖ I I I I I .
iar pr in r idicar e la ptr at:
2222
ÖÖ2Ö x xaa x xaa t t t t t ! I I I I I .Însumm du p t=1,2,...,T i îm pr im la T :
§§§§ !2222 1
Ö1
Ö21
Ö1
x xT
aa x xT
aaT T
t t t t t I I I I I .
Dar :
§
§
!
2Ö
x x
x xaa
t
t t I , i
? A §§§§§ !!!2
Ö x xaa x x x x x x x x x x t t t t t t t t t I I I I I I
pentru c § ! 0 x xt I .
Înlocuind, r ezult:
§§§ !2222 1
Ö1
Ö1
x xT
aaT T
t t t I I I .
Notm cu § !22 1
I I
t T
disper sia er or ilor f a de media lor i cum ea
este o var iabil aleatoar e, îi calculm media 2W E :
¹ º
¸©ª
¨!!!
!¼½
»¬«
¹ º
¸©ª
¨!
¼¼½
»
¬¬«
¹ º
¸©ª
¨!!
!¼½
»¬«
!¼½
»¬«
!¼½
»¬«
!
§§
§ §§§
§§§
T T E
T E
T
T E
T E E E
T
T E
T E
T E E
t t
t t t
t t
t t t t t
t t t t
11
21
2111
12
11
22
2
''2
22
2
''
22
22
222
222222
I I
I I
I I
W W
W I I I W
I I I W I W I I
I I I I I I I I W
A plicând acum oper atorul de medie în r elaia:
§§§ ! 2222 1Ö1Ö1 x xT
aaT T
t t t I I I ,
i inînd cont de ex pr esia var ianei estimatorului aÖ , r ezult:
¹ º
¸©ª
¨ !¹ º
¸©ª
¨ !!¹ º
¸©ª
¨§§
T T T x x
T aV ar E
T E t t
21
11
1ÖÖ
1 22
2222I
I I W
W W W I .
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 10/61
10
R elaia gsit se poate scr ie i astf el: ¹ º
¸©ª
¨
! § 22 Ö2
1t
T E I W I , aa c, notând
§! 22 Ö
2
1Ö
t T
I W I , am obinut: 22ÖI I W W ! E , adic
2ÖI W este un estimator nedeplasat
pentru2I W (var iana er or ilor).
Este de r emarcat c modelul t t t ba x y I ! pr esu pune estimar ea a doi
par ametr i (a i b), iar numitorul lui 2ÖI W este T-2. (T-2) constituie Änumrul
gradelor de libertate´. Vom r eveni ulter ior asu pr a acestei pr obleme.
În concluzie, pentru modelul liniar al r egr esiei sim ple, avem estimator ii:
§§
! 2Ö
x x
x x y y
at
t t
xa yb ÖÖ !
§! 22 Ö
2
1Ö
t T
I W I
Estimatorul 2ÖI W permite s dm o estimaie a var ianelor i covar ianei
par ametr ilor din model, deci o estimaie a matr icei ba Ö,Ö; , notat ba Ö,ÖÖ; :
¹
¹
º
¸
©©
ª
¨!;
��
��
bV ar ba
baaV ar ba ÖÖ,Öcov
Ö,ÖcovÖÖÖ,Ö , unde:
§
!�
2
2ÖÖ
x xaV ar
t
I W ,
¼¼½»
¬¬«
!
§�
2
2
2 1ÖÖ x x
xT
bV ar
t
I W ,
aV ar xba ÖÖ,Öcov��
! .
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 11/61
11
2.3.3. Interpretarea geometric a metodei celor mai mici ptrate
Am determinat estimator ii aÖ i bÖ ai par ametr ilor modelului utilizând condiia
necesar de existen a minimului sumei ptr atelor er or ilor § 2t
I . Putem s dm o
condiie necesar i suf icient pentru ca § 2t I s f ie minimal, cu ajutorul unei
r epr ezentr i gr af ice. Aceast condiie va consta în egalitatea cu zer o a dou pr oduse
scalar e car e r edau ecuaiile normale.
Modelul t t t ba x y I ! se scr ie su b f orm matr iceal astf el:
I ! bU a X Y ,
unde:
¹¹¹¹
¹¹¹
º
¸
©©©©
©©©
ª
¨
!
T y
y
y
Y
.
.
.2
1
,
¹¹¹¹
¹¹¹
º
¸
©©©©
©©©
ª
¨
!
T x
x
x
X
.
.
.2
1
,
¹¹¹¹
¹¹¹
º
¸
©©©©
©©©
ª
¨
!
1..
.1
1
U
,
¹¹¹¹
¹¹¹
º
¸
©©©©
©©©
ª
¨
!
T I
I
I
I
.
.
.2
1
.
În spaiul or tonormat T � considerm vector ii Y , X, U i I .
Vectorul 0H=a X+bU apar ine planului (L) determinat de vector ii X i U . Fie 0A=Y , 0B=X , 0C=U , HA=I . Cantitatea 222
HAt § !! I I este minimal dac HA este
or togonal pe (L), adic pe X i U . Aceast condiie se tr aduce pr in egalitatea cu zer o a
Y Ö
(L)
A
B
CUH
I
Y X
O
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 12/61
12
pr odusului scalar al vector ilor r espectivi: °¯®
!�
!�
00
00
C HA
B HA, sau
°¯®
"!
"!
0,
0,
U bU a X Y
X bU a X Y , adic
±°
±¯
!
!
§§
§§§0ÖÖ
0ÖÖ 2
bT xa y
xb xa y x
t t
t t t t .
Am r egsit, deci, sistemul de ecuaii no rmale. Notm Y Ö pr oiecia pe planul (L) a vectorului Y i cu I Ö vectorul HA or togonal
la planul (L).
A ef ectua o r egr esie a var iabilei Y asu pr a var iabilei X în modelul
t t t ba x y I ! r evine, deci, la a pr oiecta vectorul Y pe planul (L) din T � determinat
de X i U .
Observaie:
Considerm modelul t t b y I ! . O r epr ezentar e analog celei dinainte este:
În scr ier e matr icial, modelul este I ! bU Y , iar conf orm cu r epr ezentar ea
gr af ic, avem r elaia OA=OH+HA.22
HAt § !I este minimal dac H HA 0B ( HA este per pendicular pe 0H ), adic
0!�U HA sau 0, "! U bU Y sau § !� 0bT yt , § !! y yT
bt
1Ö i Y U yU b H !�!�! Ö0 .
Msur a algebr ic a pr oieciei vectorului Y pe su por tul vectorului U este y . Vom
utiliza aceast observaie pentru a ex pr ima ecuaia var ianei.
E cuaia varianei
0
Y
A
U H
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 13/61
13
R elum r epr ezentar ea geometr ic pr ecedent i notm cu K pr oiecia lui A pe
su por tul vectorului U :
Evident, K H este per pendicular în K pe 0C . În tr iunghiul A K H , dr eptunghic,
avem:
2221 HA KH AK ! .
tim c b xa y t t ÖÖÖ ! i §§ ! b x
T a y
T t t
Ö1ÖÖ
1, adic: b xa y ÖÖÖ ! . Dar i
b xa y ÖÖ ! , r ezultând c y y Ö! .Deoar ece: A K =0A-0 K ( K A0( dr eptunghic în K)
H K =0H-0 K ( H K 0( dr eptunghic în K),
r ezult, f olosind (1):
§ § §! 222Ö Ö 2 t t t y y y y I
r ezidual
ateaVar iabilit
r egr esieidator at
ateaVar iabilit
totalã
ateaVar iabilit!
Aceasta este ecuaia var ianei. Vom r eveni asu pr a ei când vom aborda r egr esia
multipl.
2.3.4. Coeficientul de corelaie liniar
Y Ö
(L)
A
B
CUH
I Ö
YX
K Y O
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 14/61
14
Coef icientul de cor elaie liniar într e var iabilele X i Y , notat V, se calculeaz
cu r elaia:
§ §
§
�
!
22
x x y y
x x y y
t t
t t V .
În gener al, Y X
XY
Y X
W W V
�!
,cov , unde X W i Y
W sunt abater ile standard (r adicalul
disper siei) ale var iabilelor X i Y.
tim c estimatorul par ametrului a ar e ex pr esia
§
§
!
2Ö
x x
x x y ya
t
t t , astf el c
putem scr ie:
§
§
§ §
§
§
§
!
�
!
2
2
22
2
2
Ö
y y
x xa
x x y y
x x
x x
x x y y
t
t
t t
t
t
t t V . Am obinut o ex pr esie a
coef icientului de cor elaie în funcie de estimator, iar pr in r idicar e la ptr at:
§
§
!
2
222
Ö
y y
x xa
t
t V .
Un calcul imediat ar at c:
? A ? A §§§ § § !!!!222222
ÖÖÖÖÖÖÖÖÖ x xa x xab xab xa y y y y t t t t t .
În acelai tim p, ecuaia var ianei conduce la: § § §! 222ÖÖ
t t t y y y y I , de unde:
§
§
§
§ §
§
§
!
!
!
2
2
2
22
2
2
2Ö
1ÖÖ
y y y y
y y
y y
y y
t
t
t
t t
t
t I I V .
Pe de alt par te, utilizând f igur a geometr ic i notând cu unghiul H K A Ö , avem
AK KH !Ecos , §
§!!
2
2
2
2
2 Öcos y y
y y AK
KH
t
t E , adic §
§
!! 2
222
Ö
1cos y yt
t I
E V .
În mod necesar, 10 2ee V i 11 ee V .
Când 0! V , nu exist o r elaie de tip liniar ba x y t t ! într e yt i xt , adic
a=0.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 15/61
15
Când 12 ! V , yt este legat de xt pr intr-o r elaie de f orma ba x y t t ! . 1! V
im plic a>0, iar 1! V im plic a<0.
Când r elaia dintr e yt i xt nu este str ict, adic ba x y t t $ , atunci V este
apr opiat de 1, semnul lui V f iind cel al lui a.
2.3.5. Distribuia de probabilitate a estimatorilor
Deoar ece er or ile I t t=1,2,...,T au o distr ibuie normal, de medie zer o i disper sie 2I W , densitatea de
pr obabilitate a lui I t este:
T t f t
t ,...,2,1,
21ex p
21
2
2!
À¿¾
°®̄!
I I W I
T W I .
Cum I t i I t¶ sunt independente pentru t t { , densitatea de pr obabilitate a vectorului aleator (I 1 , I 2 , ..., I T ) va f i
egal cu pr odusul densitilor de pr obabilitate r elative la f iecar e I t .
±À
±¿¾
±°
±¯
¹¹ º
¸©©ª
¨!
§2
2
21 2
1ex p
2
1,...,,1
I I W
I
W I I I
t
T
t f
Dar, ba x y t t t !I i
)Ö()Ö(Ö
ÖÖÖÖÖÖÖÖ
bb xaa
bb xaab xa ybb xa xaba x yba x y
t t
t t t t t t t t t
!
!!!
I
(deoar ece t t t t t y yb xa y I ÖÖÖÖ !! ).
Evalum suma ptr atelor er or ilor :
? A
? A2222
2222
222
ÖÖÖÖÖÖ
ÖÖ2ÖÖÖ2ÖÖ2ÖÖÖ
ÖÖÖ
§§§
§
§§ §
!¼½»¬« !
!¼½»
¬« !
!!!
bb xaabb xaa
xbbaabb xaabb xaa
bb xaaba x y
t t t t
t t t t t t
t t t t t
I I
I I I
I I
( 0ÖÖ2 ! t t xaaI , 0ÖÖ2 ! bbt I pentru c aa cum ar at r epr ezentar ea gr af ic, vectorul I Ö este or togonal la
planul (L), pr in urmar e este per pendicular pe or ice vector din acel plan, deci i pe X i U . Pr odusele scalar e cu aceti
vector i vor f i nule, adic: 0,Ö "! X I i 0,Ö "! U I ).
Într-o scr ier e matr icial:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 16/61
16
? A ¹¹ º
¸©©ª
¨
¹¹
º
¸©©ª
¨¹¹
º
¸©©ª
¨
! §§
bb
aa
T xT
xT x
bb
aabb xaa t
t ÖÖ
ÖÖÖÖ
2
2
( lasm studenilor plcer ea de a ver if ica !).
Înlocuind în (1) f iecar e I t pr in ex pr esiile calculate mai sus, deducem densitatea de pr obabilitate a vectorului aleator
( y1 , y2 ,..., yT ):
±À
±¿¾
±°
±¯®
¹¹ º
¸©©ª
¨
¹¹
º
¸©©ª
¨¹¹
º
¸©©ª
¨
±À
±¿¾
±°
±¯®
¹¹
º
¸©©ª
¨!
!±À
±¿¾
±°
±¯®
¹¹
º
¸©©ª
¨!
§§
§
bb
aa
T xT
xT x
bb
aa
ba x y y y y
t t
T
t t
T
t
ÖÖ1
ÖÖ
2
1ex p
Ö
2
1ex p
2
1
2
1ex p
2
1,...,,
2
2
2
2
2
2
21
I I I
I I
W W
I
T W
W T W N
inând cont de matr icea de var ian i covar ian a estimator ilor, ba Ö,Ö; , se ar at uor c:
1
Ö,Ö
2
2
1 ;!¹
¹ º
¸©©ª
¨§ba
t
T xT
xT x
I W i bah g y y y t
T
t Ö,ÖÖ
2
1,...,, 21 �¹
¹ º
¸©©ª
¨! I
T W N
I
unde t g I Ö este densitatea de
pr obabilitate a lui t
I Ö , iar bah Ö,Ö cea a lui ba Ö,Ö .
Cu aceste r ezultate i fcînd apel la unele teor eme im por tante ale statisticii matematice, putem deduce
urmtoar ele distr ibuii de pr obabilitate:
1. Deoar ece §
! 22 Ö2
1Ö
t T
I W I , adic 22 Ö2ÖI W I !§ T t , var iabila aleatoar e def init de
r apor tul ¹¹ º
¸©©ª
¨! § 2
22
2
Ö1Ö
2t
T I W W
W
I I
I urmeaz o r epar tiie G2 (hi- ptr at) cu (T-2) gr ade de
liber tate. (Vectorul I Ö admite T-2 com ponente independente nenule distr ibuite du p T-2 legi
normale independente, cu media zer o i abater e standard I W )
2. Folosind r elaile de calcul stabilite anter ior, r ezult c 2Ö
2Ö
2
2 ÖÖ
a
a
W
W
W
W
I
I !
(am utilizat aici notaiile )Ö(2Ö aV ar a !W i )Ö(ÖÖ 2
Ö ar aV a !W pentru var iana estimatorului aÖ , r espectiv
pentru estimaia acesteia). Atunci var iabila aleatoar e def init de r apor tul 2Ö
2ÖÖ
2a
aT W
W urmeaz tot o r epar tiie
G2 cu (T-2) gr ade de liber tate.
3. Cu plul ba Ö,Ö urmeaz o r epar tiie normal bidimensional, astf el c var iabilele aleatoar e
def inite mai jos au r epar tiiile urmtoar e: 1,0Ö
Ö
N aa
a
�
W ;
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 17/61
17
2ÖÖ
Ö�
T
a
S aa
W (r epar tiia Student cu (T-2) gr ade de liber tate);
1,0Ö
Ö
N bb
b
�
W ;
2ÖÖ
Ö�
T
b
S bb
W .
4. Ex pr esia ±À
±¿¾
±°
±¯®
¹¹ º
¸©©ª
¨
;¹¹
º
¸©©ª
¨
!
bb
aa
bb
aa F
ba ÖÖ
ÖÖ
2
1 1Ö,Ö
este var iabil aleatoar e r epar tizat Fisher-
Snedecor, cu 2 i (T-2) gr ade de liber tate.
2.4. Teste i intervale de încredere
Pentru c exist tabele cu valor ile legilor de pr obabilitate anter ioar e, putem determina intervale de încr eder e
pentru par ametr ii a i b la un nivel de semnif icaie E f ixat.
EW E
!À¿¾
°¯
e
1Ö
Ö
Ö
t aa
obr a
Et este luat din tabela distr ibuiei Student cu (T-2) gr ade de liber tate. Un calcul sim plu conduce la intervalul
de încr eder e pentru par ametrul a, de f orma:
aa t aat a ÖÖ ÖÖÖÖ W W EE ee
ceea ce permite af irmaia c adevr ata valoar e a par ametrului r eal a , se gsete în intervalul de valor i
? Aaa t at a ÖÖ ÖÖ;ÖÖ W W EE cu pr obabilitatea 1-.
Când se dor ete testar ea unei valor i a0 a par ametrului a, este suf icient, pentru a accepta aceast valoar e cu
r iscul E, s ne asigurm c:
E
W
t aa
a
e
Ö
0
Ö
Ö.
Altf el spus, este suf icient ca a0 s apar in intervalului de încr eder e stabilit: ? Aaa
t at aa ÖÖ0 ÖÖ,ÖÖ W W
� .
De asemenea, _ a EE !e 12,2, T obr .
2,2, ! T E este ecuaia unei elipse cu centrul în baw Ö,Ö car e def inete astf el o Är egiune´ de încr eder e
pentru cu plul ba, la nivelul de semnif icaie E:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 18/61
18
Pr oieciile acestei elipse pe axe determin, de asemenea, dou intervale de încr eder e pentru a i b, centr ate în
aÖ i bÖ . Dar, este im por tant de r emarcat c, nivelul de semnif icaie r ef er itor la aceste intervale nu mai este nivelul E
asociat elipsei.
Dac se dor ete testar ea simultan a dou valor i a0, b0 alese apr ior i, este suf icient s înlocuim a i b în ex pr esia
F pr in a0 i b0.
Dac 2,2,, 00 e T F ba F E se accept valor ile, altf el ele vor f i r espinse. Altf el spus, pentru a
accepta cu plul ( a0, b0 ) la nivelul de semnif icaie E este suf icient ca punctul M 0( a0 ,b0 ) s apar in elipsei de încr eder e
asociat cu plului ( a, b).
Observaii:
1.
Ex pr esia T y y y ,...,, 21N se descom pune în doi f actor i ( g i h). g se ex pr im doar în funcie de t I Ö , adic în
funcie de yt , aÖ , bÖ ; h nu conine decât pe aÖ , bÖ , a i b. Aceasta ar at c, odat cunoscut o r ealizar e a
cu plului ba Ö,Ö , legea de pr obabilitate condiionat a lui yt (dat de f actorul g ) nu depinde decât de valor ile
adevr ate (dar necunoscute) ale par ametr ilor a i b. Se zice c ba Ö,Ö sunt estimator i Äexhaustivi ́ pentru a i b,
adic ei r ezum toat inf ormaia pe car e eantionul o poate aduce despr e a i b.
2. Când ipoteza de normalitate asu pr a er or ilor t I este r ealizat, funcia de ver osimilitate r elativ la eantionul
T
y y y ,...,, 21 este chiar funcia T
y y y ,...,, 21N . Pentru obiner ea de estimator i ai lui a i b pr in metoda
ver osimilitii maxime, este suf icient s maximizm ex pr esia T y y y ,...,, 21N , adic s minimizm
§ 2
ba x yt t
. Estimator ii ba Ö,Ö obinui cu metoda celor mai mici ptr ate coincid, deci, cu cei obinui
pr in metoda ver osimilitii maxime.
3. Atunci când ipoteza de normalitate a er or ilor nu se r ealizeaz, se va arta c estimator ii aÖ i bÖ obinui pr in
metoda celor mai mici ptr ate au var iana minim pr intr e toi estimator ii liniar i centr ai în a i b (se va da o
demonstr aie pe cazul gener al).
A aÖ A¶
a
b B
¶
bÖ
B
w
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 19/61
19
2.5. Previziunea cu modelul liniar
Fie U x r ealizar ea var iabilei exogene la momentul U. Valoar ea pr evizionat pentru endogena Y va f i:
b xa y P ÖÖ ! UU ,
iar r ealizar ea ef ectiv a lui Y este:
UUU I ! ba x y .
Er oar ea de pr eviziune se poate ex pr ima pr in var iabila aleatoar e UUy ye
P
P ! .
UUUU I ! bb xaa y y P ÖÖ .
Se r emarc imediat c 0! P e E , iar var iana er or ii de pr eviziune este:
? A ? A ? Abb E aa E xbbaa E x
E bb E aa E x y y E eV ar P
P
!!
Ö2Ö2ÖÖ2
ÖÖ 22222
UUUU
UUUU
I I
I
Ultimii doi termeni sunt nuli (s -a demonstr at anter ior !) (I i aÖ , ca i I i bÖ sunt necor elai).
Deci:
ba xV ar bV ar aV ar xeV ar P Ö,Öcov2ÖÖ2
UUUI ! .
Notm var iana er or ii de pr eviziune cu P eV ar !2U
Q i f olosind r elaiile de calcul anter ioar e, r ezult:
¼
¼
½
»
¬¬«
!
!
¼¼
½
»
¬¬«
!
§
§§§
2
2
2
2
22
2
22
2
222
11
21
x x
x x
T
x x
x x
x x
xT
T x x x
t
t t t
U
I
I U
I
I I
UU
W
W W
W W Q
2I W este necunoscut, dar estimat pr in 2Ö
I W i var iana estimat a er or ii de pr eviziune este:
¼
¼
½
»
¬¬«
!
§2
2
22 11ÖÖ
x x
x x
T t
U
I UW Q
Aceast var ian poate f i r edus, pe de o par te pr in cr eter ea numrului de observaii (T ), iar pe de alt par te,
pr in aleger ea lui U x astf el încât 2 x x U
s nu f ie pr ea mar e (adic fcând o pr eviziune pe termen scur t).
Deoar ece er or ile sunt normal distr ibuite, 2,0 I W I N t � atunci i N aa �Ö i N bb �Ö (urmeaz legi
normale). R ezult urmtoar ele distr ibuii de pr obabilitate pentru var iabilele:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 20/61
20
1,0 N y y
P
�
U
UU
Q.
U
UU
QÖ
y y P
urmeaz o lege Student cu T-2 gr ade de liber tate pentru c 2
2
2
2 Ö2
Ö2
I
I
U
U
W
W
Q
Q! T T .
În planul ( x , y ) tr asm dr eapta de ajustar e b xa y ÖÖ ! . Fie P y x P UU , punctul situat pe dr eapta de ajustar e.
Putem construi, având P ca centru i par alel cu axa 0 y un interval de încr eder e M 1 M 2 la nivelul de semnif icaie E.
E Q
E
U
UU !±À
±¿¾
±°
±¯®
1Ö
2
t y y
P P
.
2
Et f iind luat din tabela distr ibuiei Student. Pentru T dat,U QÖ ca funcie de 2 x x U
este minim pentru
x x !U. Punctele M 1 i M 2 sunt deci situate, când U var iaz, pe dou arce de cur b (vezi f igur a), car e determin astf el
r egiunea cr eia îi apar ine U
y pentruU
x dat, cu o pr obabilitate egal cu (1-E ).
Observaii
1. ÄO var iabil aleatoar e t este distr ibuit du p o lege Student cu T-2 gr ade de liber tate dac ex pr esia 2
2
T
t
este r apor tul dintr e o var iabil aleatoar e distr ibuit 2 G cu 1 gr ad de liber tate i o alta distr ibuit 2
G cu (T-2) gr ade de
liber tate´. Fie a
aat ÖÖ
ÖW ! . Atunci:
l iber t atede grade2)-(T cu
l iber t atede grad uncu
T
aa
T
aa
T
t 2
a
a
a
a G
G
W
W
W
W
2
2Ö
2Ö
2Ö
2
2Ö
22
Ö2
Ö
Ö2
Ö
2!
!
!
.
M 1
M 2
P
x U
x
y
P yU
y
b xa y ÖÖÖ !
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 21/61
21
2. ÄO var iabil aleatoar e F este distr ibuit du p o lege Fisher-Snedecor cu n1 i n2 gr ade de liber tate dac
ex pr esia 2
1
n
F n este r apor tul dintr e o var iabil aleatoar e distr ibuit 2
G cu n1 gr ade de liber tate i o alta distr ibuit 2 G
cu n2 gr ade de liber tate´.
Fie
À¿¾
°¯®
¹
¹
º
¸
©
©
ª
¨
;
¹
¹
º
¸
©
©
ª
¨
!
bb
aa
bb
aa F
ba
Ö
ÖÖ
Ö
Ö
2
1 1Ö,Ö
.
Atunci:
l iber t atede grade2)-(T cu
l iber t atede graded ouacu
T
bb
aa
T xT
xT x
bb
aa
T
bb
aa
T xT
xT x
bb
aa
T
F
2
t
t
G
G
W
W
W
W
I
I
I
I
2
2
2
2
2,
2
2,
Ö2
ÖÖ
ÖÖ
Ö2
ÖÖ
ÖÖ
2
2
!
¹¹ º
¸©©ª
¨
¹¹
º
¸©©ª
¨¹¹
º
¸©©ª
¨
!
!
¹¹ º
¸©©ª
¨
¹¹
º
¸©©ª
¨¹¹
º
¸©©ª
¨
!
§
§
pentru c ba Ö,Ö urmeaz o lege normal bidimensional.
3. Jacobianul tr ansf ormr ii permite ex pr imar ea densitii de pr obailitate a vectorului aleator T y y y ,...,, 21
pornind de la cea a lui T
I I I ,...,, 21 . Când T
f I I I ,...,, 21 este cunoscut, pentru a obine T
y y y ,...,, 21N ,
pr ocedm astf el:
Înlocuimt
I pr in ex pr esia ei în funcie de t
y ;
Înmulim ex pr esia obinut cu valoar ea absolut a determinantului:
1
1...00
............
0...100...01
...
............
...
...
21
2
2
2
1
2
1
2
1
1
1
!!
x
x
x
x
x
x
x
x
x
x
x
xx
x
x
x
x
x
!!
T
T T T
T
T
y y y
y y y
y y y
y D
D J
I I I
I I I
I I I
I
J y y y f y y y T T T .,...,,,...,, 221121 I I I N !
4. Am vzut c §! t t waa I Ö , t I i aa Ö f iind distr ibuite normal. aa Ö este o com binaie liniar
de t I . Deci:
1,0ÖÖ
N aa
a
�
W
2Ö
2Ö
a
aa
W
este distr ibuit G
2 cu 1 gr ad de liber tate pentru c este ptr atul unei var iabile aleatoar e N (0,1).
1,0Ö
Ö
N bb
b
�
W
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 22/61
22
1
22Ö
2Ö G
W �
b
bb
Deoar ece §§ § !2222 ÖÖ x xaa t t t I I I , pr in îm pr ir ea la 2
I W , obinem:
§§§
!2
2
2
2
2
2
2 ÖÖ x x
aat
t t
I I I W W
I I
W
I
2
)1(2
)1(2
)(2
2
2
2
2
2ÖÖ
!!! §§
T T
t t T G G G
W I
W
I
W
I I
I I I
21
22
2
2
Ö
ÖÖ G
W I
�
!
§aV ar
aa x x
aat
R ezult c:
2 )2(2 )1(2 )1(2
2Ö !!§ T T
t G G G
W
I
I
.
2.6. Experien de calcul
Pentru a studia cum var iaz cheltuielile de într einer e i r epar aii ale unui utilaj agr icol în funcie de Ävâr sta´
utilajului, s-au cules urmtoar ele date:
Vâr sta utilajului ( xt )
±în luni-
15 8 36 41 16 8 21 21
Cheltuieli anuale de într einer e i r epar aii ( yt )
±în RON-
48 43 77 89 50 40 56 62
Vâr sta utilajului ( xt )
±în luni-
53 10 32 17 58 6 20
Cheltuieli anuale de într einer e i r epar aii ( yt )
±în RON-
100 47 71 58 102 35 60
Rezolvare:
Cutm s estimm par ametr ii unei r egr esii liniar e înte var iabilele X i Y , de f orma t t t ba x y I ! ,
pr esu punînd c sunt îndeplinite ipotezele fundamentale I1,I2,I3.1. Pentru a calcula estimator ii, se f olosesc r elaiile de calcul stabilite anter ior (în cadrul seminarului se vor
pr ezenta f acilitile de calcul of er ite de dif er ite pachete de pr ogr ame dedicate). Elementele necesar e calculului sunt date
în tabelul ce urmeaz:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 23/61
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 24/61
24
Pe baza elementelor din tabelul de calcul, se determin:
- §!
!!!T
t
t xT
x1
133,2436215
11§
!
!!!T
t
t yT
y1
533,6293815
11
- 28,1)133,24(1512490 )533,62)(133,24(1527437.Ö 2222 !
!!
!
§§§§ xT x
y xT y x x x
x x y yat
t t
t
t t -
67,31)133,24(28,1533,62ÖÖ !!! xa yb
- coef icientul de cor elaie liniar:
9894,0733,3753733.6269
)533,62)(133,24(152743722
!
!�
!
§ §
§ x x y y
x x y y
t t
t t V
Valoar ea apr opiat de 1 a coef icientului de cor elaie ar at c într e cele dou var iabile studiate exist o
cor elaie liniar.O bservaie: Am vzut c:
§
§§§
§
§
!
!
!
2
2
2
2
2
222
)(
)ÖÖ(
)(
)ÖÖ(Ö
y y
y y
y y
xa xa
y y
x xa
t
t
t
t
t
t V
Ptr atul coef icientului de cor elaie liniar este r apor tul dintr e var iabilitatea ex plicat pr in model i
var iabilitatea total.
- ecuaia de analiz a var ianei:
variabil it atea t ot al = variabil it atea e x pl icat + variabil it atea r ezid ual
§ § §! 222
Ö Ö t t t y y y y I
6269,733 = 6137,719 + 132,014
În spaiul observaiilor, Y este cu atât mai bine ex plicat pr in modelul liniar, cu cât este mai apr oape se
planul (L) gener at de vector ii X i U (vectorul unitar), deci cu cât var iabilitatea r ezidual este mai mic f a
de var iabilitatea em pir ic total. Aceasta f ace ca r apor tul dintr e var iabilitatea ex plicat pr in model i
var iabilitatea total, adic 2, s f ie apr opiat de 1.
- estimaiile var ianelor r eziduur ilor i ale estimator ilor :
15,10215
0144,132Ö
2
1Ö 22 !
!
!
§t
T
I W I
;0027,0733,3753
15,10ÖÖ
2
2
!!
!§
�
x xaV ar
t
I W 052,00027,0Ö Ö !!aW
25,2733,3753
)133,24(
15
115,10
1ÖÖ
2
2
2
2 !¼½
»¬«
!¼¼
½
»
¬¬«
!
§
�
x x
x
T bV ar
t
I W
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 25/61
25
5,125,2Ö Ö !!b
W
- calculul intervalelor de încr eder e pentru estimator i:
Var iabilele aleatoar e
a
aa
ÖÖ
Ö
W
i
b
bb
ÖÖ
Ö
W
urmeaz f iecar e o r epar tiie Student cu (T-2) gr ade de
liber tate. Alegând un nivel de semnif icaie =0,05, putem extr age din tabelele r epar tiiei (astf el de tabele se
gsesc în major itatea cr ilor de econometr ie, sau de statistic matematic) valoar ea ttab cor espunztoar e
numrului de gr ade de liber tate i nivelului de semnif icaie ales. În cazul nostru, pentru T-2=13 gr ade de
liber tate i =5%, gsim ttab=2,16. Intervalele de încr eder e vor f i:
? A!� aa t at aa ÖÖ ÖÖ;ÖÖ W W EE [1,28-(2,16)(0,052) ; 1,28+(2,16)(0,052)]=
= [1,17 ; 1,39]
? A!� bb t bt bb ÖÖ ÖÖ
;ÖÖ
W W EE [31,67 ±(2,16)(1,5) ; 31,67+(2,16)(1,5)]==[28,43 ; 34,91]
Pr in urmar e, putem af irma c valor ile par ametr ilor r eali a i b se gsesc în aceste intervale cu o
pr obabilitate de 95%.
Stabilim acum un interval de încr eder e pentru estimatorul var ianei er or ilor. Am vzut c var iabila
aleatoar e ¹¹ º
¸©©ª
¨! § 2
22
2
Ö1Ö
2t
T I W W
W
I I
I urmeaz o lege de r epar tiie hi- ptr at cu (T-2) gr ade de liber tate.
În tabelele legii hi- ptr at vom gsi, pentru un nivel de semnif icaie dat, dou valor i: v1 având
pr obabilitatea (1-/2) de a f i depit, r espectiv v2 având pr obabilitatea (/2) de a f i depit, astf el c
EW
W
I
I !¼½
»¬«
ee 1Ö
)2(Pr 22
2
1 vT vob
Se obine astf el intervalul de încr eder e:
¼½
»¬«
�1
2
2
22 Ö)2(
;Ö)2(
v
T
v
T I I I
W W W
pentru =0,05 i 13 gr ade de liber tate extr agem din tabel v1=5,01 i v2=24,7 r ezultând intervalul:
!¼½»
¬«
�01,5
15,10)215(;7,24
15,10)215(2I W [5,34 ; 26,34]
- testm dac par ametr ii a i b ai modelului sunt semnif icativ dif er ii de zer o la pr agul de semnif icaie
=0,05.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 26/61
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 27/61
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 28/61
28
Nu exist nici o mulime de p numer e r eale iP , i=1,2,..., p astf el încât
01
!§!
p
i
it i xP , t=1, 2, ...,T .
Matr icea X de f ormat (T x p) ar e în acest caz r angul p (T > p) i matr icea (X¶X), unde X¶ este tr anspusa lui X , este nesingular, deci exist inver sa ei (X¶X)-1.
b. Atunci când gpT , matr icea X X T
'1
tinde ctr e o matr ice f init, nesingular.
3.2. Determinarea estimatorilor parametrilor
Pentru a scr ie ecuaiile normale utilizm inter pr etar ea geometr ic dat în capitolul II. Ne
pr opunem s minimizm ex pr esia §!
!T
t
t U 1
2I .
Fie vector ii Y , X 1, X 2,..., X p în spaiul or tonormat T � .
Vectorul ¹¹¹¹
¹
º
¸
©©©©
©
ª
¨
!
p
p
a
a
a
X X X X a...
,...,, 2
1
21 apar ine su bspaiului (L) gener at de vector ii X 1,
X 2,..., X p. Cantitatea 22§ !! I I t U va f i minim atunci când vectorul X aY !I este or togonal
Y Ö
(L)
A
X p
X1H
I Ö
Y
X2
O
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 29/61
29
la su bspaiul (L). Aceast condiie se tr aduce pr in egalitatea cu zer o a pr oduselor scalar e dintr e vectorul
X aY i or ice vector din su bspaíul (L),deci i X1,X2,...,X p:
±±
°
±
±
¯
6
"!
"!
"!
0,...
...............0,...
0,...
2211
22211
12211
p p p
p p
p p
X X a X a X aY
X X a X a X aY
X X a X a X aY
Ef ectuînd pr odusele scalar e, r ezult sistemul de ecuaii:
Sau, cu notaiile
matr iciale intr oduse:
X ¶Y=( X ¶ X )a ,de unde r ezult:
(3) Y X X X a ''Ö 1!
3.3. Proprietile estimatorului aÖ
Artm c aÖ este un estimator nedeplasat al lui a i deducem ex pr esia matr icei de var ian i
covar ian aÖ; .
a. tr ansf ormm ex pr esia (3) înlocuind Y pr in ex pr esia lui în funcie de X :
(4)
I I
I
''''''
''''Ö111
11
X X X a X X X a X X X X
X a X X X Y X X X a
!!
!!!
A plicând oper atorul de medie ex pr esiei (4), r ezult:
I E X X X aa E ''Ö 1! .
Dar, 0!I E conf orm I2, deci aa E !Ö , adic aÖ este estimator nedeplasat pentru a.
b. Pr in def iniie:
'ÖÖÖ aaaa E a !; .
¹¹
¹¹¹
º
¸
©©
©©©
ª
¨
¹¹
¹¹¹
º
¸
©©
©©©
ª
¨
!
¹¹
¹¹¹
º
¸
©©
©©©
ª
¨
§§§
§§§§§§
§
§§
p pt t pt t pt
pt t t t t
pt t t t t
t pt
t t
t t
a
a
a
x x x x x
x x x x x
x x x x x
y x
y x
y x
....
...
............
...
...
...2
1
221
22212
12121
2
1
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 30/61
30
Din (4) r ezult: I ''Ö 1 X X X aa
! i 1'')Ö( !d X X X aa I pentru c 1
'
X X este o matr ice
simetr ic. Atunci:
11'''''ÖÖ ! X X X X X X aaaa II i
11Ö '''' !; X X X E X X X a II .
Îns I II ;!' E este matr icea de var ian i covar ian a lui I . tim c I E 2
' I W II ! ( I este
matr icea unitate de ordinul T ). Atunci r ezult:
12112121Ö '''''''
!!!; X X X X X X X X X X X X X X a I I I W W W
Se poate arta c dac ipoteza a) din I3 rmâne valabil când gpT , atunci aÖ este estimator
conver gent ctr e a.
Pr o po ziie. Estimatorul Y X X X a ''Ö
1
! este cel mai bun estimator liniar nedeplasat al lui a.
Pentru a arta aceast pr opr ietate vom construi un estimator liniar pentru a car e s aib var iana
minim i el va f i identic cu cel obinut pr in MCMMP. Fie a* un estimator liniar al lui a, adic a*= M Y ,
unde M este o matr ice cu coef icieni constani de f ormat (p xT). Estimatorul a* este nedeplasat dac:
a X a M E Y M E a E !!! I *
adic a M X M E a E M X a E !! I * pentru c 0!I E .
Pentru ca a* s f ie nedeplasat, tr ebuie ca ( M X)= I (matr icea unitate de ordinul p).
Construim acum matr icea de var ian i covar ian a lui a*:
? A'***
aaaa E a !;
Dar, I I I M aM aM X X aM M Y a !!!!* , deci I M aa !* ,
'''* M aa I ! i ''''' 2*
MM M M E M M E a I W II II !!!; . Pentru ca a* s f ie de var ian
minim, tr ebuie ca Äurma´ matr icei ( MM ¶) s f ie minim, su b r estr icia ( M X)= I . Urma unei matr ici este,
pr in def iniie, suma elementelor de pe diagonala pr incipal. Notm U r (X) urma matr icei X . U r este un
oper ator liniar (demonstr ai!). R ezolvând pr oblema de extr emum condiionat:
°®̄
! I M X r s MM M inU r
..
'
se obine soluia ''1 X X X M
! , adic Y X X X M Y a ''*1!! . Am gsit c aa Ö* ! .
Un astf el de estimator se numete Äestimator BLUE´ ( best liniar un biaised estimator).
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 31/61
31
3.4. Determinarea unui estimator nedeplasat al varianei 2I W
Var iana r eziduur ilor 2I W f iind necunoscut, avem nevoie de un estimator al ei. Dac p este
numrul de coef icieni de estimat în model, se va arta c:
§! 22 Ö1Ö
t pT
I W I
Avem c: I ! X aY ;
a X Y ÖÖ ! ;
a X X aY Y ÖÖÖ !! I I ;
aa X ! ÖÖ I I .
Dar : I ''Ö 1 X X X aa
! i I I I ''Ö 1
X X X X
!
? AI I ''Ö 1 X X X X I
! .
Notm: ''1 X X X X I
!+ .
+ este o matr ice de f ormat (T xT) cu pr opr ietile +¶=+ (simetr ic) i +2=+ (idem potent de gr ad
2). Am obinut I I +!Ö . Evalum acum § 2Öt I , car e su b f orm matr iceal este:
§ §§{
!+!++!�!i ji
jiijiiit I I K I K I I I I I I I 22'''Ö'ÖÖ , unde K ij este elementul matr icii + situat la
inter secia liniei i cu coloana j.
Atunci, r ezult c:
§ §§{
!i ji
jiijiiit E E E I I K I K I 22Ö .
Îns, 0! ji E I I conf orm I2 i 7
!!! §§§ U r E E i
ii
i
iiit
2222ÖI I W W K I K I .
Artm c pT U r !+ .
''''11 X X X X U r I U r X X X X I U r U r
!!+
T I U r !
p X X X X U r X X X X U r !! 11 ''''
( permutar ea într e 1' X X X i ' X este posibil dator it f ormatului acestor matr ici i pr opr ietilor
oper atorului U r .)
În f inal r ezult:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 32/61
32
22ÖI W I pT E
t !§ , ¼½
»¬«
!
! §§ 222 Ö
1Ö
1t t
pT E E
pT I I W I
, astf el c
§! 22 Ö
1Ö
t pT
I W I este estimator nedeplasat al lui 2I W .
T este numrul de observaii, p este numrul de par ametr i de estimat i r elaia gsit o
gener alizeaz pe cea din capitolul II.
3.5. Teste i regiuni de încredere
I poteza de normalitate a er or ilor I t f iind îndeplinit, se pot gener aliza r ezultatele obinute la
r egr esia sim pl. Deoar ece I ''Ö 1 X X X aa
! , r ezult c aÖ este distr ibuit du p o lege normal în p
dimensiuni, cu media 0Ö !a E i disper sia 12Ö '
!; X X a I W . Pentru un estimator iaÖ dat, avem c:
(*)
ia
ii aa
Ö
Ö
W
urmeaz o lege normal r edus N (0,1);
(**)
2
2
2
2 ÖÖ
I I
I
W
I
W
W §! t pT
este distr ibuit G2 (hi- ptr at) cu (T-p) gr ade de liber tate.
(***)
ia
ii aa
ÖÖ
Ö
W
urmeaz o lege Student cu (T-p) gr ade de liber tate.
Legea Student este utilizat în mod cur ent pentru a apr ecia validitatea estimatorului unui
coef icient ai. De exem plu, dac se testeaz ipoteza (H 0:ai=0) contr a ipotezei (H 1:ai { 0), pentru a accepta
H 1 tr ebuie ca 2ÖÖ
ÖE
W t
a
ia
i u , unde 2
Et este valoar ea tabelat a var iabilei t r epar tizat Student, cu T-p gr ade
de liber tate, iar E este pr agul de semnif icaie.
Observaie:
Pentru T >30 i E=0,05, 22
$E
t . Deci, dac 2Ö
Ö
Ö
u
i
a
ia
W se accept H 1, adic ipoteza c var iabila
X i ar e un coef icient ai semnif icativ dif er it de zer o.
Mai gener al, când se pune pr oblema de a ti dac un coef icient ai este dif er it de o valoar e
par ticular 0ia , se calculeaz r apor tul
ia
iiaa
t Ö
0
Ö
Ö
W
! i se com par cu
2Et .
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 33/61
33
Dac tcalculat>ttabelat concludem c 0ii
aa { .
Considerm acum toi estimator ii paa Ö,...,Ö1 :
(*) var iabila aleatoar e aaaa a ;
Ö'
Ö1
Ö este distr ibuit G2
cu p gr ade de liber tate;
(**) var iabila aleatoar e aaaa p
F a ;d! ÖÖÖ
1 1Ö urmeaz o lege Fisher-Snedecor cu p i (T-
p) gr ade de liber tate.
La f el ca la r egr esia liniar sim pl, r ezultatele anter ioar e permit construir ea de intervale de
încr eder e r elative la coef icienii ai, ca i a unui elipsoid de încr eder e r elativ la ansam blul coef icienilor în
spaiul p� . Pentru ai, intervalul de încr eder e, la pr agul de seminif icaie E este:
2Ö2 Ö
ÖEE
W t
aat
ia
ii e
e
2Ö
2Ö ÖÖÖ
EE W W t aat ii aiia ee
iar pentru ansam blul coef icienilor, ecuaia elipsoidului de încr eder e este: F = F ( E ,p,T-p). Aceleai pr incipii conduc la determinar ea de r egiuni de încr eder e r elative la un numr oar ecar e de
coef icieni din model. Dac q este numrul coef icienilor r einui, în spaiul q� , avem ecuaia
F 1= F ( E ,q ,T-p), unde:
qqaqq aaaaq
F q
;! ÖÖ'Ö1 1
Ö1 .
cu qaÖ extr as din vectorul aÖ i qaÖ
Ö; extr as din aÖÖ; :
Dac dor im s testm, la pr agul de semnif icaie E, ipoteza (H 0:aq=)0(
qa ) contr a ipotezei
(H 1:aq)0(
qa{ ), atunci dac:
pT q F aaaaq
qqaqq qe; ,,ÖÖ'Ö
1 )0(1Ö
)0( E
se accept ipoteza H 0 ( pT q F ,,E se extr age din tabelele distr ibuiei Fisher-Snedecor).
2Ö
2Ö ÖÖÖÖ EE W W t aat a
ii aiiai ee
2ÖÖ
ÖEW t
aa
ia
ii
u
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 34/61
34
Observaie:
Se observ c valoar ea tabelat F depinde de pT q ,,E i nu de qT q ,,E . R ezult c
ex pr esia
2
2
pT
q
pT
q F
! G
G f ace s apar la numitor
2
2Ö
I
I
W
W pT distr ibuit G
2 cu (T-p) gr ade de liber tate.
3.6. Previziunea variabilei endogene
Dac pr esu punem cunoscute la un moment U valor ile ( x1U , x2U ,..., x pU) atunci pr eviziunea var iabilei
endogene va f i:
UUUU p p
p xa xa xa y Ö...ÖÖ 2211 ! .
Er oar ea de pr eviziune va f i var iabila aleatoar e:
UUUUU I ! p p p p xaa xaaY Y Ö...Ö 111 .
Se constat c media er or ii de pr eviziune este zer o:
0!UU
Y Y E p ,
iar var iana er or ii de pr eviziune este:
? A ¼½
»¬«
!! §§! ji
ji j jii
p
i
iii
p p x xaaaa xaa E Y Y E Y Y V ar 2
1
222ÖÖ2Ö
UUUUUUUUI
deoar ece iaÖ i UI sunt necor elate ( iaÖ nu depind decât de t I ), t=1,2,...,T i T <U.
Deducem c:
? A 2
1
22Ö,Öcov2Ö
I UUUUU W §§!
! ji
ji jii
p
i
i
paa x xaV ar xY Y E ,
iar su b f orm matr icial:
? A 2Ö
'2
I UUUU W ;! X X Y Y E a
p, adic:
? A1' 1'2 !
UUI UUW X X X X Y Y V ar p
,
unde: UUUU p x x x X ,...,, 21' ! .
Observaie:
Se ar at c dac T este f init i I t sunt normal distr ibuite, atunci aÖ este distr ibuit normal în p
dimensiuni. Dac ipotezele nu sunt îndeplinite, atunci cînd gpT , vectorul aaT Ö urmeaz o
distr ibuie normal cu media egal cu zer o.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 35/61
35
3.7. Coeficientul de corelaie multipl R. Analiza varianei
i în acest caz, ecuaia var ianei se scr ie:
r ezid ual
ateaV ariabil it
aju st ateval oril or
ateaV ariabil it
t ot alã
ateaV ariabil it !
§ § §! 222ÖÖ
t t t y y y y I
Coef icientul de cor elaie multipl R ar e def iniia:
§
§
§
§
!
! 2
2
2
2
2Ö
1Ö
y y y y
y y R
t
t
t
t I .
Din r epr ezentar ea geometr ic fcut, r ezult c I ÖÖ ! Y Y ,
dar tim c I ÖÖ ! a X Y i a X Y Ö! , r ezultând c: I ÖÖ ! a X X Y Y , ceea ce ar at
c vectorul r ezidual I Ö este acelai i pentru valor ile (Y,X) i pentru valor ile centr ate f a de medie
X X Y Y , . Cu alte cuvinte, dac ef ectum r egr esia pe ecuaia gener al, cu var iabilele necentr ate sau
o ef ectum cu var iabilele centr ate pe media lor, estimatorul aÖ i vectorul r ezidual I Ö sunt aceeai.
Observaie:
Când se centr eaz valor ile X i Y, vectorul aÖ nu conine ultimul estimator paÖ . Constanta pa
dispar e când se centr eaz var iabilele. Consider ar ea modelului fr constante, cu var iabilele necentr ate pe
media lor, poate conduce la valor i ale lui 2
R car e ies din intervalul (0,1).
Ex pr esia matr icial a coef icientului de cor elaie multipl este:
Y Y Y Y
Y Y Y Y R
!
'
Ö'Ö2 , dar a X X Y Y ÖÖ ! .
? A Y Y X X X X X X a !
''Ö1
i coef icientul devine:
Y Y Y Y
Y Y X X a R
!'
''Ö2 .
Coef icientul 2
R ar at r olul jucat de toate var iabilele exogene asu pr a evoluiei var iabilei
endogene. El este cu atât mai bun cu cât e mai apr opiat de 1.
Dar, judecar ea calitii unui model doar pr in valoar ea lui 2
R poate duce la er or i gr osier e. El
mascheaz uneor i inf luena var iabilelor exogene luate separ at asu pr a var iabilei endogene i nu poate s se
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 36/61
36
su bstituie studiului estimator ilor coef icienilor modelului. Ptr atul coef icientului de cor elaie multipl nu
ine cont nici de numrul de observaii (T ) i nici de numrul var iabilelor ex plicative ( p). Or i, se poate
f oar te bine ca, având aceleai observaii asu pr a var iabilei endogene s considerm dou modele distincte, în
al doilea fcând s apar un numr de var iabile ex plicative noi. În aceast a doua r egr esie coef icientul de
cor elaie multipl nu poate decât s cr easc ( pentru c var iabilitatea ex plicat pr in r egr esie cr ete).
O def inir e mai pr ecis a lui 2
R , car e ine cont de T i p este:
221
11 R
pT
T R
! .
2 R se numete coeficient de corelaie multipl corectat.
1. dac p=1, atunci 22
R R ! ;
2. dac p>1, atunci 22
R R ;
3.
2
R poate scdea pr in intr oducer ea în model a unei noi var iabile exogene;
4. 2
R poate lua i valor i negative, dac1
12
T
p R .
Analiza varianei
Atunci când studiem r olul jucat de exogene asu pr a evoluiei endogenei, ne putem într eba car e este
par tea de var iabilitate ex plicat de una sau mai multe var iabile exogene.
R elum modelul iniial:
(1) t pt pt t t xa xa xa y I ! ...2211 , t=1, 2, ...,T
i considerm q var iabile pr intr e cele p, pe car e le indexm de la 1 la q:
(2) t qt qt t t xa xa xa y \ ! ...2211 .
Var iabilitatea ne-ex plicat de cele q exogene în modelul (1) este var iabilitatea r ezidual asociat
modelului (2).
Fie:
22
2211 ÖÖ...ÖÖ \ !§t
qt qt t t xa xa xa y
Var iabilitatea ne-ex plicat de cele p exogene din modelul (1) este:
222211 ÖÖ...ÖÖ I !§
t
pt pt t t xa xa xa y
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 37/61
37
Var iabilitatea ex plicat de cele ( p-q) exogene din modelul (1) atunci când a1 ,...,aq sunt estimai cu
modelul (2) este atunci:
222 ÖÖÖ I \ L !
tim c222
00 HA H A ! , adic I I Ö'ÖÖ'Ö' ! Y Y Y Y .
R ezultatele se gru peaz, adesea, într-un tabel de analiz a var ianei:
Sur sa var iabilitii Suma ptr atelor
cor espunztoar e acestei sur se
Numrul gr adelor
de liber tate
Media ptr atelor
asociate 1. X : mulimea celor p exogene p p Y Y Ö'Ö
p
p
Y Y p pÖ'Ö
2. I Ö : mulimea r eziduur ilor p p Y Y Y Y Ö'Ö'Ö'Ö !I I
T-p
pT I I Ö'Ö
3. Y : var iabil endogen Y Y ' T
T
Y Y '
4. (p-q ) var iabile exogene dintr e cele p I I \ \ LL Ö'ÖÖ'ÖÖ'Ö ! p-q
q p
LL Ö'Ö
În f igur a anter ioar avem:
p p H Y 0Ö ! este pr oiecia lui Y pe su bspaiul (L) ai crui vector i gener ator i sunt X 1 ,X 2 ,...,X p.
qq H Y 0Ö ! este pr oiecia lui Y pe su bspaiul gener at de X 1 ,X 2 ,...,X q.
\ Ö
X1
Hq
H p
(L)
A
I Ö X p
Xq
LÖ O
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 38/61
38
H q apar ine lui (L) i tr iunghiul AH p H q este dr eptunghic în H p.
H q AH q 0B i H q H H q p 0B , iar LÖ este chiar q p H H .
3.8. Experien de calcul
Dispunem de observaiile din tabelul de mai jos i ne pr opunem s ex plicm var iabile endogen Y
pornind de la var iabilele exogene X 1 i X 2, pr intr-un model liniar de f orma:
I ! 32211 a X a X aY , unde:
¹¹¹¹¹
º
¸
©©©©©
ª
¨
!
¹¹¹¹¹
º
¸
©©©©©
ª
¨
!
¹¹¹¹¹
º
¸
©©©©©
ª
¨
!
¹¹¹¹¹
º
¸
©©©©©
ª
¨
!
T T T T x
x
x
X
x
x
x
X
y
y
y
Y
I
I
I
I ...
,...
,...
,...
2
1
2
22
21
2
1
21
11
12
1
adic: I ! X aY , unde:
¹¹¹
º
¸
©©©
ª
¨
!¹¹¹
º
¸
©©©
ª
¨
!
3
2
1
21
2111
,
1
.........
1
a
a
a
a
x x
x x
X
T T
t yt x1t x2t
1 100 100 100
2 106 104 99
3 107 106 110
4 120 111 126
5 111 111 113
6 116 115 103
7 123 120 102
8 133 124 103
9 137 126 98
S observm c numrul de observaii (T=9) este mic, din r aiuni de sim plif icar e a calculelor.
Vom estima modelul, pr esu punînd c sunt îndeplinite ipotezele pr incipale ale modelului liniar
gener al de r egr esie:
- ipoteze stochastice: ,).(,0)( 2 I E E I W I I I !d! (homoscedasticitate), adic:
0).( ! st E I I , dac st { i ,)( 22I W I !
t E t.
- ipoteze structur ale: dac numrul de var iabile exogene ver itabile este k , atunci p=k +1 este
numrul par ametr ilor de estimat. Tr ebuie ca r angul matr icii X s f ie egal cu p ( p<T ), iar matr icea
X X d , unde X deste tr anspusa lui X este nesingular, deci inver sabil.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 39/61
39
În exem plul nostru avem k =2 i p=3.
Atunci, Y X X X a dd! 1Ö este un estimator liniar nedeplasat i cu var iana minimal (estimator BLUE).
Pentru a sim plif ica pr ocedur a de calcul vom centr a var iabilele modelului. Cu notaiile:
I I L !!!! ,,, 222111 X X U X X U Y Y Z ,
unde: §§ §§ !!!!t
t
t t
t t
t
t T
xT
X xT
X yT
Y I I 1
,1
,1
,1
2211 ,
modelul se scr ie:
L! 2211 U aU a Z , sau L! Ub , unde
¹¹¹
º
¸
©©©
ª
¨
!¹¹ º
¸©©ª
¨!
¹¹¹
º
¸
©©©
ª
¨
!
¹¹¹¹¹
º
¸
©©©©©
ª
¨
!
I I
I I
L
T T T T
a
ab
X x X x
X x X x
U
y y
y y
y y
Z ...,,......,...
1
2
1
2211
2211112
1
Deoar ece §§ !!!!!!t
t
t
t xT
X yT
Y ,11310179
11,1171053
9
1111
1069549
1122 !!! §
t
t xT
X , valor ile centr ate ale var iabilelor sunt:
t Y Y 8
! 111 X X U ! 222 X X U !
1 -17 -13 -6
2 -11 -9 -7
3 -10 -7 +4
4 +3 -2 +20
5 -6 -2 +7
6 -1 +2 -3
7 +6 +7 -4
8 +16 +11 -3
9 +20 +13 -8
Pentru a calcula estimatorul Z U U U a
ab dd!¹¹
º
¸©©ª
¨! 1
2
1
Ö
ÖÖ, avem nevoie de matr icile:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 40/61
40
¹¹ º
¸©©ª
¨
!¹
¹ º
¸©©ª
¨!
¹¹¹
º
¸
©©©
ª
¨
¹¹ º
¸©©ª
¨!d
§§§§
648112
112650......
...
...2221
2121
21
2111
221
111
t t t
t t t
T T
T
T
uuu
uuu
uu
uu
uu
uuU U
¹¹ º ¸©©
ª¨
!¹¹
º ¸©©
ª¨!
¹¹¹
º
¸
©©©
ª
¨
¹¹ º ¸©©
ª¨!d
§§
72872...
...
...2
11
221
111
t t
t t
T
T
T
zu
zu
z
z
uu
uu Z U
¹¹¹¹
º
¸
©©©©
ª
¨
!¹¹ º
¸©©ª
¨
!d
408656
650
408656
112408656
112
408656
648
648112
1126501
1U U
¹
¹
º
¸
©
©
ª
¨!
¹
¹
º
¸
©
©
ª
¨
¹¹
¹¹
º
¸
©©
©©
ª
¨
!dd!
¹
¹
º
¸
©
©
ª
¨!
1244,0
3629,1
72
872
408656650
408656112
408656
112
408656
648
Ö
ÖÖ 1
2
1 Z U U U
a
ab
Pentru a determina estimatorul celui de al tr eilea par ametru, a3, utilizm r elaia:
32211 ÖÖÖ a X a X aY ! , de unde:
1941,50106.1244,0113.3629,1117ÖÖÖ 22113 !!! X a X aY a
Modelul estimat este: 1941,501244,03629,1ÖÖ21 !! X X a X Y , iar r eziduur ile sunt:
1941,5021244,013629,1ÖÖÖ !!! X X Y a X Y Y Y I .
Cutm acum un estimator nedeplasat pentru var iana r eziduur ilor. Am vzut c acest estimator este dat de
r elaia: §
! 22 Ö1
Öt
pT I W I . Dar,
bU Z Z Z Y Y Y Y Y Y ÖÖÖÖÖÖ !!!!I , iar
Z U b Z Z bU Z bU Z t ddd!
d!d!§ ÖÖÖÖÖÖ2 I I I . Avem c: ¹¹
º
¸©©ª
¨
!d
72
872 Z U
§ !!d 12482t z Z Z i 5704,1179
72
8721244,03629,1Ö !
¹
¹
º
¸
©
©
ª
¨
!dd Z U b
§ !! 4296,685704,117912482t I
4049,1139
4296,68Ö
1Ö 22 !
!
! § t
pT I W I
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 41/61
41
Matr icea de var ian i covar ian a vectorului bÖ este: 12Ö
d!; U U b I W , iar o estimaie a ei se
obine înlocuind pe 2I W cu
2ÖI W . Avem c:
¹¹ º
¸©©ª
¨!
¹¹¹¹
º
¸
©©©©
ª
¨
!d!;
0181,00031,00031,00180,0
408656
650
408656
112408656
112
408656
648
)4049,11(ÖÖ 12Ö U U b I W
Coef icientul de cor elaie multipl R 2, ar e valoar ea:
t ot al aaiabil it ate
r ezid ual aaiabil it ate
t ot al aaiabil it ate
l icat aaiabil it ate R
var
var 1
var
ex pvar 2 !!
Var iabilitatea total = 124822 !!§ § t t z y y
Var iabilitatea r ezidual = § ! 4296,68Ö2
t I Var iabilitatea ex plicat = Var iabilitatea total ± Var iabilitatea r ezidual =
=1248 ± 68,4296 = 1179,5704
9451,01248
5704,11792 !! R .
Tabelul de analiz a var ianei (var iabile centr ate):
Sur sa var iabilitii Suma ptr atelor cor espunztoar e acestei sur se
Numrul gr adelor de liber tate
Media ptr atelor asociate
1.Var iabila endogen centr at § ! 12482t z T-1=8
§
2
1
1t z
T
2.Var iabilele exogene centr ate § ! 5704,1179Ö 2t z k =2
§ 2Ö1
t zk
3. R eziduur ile § ! 4296,68Ö 2t I T-k -1=6
§2Ö
1
1t
k T I
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 42/61
42
CAPITOLUL IV
STUDIUL MODELULUI LINIAR CÎND IPOTEZELE CLASICE ASUPRA ER ORILOR
NU MAI SUNT REALIZATE
4.1. Ipoteza de independen a erorilor
S-a studiat anter ior modelul liniar de r egr esie su b ipoteza c er or ile sunt independente. În cazul în
car e er or ile I t sunt cor elate, matr icea de var ian i covar ian a er or ilor ;I nu se mai r educe la I 2I W , iar
estimator ii par ametr ilor modelului gener al Y=X a+I , cu E ( I t )=0, t=1,2,...,T i I E 2
' I I W II {!; nu
mai posed aceleai pr opr ieti ca în cazul er or ilor independente.
Fie aÖ vectorul estimator ilor par ametr ilor a. Estimatorul aÖ tr ebuie s f ie liniar în r apor t cu
var iabilele endogene Y , adic M Y a !Ö , unde M este o matr ice de coef icieni. Estimatorul aÖ este
nedeplasat deoar ece:
? A M X a M E M X a M M X a E M Y E a E !!!! I I Ö
( pentru c 0!I E ).
Pentru ca aa E !Ö tr ebuie s im punem condiia M X= I , r ezultând c:
I I M aM M X aM Y a !!!Ö
Matr icea de var ian i covar ian a estimator ilor (inînd cont c I M aa !Ö ) este:
? A ? A ? A M M M M E M M E M M E aaaa E a
d;!dd!dd!d!d!; I I I I I I I )()()Ö()Ö(Ö
Punînd condiia ca aÖ; s f ie minimal, su b r estr icia M X= I i r ezolvînd aceast pr oblem de extr emum
condiionat, r ezult c matr icea M este de f orma: ? A 111 ;d;d! I I X X X M
Pr in înlocuir e i calcul se obine:
? A Y X X X M Y a 111Ö ;d;d!! I I
? A11Ö
;d!; X X a I
Estimatorul aÖ astf el obinut este un estimator liniar, nedeplasat i de disper sie minim. El a f ost obinut
pr in MCMMP gener alizat. Se observ imediat c dac er or ile sunt independente, adic
I 2I I W !; , atunci ? A Y X X X a dd! 1Ö , adic r egsim estimatorul obinut pr in MCMMP
obinuit.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 43/61
43
În cazul în car e er or ile sunt cor elate, determinar ea estimatorului aÖ necesit cunoater ea matr icei
de var ian i covar ian a er or ilor I ; . În aplicaii, deoar ece I ; este necunoscut, se lucr eaz cu
estimaia ei I ;Ö
, ceea ce nu antr eneaz er or i pr ea gr ave.Cor elar ea er or ilor t I poate îm brca diver se f orme. Cel mai fr ecvent se studiaz cazul când
t t t L VI I ! 1 (se spune c er or ile urmeaz un pr oces autor egr esiv de ordinul întâi).
Modelul liniar gener al Y=X a+I , scr is i su b f orma:
(1) t pt pt t t xa xa xa y I ! ...2211 , t=1, 2, ...,T
(în car e t t t L VI I ! 1 , iar asu pr a er or ilor t L f acem ipotezele cunoscute: 0!t E L ,
021 !t t E LL , pentru 21 t t { i t V ar t ! ,2LW L ), poate f i pus su b urmtoar ea f orm:
- ecuaia (1) scr is pentru t-1 este:
111221111 ... ! t t p pt t t xa xa xa y I pe car e o înmulim cu V ( pr esu punem
1 V ):
(2) 111221111 ... !t t p pt t t
xa xa xa y VI V V V V
Pr in scder ea (1)-(2) obinem:
(3) t t p pt pt t t t t t x xa x xa x xa y y L V V V V ! 1122211111 ...
Dac s-ar cunoate par ametrul V, atunci ecuaia (3) ar putea f i scr is su b f orma:
(4) t pt pt t t uauaua z L! ...2211
unde: 1!t t t y y z V
1! t iit it x xu V , i=1,2,...,p.
1
!t t t
VI I L
Deoar ece, pr in ipoteze, er or ile t L sunt independente, se poate aplica MCMMP obinuit ecuaiei
(4) car e va conduce la estimatorul paaaa Ö,...,Ö,ÖÖ 21! nedeplasat i de minim disper sie.
Dar, cum par ametrul V nu este cunoscut, pentru estimar ea par ametr ilor unei ecuaii de r egr esie
atunci când er or ile sunt cor elate (su b f orma unui pr oces autor egr esiv de ordinul I, t t t L VI I ! 1 ,
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 44/61
44
staionar, adic media t E I i disper sia t V ar I sunt independente de tim p, iar 1 V ) se pot aplica
urmtoar ele metode:
Metoda I:
1. Se aplic MCMMP obinuit ecuaiilor (1) fr a ine cont c er or ile t I sunt cor elate.
Se obine estimatorul 1Öa al lui a i se determin valor ile ajustate 11 ÖÖ a X Y ! i
estimaiile er or ilor t t t y y 1ÖÖ !I .
2. Dm o estimar e a par ametrului V aplicând MCMMP obinuit ecuaiei
t t t LI VI ! 1ÖÖ , obinând VÖ .
3. Înlocuim V cu VÖ în ecuaia (3) i aplicm MCMMP obinuit acestei ecuaii. Se
obine estimatorul aÖ pentru par ametrul a.Evident, pentru eantioane mici, estimatorul aÖ nu pr ezint gar anii c ar e pr opr ietile dor ite.
Metoda II:
Ecuaia (3) de mai înainte se poate scr ie i su b f orma:
(5) ? A t t p pt t pt pt t xa xa y xa xa y L V ! 1111111 ......
Se aplic MCMMP obinuit ecuaiilor (3) i (5) astf el:
1. Dm o valoar e iniial lui V, de exem plu V0=0 în ecuaia (3) i obinem o pr im
estimaie a par ametr ilor 0Öa .
2. Înlocuim 002
010 Ö,...,Ö,ÖÖ
paaaa ! în ecuaia (5) i ef ectuând r egr esia, obinem o nou
valoar e pentru V, notat V1.
3. Înlocuim V cu V1 în ecuaia (3) i ef ectum o nou r egr esie, obinând estimatorul
112
111 Ö,...,Ö,ÖÖ
paaaa ! .a.m.d.
4. Se opr esc iter aiile dac valor ile gsite în dou iter aii succesive nu dif er decât pr intr-
un numr or icât de mic dor it (se spune c estimator ii iaÖ , i=1,2,... conver g).
Metoda III (baleiaj):
Pr esu punem c 0" V , ia succesiv valor ile:
_ a1;...;02,0;01,0;0! V .
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 45/61
45
A plicm MCMMP obinuit ecuaiei (3) pentru f iecar e valoar e a lui V i calculm r eziduur ile t LÖ .
Se r eine valoar ea lui V car e d cea mai mic sum a ptr atelor er or ilor §t
t
2ÖL , cr eia îi cor espund
estimator ii paaa Ö,...,Ö,Ö 21 ai par ametr ilor.
***
Exist i alte pr ocedur i de estimar e a par ametr ilor în cazul când er or ile sunt cor elate.
4.1.1. Testarea ipotezei de independen a erorilor
Atunci când ipotezele fundamentale ale modelului liniar al r egr esiei nu sunt îndeplinite
pr opr ietile estimator ilor par ametr ilor suf er. Astf el, su b ipoteza I2 r ef er itoar e la distr ibuia er or ilor i la
independena lor, estimator ii obinui sunt nedeplasai i au var iana minimal. Dac er or ile sunt cor elate,
estimator ii rmân, în gener al, nedeplasai, dar matr icea de var ian i covar ian a acestor a nu mai este I 2
I W . Pentru a ne asigur a de independena er or ilor tr ebuie s ef ectum teste. Este vor ba despr e testul lui
Dur bin i Watson.
Modelul liniar gener al al r egr esiei:
t pt pt t t xa xa xa y I ! ...2211
se poate scr ie su b f orma:
t t t a x y I !
unde: paaaa ,...,, 21! i
¹¹¹¹¹
º
¸
©©©©©
ª
¨
!
pt
t
t
t
x
x
x
x...
2
1
.
Se aplic MCMMP obinuit i se obine un estimator paaaa Ö,...,Ö,ÖÖ 21! , calculându-se
valor ile ajustate t t xa y ÖÖ ! i er or ile estimate t t t y y ÖÖ !I .
R eziduur ile estimate depind de irul er or ilor t I i de irul valor ilor exogene t x , deoar ece:
t t t t t xaa y y I I !! ÖÖÖ .
Se consider var iabila aleatoar e, notat d Ö , numit i statistica Dur bin-Watson def init pr in
ecuaia:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 46/61
46
§
§
!
!
!T
t
t
T
t
t t
d
1
2
2
21
Ö
ÖÖÖ
I
I I
.
Dur bin i Watson au determinat densitatea de pr obabilitate a var iabilei aleatoar e d Ö , notat d f Ö
i au artat c or icar e ar f i irul de exogene consider ate, cur bele r epr ezentative ale lui d f Ö oscileaz într e
dou cur be limit id f Ö i sd f Ö . Aceste funcii depind de numrul de observaii (T), de numrul de
var iabile exogene ver itabile ce f igur eaz în model (m) i de irul er or ilor t I . Cele dou cur be limit
(r epr ezentate gr af ic în f igur) sunt atinse pentru anumite irur i de exogene xt i sunt simetr ice în r apor t cu
axa de abscis 2.
Scopul este de a ti dac er or ile modelului sunt autocor elate. Cel mai fr ecvent se caut testar ea
legtur ii er or ilor pr intr-o r elaie de f orma t t t L VI I ! 1 . Se spune c er or ile urmeaz un pr oces
autor egr esiv de ordinul întâi.Vr em s testm ipoteza I0: 0! V (absena autocor elaiei er or ilor), contr a ipotezei I1: 0" V
(er or ile t I sunt autocor elate).
La un nivel de semnif icaie E dat, Dur bin i Watson au determinat dou valor i, d 1 i d 2, în funcie
de numrul de observaii (T ) i de numrul de exogene ver itabile (m) cor espunztoar e f iecr eia din cur bele
limit.
d 1 d 2 2 d¶ 1 d¶ 2
d f Ö
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 47/61
47
Se calculeaz statistica d Ö cu r elaia dat i se observ c:
1. dac 1Ö d d , atunci se accept I1;
2. dac 21Ö d d d , atunci exist îndoieli c legtur a dintr e er or i este de f orma
t t t L VI I !
1;
3. dac 2Ö d d " , atunci se accept I0.
În tabelul urmtor sunt date câteva valor i uzuale pentru d 1 i d 2 în funcie de T i m, pentru nivelul
de semnif icaie E=0,05:
Tabela D-W
T m=1 m=2 m=3 m=4 m=5
d 1 d 2 d 1 d 2 d 1 d 2 d 1 d 2 d 1 d 2
15 1,08 1,36 0,96 1,54 0,82 1,75 0,69 1,97 0,56 2,21
20 1,20 1,41 1,10 1,54 1,00 1,68 0,90 1,83 0,79 1,99
30 1,35 1,49 1,28 1,57 1,21 1,65 1,14 1,74 1,07 1,83
50 1,50 1,59 1,46 1,63 1,42 1,67 1,38 1,72 1,34 1,77
100 1,65 1,69 1,63 1,72 1,61 1,74 1,59 1,76 1,57 1,78
Observaii:
1. În loc s testm 0! V contr a 0" V , se poate testa I0: 0! V , contr a I1: 0{ V . Se obin
dou valor i '1d i
'2d simetr ice în r apor t cu 2 i se constat c:
a. dac 1Ö d d sau '
2Ö d d " , atunci se accept I1;
b. dac 22Ö d d d ee sau '
2'
1Ö d d d ee , atunci exist îndoieli c er or ile sunt cor elate;
c. dac '
12Ö d d d , atunci se accept I0.
2. Dac modelul studiat nu conine constanta, tr ebuie s determinm d Ö ca i când modelul ar
conine o constant.
3. Statistica Dur bin-Watson aplicat pe un model car e conine var iabile endogene r etardate este
deplasat ctr e 2, ceea ce înseamn c er or ile sunt mai puin cor elate într-un pr oces autor egr esiv, decât într-
un pr oces ordinar.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 48/61
48
4.1.2. Experien de calcul
I. Se cunosc urmtoar ele date r ef er itoar e la evoluia în tim p a unei var iabile economice (în pr eur i
constante):
t 1 2 3 4 5 6 7 8
yt 662,3 669,4 912,7 935,2 1027,2 1145,0 1193,7 1224,1t 9 10 11 12 13 14 15
yt 1281,7 1426,3 1376,2 1327,8 1420,6 1933,9 2023,4
Pe aceast ser ie cr onologic, utilizînd modelul t t bt a y I �! ,s-a aplicat MCMMP,
obinându-se estimator ii:
8657,81Ö !a ; 404,582Ö !b
De asemenea, s-a calculat var iana estimator ilor i ecar tul-tip al acestor a: 94887,7Ö Ö !aW ;
2721,72Ö Ö !bW i valor ile ajustate ale var iabilei endogene 404,582.8657,81Ö ! t yt i ale
r eziduur ilor t t t y y ÖÖ !I :
t 1 2 3 4 5 6 7 8
t yÖ 664,2 746,1 828,0 909,8 991,7 1073,6 1155,5 1237,3
t 9 10 11 12 13 14 15
t yÖ 1319,2 1401,0 1482,9 1564,6 1646,6 1728,5 1810,4
t 1 2 3 4 5 6 7 8
t I Ö -1,93 -76,79 +84,79 +25,35 +35,49 +71,44 +38,30 -13,25
t 9 10 11 12 13 14 15
t I Ö -37,54 +25,25 -106,64 -237,01 -226,00 +205,42 +213,03
Ne pr opunem s cercetm o eventual autocor elar e a er or ilor.
Rezolvare:
Pentru a putea utiliza testul Dur bin-Watson tr ebuie ca numrul de observaii T s f ie suf icient de
mar e (în pr actic T >15), iar modelul s conin un termen constant.
Statistica Dur bin-Watson def init de ecuaia
§
§
!
!
!T
t
t
T
t
t t
d
1
2
1
21
Ö
ÖÖÖ
I
I I
conduce, conf orm datelor din
tabel, la: 156,179,229991
35,265867Ö !!d .
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 49/61
49
Dur bin i Watson au artat c pentru un pr oces staionar ( pr imele dou momente ale var iabilei
aleatoar e t I independente de tim p), valoar ea calculat a statisticii d Ö este cu pr ins într e 0 i 4, cu absena
cor elaiei în vecintatea lui 2. Într e aceste valor i limit, tabela D-W furnizeaz, la pr agul de seminif icaie E,
dif er ite intervale de valor i d Ö cor espunztoar e pr ezenei autocor elaiei pozitive sau negative, absenei
autocor elaiei i situaiilor de indecizie, astf el:
1. dac 1Ö0 d d , atunci er or ile sunt pozitiv autocor elate;
2. dac 21Ö d d d , atunci exist îndoieli c er or ile ar f i cor elate;
3. dac 22 4Ö d d d , atunci er or ile t I sunt independente;
4. dac 12 4Ö4 d d d , atunci exist îndoieli c er or ile ar f i cor elate;
5. dac d d Ö4 1 , atunci er or ile sunt negativ cor elate.
În exem plul nostru, numrul de exogene ver itabile în model este (m=1) i dispunem de T=15 observaii.
Tabela D-W furnizeaz valor ile d 1=1,08 i d 2=1,36 la pr agul de semnif icaie E=0,05.
Deoar ece 36,1156,1Ö08,1 21 !!! d d d , suntem într-o situaie de indecizie, nu
putem s spunem c er or ile t I sunt cor elate.
II. În tabelul urmtor sunt date, pentru per ioada 1985-2002:
volumul investiiilor în agr icultur, yt ;
pr odusul intern brut agr icol, x1t ;
indicele volumului im por tur ilor pentru agr icultur, x2t .
Anul
t
Investiii în agr icultur
yt
Pr odusul intern brut agr icol
x1t
Indicele volumului im por tur ilor pentru agr icultur
x2t
1985 85,2 563,8 90,6
1986 90,2 594,7 91,7
1987 96,6 635,7 92,9
1988 112,0 688,1 94,5
1989 124,5 753,0 97,2
1990 120,8 796,3 100,01991 131,5 868,5 104,2
1992 146,2 935,5 109,8
1993 140,8 982,4 116,3
1994 160,0 1063,4 121,3
1995 188,3 1171,1 125,3
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 50/61
50
Anul
t
Investiii în agr icultur
yt
Pr odusul intern brut agr icol
x1t
Indicele volumului im por tur ilor pentru agr icultur
x2t
1996 220,0 1306,6 133,1
1997 214,6 1412,9 147,7
1998 190,9 1528,8 161,21999 243,0 1702,2 170,5
2000 303,3 1899,5 181,5
2001 351,5 2127,6 195,4
2002 386,2 2368,5 217,4
Se cer e:
1. Determinar ea legtur ii dintr e investiii, PIB i volumul im por tur ilor;
2. Testar ea autocor elaiei er or ilor;
3. Dac exist autocor elaie, cum se pot înltur a ef ectele acesteia?
Rezolvare: - Studier ea legtur ii dintr e var iabilele economice amintite se poate ef ectua cu
modelul de r egr esie multipl:
t t t t c xb xa y I ! 21
A plicar ea MCMMP conduce la urmtoar ea estimar e a modelului:
t t t x x y 21 93,237,044,125Ö !
Coef icientul de cor elaie multipl ar e valoar ea calculat: R 2=0,98
2. Du p calcular ea r eziduur ilor estimate, t I Ö , statistica Dur bin-Watson este: 72,0Ö !d .
Conf orm tabelei D-W, pentru =5%, T=18 observaii i m=2 var iabile exogene ver itabile, r ezult:
d 1=1,05> 72,0Ö !d , ceea ce conduce la concluzia c er or ile sunt cor elate pozitiv.
3. Pentru a înltur a ef ectele autocor elaiei er or ilor, se pr ocedeaz astf el:
- scr iem dependena dintr e var iabile
(1) t t t t c xb xa y I ! 21 , pentru momentul t-1:
(2) 1)1(2)1(11 ! t t t t c xb xa y I
- înmulim (2) cu i ef ectum scder ea (1)-(2):
)()()(1 1)1(22)1(111 ! t t t t t t t t x xc x xba y y VI I V V V V
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 51/61
51
- cutm o estimaie a coef icientului . O bservm c este coef icientul
var iabilei yt-1 în r elaia anter ioar. Ef ectum o r egr esie cu MCMMP pe ultima
ecuaie, fr s inem cont de r elaiile dintr e coef icieni, adic pe ecuaia:
t t t t t t t xa xa xa xa ya y L V ! )1(2423)1(121110
unde a0=a(1- ) , a1= b, a2=- b, a3=c, a4=-c i 1! t t t VI I L
Ef ectuînd calculele, obinem:
)1(22)1(111 11,208,360,068,070,056,47Ö !
t t t t t t x x x x y y
Estimaia gsit pentru coef icientul este 70,0Ö ! V
- cu ajutorul estimaiei gsite, tr ansf ormm var iabilele modelului iniial pentru o nou r egr esie:
Anul 1Ö ! t t t y y z V )1(111 Ö ! t t t x xu V )1(222 Ö ! t t t x xu V
1985 - - -
1986 30,56 200,04 28,28
1987 33,46 219,41 28,71
1988 44,38 243,11 29,47
1989 46,10 271,33 31,05
1990 33,68 269,70 31,96
1991 46,94 311,09 34,20
1992 54,15 327,55 36,86
1993 38,46 327,55 39,441994 61,44 375,72 39,89
1995 76,30 426,72 40,39
1996 88,19 486,83 45,39
1997 60,60 498,28 54,53
1998 40,68 539,77 57,81
1999 109,37 632,04 57,66
2000 133,20 707,96 62,15
2001 139,19 797,95 68,35
2002 140,15 879,18 80,62
O bservaie:
Pentru a evita eliminar ea pr imei valor i din irul de observaii, pr in tr ecer ea la dif er ene, se pot
f olosi tr ansf ormr ile: 2
11 Ö1 V! y z ,2
1111 Ö1 V! xu ,2
1221 Ö1 V! xu
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 52/61
52
- se aplic MCMMP ecuaiei:
t t t t uauaa z L! 22110 , i r ezult:
t t t uu z 21 99,024,019,7Ö !
Coef icientul de cor elaie multipl este acum R 2=0,88 iar statistica Dur bin-Watson 54,1Ö !d .
Testul de independen conduce acum la concluzia c er or ile sunt independente, deoar ece:
4-d2=2,47> d Ö =1,54>d2=1,53
4.2. Ipoteza de normalitate a erorilor
Unele pr opr ieti ale estimator ilor nu depind de normalitatea er or ilor. De exem plu, distr ibuiile asim ptotice ale estimator ilor necesit doar existena pr imelor dou momente (media i disper sia) ale
er or ilor t I i nu în mod obligator iu ca t I s urmeze o lege normal. Acest lucru nu este îns valabil pe
eantioane mici. Testar ea ipotezelor i intervalele de încr eder e nu mai au aceleai pr opr ieti dac legea de
distr ibuie a er or ilor nu este legea normal. Pentru a car acter iza deviaiile de la legea normal se utilizeaz
doi coef icieni:
a) coef icientul de asimetr ie, calculat pr in r apor tul:
23
1I W
QK !
unde: 3 Q este momentul centr at de ordinul 3. Dac 01 "K , atunci ser ia de date este deplasat spr e
dr eapta f a de legea normal, iar dac 01 K , exist o devier e spr e stânga.
b) coef icientul de aplatizar e, calculat pr in r apor tul:
324
2 !I W
QK
O valoar e pozitiv pentru 3K indic f aptul c distr ibuia este mai puin aplatizat decât distr ibuia
normal, în tim p ce o valoar e 03 K car acter izeaz o distr ibuie mai aplatizat decât cea normal.
Aceste deviaii af ecteaz testele i intervalele de încr eder e ale estimator ilor. Studiul teor etic al
acestor deviaii este com plex. Pentru a obine teste i intervale de încr eder e mai r obuste, în pr actic se
pr ocedeaz astf el:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 53/61
53
1. Se ef ectueaz o r egr esie cu metodele uzuale i se determin o estimaie a r eziduur ilor
t I Ö .
2. Se examineaz cele T r eziduur i estimate i se r eper eaz cele a cr or valoar e absolut
este f oar te mar e.
3. Se elimin din ser ia de date observaiile cor espunzatoar e acestor er or i f oar te mar i sause cor ecteaz aceste observaii astf el ca s se ajung la valor i cât mai normale ale
er or ilor.
4. Se ef ectueaz o nou r egr esie pe eantionul cor ectat. Pr opr ietile estimator ilor
obinui vor depinde de r egula adoptat în etapa anter ioar. De exem plu, se poate
adopta r egula de a r espinge sau cor ecta observaiile cor espunztoar e r eziduur ilor a
cr or valoar e absolut t I Ö este mai mar e decât de tr ei or i media er or ilor absolute.
4.3. Ipoteza de heteroscedasticitate
S pr esu punem, deci, c dei t I sunt independente, dispesia er or ilor
2
t I W var iaz în funcie de
t . În acest caz, estimator ii obinui sunt înc nedeplasai. Dar, momentele centr ate de ordinul doi nemaif iind
constante se comite o er oar e de calcul a ecar tului-tip al estimator ilor. Se poate evalua deplasar ea în
estimaia lui aÖÖ; . Aceast deplasar e depinde de natur a i im por tana heter oscedasticitii, adic de irul
de valor i t
xt ,2
I W . Deplasar ea este nul dac sunt r ealizate r elaiile urmtoar e:
(1) 01 2 !§ x xT
t
t t I W ;
(2) ¹ º
¸©ª
¨¹
º
¸©ª
¨! §§§
2222 11
t
t
t
t
t
x xT
x xT t t I I W W .
Aceste r elaiile sunt r ealizate atunci când nu exist nicio legtur sistematic într e 2
t I W i t x .
Homoscedasticitatea er or ilor se admite în ser iile cr onologice atunci când ordinul de mr ime al
var iabilelor este apr opiat pentru diver se observaii. Dar, în studiul datelor micr o-economice, var iabilele pot avea ordine de mr ime f oar te dif er ite. Acest f apt conduce la er or i de estimar e im por tante pentru coef icienii
unui model econometr ic.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 54/61
54
Dac putem evalua var iana er or ilor 2
t I W atunci, în loc s determinm par ametr ii din condiia ca
suma ptr atelor er or ilor s f ie minim, acetia pot f i determinai din condiia ca §t
t
t
2
2
I W I
s f ie minim.
Pentru modelul elementar t t t ba x y I ! , estimator ii aÖ i bÖ vor f i cei car e minimizeaz
ex pr esia § ¹¹
º
¸©©ª
¨
t
t t ba x y
t
2
2
1
I W .
În cazul în car e 2
t I W (disper siile r eziduur ilor) var iaz pr opor ional cu valor ile var iabilei exogene,
se poate pune condiia ca 2
2
2
§§ ¹¹ º
¸©©ª
¨!
t t t
t
t t
t t
x
ba
x
y
x
ba x y s f ie minim.
4.3.1. Experien de calcul
Ne pr opunem s studiem legatur a dintr e volumul investiiilor i su pr af aa cultivat. Pe un eantion
de 30 de într epr inder i agr icole s-au obinut urmtoar ele date:
Su pr af aa (ha) Cheltuielile de investiii (RON)
100 75,6 75,6 77,4 78,3 80,1 81
200 80,1 81,9 83,7 83,7 84,6 84,6
300 85,5 88,2 89,1 92,7 92,7 94,5
400 92,7 95,4 98,1 101,7 103,5 105,3
500 104,4 106,2 108,9 112,5 117,9 117,9
A plicând MCMMP pe într egul eantion cu modelul elementar t t t ba x y I ! , obinem:
965,6708145,0Ö ! t t x y i 9,02 ! R .
Dor im s testm ipoteza de homoscedasticitate a er or ilor. În acest scop ef ectum dou r egr esii
separ ate, una pe pr imele 12 observaii, alta pe ultimele 12 (valor ile lui X f iind ordonate cr esctor).
Fie SP E 1 i SP E 2 suma ptr atelor er or ilor r elative la cele dou r egr esii.
R egr esia lui Y în r apor t cu X pentru pr imele 12 observaii, conduce la:
6,72054,0Ö 1 ! t t x y i 66,02 ! R ; 14,491 !S PE ,
iar r egr esia pe ultimele 12 observaii d:
45,541125,0Ö 2 ! t t x y i 60,02 ! R ; 695,2502 !S PE .
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 55/61
55
În cazul în car e er or ile ar f i distr ibuite normal i homoscedastice, var iabilele aleatoar e 2
1
W
SP E ,
r espectiv2
2
W
SP E ar tr ebui s urmeze f iecar e o distr ibuie hi- ptr at cu (T-d-k -p) gr ade de liber tate, unde T
este numrul de observaii, d este numrul de observaii omise (în cazul nostru d=6 ), k este numrul de observaii luat în f iecar e r egr esie separ at, iar p este numrul par ametr ilor de estimat. În exem plul nostru T-
d-k -p=10. În aceste condiii, var iabila aleatoar e
1
2
10
110
1
S PE
S PE
ar e o distr ibuie Fisher cu 10 i r espectiv 10
gr ade de liber tate ( F 10,10). Cu datele calculate, obinem 01,5114,49
695,250
1
2 !!SP E
SP E . Din tabelele
distr ibuiei Fischer-Snedecor, la pr agul de semnif icaie E=0,05 gasim F t ab=2,97 . Deoar ece
F cal c=51,01>F t ab=2,97 se admite ipoteza de heter oscedasticitate a er or ilor.
Dac pr esu punem acum c var iana er or ilor 2
t I W este pr opor ional cu ptr atul valor ilor
var iabilei exogene, adic 22t x
t PW I ! , P f iind o constant nenul, atunci ef ectele heter oscedasticitii pot f i
cor ectate pr in tr ansf ormar ea modelului. Îm pr ind f iecar e termen al ecuaiei de r egr esie pr in xt , r ezult:
t
t
t t
t
x x
ba
x
y I !
sau t t t bua z L! , unde: t
t t
x
y z ! ,
t
t xu
1! i
t
t t
x
I L ! .
Se observ c PW I
L I !!¹¹ º
¸©©ª
¨! 2
2
1t
t t
t t
x xV ar V ar .
Pr in urmar e, modelul tr ansf ormat ar e er or ile t L homoscedastice, deoar ece disper sia lor este
independent de tim p. Ef ectuând r egr esia pe modelul tr ansf ormat, r ezult:
±±°
±±
¯
9
!
!
§
§
ub za
uT u
u zT u zb
t
t t
ÖÖ
Ö22
R evenind în var iabilele iniiale obinem:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 56/61
56
±±±
±
°
±±±±
¯
@
!
¹¹ º
¸©©ª
¨¹¹
º
¸©©ª
¨
��!
§ §
§ §
§ § §
t t t t
t
t t t
t t t t
t
t t
t
xT b
x
y
T a
xT x
x x
y
T x x
y
b
11Ö1Ö
111
111
Ö22
Ef ectuând calculele, r ezult:
44,70Ö !b ; 072,0Ö !a ; 99,02 ! R , adic:
t t
t
x x
y 44,70072,0
Ö! sau 44,70072,0Ö ! t t x y .
S r emarcm f aptul c panta dr eptei de r egr esie (du p cor ectar ea heter oscedasticitii) este mai
mic decât cea obinut înaintea cor ectr ii.
4.4. Ipoteza de independen a erorilor în raport cu varibilele exogene
Se tie c su b aceast ipotez fundamental estimator ii obinui au pr opr ieti optimale
(nedeplasai, cu var ian minimal). Când ipoteza nu mai este satisfcut aceste pr opr ieti nu mai sunt
valabile. Cu cât coef icientul de cor elaie liniar ( V ) dintr e t I i t x este mai mar e, cu atât deplasar ea
estimator ilor va f i mai mar e. În astf el de cazur i este de pr ef er at s se aleag un alt model econometr ic
pentru studier ea legtur ii dintr e var iabile.
La f el tr ebuie pr ocedat i atunci când se constat c var iana er or ilor nu este f init.
4.5. Ipoteza referitoare la faptul c variabilele modelului sunt observate fr eroare
Atunci când var iabilele car e apar în model nu sunt var iabile observate fr er oar e, va exista o
cor elaie într e r eziduur i i exogenele din model.
În acest caz, pentru a obine estimator i conver geni, s-a dezvoltat o metod de estimar e special,
numit Ämetoda variabilelor instrumentale´, pe car e o pr ezentm mai jos.
Fie modelul liniar gener al:
t pt pt t t xa xa xa y I ! ...2211 , t=1, 2, ...,T,
car e, cu notaiile obinuite, se scr ie în f orma matr icial Y=X a+I . Notm cu Y ~
i X ~
valor ile r eale
(necunoscute acum pentru c observaiile Y i X conin er or i!) ale var iabilelor din model.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 57/61
57
Putem scr ie c Q! Y Y ~
, K ! X X ~
, unde Q i K sunt var iabile aleatoar e. Vom pr esu pune c
Q i K satisf ace ipotezele fundamentale (medie zer o, var ian f init, independente).
Înlocuind X i Y pr in ex pr esiile lor, obinem modelul L! a X Y ~~
, unde
QI K L ! a . Aceasta ar at c în modelul iniial, Y=Xa+I , r eziduur ile I sunt cor elate cu X pr in
intermediul lui K .
Pr esu punem acum c se cunosc alte p var iabile exogene Z i , i=1,2,..., p necor elate cu Q, K i L, deci
necor elate cu I.
Acest lucru înseamn c 0!�Ii
Z E , i=1,2,..., p. Considerm modelul iniial Y=X a+I scr is
su b f orma:
(1) I ! p p
X a X a X aY ...2211 ,
unde
¹¹¹¹¹¹
º
¸
©©©©©©
ª
¨
!
T x
x
X
1
11
1
.
.
.
,
¹¹¹¹¹¹
º
¸
©©©©©©
ª
¨
!
T x
x
X
2
21
2
.
.
.
,...,
¹¹¹¹¹¹
º
¸
©©©©©©
ª
¨
!
pT
p
p
x
x
X
.
.
.1
Înmulim, succesiv, ecuaia (1) cu Z 1, Z 2, ... Z p i aplicm oper atorul de medie E f iecr ei ecuaii. Se
obine sistemul:
(2)
±
±
°
±
±
¯
A
!�
!�
!�
p p p p p
p p
p p
X Z E a X Z E aY Z E
X Z E a X Z E aY Z E
X Z E a X Z E aY Z E
...
.......
...
11
21212
11111
Metoda de estimar e VI (var iabilelor instrumentale) const în a lua ca estimator i paa Ö,...,Ö1 exact
soluiile sistemului de ecuaii (2), în car e sper anele matematice sunt înlocuite cu momentele em pir ice
cor espunztoar e:
§ �!�t
t it i y zT
Y Z E 1
, i=1,2,..., p
§ �!�t
jt it ji x zT
X Z E 1
, i , j=1,2,..., p
Dac notm:
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 58/61
58
¹¹¹
º
¸
©©©
ª
¨
!
pT T
p
z z
z z
Z
...
.........
...
1
111
i ¹¹¹
º
¸
©©©
ª
¨
!
pT T
p
x x
x x
X
...
.........
...
1
111
sistemul (2) tr ansf ormat se scr ie su b f orm
matr icial: a X Z Y Z Ö'' ! , iar pentru c Y Z '
este inver sabil, obinem estimatorul:
Y Z X Z a ��! ''Ö 1
.
S observm similitudinea cu estimator ii obinui pr in MCMMP:
1. MCMMP obinuit: Y X X X a ��! ''Ö 1
2. MCMMP gener alizat: Y X X X a �;�;! 111''Ö
I I
3. metoda VI: Y Z X Z a ��! ''Ö 1
.
Se tr ece de la 1. la 2. înlocuind ' X pr in 1' ;I X .
Se tr ece de la 1. la 3. înlocuind ' X pr in ' Z .
Cunoater ea pr imei f ormule permite ex pr imar ea celor lalte dou.
Estimatorul aÖ obinut pr in metoda VI este un estimator deplasat pentru a, dar conver ge în
pr obabilitate ctr e a pentru T suf icient de mar e.
Pentru a putea utiliza metoda VI tr ebuie gsite atâtea var iabile instrumentale câte exogene conine
modelul. Aceste var iabile instrumentale tr ebuie s f ie necor elate cu r eziduur ile, dar puternic cor elate cu
exogenele modelului. Aceste r estr icii limiteaz aleger ea var iabilelor instrumentale i, pr in urmar e, metoda
VI nu este o metod gener al de estimar e.
4.5.1. Experien de calcul
Considerm o anchet pe bugetele de f amilie pentru a studia consumul dintr-un anumit pr odus.
Ancheta cu pr inde un eantion de T f amilii. Facem urmtoar ele notaii:
y1t : cheltuielile totale ale f amiliei t ;
y2t : cheltuielile r elative la pr odusul studiat;
V t : venitur ile f amiliei t ;
i scr iem ecuaiile:
(1) t t t V y 11 I !
(2) t t t baV y 22 I !
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 59/61
59
Ne pr opunem s ex pr imm cheltuielile r elative la pr odusul studiat în funcie de cheltuielile totale.
Din ecuaia (1) avem c t t t yV 11 I ! i înlocuind în (2), r ezult:
t t t t aba y y 1212 I I !
sau, punând t t t a 12 I I L ! :
(3) t t t ba y y L! 12 .
S observm c t L este cor elat cu y1t pr in intermediul lui I 1t .
Vom estima a i b din ecuaia (3) intr oducând o var iabil instrumental.
Fie V Dt venitul declar at de f amilia t . Este evident cor elaia puternic dintr e var iabilele V Dt i V t .
Dim potr iv, venitul declar at V Dt nu este cor elat cu t t t V y ! 11I , car e este ecar tul într e
cheltuielile totale i venitur ile f amiliei t . R ezult c V Dt nu va f i cor elat cu t L . Utilizm venitul declar at ca
var iabil instrumental.
Pentru sim plif icar ea calculelor, centrm var iabilele din model:
t t t ba y y L! 12 , t =1,2,...,T
§§§ !t
t
t
t
t
t T
b yT
a yT
L111
12
L! b ya y 12
(4) LL ! t t t y ya y y 1122
Dac aplicm MCMMP ecuaiei (4), obinem estimatorul:
(5).
211
2211
Ö§
§
!
t
t
t
t
t
y y
y y y y
a
Folosim îns metoda var iabilelor instrumentale. Pentru aceasta, considerm var iabila
instrumental centr at VDVDt . Înmulind ecuaia (4) cu var iabila instrumental centr at i aplicând
oper atorul de medie E , r ezult:
? A ? A ? AVDVD E VDVD y yaE VDVD y y E t t t t t t ! LL1122 .
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 60/61
60
Dar, cum t L i V Dt nu sunt cor elate, înseamn c ? A 0! V DV D E t t LL , iar acum
înlocuind E cu media em pir ic, obinem:
? A ? AV DV D y ya E V DV D y y E t t t t ! 1122
1122 11 y yV DV DT
a y yV DV DT
t
t
t
t
t t ! §§ ,
de unde:
11
22
Ö y yVDVD
y yVDVD
at
t
t
t
t t
!§
§.
Am obinut pr actic estimatorul (5) în car e var iabila 11 y y t s-a înlocuit cu var iabila
instrumental V DV Dt atât la numrtor, cât i la numitor.
8/6/2019 REGRESIA LINIARA SIMPLĂ
http://slidepdf.com/reader/full/regresia-liniara-simpla 61/61
BIBLIOGRAFIE
1. Andrei, T. Statistic i econometrie, Editura Economic, Bucureti, 2004
2. Cenu, Ghe. (coord.) Matematici pentru economiti, Editura CISON, Bucureti, 2000
3. Chow, G. Econometrics, McGraw Hill, New York, 1989
4. Dobrescu, E. Tranziia în România-Abordri econometrice, Editura Economic,
Bucureti, 2002
5. Gheroghi, M. Modelarea i simularea proceselor economice, Editura ASE,
Bucureti, 2001
6. Giraud, R . - Econometrie, Economica, 49 rue Hericart, Paris, 1990
7. Gourieroux, C. Statistique et Modeles Econometriques,
Monfort, A. Economica, Paris, 1989
8. Gujarati, R .N. Essentials of Econometrics, McGraw Hill, New York, 1998
9.Isaic-Maniu, Al
.Statistica pentru managementul
Mitru, C. afacerilor, Editura Economic, 1995
Voineagu, V.
10. Malinvaud, E. Methodes statistiques de l¶econometrie, Dunod, Paris, 1978
11. Onicescu, O. Incertitudine i modelare economic
Botez, M. (Econometrie informaional), Editura tiinific i Enciclopedic,
Bucureti, 1985
12. Pecican, E.S. Econometria pentru ... economiti; Econometrie-teorie i aplicaii,
Editura Economic, Bucureti, 2003
13. Pecican, E.S. Econometrie, Editura All, Bucureti, 1994 14. Tanadi, Al. Econometrie, Editura A.S.E., 2001
15. Tanadi, Al. Econometrie ± proiect, Editura A.S.E.,
Creu, A. 2003
Peptan, E.
16. Tnsoiu, O. Modele econometrice, Editura A.S.E.,
Pecican, E.S. 2001
Iacob, A.
17. Tnsoiu, O. Econometrie-studii de caz, Editura A.S.E., 1998
18. Tnsoiu, O. Econometrie aplicat, Editura Arteticart,Iacob, A. Bucureti, 1999
19 ib / ft ht