Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Vjeºbe - Statistika

III. dio

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Princip supstitucije

�esto ºelimo procijeniti parametre koji ovise o funkciji distribucijeuzorka - funkcionalni parametar.

Primjer: (X1, . . . ,Xn) jednostavan slu£ajan uzorak s funkcijomdistribucije F s nepoznatim parametrom µ = EX1

µ(F ) =

∫ ∞−∞

xdF (x) (ovisi o F )

ili npr. s nepoznatim parametrom σ2 = Var(X1)

σ2(F ) =

∫ ∞−∞

(x − µ(F ))2dF (x)

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Primjer:

Ekonomiste £esto zanima raspodjela osobnog dohotka u populaciji,posebno mjerenje neravnomjernosti dohotka po segmentimapopulacije.

Lorenzova krivulja predstavlja gra�£ki prikaz raspodjele dohotka.To je postotak dohotka koji dobije 100t% najsiroma²nijih kaofunkcija od t.

Ako je F funkcija distribucije osobnog dohotka populacije, Lorenzovakrivulja qF (t) : [0, 1]→ [0, 1] de�nira se kao

qF (t) =

∫ t

0F−1(s)ds∫

1

0F−1(s)ds

gdje jeF−1(s) = inf{x : F (x) ≥ s}, s ∈ (0, 1).

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Distribucija koja dobro opisuje distribucije dohotka u populaciji jeParetova

F (x) =

(1−

(1x

)α)1(1,∞)(x).

Sljede¢a slika prikazuje Lorenzovu krivulju za Pareto distribuciju zadvije vrijednosti parametra α.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

postotak najsiromašnijeg stanovništva

post

otak

doh

otka

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

α = 1.4α = 2

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Gini indeks - numeri£ki pokazatelj neravnomjernosti raspodjeledohotka u populaciji.

θ(F ) = 2∫

1

0

(t − qF (t))dt = 1− 2∫

1

0

qF (t)dt.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Princip supstitucije temelji se na sljede¢oj ideji:Ako treba procijeniti funkcionalan parametar θ = θ(F ), umjestodirektne procjene, na�emo procjenitelj F̂ za F , a onda procijenimo θsa

θ̂ = θ(F̂ ).

Kako procijenitit F?

Empirijska funkcija distribucije (EDF) za jednostavan slu£ajanuzorak (X1, . . . ,Xn)

F̂ (x) =1n

n∑i=1

1{Xi≤x}.

Nepristran procjenitelj jer

EF̂ (x)) =1n

n∑i=1

P(Xi ≤ x) = P(X1 ≤ x) = F (x).

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Primjer 1.

µ(F ) i σ2(F ).

Primjer 2.

Problem procjene funkcije gusto¢e.

Primjer 3.

Principom supstitucije na�ite procjenitelj za Gini indeks θ(F ) na osnovu

jednostavnog slu£ajnog uzorka (X1, . . . ,Xn) ako je procjenitelj za F−1(t)metodom supstitucije

F̂−1n (t) =n∑

i=1

X(i)1{ i−1n<t≤ i

n}.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Metoda momenata

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak.

Populacijski momenti:

moment reda k

mk = EXk

sredi²nji moment reda k

µk = E(X − EX )k

Uzora£ki momenti:uzora£ki moment reda k

Ak =1

n

n∑i=1

Xk

i

sredi²nji uzora£ki moment reda k

Bk =1

n

n∑i=1

(Xi − A1)k

Uo£imo A1 = X̄n,B1 = 0,B2 = S̄2

n

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Metoda momenata specijalan je slu£aj principa supstitucije.

Procjenitelje metodom momenata traºimo tako da izjedna£avamoodgovaraju¢e populacijske i uzora£ke momente (onoliko jednadºbikoliko nam treba da izrazimo nepoznate parametre - naj£e²¢e takoda iskoristimo uobi£ajene procjenitelje A1,A2,B2).

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadaci

Zadatak 1.

Metodom momenata na�ite procjenitelj θ̂ za nepoznati parametar θ, akoje (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz U [−θ, θ].

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 2.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz E(λ), λ > 0.

(a) Na�ite procjenitelj λ̂ nepoznatog parametra λ metodom momenta.

(b) Koriste¢i se metodom momenta na�ite standardnu gre²ku

procjenitelja λ̂.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 3.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz gama distribucije s

pripadnom funkcijom gusto¢e

f(α,β)(x) =1

Γ(α)βαxα−1e−

x

β 1(0,∞)(x),

pri £emu su α, β > 0. Procjenite nepoznate parametre α i β metodom

momenata.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Metoda maksimalne vjerodostojnosti

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak.

Uz danu realizaciju x = (x1, . . . , xn) tog uzorka de�niramo funkcijuvjerodostojnosti Lx : θ → R

Lx(θ) =

n∏

i=1

Pθ(Xj = xj), X1 diskretna s.v.,

n∏i=1

fθ(xj), X1 neprekidna s.v.

Procjenitelj maksimalne vjerodostojnosti (ML procjenitelj) S(X )nepoznatog parametra θ je procjenitelj za koji je

Lx(S(x)) = supθ∈Θ

Lx(θ),

kad je taj supremum kona£an.

Ponekad je jednostavnije traºiti maksimum od ln Lx(θ), ²to jeekvivalentan problem.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadaci

Zadatak 4.

Neka je dana diskretna slu£ajna varijabla

X ∼(−2 0 7θ5

θ5

1− 2θ5

), 0 < θ <

52

Na�ite procjenitelj nepoznatog parametra θ ML metodom na osnovu

jednostavnog slu£ajnog uzorka (X1,X2,X3,X4) gdje su Xi ∼ X, te je

njihova pripadaju¢a realizacija x = (0,−2, 7,−2).

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 5.

ML metodom na�ite procjenitelj za nepoznati parametar λ, na osnovu

jednostavnog slu£ajnog uzorka (X1,X2, . . . ,X6) iz P(λ), λ > 0,distribucije £ija je realizacija (0, 1, 0, 2, 3, 0).

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 6.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz distribucije s

funkcijom gusto¢e

fθ(x) =x

θ2e−

x

θ 1(0,∞)(x), θ > 0.

Na�ite ML procjenitelj nepoznatog parametra θ.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 7.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz E(α), α > 0. Na�iteML procjenitelj za nepoznati parametar α.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 8.

Neka je (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz B(m, p), m poznato.

Na�ite ML procjenitelj nepoznatog parametra p.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 9.

Neka je (X1, . . . ,Xn) slu£ajan uzorak iz N (µ, σ2) s pripadaju¢om

funkcijom gusto¢e

f (x) =1

σ√2π

e−(x−µ)2

2σ2

gdje su µ i σ2 nepoznati parametri. ML metodom na�ite procjenitelje

nepoznatih parametara.

Metode procjene parametara Metoda momenata Metoda maksimalne vjerodostojnosti

Zadatak 10.

Neka je (X1, . . . ,Xn) slu£ajan uzorak iz distribucije(0 1 2 3 · · ·1

θθ−1θ

1

θ

(θ−1θ

)2 1

θ

(θ−1θ

)3 1

θ · · ·

), θ > 1.

Na osnovu danog uzorka na�ite procjenitelj nepoznatog parametra θ ML

metodom.