3.11 Procjena parametara

Razlikujemo tockovne i intervalne procjene parame-

tara.

Primjer 3.11. Mjerimo visinu covjeka u populaciji

ljudi. Poznato je da visina covjeka ima normalnu raz-

diobu s varijancom 64cm2, ali je parametar srednje

vrijednosti µ nepoznat. Na slucajan nacin odabrano

je n = 100 ljudi i izmjerena im je visina. Zbroj svih

dobivenih visina iznosi 16910 cm. Kolika je procjena

za µ?

1

X = visina (na slucajan nacin odabrana) covjeka

Po pretpostavci: X ∼ N(µ,82)

Kako procijeniti µ iz zadanog slucajnog uzorka

X1, X2, . . . , Xn? (1)

Aritmetickom sredinom uzorka:

Xn :=1

n(X1 + x2 + · · ·+Xn).

Xn je s.v.

2

Iz primjera 3.4 je poznato da je uzoracka razdioba

od Xn:

Xn ∼ N

(µ,

64

n

),

pa je

E[Xn] = µ, Var[Xn] =64

n.

3

Xn je procjenitelj za parametar µ.

Tockovna procjena od µ:

µ = x =16910

100= 169.10cm.

4

Pitanja:

1. Zasto je Xn dobar procjenitelj populacijske sred-

nje vrijednosti (ocekivanja)?

2. Koliko je dobivena procjena pouzdana/tocna?

5

Neka je X1, X2, . . . , Xn slucajni uzorak i τ parametar

populacije.

Definicija. Za procjenitelj Tn = fn(X1, . . . , Xn) ka-

zemo da je nepristran procjenitelj za parametar τ

ako vrijedi

E[Tn] = τ.

6

Definicija. Za procjenitelj Tn parametra τ za koji je

(P) limn→∞Tn = τ

kazemo da je (slabo) konzistentan.

Tn je jako konzistentan za τ ako je

P( limn→∞Tn = τ) = 1.

7

Teorem 3.22. Neka je X1, X2, . . . , Xn slucajni uzo-rak iz populacije s konacnom varijancom i neka je µparametar ocekivanja. Tada je aritmeticka sredinaXn:

(1) nepristran procjenitelj za µ;(2) konzistentan procjenitelj za µ.

Napomena: Za jaku (a time i slabu) konzistentnostaritmeticke sredine dovoljno je pretpostaviti da jeslucajni uzorak iz populacije s konacnim ocekivanjem.Ta pretpostavka je ujedno dovoljna i za tvrdnju (1).

Dokaz.8

Zadatak 1. Uz iste uvjete kao u teoremu 3.22,

dokazite da je uzoracka varijanca

S2n :=

1

n− 1

n∑i=1

(Xi −Xn)2

nepristrani procjenitelj populacijske varijance.

9

Primjer 3.11 (nastavak). Za parametar µ od X ∼N(µ,64) zelimo na osnovi zadanog uzorka naci slucajni

interval [L,D] sa svojstvom da taj interval sadrzi

pravu vrijednost od µ uz pouzdanost od 95%.

Uzoracka razdioba od Xn ∼ N(µ, 64n

)⇒ Z =

Xn − µ

8

√n ∼ N(0,1).

10

Iz tablica ocitamo: z0.025 t.d. je

P(|Z| ≤ z0.025) = 0.95

⇒ z0.025 = 1.96 i

0.95 = P

(∣∣∣∣∣Xn − µ

8

√n

∣∣∣∣∣ ≤ 1.96

)=

= P

(Xn − 1.96

8√n≤ µ ≤ Xn +1.96

8√n

)Dakle, 95% pouzdan interval za µ je[

Xn − 1.968√n,Xn +1.96

8√n

].

11

Realizacija uzorka: x = 169.10.

Prema tome, procjena 95% p.i. za µ na osnovi opa-zenog uzorka je[

169.10−1.96 ·8

10,169.10+1.96 ·

8

10

]= [167.53,170.87].

To je intervalna procjena za µ.

12

Definicija. Neka su

Ln = ln(X1, . . . , Xn), Dn = dn(X1, . . . , Xn)

statistike, funkcije slucajnog uzorka

X1, X2, . . . , Xn.

Kazemo da je [Ln, Dn] (1−α)·100% pouzdan interval

(p.i.) za parametar τ ako vrijedi

P(Ln ≤ τ ≤ Dn) ≥ 1− α.

(α ∈ ⟨0,1⟩)

13

Propozicija 3.23. Neka je X1, X2, . . . , Xn slucajni

uzorak za X iz normalno distribuirane populacije

X ∼ N(µ, σ2), pri cemu je σ2 poznato. (1−α)·100%pouzdani interval za µ je[

Xn − zα2

σ√n, Xn + zα

2

σ√n

].

(Φ0(zα2) = 1−α

2 )

14

Zadatak 2. Pokazite da (1− α) · 100% p.i. za µ iz

propozicije 3.14 ima najmanju duljinu izmedu svih

(1− α) · 100% p.i. za µ oblika[Xn − b ·

σ√n, Xn − a ·

σ√n

], a, b ∈ R.

15

Primjer 3.12. Neka je X ∼ N(170,64) neko sta-

tisticko obiljezje populacije. 25 puta je simulirano

uzimanje uzoraka duljine 100 na osnovi kojih su pro-

cijenjeni 95% p.i. za ocekivanje od X. U 24 (od 25)

slucajeva, prava vrijednost ocekivanja od X (µ =

170) bila je sadrzana u procijenjenim intervalima.

Relativna frekvencija tog dogadaja je:

24

25= 0.96 ≥ 0.95.

16

167 168 169 171 172 173

17

3.12 Pouzdani intervali za ocekivanje normalne

populacije (varijanca nepoznata)

Neka je X1, . . . , Xn slucajni uzorak za X ∼ N(µ, σ2).

Parametri µ, σ2 su nepoznati.

Zbog toga u izrazu za standardiziranu aritmeticku

sredinu zamijenimo σ s procjeniteljem Sn:

Z =Xn − µ

σ

√n → Tn =

Xn − µ

Sn

√n.

18

Iz korolara 3.18:

Tn =Xn − µ

Sn

√n ∼ t(n− 1).

Za zadani α ∈ ⟨0,1⟩ iz tablice Studentove distribucije

ocitamo broj tα2(n− 1) t.d. je

P

(∣∣∣∣∣Xn − µ

Sn

√n

∣∣∣∣∣ ≤ tα2(n− 1)

)= 1− α.

⇒

P

(Xn − tα

2(n− 1)

Sn√n

≤ µ ≤ Xn + tα2(n− 1)

Sn√n

)= 1−α

19

Propozicija 3.24. Neka je X1, X2, . . . , Xn slucajni

uzorak za X iz normalno distribuirane populacije

X ∼ N(µ, σ2), pri cemu je σ2 nepoznato.

(1− α) · 100% pouzdani interval za µ je[Xn − tα

2(n− 1)

Sn√n, Xn + tα

2(n− 1)

Sn√n

].

20

Zadatak 3. Pokazite da (1− α) · 100% p.i. za µ iz

propozicije 3.24 ima najmanju duljinu izmedu svih

(1− α) · 100% p.i. za µ oblika[Xn − b ·

Sn√n, Xn − a ·

Sn√n

], a, b ∈ R.

21

Primjer 3.13. U svrhu istrazivanja toksicnosti jedne

vrste plijesni na urod kukuruza, mjeri se kolicina

toksicne tvari u mg. Uzorak od 9 ekstrakata te pli-

jesni:

1.2, 0.8, 0.6, 1.1, 1.2, 0.9, 1.5, 0.9, 1.0

Pretpostavka je da mjereno obiljezje ima normalnu

razdiobu. Procijenimo 98% p.i. za njegovu ocekivanu

vrijednost.

22

n = 9, x = 1.02, s = 0.28

1− α = 0.98 ⇒ α = 0.02

Tablice: t0.01(8) = 2.896

98% p.i. za µ je:[X9 − 2.896 ·

S9

3, X9 +2.896 ·

S9

3

]i procjena tog intervala na bazi uzorka je:[1.02−2.896 ·

0.28

3, 1.02+2.896 ·

0.28

3

]= [0.75, 1.29]

23

Zadatak 4. Pokazite da je (1 − α) · 100% p.i. za

populacijsku varijancu σ2 normalne populacije jed-

nak (n− 1)S2n

χ2α/2(n− 1)

,(n− 1)S2

n

χ21−α/2(n− 1)

,gdje je χ2

β(m) (1− β)-kvantil χ2(m)-distribucije.

Je li dobiveni p.i. najmanje duljine?

24

3.13 Pouzdani intervali za ocekivanje na osnovi

velikih uzoraka

Pretpostavimo da je X1, X2, . . . , Xn slucajni uzorak

velike duljine n (n → ∞) za X opcenito nepoznatog

tipa razdiobe, ali konacne varijance.

Neka su: µ = E[X], σ2 = Var[X]

Zelimo naci pouzdani interval za µ priblizne pouz-

danosti (1− α) · 100%.

25

Prema CGT-u:

Xn − µ

σ

√n

D−→ N(0,1), n → ∞.

Teorem 3.25. Neka je X1, X2, . . . , Xn slucajni uzo-

rak iz populacije s konacnom varijancom σ2 i neka

je µ parametar ocekivanja. Ako je σn konzistentan

procjenitelj za standardnu devijaciju σ, tada

Xn − µ

σn

√n

D−→ N(0,1), n → ∞.

(Bez dokaza.)

26

Dakle, za velike n (n → ∞) je

Xn − µ

σn

√n

D≈ N(0,1).

Dalje se p.i. konstruira kao u slucaju normalne po-

pulacije s poznatom varijancom (σ ≈ σn):[Xn − zα

2

σn√n, Xn + zα

2

σn√n

].

Njegova pouzdanost je priblizno (1− α) · 100%.

(Na primjer: σn = Sn)

27

Primjer 3.14. Na osnovi 70 podataka o duljini tra-

janja terapije izracunano je prosjecno vrijeme tra-

janja terapije od 15 dana uz standardnu devijaciju

od 3 dana. Treba procijeniti 90% pouzdani interval

za ocekivano vrijeme trajanja terapije.

28

X = vrijeme trajanja terapije, µ = E[X], α = 0.1

Pretpostavka: X70−µS70

√70

D≈ N(0,1).

Iz tablica N(0,1)-razdiobe: z0.05 = 1.64.

Aproksimativni 90% p.i. za µ je[X70 − 1.64 ·

S70√70

, X70 +1.64 ·S70√70

]Buduci da je x = 15, s = 3, procjena tog p.i. je:[

15− 1.64 ·3√70

, 15+ 1.64 ·3√70

]= [14.4, 15.6]

29

Primjer 3.15. Zanima nas postotak pusaca u po-

pulaciji 18-godisnjih Britanaca. Na slucajan nacin

odabran je uzorak duljine n = 7383 iz te populacije.

U uzorku je bilo 32.8% pusaca. Treba procijeniti

95% p.i. za postotak pusaca u populaciji.

30

X = indikator da je 18-god. Britanac pusac

p · 100% je postotak pusaca u populaciji

X ∼ Bernoullijeva s.v. s parametrom p

⇒ E[X] = p, Var[X] = p(1− p)

p = X7383 = X

σ2 = Var[X] = X(1−X)

31

Buduci da je σ =√X(1−X) konzistentan procjeni-

telj za σ =√p(1− p), prema teoremu 3.25 je

X − p√X(1−X)

·√7383

D≈ N(0,1).

Aproksimativni 95% p.i. za p je:X − 1.96 ·

√X(1−X)

7383, X +1.96 ·

√X(1−X)

7383

x = 0.328 ⇒ procjena za taj p.i. je:

0.328± 1.96 ·√0.328 · 0.672

7383= [0.317, 0.339]

32

3.14 Dvije metode nalazenja procjenitelja

– metoda momenata

– metoda maksimalne vjerodostojnosti

33

Osnovni princip metode momenata je da se iz-

jednace populacijske vrijednosti momenata (koje su

funkcije nepoznatih parametara) s odgovarajucim u-

zorackim momentima. Procjenitelji parametara su

rjesenja tog sustava jednadzbi po parametrima kao

nepoznanicama, dakle funkcije su uzorackih mome-

nata.

34

Primjer 3.16. Neka je X1, X2, . . . , Xn slucajni uzo-

rak za X ∼ Exp(λ)-razdiobom, λ > 0 je nepoznati

parametar koji treba procijeniti.

µ(λ) = E[X] = 1/λ ⇒

1

λ= x ⇒ λ =

1

x.

Dakle, procjenitelj metodom momenata za parame-

tar λ eksponencijalne populacijske razdiobe je

λ = 1/X.

35

Primjer 3.17. Neka je X1, X2, . . . , Xn slucajni uzo-

rak za X ∼ U [−θ, θ] s parametrom θ > 0.

Buduci da je µ = 0, a σ2 = Var[X] = θ2/3, iz-

jednacimo populacijsku i uzoracku varijancu i do-

bivenu jednadzbu rijesimo po θ:

θ2

3= s2 ⇒ θ = s

√3.

Dakle, procjenitelj metodom momenata za parame-

tar θ razdiobe U [−θ, θ] je

θ = Sn√3.

36

Primjer 3.18. Neka je X1, X2, . . . , Xn slucajni uzo-

rak za X ∼ N(µ, σ2) s nepoznatim parametrima θ =

(µ, σ2).

Buduci da su E[X] = µ i Var[X] = σ2, procjenitelji

metodom momenata za µ i σ2 su trivijalno

µ = Xn, σ2 = S2n.

37

Definicija. Neka je (x1, x2, . . . , xn) opazeni uzorak

za varijablu X s populacijskom gustocom f(x|θ),gdje je θ ∈ Θ nepoznati parametar.

Tada je vjerodostojnost funkcija L : Θ → R defini-

rana sa

L(θ) :=n∏

i=1

f(xi|θ).

38

Definicija. Procjena metodom maksimalne vjero-

dostojnosti parametra θ je ona vrijednost θ ∈ Θ za

koju funkcija vjerodostojnosti poprima maksimalnu

vrijednost:

L(θ) = maxθ∈Θ

L(θ).

Ocito je θ = θ(x1, . . . , xn). Dakle, procjenitelj metodom

maksimalne vjerodostojnosti, krace MLE, parame-

tra θ je statistika θ(X1, X2, . . . , Xn).

39

Teorem 3.26. (invarijantnost MLE)

Neka je θ MLE za θ i g : Θ → g(Θ) neka funkcija.

Tada je MLE od g(θ) jednak g(θ).

(Bez dokaza.)

40

Primjer 3.19. Neka je X1, X2, . . . , Xn slucajni uzo-rak za X ∼ Exp(λ)-razdiobom, λ > 0 je nepoznatiparametar koji treba procijeniti.

L(λ) =n∏

i=1

λe−λxi = λne−λ∑n

i=1 xi = λne−nλx.

Buduci da

ImX = {x : f(x|λ) > 0} = ⟨0,+∞⟩ne ovisi o λ, MLE za λ trazimo rjesavajuci sta-cionarnu jednadzbu od log-vjerodostojnosti:

ℓ(λ) = logL(λ) = n logλ− nλx

ℓ′(λ) = 0 ⇔n

λ− nx = 0 ⇔ λ =

1

x.

41

Dakle, MLE od λ je

λ = 1/X.

Nadalje, buduci da je µ(λ) = 1/λ populacijsko oce-

kivanje, zbog invarijantnosti od MLE vrijedi da je

MLE populacijskog ocekivanja jednak

µ(λ) = µ(λ) = X.

42

Primjer 3.20. Neka je X1, X2, . . . , Xn slucajni uzo-

rak za X s populacijskom gustocom

f(x|θ) =

{2θ2x ako je 0 ≤ x ≤ θ,

0 inace

i nepoznatim parametrom θ > 1.

L(θ) =n∏

i=1

f(xi|θ) =

{2n

θ2n∏ni=1 xi ako je θ ≥ x(n)0 inace.

Buduci da ImX = [0, θ] ovisi o parametru, MLE

ne mozemo traziti rjesavajuci stacionarnu jednadzbu

log-vjerodostojnosti.

43

Iz oblika funkcije θ 7→ L(θ) ocito je da je L(θ) > 0

samo za θ ≥ x(n), a na tom intervalu funkcija strogo

pada. Dakle, maksimum vjerodostojnosti se postize

u tocki θ = x(n), pa je MLE za θ statistika

θ = X(n).

44

Zadatak 1. Pokazite da je MLE parametara θ =

(µ, σ2) normalnog modela N(µ, σ2) jednak

θ = (µ, σ2) =(Xn,

n− 1

nS2n

).

45

Definicija. Kazemo da je model za X zadan funkci-

jom gustoce f(x|θ), θ ∈ Θ ⊂ Rk, regularan ako je:

(R1) ImX = {x : f(x|θ) > 0} ne ovisi o θ.

(R2) Θ je otvoren skup.

(R3) (∀x) θ 7→ f(x|θ) je diferencijabilna funkcija.

(R4) (∀i, θ) E[(

∂∂θi

log f(X|θ))2]

< +∞ i

kovarijacijska matrica I(θ) s. ve. ∇θ log f(X|θ) je

pozitivno definitna.

(R5) (∀θ)∫∇θf(x|θ) dx = 0.

I(θ) zovemo Fisherovom informacijskom matricom.

46

Teorem 3.27. Neka je X1, . . . , Xn slucajni uzorak

za X iz regularnog modela f(x|θ), i neka je θ MLE

za θ log-vjerodostojnosti ℓn(θ). Pretpostavimo jos

da vrijedi:

(R6) (∀x, i) θ 7→ ∂∂θi

f(x|θ) je diferencijabilna funkcija.

(R7) (∀θ0) (∃r > 0 i funkcija x 7→ K(x, θ0))

(∀x, i, j) sup{θ:|θ−θ0|<r} |∂2

∂θi∂θjlog f(x|θ)| ≤ K(x, θ0)

i Eθ0[K(X, θ0)] < +∞.

(R8) (∀θ)∫∇2

θf(x|θ) dx = 0.

(R9) f(x|θ1) = f(x|θ2) s.s. ⇒ θ1 = θ2

47

Tada je θ konzistentan procjenitelj za θ. Nadalje,√nI(θ)(θ − θ)

D→ N(0, I), n → +∞

i √(−∇2ℓn(θ))(θ − θ)

D→ N(0, I), n → +∞.

48

Teorem 3.27 se koristi za konstrukciju p.i. parame-

tara i funkcija parametara regularnog modela pri-

blizno zadane pouzdanosti za velike n.

Na primjer, p.i. za 1-dim. prametar θ priblizne pouz-

danosti (1− α) · 100% jeθ − zα/21√

−ℓ′′(θ), θ + zα/2

1√−ℓ′′(θ)

.

49

Primjer 3.21. Iz 100000 polica autoodgovornosti

izvuceni su podaci o stetama u jednoj godini. Frekven-

cijska tablica pokazuje nam brojeve polica po kojima

je bilo 0, 1, 2, 3, 4, te 5 i vise steta.

broj steta broj polica0 810561 161742 24353 2954 36

≥ 5 4Σ 100000

50

Uz pretpostavku da se brojevi steta po polici autood-

govornosti u godini dana ravnaju po Poissonovom

zakonu razdiobe P (λ), treba procijeniti nepoznati

parametar λ.

51

L(λ) = f81056(0|λ) · f16174(1|λ) · f2435(2|λ) · f295(3|λ) · f36(4|λ) ·· (Pλ(X ≥ 5))4 =

=1

22435 · 6295 · 2436e−99996λλ22073 ·

·(1− e−λ

(1+ λ+

λ2

2+

λ3

6+

λ4

24

))4

ℓ(λ) = logL(λ) = −100000λ+22073 logλ+

+4 log

(eλ −

(1+ λ+

λ2

2+

λ3

6+

λ4

24

))− C,

gdje je C = log(22435 · 6295 · 2436).

52

Procjena λ metodom ML je rjesenje stacionarne jed-nadzbe:

ℓ′(λ) = −100000+22073

λ+

eλ − (1 + λ+ λ2

2+ λ3

6)

eλ − (1 + λ+ λ2

2+ λ3

6+ λ4

24)= 0.

Newtonova metoda: λ = 0.22078

(pocetna iteracija: λ0 = 0.22093)

53

Zadatak 2. Procijenite aproksimativni 95% p.i. za

parametar λ iz primjera 3.21.

54