Maksimum Likelihood Estimation Pada Regresi
-
Upload
fathul-nurul -
Category
Documents
-
view
11 -
download
11
description
Transcript of Maksimum Likelihood Estimation Pada Regresi
Maksimum Likelihood Estimation pada Regresi
Maksimum Likelihood Estimation pada Regresi Linier dan Regresi Logistikhttp://oc.its.ac.id/jurusan.php?fid=1&[email protected] penaksiran parameter menggunakan metode MLE adalah berikut :1. Menuliskan model dugaan.2. Menuliskan PDF variabel respon setiap eksperimen,
disesuaikan dengan model dugaan.3. Mengalikan n PDF variabel respon (bila terdapat n
eksperimen); ini merupakan fungsi likelihood.
4. Melakukan operasi ln pada fungsi likelihood.
5. Menurunkan fungsi ln likelihood terhadap parameter
yang akan ditaksir, yaitu : koefisien regresi ((0 & (1)
dan variansi error((2), bila model dugaan adalah mo-
del regresi sederhana.Penerapan metode MLE pada regresi linier sederhana1. Model dugaan setiap eksperimen :
Yi = (0 + (1Xi + (i, (i ~ N(0,(2)
Yi ~ N((i, ,(2), (i = E(Yi) = E((0 + (1Xi + (i) = (0 + (1Xi
(2 = var(Yi) 2. PDF variabel respon setiap eksperimen :Eksperimen kePDF
1
2
n
..
.
3. Fungsi Likelihood :
LX X . . . X
.
EMBED Equation.3 4. ln fungsi likelihood :
lnL maksimum bilaminimum; ini merupakan jumlah kuadrat error metode least square, sehingga rumus penaksir koefisien regresi seperti pada metode least square; termasuk rumus untuk standart error penaksir koefisien regresi.5. Penurunan fungsi likelihood
Penaksir ini bias, yang tak bias ialah :
Penaksir parameter mejadi takbias bila n besar.
Selang kepercayaan parameter didapatkan seperti pada metode least square, begitu pula dengan pengujian hipo-tesis secara parsial.
Pengujian hipotesis secara sequensial menggunakan sta-tistik uji perbandingan nilai likelihood. Nilai likelihood ialah nilai yang didapatkan dengan cara mensubstitusikan nilai penaksir parameter pada fungsi likelihood.Contoh :
x12345678
y11,21,82,53,64,76,69,1
Model dugaan : Yi = (0 + (1Xi + (, atau Yi = b0 + b1Xi
Nilai penaksir :
b0 = -1,20 b1 = 1,11 SSE = 5,03 s12 = SSE/8 = 0,6288
MSE = SSE/6 = 0,84
Nilai likelihood, yaitu L(y;b0,b1, s12) =
= (10,7397)-4
Nilai likelihood untuk model-model yang lain :
L(y;b0,s02) = (121,8426)-4 , L(y;b0,b1,b2 ,s22) = (0,4270)-4Perumusan hipotesis dan statistik uji menggunakan per-bandingan nilai likelihood :
Perumusan hipotesisStatistik uji, dinotasikan X2
H0: (1 = 0 H1: (1 0
= 19,43
H0: (2 = 0
H1: (2 0
= 25,8
H0: (1 = (2 = 0
= 45,23
Catatan : L(y;b0,b1,b2 ,s22) untuk model kuadratik.
Perumusan hipotesisDistribusi Statistik uji bila H0 benarTitik KritisDaerah Penolakan H0Kesimpulan
H0: (1 = 0
H1: (1 0
= . . .
. . .
H0: (2 = 0
H1: (2 0
= . . .
. . .
H0: (1 = (2 = 0
= . . .
Isilah titik-titik pada tabel di atas dengan hasil tabel atau perhitungan yang benar.
Model mana yang terbaik? Berilah alasan.Penerapan metode MLE pada Regresi Logistik
Regresi Logistik ialah regresi dengan variabel respon ter-diri dari dua kejadian, sukses atau gagal, disebut respon biner; sehingga hasil kejadian tersebut dapat didekati o-leh distribusi Binomial. Selanjutnya, yang dimodelkan ialah probabilitas terjadi sukses, dengan prediktor yang diduga berkontribusi terhadap kejadian sukses.Model regresi logistik dinyatakan dengan persamaan :
i = 1, 2, ... , sdengan : P(xi) adalah probabilitas terjadi sukses pada
kelompok ke i,
xiT ( = (0 + (1xi , bila digunakan satu prediktor.Proses penaksiran parameter didahului oleh pembentukan fungsi likelihood. Misal eksperimen menggunakan s ke-lompok, setiap kelompok dinamai kelompok ke i, i = 1, 2, ... , s. Pada setiap kelompok terdapat ni subyek atau u-nit eksperimen, dan diantaranya terdapat ri sukses. Dengan asumsi terjadinya sukses atau tidak sukses ber-distribusi binomial, maka PDF banyak sukses setiap ke-lompok ke i, dengan ni subyek dan probabilitas setiap subyek sukses P(xi), adalah :
Tanda * pada persamaan di atas seharusnya diisi kombi-nasi(ni,ri) atau , tetapi ini akan hilang pada proses hasil pendeferensialan disamadengankan 0, sehingga ti-dak perlu dituliskan.
Fungsi Likelihood menjadi :
L(() =
ln L(() =
Khusus untuk satu prediktor, xiT ( = (0 + (1xi, sehingga ln fungsi likelihood menjadi :
Selanjutnya ln fungsi likelihood diturunkan terhadap (0 dan (1 , kemudian masing-masing disamadengankan 0, sehingga didapatkan :
Buktikan!Penaksir (0 dan (1 didapatkan dari solusi dua persamaan di atas. Solusi tidak dapat dihitung secara langsung, teta-pi harus melalui iterasi yang lazim digunakan pada meto-de numerik.Adapun perumusan hipotesis dan statistik uji (dilakukan dengan menggunakan perbandingan nilai likelihood) a-dalah sebagai berikut :
H0 : (1 = 0 , artinya pengaruh prediktor terhadap kejadian
sukses tidak bermakna,
H1 : (1 ( 0 Statistik uji :
dengan :
Distribusi Statistik uji bila H0 benar adalah :
Langkah selanjutnya seperti pada Tabel di atas.
Regresi logistik juga dapat dipandang sebagai regresi terboboti dengan :- variabel respon
- variabel prediktor X
- model regresi:= (0 + (1xi + (i.
- var~
- pembobot, wi = 1/var =
- V adalah matrik diagonal dengan elemen :
Proses selanjutnya seperti regresi WLS.
Penaksir probabilitas sukses pada prediktor bernilai x0 :
Contoh :
Suatu penelitian dilakukan untuk memodelkan hubungan antara proporsi lymphoblasts yang menyimpang dengan dosis pemaparan streptonigrin. Unit eksperimen yang di-gunakan adalah kelinci. Data eksperimen sbb :Dosis streptoni-grin (mg/kg berat badan)Banyak Lymphoblasts
(ni)Banyak yg menyimpang(ri)Proporsi yang menyimpang
030
60
75
90600500
600
300
3001596
187
100
1450,0250,192
0,312
0,333
0,483
Hasil perhitungan respon dan pembobot adalah sbb :
DosisPembobot
(wi)
-3,6636
-1,4373
-0,7908
-0,6946
-0,06800
30
60
75
9014,625
77,568
128,794
66,633
74,913
Sumber : Classical And Modern Regression With Appli-
cations, Second Edition, oleh Raymond H
Myers, 1990, halaman 320.Lakukan pengolahan data menggunakan WLS dan Mak-simum Likelihood, untuk mendapatkan model dan meng-evaluasi kemaknaan pengaruh prediktor.Kunci Jawaban :
= -2,56488 + 0,02806 X_1143154648.unknown
_1273256077.unknown
_1273263192.unknown
_1273264401.unknown
_1273264447.unknown
_1273264726.unknown
_1273264342.unknown
_1273263254.unknown
_1273256665.unknown
_1273261840.unknown
_1273263123.unknown
_1273261971.unknown
_1273259266.unknown
_1273256611.unknown
_1143155874.unknown
_1143159727.unknown
_1273252052.unknown
_1273255927.unknown
_1273255948.unknown
_1273250638.unknown
_1143159749.unknown
_1143156185.unknown
_1143158084.unknown
_1143158434.unknown
_1143156378.unknown
_1143156156.unknown
_1143155097.unknown
_1143155510.unknown
_1143154684.unknown
_1143072236.unknown
_1143143201.unknown
_1143150143.unknown
_1143153333.unknown
_1143154305.unknown
_1143150321.unknown
_1143146863.unknown
_1143140283.unknown
_1143143183.unknown
_1143139877.unknown
_1143064231.unknown
_1143064300.unknown
_1143072032.unknown
_1143064276.unknown
_1143063720.unknown
_1143064006.unknown
_1143064044.unknown
_1143064060.unknown
_1143063798.unknown
_1143063810.unknown
_1143021356.unknown