TAKSIRAN MAKSIMUM LIKELIHOOD PADA MODEL …lib.ui.ac.id/file?file=digital/20181967-015-09-Taksiran...
-
Upload
vuongquynh -
Category
Documents
-
view
222 -
download
0
Transcript of TAKSIRAN MAKSIMUM LIKELIHOOD PADA MODEL …lib.ui.ac.id/file?file=digital/20181967-015-09-Taksiran...
TAKSIRAN MAKSIMUM LIKELIHOOD PADA MODEL
PERSAMAAN STRUKTURAL NONLINEAR
AMRI ILMMA
030501702x
UNIVERSITAS INDONESIA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
DEPARTEMEN MATEMATIKA
DEPOK
2009
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
TAKSIRAN MAKSIMUM LIKELIHOOD PADA MODEL
PERSAMAAN STRUKTURAL NONLINEAR
Skripsi ini diajukan sebagai salah satu syarat
untuk memperoleh gelar Sarjana Sains
Oleh
AMRI ILMMA
030501702x
DEPOK
2009
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
SKRIPSI : TAKSIRAN MAKSIMUM LIKELIHOOD PADA MODEL
PERSAMAAN STRUKTURAL NONLINEAR
NAMA : AMRI ILMMA
NPM : 030501702X
SKRIPSI INI TELAH DIPERIKSA DAN DISETUJUI
DEPOK, JULI 2009
Dra. RIANTI SETIADI, M.Si MILA NOVITA S.Si, M.Si
PEMBIMBING I PEMBIMBING II
Tanggal Lulus Ujian Sidang Sarjana : 7 Juli 2009
PENGUJI I : Mila Novita, S.Si., M.Si.
PENGUJI II : Alhaji Akbar B., S.Si., M.Sc.
PENGUJI III : Dra. Siti Nurrohmah, M.Si.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
i
KATA PENGANTAR
Alhamdulillah, segala puji bagi Allah Sang Maha Pengasih dan
Penyayang yang telah memberikan nikmat dan karunianya sehingga penulis
dapat menyelesaikan tugas akhir ini dengan baik. Tak lupa shalawat dan
salam dihaturkan kepada Nabi Muhammad SAW yang telah membawa
petunjuk bagi seluruh umat manusia.
Penulis menyadari bahwa tugas akhir ini tidak mungkin dapat
diselesaikan dengan baik tanpa bantuan dari berbagai pihak. Ungkapan
terima kasih secara khusus penulis berikan kepada Mama yang dengan
sabar selalu membantu, memotivasi, memberikan kasih sayangnya yang
sangat besar kepada penulis. Kepada Papa yang telah pergi lebih dulu
menemui Sang Pencipta, penulis sangat berterima kasih atas segala kerja
kerasnya ketika Papa masih bersama penulis sehingga penulis bisa
menyelesaikan kuliah dan sampai sekarang bisa menjalani kehidupan ini
dengan baik. Maafkan penulis belum bisa berbakti lebih banyak kepada
Papa, semua kasih sayangmu sangat penulis rindukan. Penulis berharap
semua yang telah penulis lakukan dapat membuat kalian bangga, Mama dan
Papa. Terima kasih pula kepada Mas Adi dan Mba Achha yang telah banyak
memberikan inspirasi bagi penulis.
Tak lupa penulis mengungkapkan banyak terima kasih kepada:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
ii
1. Ibu Dra. Rianti Setiadi M.Si selaku pembimbing I yang telah
memberikan bahan yang sangat menantang kepada penulis. Terima
kasih atas bantuan, motivasi, perhatian, kepercayaan, dan inspirasi
penulis selama ini. Penulis berharap tugas akhir ini dapat membuat Ibu
puas dan bangga.
2. Mba Mila Novita S.Si, M.Si selaku pembimbing II yang telah sabar
dalam memeriksa tugas akhir ini, membantu penulis dalam menemukan
pembuktian rumus-rumus, dan memberikan banyak masukan yang baik
dalam menyempurnakan tugas akhir ini.
3. Ibu Rustina selaku pembimbing akademik yang telah banyak membantu
penulis dalam mengambil keputusan mulai dari pertama masuk kuliah
hingga penulis lulus.
4. Ibu Sasky yang telah banyak memberikan kasih sayang dan
perhatiannya kepada penulis.
5. Seluruh dosen di Departemen Matematika UI atas semua ilmu yang
telah diberikan. Doakan penulis agar ilmu ini berguna bagi bangsa dan
agama.
6. Staf di Departemen Matematika UI yang telah banyak membantu
penulis dalam berbagai hal.
7. Widya Wahyuni tesayang yang selalu memberikan motivasi dan
semangat ketika penulis sedang jenuh, selalu memberikan nasihat
ketika penulis sedang bingung, dan selalu ada ketika penulis
membutuhkan.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
iii
8. Teman-teman angkatan 2005: Akmal, Angel, Wicha, Bunda Ardy, Puji,
Shally, Gyo, Ratna, Melati, om Teha, Karlina, QQ, Aya, Mery, Miranti, Rani, My
Sis Fika, Pute, Aini, Rif’ah, Rara, Yanuar, Ranti, Trian, Ridwan, Aris, Hairu,
Yuni, Nafia, Dian, Mia, Hamdan, Raisa, Nisma, Othe, Asep, Sae, serta teman-
teman yang juga mengerjakan skripsi: May, Ida, Stevani, Rifkos,
Cungky, Shinta, Ratih, Riesa, Khuri, Syarah, Maul, Uun, Iif, Edi, Gele,
Bembi, dan Gunung.
9. Teman-teman angkatan 2003, 2004, 2006, 2007, dan 2008.
10. Terima kasih khusus kepada: Yanuar yang telah membantu
membuatkan program dengan sabar dan teliti, Hamdan yang telah
meminjamkan komputernya untuk menjalankan program, May yang
telah membantu mengurus persyaratan kolokium ketika penulis sedang
sakit, Ajat ’04 yang telah membantu menurunkan rumus, Novianti ’04
yang telah memberi banyak sekali inspirasi dari skripsinya, Rimbun ’04
yang telah memberikan banyak nasihat dan semangat, dan Bembi ’03
yang turut membantu merevisi program.
Semoga tugas akhir ini dapat memberikan banyak menfaat bagi yang
membacanya. Akhirnya, Penulis menyadari bahwa masih terdapat
kekurangan dalam karya tulis ini sehingga penulis mengharapkan masukan
dan kritik terhadap karya tulis ini dari berbagai pihak.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
iv
ABSTRAK
Tugas akhir ini secara umum bertujuan untuk membahas model
persamaan struktural nonlinear (Nonlinear Structural Equation Model atau
NLSEM), yaitu suatu model yang mengkombinasikan analisis faktor dan
analisis regresi untuk tujuan analisis suatu hipotesis yang menyatakan
hubungan antara variabel-variabel laten yang diukur oleh variabel-variabel
indikator dimana terdapat hubungan yang nonlinear antar variabel latennya.
Penaksiran parameter dalam model persamaan struktural nonlinear dicari
dengan menggunakan taksiran Maksimum Likelihood melalui Algoritma EM
(Expectation Maximization). Karena rumitnya proses komputasi, pada E-Step
akan digunakan algoritma Metropolis-Hastings. Metode tersebut akan
diterapkan untuk melihat pola hubungan antara kepercayaan beragama,
kepuasan dalam pekerjaan, dan interaksi antara keduanya dalam
mempengaruhi kepuasan hidup seseorang. Hasil analisis data menunjukkan
bahwa meningkatnya tingkat kepercayaan beragama dan kepuasan dalam
pekerjaan akan meningkatkan kepuasan hidup, namun dihambat oleh
pengaruh interaksinya.
Kata kunci: Nonlinear SEM, taksiran Maksimum Likelihood, algoritma EM,
algoritma Metropolis-Hastings.
ix + 98 hal ; lamp
Bibliografi: 20 (1978 - 2009)
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
v
DAFTAR ISI
Halaman
KATA PENGANTAR .................................................................................... i
ABSTRAK .................................................................................................. iv
DAFTAR ISI ................................................................................................ v
DAFTAR GAMBAR ................................................................................... vii
DAFTAR TABEL ...................................................................................... viii
DAFTAR LAMPIRAN ................................................................................. ix
BAB I. PENDAHULUAN ............................................................................. 1
1.1 Latar Belakang ............................................................................ 1
1.2 Perumusan Masalah .................................................................... 2
1.3 Tujuan Penelitian ......................................................................... 2
1.4 Pembatasan Masalah .................................................................. 3
1.5 Sistematika Penulisan ................................................................. 3
BAB II. LANDASAN TEORI........................................................................ 5
2.1 Model Persamaan Struktural ....................................................... 5
2.2 Taksiran Maksimum Likelihood ................................................. 18
2.3 Algoritma EM ............................................................................. 19
2.4 Algoritma EM untuk Regular Exponential Family ....................... 21
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
vi
2.5 Integral Monte Carlo .................................................................. 24
2.6 MCEM........................................................................................ 25
2.7 Rantai Markov ........................................................................... 25
2.8 Algoritma Metropolis Hastings ................................................... 27
BAB III. MODEL PERSAMAAN STRUKTURAL NONLINEAR ................. 33
3.1 Model ......................................................................................... 33
3.2 Taksiran Maksimum Likelihood pada Nonlinear SEM ............... 37
3.3 E-Step Menggunakan Algoritma Metropolis-Hastings ............... 42
3.4 M-Step ....................................................................................... 47
BAB IV. CONTOH APLIKASI ................................................................... 49
4.1 Sumber Data ............................................................................. 49
4.2 Analisis Data .............................................................................. 51
4.3 Hasil Taksiran dan Interpretasinya ............................................ 53
BAB V. PENUTUP ................................................................................... 61
5.1 Kesimpulan ................................................................................ 61
5.2 Saran ......................................................................................... 62
DAFTAR PUSTAKA ................................................................................. 63
LAMPIRAN............................................................................................... 66
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
vii
DAFTAR GAMBAR
Halaman
Gambar 2.1. Contoh diagram model persamaan struktural ....................... 8
Gambar 3.1. Contoh diagram model persamaan struktural nonlinear ...... 34
Gambar 4.1. Grafik taksiran parameter 21 , 42 , 63 untuk setiap
iterasi .................................................................................. 55
Gambar 4.2. Grafik taksiran parameter 11 , 12 , dan 13 untuk setiap
iterasi .................................................................................. 55
Gambar 4.3. Grafik taksiran parameter 1 sampai 6 untuk setiap
iterasi .................................................................................. 56
Gambar 4.4. Grafik taksiran parameter 11 sampai 66 untuk setiap
iterasi .................................................................................. 56
Gambar 4.5. Grafik taksiran parameter 11 , 12 , 22 untuk setiap iterasi .. 57
Gambar 4.6. Grafik taksiran parameter untuk setiap iterasi ............... 57
Gambar 4.7. Diagram Model Nonlinear SEM dengan hasil taksiran
parameter ............................................................................. 58
Gambar 1 Lampiran 6. Contoh output grafik program NLSEM ................ 94
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
viii
DAFTAR TABEL
Halaman
Tabel 4.1. Taksiran Maksimum Likelihood untuk data ICPSR ................. 54
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
ix
DAFTAR LAMPIRAN
Halaman
LAMPIRAN 1: Penurunan MLE SEM Biasa ............................................. 66
LAMPIRAN 2: Pembuktian Algoritma EM ................................................ 69
LAMPIRAN 3: Penurunan Statistik Cukup ............................................... 73
LAMPIRAN 4: Penurunan M-Step ............................................................ 76
LAMPIRAN 5: Data ICPSR ...................................................................... 87
LAMPIRAN 6: Program Nonlinear SEM ................................................... 90
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
1
BAB I
PENDAHULUAN
1.1 LATAR BELAKANG Model Persamaan Struktural atau Structural Equation Model (SEM)
adalah teknik multivariat yang mengkombinasikan analisis faktor dan analisis
regresi untuk tujuan analisis suatu hipotesis yang menyatakan hubungan
antara variabel-variabel laten yang diukur oleh variabel-variabel indikator.
Secara umum, SEM dapat dibagi menjadi dua bagian utama, yaitu model
pengukuran yang menggambarkan hubungan antara variabel laten dengan
variabel-variabel indikatornya, dan model struktural yang menggambarkan
hubungan antara variabel-variabel laten.
Selama ini, SEM digunakan lebih kepada hubungan linear antara
variabel-variabel laten, tetapi dalam beberapa permasalahan sering terjadi
hubungan yang non linear diantara variabel laten. Jika terjadi hubungan yang
non linear diantara variabel laten maka SEM yang mengasumsikan hubungan
linear diantara variabel laten kurang tepat untuk diterapkan. Karena itu akan
dicoba untuk mengembangkan model persamaan struktural yang telah ada
dengan memperhitungkan ketidakliniearan hubungan antar variabel laten ke
dalam model. Model persamaan struktural yang memperhitungkan hubungan
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
2
nonlinear antar variabel laten ke dalam model dikenal dengan Model
Persamaan Struktural Non Linear (Non Linear SEM).
Dalam model persamaan struktural yang mengasumsikan hubungan
linear antar variabel laten, penaksiran parameter dilakukan dengan berbagai
metode sesuai dengan keadaan data. Salah satu metode yang sering
digunakan adalah dengan metode Taksiran Maksimum Likelihood. Yang
menjadi masalah dalam tugas akhir ini adalah bagaimana mencari taksiran
parameter pada model persamaan struktural non linear dengan
menggunakan metode taksiran maksimum likelihood. Permasalahan ini yang
akan dicoba untuk diselesaikan dalam tugas akhir ini.
1.2 PERUMUSAN MASALAH Bagaimana cara mencari taksiran parameter dalam model persamaan
struktural non linear dengan menggunakan metode taksiran maksimum
likelihood.
1.3 TUJUAN PENELITIAN
Mencari taksiran parameter dalam model persamaan struktural non
linear dengan menggunakan metode taksiran maksimum likelihood.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
3
1.4 PEMBATASAN MASALAH
Permasalahan dalam tugas akhir ini dibatasi hanya pada penaksiran
parameter dengan metode taksiran maksimum likelihood dan tidak dilakukan
pengujian model.
1.5 SISTEMATIKA PENULISAN
Bab I Pendahuluan
Bab ini berisi latar belakang masalah, perumusan masalah, tujuan
penulisan, pembatasan masalah, dan sistematika penulisan.
Bab II Landasan Teori
Bab ini berisi pembahasan mengenai konsep dasar yang akan
digunakan dalam pembentukan model persamaan struktural
nonlinear, meliputi: model persamaan struktural, taksiran maksimum
likelihood, algoritma EM (Expectation-Maximization), algoritma EM
untuk Regular Exponential Family, integral monte carlo, MCEM,
rantai Markov, dan algoritma MH (Metropolis-Hastings).
Bab III Model Persamaan Struktural Nonlinear
Bab ini berisi pembahasan mengenai model persamaan struktural
nonlinear, meliputi: model umum, taksiran maksimum likelihood, dan
penerapan algoritma EM pada model persamaan struktural nonlinear
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
4
Bab IV Contoh Aplikasi
Bab ini berisi contoh aplikasi, yaitu mencari model persamaan
struktural nonlinear dengan satu variabel laten endogen yang
dibentuk oleh dua variabel laten eksogen dan interaksinya.
Bab V Penutup
Bab ini berisi kesimpulan dan saran.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
5
BAB II
LANDASAN TEORI
Bab ini membahas beberapa pengertian dasar yang diperlukan pada
pembahasan bab-bab berikutnya, yaitu mengenai model persamaan
struktural, taksiran maksimum likelihood, algoritma EM (Expectation-
Maximization), algoritma EM untuk Regular Exponential Family, integral
monte carlo, MCEM, rantai Markov, dan algoritma MH (Metropolis-Hastings).
2.1 MODEL PERSAMAAN STRUKTURAL
Model persamaan struktural atau Structural Equation Model (SEM)
adalah suatu teknik pemodelan statistik yang merupakan penggabungan dari
analisis faktor dan analisis regresi yang dapat menyatakan hubungan antara
variabel-variabel laten yang diukur oleh variabel-variabel indikator. Karena
variabel laten yang digunakan dalam SEM diukur oleh variabel indikator yang
sudah tertentu jumlahnya, maka analisis faktor yang digunakan adalah
analisis faktor konfirmatori. Dalam SEM bisa terdapat suatu sistem
persamaan simultan yang merupakan sistem persamaan dimana suatu
variabel dependen dalam suatu hubungan dependensi dapat menjadi
variabel bebas pada hubungan dependensi selanjutnya. Sebelum
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
6
mempelajari SEM lebih jauh, akan dijelaskan terlebih dahulu beberapa istilah
dan notasi yang digunakan dalam SEM.
Jöreskog (1973) dan Bollen (1989) mengemukakan bahwa ada tiga
istilah untuk variabel random yang digunakan dalam SEM, yaitu variabel
laten, variabel indikator, dan variabel error. Variabel indikator (disebut juga
variabel terobservasi / manifes) adalah variabel yang dapat diukur secara
langsung, misalnya tinggi badan, IPK, pendapatan, dan sebagainya. Variabel
laten (disebut juga variabel konstruk / faktor / tak terobservasi) adalah
variabel yang tidak dapat diukur secara langsung, melainkan diukur oleh
variabel-variabel indikator. Variabel error adalah variabel yang
merepresentasikan variabilitas dari variabel endogen yang tidak dapat
dijelaskan oleh variabel eksogen.
Berdasarkan peranannya dalam model, variabel-variabel laten yang
digunakan dalam SEM dibedakan menjadi variabel laten eksogen dan
variabel laten endogen. Variabel laten eksogen adalah variabel laten yang
tidak dipengaruhi oleh variabel laten sebelumnya di dalam model. Sedangkan
variabel laten endogen adalah variabel laten yang ditentukan oleh variabel-
variabel laten sebelumnya/lainnya di dalam model. Tidak seperti model linear,
SEM memungkinkan adanya korelasi antar variabel laten eksogen.
Notasi-notasi yang digunakan dalam diagram jalur SEM adalah sebagai
berikut:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
7
Bentuk persegi panjang menunjukkan bahwa variabel y adalah
variabel indikator.
Bentuk lingkaran atau elips menunjukkan variabel yang tidak dapat
diukur secara langsung. Variabel laten , error model pengukuran
, dan error model sruktural termasuk ke dalam variabel yang
tidak dapat diukur secara langsung sehingga diberi lambang
lingkaran.
Variabel pada pangkal anak panah mempengaruhi
variabel pada ujung anak panah.
Anak panah dua arah melengkung menunjukkan hubungan
korelasi antara kedua variabel yang dihubungkan.
Di bawah ini akan diberikan contoh SEM dengan notasi-notasi variabel
yang digunakan. Misalkan terdapat diagram jalur SEM sebagai berikut:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
8
Gambar 2.1. Contoh diagram model persamaan struktural
Berdasarkan hubungan antar variabel pembentuknya, SEM terdiri dari
dua bagian, yaitu:
1) Model pengukuran yang mewakili komponen analisis faktor konfirmatori,
yaitu model yang menyatakan hubungan variabel laten dan variabel
indikator yang membentuknya.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
9
Dari diagram SEM di gambar 1, dapat dibuat persamaan model
pengukuran untuk variabel indikator 1 2
(1) y y y
sebagai berikut:
1 1 1 1
11
2 2 1 2
21
y
y
atau dalam bentuk matriks:
1 1 1
11 1
2 2 221
y
y
yaitu:
( 2 1) ( 2 1) ( 2 1) (1 1) ( 2 1)(1) (1) (1) (1) (1)y μ Λ ξ ε
dimana
1 2y y dan adalah variabel-variabel indikator pembentuk variabel
laten 1 ,
1 2 dan adalah intercept,
1 2 dan adalah variabel-variabel error pengukuran, dan
11 21 dan adalah faktor loading yang menunjukkan loading dari
variabel indikator pada variabel laten yang dibentuknya.
Secara umum, model pengukuran untuk variabel
11 2
(1) ypy y y
ukuran 1 1p yang merupakan variabel indikator
dari variabel laten endogen 11 2
(1) ξq
ukuran 1 1q adalah
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
10
(1) (1) (1) (1) (1)y μ Λ ξ ε (2.1.1)
dimana (1)μ adalah matriks intercept ukuran 1 1p ,
(1)Λ adalah matriks
dari faktor loading (faktor loading menunjukkan loading dari variabel
indikator pada variabel laten yang dibentuknya) ukuran 1 1p q , dan (1)ε
adalah matriks ukuran 1 1p dari error pengukuran.
Persamaan model pengukuran untuk variabel indikator
3 4 5 6
(2) y y y y y
adalah:
3 3 2 3
32
4 4 2 4
42
5 5 3 5
52
6 6 3 5
62
y
y
y
y
atau dalam bentuk matriks:
3 3 332
4 4 2 442
5 5 3 553
6 6 663
0
0
0
0
y
y
y
y
yaitu:
(4 1) (4 1) (4 2) (2 1) (4 1)(2) (2) (2) (2) (2)y μ Λ ξ ε
dimana
3 4 5 6y y y y, , dan adalah variabel-variabel indikator pembentuk
variabel laten 2 3 dan ,
3 4 5 6 , , dan adalah intercept,
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
11
3 4 5 6, , dan adalah variabel-variabel error pengukuran, dan
32 42 53 63 , , dan adalah faktor loading yang menunjukkan
loading dari variabel indikator pada variabel laten yang
dibentuknya.
Secara umum, model pengukuran untuk variabel
1 1 1 21 2
(2) yp p p py y y
ukuran 2 1p yang merupakan variabel
indikator dari variabel laten eksogen 1 1 1 21 +2
(2) ξq q q q
ukuran
2 1q adalah
(2) (2) (2) (2) (2)y μ Λ ξ ε (2.1.2)
dimana (2)μ adalah matriks intercept ukuran 2 1p ,
(2)Λ adalah matriks
dari faktor loading ukuran 2 2p q , dan (2)ε adalah matriks ukuran 2 1p
dari error pengukuran.
Dari model pengukuran untuk variabel indikator (1)y dan
(2)y yang
telah dijelaskan sebelumnya, dapat dibuat model pengukuran untuk
seluruh variabel indikator (1) (2) y y y
dalam bentuk matriks:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
12
1 1 111
2 2 221 1
3 3 332 2
4 4 442 3
5 5 553
66 663
0 0
0 0
0 0
0 0
0 0
0 0
y
y
y
y
y
y
yaitu:
(6 1) (6 1) (6 3) (3 1) (6 1)y μ Λ ξ ε
dimana
1 2y y dan adalah variabel-variabel indikator pembentuk variabel
laten 1 ,
3 4y y dan adalah variabel-variabel indikator pembentuk variabel
laten 2 ,
5 6y y dan adalah variabel-variabel indikator pembentuk variabel
laten 3 ,
1 2 6, , adalah intercept,
1 2 6, , , adalah variabel-variabel error pengukuran, dan
11 21 63, , , adalah faktor loading yang menunjukkan loading dari
variabel indikator pada variabel laten yang dibentuknya.
Secara umum, model pengukuran untuk variabel
1 2
(1) (2) y y y py y y
ukuran 1p (dengan 1 2p p p ) yang
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
13
merupakan variabel-variabel indikator dari variabel laten
1 2
(1) (2) ξ ξ ξ q ukuran 1q (dengan 1 2q q q ) adalah
y μ Λξ ε (2.1.3)
dimana (1) (2) μ μ μ
adalah matriks intercept ukuran 1p ,
(1)
(2)
Λ 0Λ
0 Λ adalah matriks dari faktor loading ukuran p q , dan
1 2
(1) (2) ε ε ε p adalah matriks ukuran 1p dari error
pengukuran.
Asumsi-asumsi untuk model pengukuran adalah:
1. (1) (2)E E ε ε 0
2. (1)ε tidak berkorelasi dengan
(1)ξ , (2)ξ , dan (2)ε
3. (2)ε tidak berkorelasi dengan
(1)ξ , (2)ξ , dan
(1)ε
2) Model struktural adalah model yang menyatakan hubungan kausal antar
variabel laten melalui sistem persamaan simultan.
Dari diagram SEM di gambar 1, dapat dijelaskan mengenai model
struktural sebagai berikut:
1 2 3 1
12 13
atau dalam bentuk matriks:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
14
2
1 1 1
12 13 30
yaitu:
(1 1) (1 1) (1 2) (2 1) (1 1)(1) (1 1) (1) (2)ξ Π ξ Γ ξ δ
dimana
12 menyatakan pengaruh variabel eksogen 2 terhadap variabel
endogen 1 ,
13 menyatakan pengaruh variabel eksogen 3 terhadap variabel
endogen 1 ,
23 adalah kovarians antara variabel eksogen 2 dan 3 , dan
matriks Π ukuran (1 1) adalah matriks yang berisi parameter 11
yang menyatakan pengaruh variabel endogen 1 terhadap variabel
endogen 1 , berdasarkan diagram SEM di gambar 1, nilai 11 0
karena tidak ada pengaruh variabel endogen 1 terhadap dirinya
sendiri.
Secara umum, model struktural mempunyai bentuk sebagai
berikut:
(1) (1) (2)ξ Πξ Γξ δ (2.1.4)
Dimana:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
15
1
1
2
(1) =
q
ξ adalah matriks ukuran 1 1q dari variabel-variabel laten
endogen,
1
1
1 2
1
2
(2) =
q
q
q q
ξ adalah matriks ukuran 2 1q dari variabel-variabel laten
eksogen,
Π adalah matriks koefisien untuk variabel laten endogen ukuran
(1) (1)q q , Γ adalah matriks koefisien untuk variabel laten eksogen
ukuran (1) (2)q q , dan δ adalah matriks error struktural ukuran
(1) 1q .
Asumsi-asumsi untuk model struktural adalah:
1. E δ 0
2. δ tidak berkorelasi dengan (2)ξ
3. I Π nonsingular
Dari penjelasan sebelumnya, dapat disimpulkan bahwa SEM secara
umum dapat dituliskan dalam dua bentuk model, yaitu:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
16
1. Model pengukuran
(1) (1) (1) (1) (1)y μ Λ ξ ε
(2) (2) (2) (2) (2)y μ Λ ξ ε
2. Model struktural
(1) (1) (2)ξ Πξ Γξ δ
Dalam SEM, matriks kovariansi memegang peranan yang sangat
penting karena pengujian kecocokan model dilakukan dengan
membandingkan matriks kovariansi dari model dengan matriks kovariansi
sampel. Misalkan S adalah matriks kovariansi sampel dari variabel-variabel
indikator. Matriks S untuk contoh diagram SEM pada gambar 1 adalah:
1 1 2 1 6
1 2 2 2 6
1 6 2 6 6
var cov , cov ,
cov , var cov ,
cov , cov , var
S
y y y y y
y y y y y
y y y y y
Misalkan pula Σ θ adalah matriks kovariansi dari model, dimana θ
adalah vektor dari parameter dalam model. Pada contoh diagram SEM di
gambar 1, Σ θ dapat dinyatakan sebagai berikut:
1 1 1 1 1 2 1 6
11
1 1 1 1 2 2 1 2 2 2 1 2 2 6
11 21 21
1 1 1 1 6 6 3 6 2 6 6 6 3 6
11 62 62
var cov , cov ,
cov , var cov ,
cov , cov , var
Σ θ
y y y y y
y y y y y
y y y y y
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
17
Dapat ditunjukkan bahwa bentuk umum matriks Σ θ di atas adalah
sebagai berikut:
1 1 1
(1) (1) 1 (1) (2)
1
(2) (1) (2) (2) 2
Λ I Π ΓΦΓ Ψ I Π Λ Ψ Λ I Π ΓΦΛΣ θ
Λ ΦΓ I Π Λ Λ ΦΛ Ψ
(2.1.5)
dimana
2 2( ) (2) (2)Φ ξ ξq q E matriks kovariansi dari
(2)ξ
1 1( )Ψ δδq q E matriks kovariansi dari δ
1 11( ) (1) (1)p p E Ψ ε ε matriks kovariansi dari
(1)ε
2 22( ) (2) (2)p p E Ψ ε ε matriks kovariansi dari (2)ε
Penurunan persamaan (2.1.5) dapat dilihat pada Bollen (1989) dalam
“Structural Equation with Latent Variable”.
Parameter-parameter yang tidak diketahui, yaitu Π , Γ , Φ , Ψ , 1Ψ ,
dan 2Ψ akan diestimasi sedemikian sehingga nilai dari entri-entri pada
matriks kovariansi Σ θ dekat dengan nilai dari entri-entri pada matriks S.
Salah satu cara yang biasa digunakan untuk mendapatkan taksiran tersebut
adalah taksiran maksimum likelihood atau Maximum Likelihood Estimator
(MLE). MLE menaksir parameter dengan memaksimumkan probabilitas
(likelihood) bahwa matriks kovariansi populasi sama dengan matriks
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
18
kovariansi sampel. Fungsi maksimum likelihood dapat dituliskan sebagai
berikut:
1
log logMLF tr p
Σ θ SΣ θ S (2.1.6)
Untuk lebih jelasnya mengenai pernurunan persamaan di atas, dapat dilihat
di lampiran 1.
2.2 TAKSIRAN MAKSIMUM LIKELIHOOD
Misalkan 1 2, , , nX X X adalah suatu sampel random berukuran n dari
suatu distribusi dengan pdf ; ,f x yang bergantung pada , disebut
ruang parameter. Karena 1 2, , , nX X X merupakan sample random, pdf
bersama dari 1 2, , , nX X X dapat dinyatakan sebagai:
1 2 1 2, , , ; ; ; ;n nf x x x f x f x f x
(2.2.1)
Pdf bersama dari 1 2, , , nX X X mengandung parameter , sehingga
persamaan (2.2.1) dapat dituliskan sebagai suatu fungsi dari , sebut L .
1 2
1 2
1
, , , ;
; ; ;
;
n
n
n
i
i
L f x x x
f x f x f x
f x
(2.2.2)
L disebut fungsi likelihood.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
19
Akan dicari yang memaksimumkan L . Untuk mempermudah
perhitungan dalam mencari nilai , L dapat dimodifikasi ke dalam bentuk
ln, karena nilai yang memaksimumkan ln L sama dengan nilai yang
memaksimumkan L . Sehingga persamaan (2.2.2) dimodifikasi menjadi:
1
1
ln ln ;
ln ;
n
i
i
n
i
i
L f x
f x
(2.2.3)
Nilai yang memaksimumkan ln L , diperoleh dengan
mendifferensialkan ln L terhadap dan menyamakannya dengan 0, dan
memastikan bahwa turunan keduanya kurang dari 0.
2
2
ln0
ln0
d L
d
d L
d
(2.2.4)
Nilai 1 2, , , nu X X X yang memaksimumkan ln L disebut sebagai
taksiran maximum likelihood dari dan dinotasikan dengan ̂ .
2.3 ALGORITMA EM
Algoritma EM merupakan suatu algoritma yang bersifat iteratif yang
dapat digunakan untuk mencari MLE dimana terdapat variabel dalam model
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
20
yang merupakan variabel laten. Misalkan Z adalah suatu variabel laten.
1 2, , , nY Y YY adalah observed variable, yang mempunyai joint pdf ,p y .
Sebut ,L y adalah fungsi log likelihood dari Y, yaitu:
, log ,L p y y (2.3.1)
Misalkan , , ,p z p y x adalah pdf bersama dari Y dan Z, dengan
adalah parameter dalam model. Karena, seperti yang telah dinyatakan
pada pemisalan awal, Z adalah variabel laten, maka salah satu cara untuk
mencari taksiran yang memaksimumkan fungsi likelihood dari Y adalah
dengan menggunakan algoritma EM. Prinsip dari algoritma EM dapat
dijelaskan menjadi 2 bagian sebagai berikut:
1) E-Step
E-step dilakukan untuk mencari
1 1 1ˆ ˆ, log , , , log , , | ,t t t
ZQ E p z p z p z dz
y y y y
(2.3.2)
dimana:
1ˆt adalah taksiran pada iterasi ke-(t-1).
0 adalah suatu nilai taksiran awal yang diberikan.
2) M-Step
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
21
Pada M-step, maksimumkan
1 1ˆ ˆlog , , , log , ,t tE p z E p
y y x y terhadap untuk
mendapatkan taksiran pada iterasi ke-t, sebut ˆt .
Proses E-step dan M-step ini akan dilakukan terus secara iteratif sampai
sebanyak s iterasi, yaitu sampai didapatkan suatu estimasi untuk yang
konvergen atau 1
ˆ ˆs s cukup kecil.
Dapat ditunjukkan di lampiran 2 bahwa iterasi algoritma EM seperti yang
dijelaskan melalui E-step dan M-step diatas akan meningkatkan nilai ,L y
pada setiap iterasinya.
2.4 ALGORITMA EM UNTUK REGULAR EXPONENTIAL FAMILY
Pada bagian ini akan dibahas tentang algoritma EM untuk regular
exponential family pada kasus dimana terdapat lebih dari satu parameter
yang dibentuk menjadi suatu vektor parameter θ .
Pdf bersama dari X , yaitu ,p x θ , dikatakan berasal dari regular
exponential family jika:
, exp ( ) ( ) ( )p b c x θ θ t x θ x (2.4.1)
dimana θ adalah transpose dari vektor parameter θ , ( )t x adalah statistik
cukup, ( )b θ dan ( )c x adalah fungsi skalar.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
22
Akan dicari ekspektasi dari statistik cukup ( )t x , pertama perhatikan
bahwa:
log , , log exp ( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
tE p z E b c
E b c
E b E c
y θ θ t x θ x
θ t x θ x
θ t x θ x
(2.4.2)
Nilai θ yang memaksimumkan ekspektasi di (2.4.2) dapat dicari dengan
menyelesaikan:
log , , 0
( ) ( ) ( ) 0
( )( ) 0
( )( )
tE p z
E b E c
bE
bE
y θθ
θ t x θ xθ θ θ
θt x
θ
θt x
θ
(2.4.3)
sehingga didapatkan ekspektasi dari statistik cukup ( )t x , yaitu
( )
( )b
E
θt x
θ.
Kemudian dalam mencari ekspektasi pada E-step, perlu dihitung
1 1ˆ, log , , ,t t tQ E p z
θ θ y θ y θ , yaitu:
1 1
1
1 1
ˆ ˆlog , , , log exp ( ) ( ) ( ) ,
ˆ( ) ( ) ( ) ,
ˆ ˆ( ) , ( ) ( ) | ,
t t t
t
t t
E p z E b c
E b c
E b E c
y θ y θ θ t x θ x y θ
θ t x θ x y θ
θ t x y θ θ x y θ
(2.4.4)
Setelah itu pada M-step akan dicari nilai θ yang memaksimumkan
ekspektasi di (2.4.4), yaitu dengan menyelesaikan:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
23
1
1 1
1 1
ˆlog , , , 0
ˆ ˆ( ) , ( ) ( ) | , 0
ˆ ˆ( ) , ( ) ( ) | , 0
t t
t t
t t
E p z
E b E c
E b E c
y θ y θθ
θ t x y θ θ x y θθ
θ t x y θ θ x y θθ θ θ
(2.4.5)
dimana
θI
θ (matriks identitas) dan
1ˆ( ) | , 0tE c
x y θ
θ karena ( )c x tidak
bergantung kepada θ . Maka persamaan (2.4.5) menjadi:
1
1
( )ˆ( ) , 0
( ) ˆ( ) ,
t
t
bE
bE
θt x y θ
θ
θt x y θ
θ
(2.4.6)
Dengan mensubtitusikan persamaan (2.4.3) ke (2.4.6) didapat:
1ˆ( ) ( ) , tE E
t x t x y (2.4.7)
Persamaan (2.4.7) menghasilkan suatu penyederhanaan dalam
algoritma EM pada kasus pdf bersama data lengkap X yang berasal dari
regular exponential family. Yaitu untuk memaksimumkan 1, tQ θ θ di setiap
iterasinya, hanya perlu menyelesaikan persamaan (2.4.7) dengan
menggunakan sisi kanan persamaan, yaitu hanya perlu dihitung nilai
ekspektasi dari statistik cukup ( )t x bersyarat y saja (tidak perlu untuk
menghitung seluruh nilai ekspektasi dari 1, tQ θ θ ).
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
24
2.5 INTEGRAL MONTE CARLO
Integral Monte Carlo adalah suatu metode yang digunakan untuk
mengaproksimasi nilai integral tentu dari suatu fungsi dengan cara
membangkitkan bilangan acak dari suatu populasi dengan distribusi tertentu.
Umumnya Integral Monte Carlo digunakan untuk mengaproksimasi nilai
integral dari suatu fungsi yang kompleks yang nilai eksak integralnya sulit
diperoleh secara analitik.
Misalkan ingin dihitung nilai integral tentu dari suatu fungsi ( )h x yang
kompleks:
( )
b
a
h x dx (2.5.1)
Misalkan fungsi ( )h x dapat dituliskan sebagai hasil kali dua buah fungsi ( )f x
dan pdf ( )p x yang didefinisikan pada interval ( , )a b , maka perhatikan bahwa
( )( ) ( ) ( ) [ ( )]
b b
p x
a a
h x dx f x p x dx E f x (2.5.2)
yaitu integral pada (2.5.1) dapat dituliskan sebagai expektasi dari ( )f x di
sepanjang densitas ( )p x . Sehingga jika diambil sejumlah besar bilangan
bilangan acak 1 2, , , nx x x dari densitas ( )p x , maka nilai integral pada
(2.5.1) dapat diaproksimasi dengan
( )
1
1( ) [ ( )] ( )
b n
p x i
ia
h x dx E f x f xn
(2.5.3)
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
25
2.6 MONTE CARLO EXPECTATION MAXIMIZATION (MCEM)
Monte Carlo Expectation Maximization (MCEM) adalah suatu algoritma
yang menggunakan metode Monte Carlo dalam mengaproksimasi nilai
ekspektasi pada E-Step dalam algoritma EM. Seperti yang telah dijelaskan
sebelumnya, dalam E-Step akan dicari:
1 1 1ˆ ˆ, log , , , log , , | ,t t t
ZQ E p z p z p z dz
y y y y
Nilai 1ˆlog , , | , t
Zp z p z dz y y inilah yang akan dicari dengan
menggunakan integral monte carlo. Untuk melakukannya, pertama
bangkitkan nilai-nilai 1 2, z , , znz dari distribusi 1ˆ| , tp z y , kemudian nilai
ekspektasinya dapat dihitung sebagai berikut:
11 ˆ| ,
1
ˆlog , , | , log , ,
1log , ,
tt p zZ
n
i
p z p z dz E p z
p zn
yy y y
y (2.6.1)
2.7 RANTAI MARKOV
Misalkan tX menyatakan variabel random X pada saat t , dan
misalkan hasil nilai-nilai X yang mungkin terdapat di dalam suatu ruang
keadaan (state space).
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
26
Rantai Markov atau Markov Chain adalah suatu barisan dari variabel
random X dimana jika terdapat nilai keadaan yang sekarang maka keadaan
di masa depan saling bebas dengan keadaan di masa lalu. Dengan kata lain,
satu-satunya informasi untuk memprediksi keadaan di masa depan adalah
keadaan saat ini saja, sedangkan keadaan-keadaan sebelumnya tidak
mempengaruhi, yaitu secara formal:
1 1 0 0 1 1Pr | , , Pr |t t t t t t t tX s X s X s X s X s (2.7.1)
Perubahan dari suatu keadaan ke keadaan yang lain disebut dengan transisi,
sedangkan probabilitas perubahan dari suatu keadaan ke keadaan lain
disebut dengan probabilitas transisi. Probabilitas transisi dari keadaan is ke
keadaan js dalam satu tahap dilambangkan dengan ,P i j P i j , yaitu
1, Pr |t j t iP i j P i j X s X s (2.7.2)
Misalkan Prj t jt X s menyatakan probabilitas bahwa rantai
markov berada dalam keadaan j pada saat t , dan tπ menyatakan vektor
baris yang berisi probabilitas-probabilitas yang meliputi seluruh ruang
keadaan pada saat t . Probabilitas bahwa rantai memiliki nilai keadaan is
pada saat 1t dapat diberikan oleh persamaan Chapman-Kolomogrov, yaitu:
1
1
1 Pr
Pr | .Pr
,
i t i
t i t k t k
k
k
k
k
k
t X s
X s X s X s
P k i t
P k i t
(2.7.3)
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
27
Persamaan Chapman-Kolomogrov di atas juga dapat dituliskan dalam
bentuk matriks. Misalkan P adalah matriks probabilitas transisi yang elemen
ke ,i j nya adalah ,P i j , maka persamaan Chapman-Kolomogrov di atas
menjadi:
1t t π π P (2.7.4)
Rantai markov akan mencapai distribusi *π yang stasioner jika
memenuhi:
* *π π P (2.7.5)
Syarat cukup pada rantai markov untuk distribusi yang stasioner adalah
dipenuhinya persamaan detailed balance, yaitu untuk setiap i dan j berlaku:
* *, ,j kP j k P k j (2.7.6)
Syarat cukup di atas mengimplikasikan π πP , karena jika syarat cukup
tersebut dipenuhi, maka elemen ke-j dari πP untuk setiap j adalah
, , ,i j j jji i i
P i j P j i P j i πP
yang memenuhi definisi distribusi yang stasioner pada persamaan (2.7.5).
2.8 ALGORITMA METROPOLIS-HASTINGS Salah satu masalah dalam menerapkan Integral Monte Carlo adalah
dalam memperoleh sampel dari densitas yang sangat kompleks. Masalah
tersebut dapat diatasi dengan menggunakan Algortima Metropolis Hastings
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
28
(MH). Algoritma MH akan digunakan untuk membangkitkan sampel dari suatu
densitas tujuan dengan menggunakan bantuan dari densitas awal yang
mudah untuk diambil sampelnya. Algoritma ini pertama kali diperkenalkan
oleh Metropolis (1953) kemudian disempurnakan oleh Hastings (1970).
Misalkan akan diambil sampel dari suatu populasi dengan pdf ( )p
dimana ( ) ( ) /p f K , dengan K adalah konstan yang tidak diketahui.
Dengan menggunakan Algoritma MH, dapat dihasilkan suatu urutan
pengambilan dari distribusi ( )p . Sebelumnya perlu ditentukan suatu
distribusi lompatan (jumping distribution) 1 2( , )q yang merupakan
probabilitas mengembalikan nilai 2 jika diberikan nilai 1 . Distribusi ini
disebut juga sebagai Proposal Distribution atau Candidate-Generating
Distribution. Satu-satunya pembatasan pada distribusi lompatan dalam
Algoritma Metropolis adalah distribusinya simetrik, yaitu 1 2 2 1( , ) ( , )q q .
Cara kerja Algoritma Metropolis adalah sebagai berikut:
1. Ambil sembarang nilai awal 0 yang memenuhi 0( ) 0f .
2. Pada iterasi ke-m, yaitu dengan menggunakan nilai 1m yang sekarang,
hasilkan titik kandidat * dari *
1( , )mq .
3. Ketika titik kandidat * telah didapatkan, hitung rasio dari densitas pada
titik kandidat ( * ) dan titik kandidat yang sekarang ( 1m ), yaitu:
* *
1 1
( ) ( )
( ) ( )m m
p f
p f
(2.8.1)
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
29
4. Jika lompatannya meningkatkan densitas (yaitu > 1), maka ambil titik
kandidat tersebut, yaitu tetapkan *
t , kemudian kembali ke langkah
ke-2. Jika lompatannya menurunkan densitas (yaitu < 1), maka *
diterima dengan probabilitas . Artinya jika diambil suatu sampel U dari
distribusi uniform (0,1) , maka titik kandidat * tersebut akan diterima
jika nilai U , sebaliknya tolak titik kandidat * tersebut. Jika titik
kandidat * ditolak, maka ulangi langkah ke-2 dan ambil titik kandidat
lain sampai titik kandidat yang dihasilkan diterima.
Kita dapat merangkum Algoritma Metropolis dengan dengan pertama-
tama menghitung
*
1
( )min ,1
( )m
f
f
(2.8.2)
kemudian mengambil titik kandidat * dengan probabilitas . Proses
tersebut akan menghasilkan Rantai Markov 0 1( , , , , )k , karena
probabilitas dari 1m ke m hanya bergantung kepada 1m dan bukan
0 2( , , )m . Misalkan setelah k iterasi proses tersebut mencapai distribusi
yang stasioner, maka sampel 1( , , )k k M adalah M buah sampel yang
diambil dari distribusi ( )p x .
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
30
Hastings (1970) mengembangkan Algoritma Metropolis dengan
menggunakan sembarang distribusi lompatan 1 2( , )q (tidak harus simetrik)
dan menetapkan probabilitas penerimaan untuk suatu titik kandidat sebagai:
* *
1
*
1 1
( ) ( , )min ,1
( ) ( , )
m
m m
f q
f q
(2.8.3)
Algoritma di atas disebut sebagai Algoritma Metropolis-Hastings (MH).
Untuk menunjukkan bahwa algoritma Metropolis-Hasting menghasilkan
rantai markov yang distribusi stasionernya adalah p x , cukup ditunjukkan
bahwa probabilitas transisi pada algoritma MH memenuhi persamaan (2.7.6).
Dalam algoritma MH, sampel diambil dari ,q x y dan diterima dengan
probabilitas ,x y , maka probabilitas transisinya diberikan oleh:
,Pr , , , .min ,1
,
p y q y xx y q x y x y q x y
p x q x y
(2.8.4)
Dari persamaan (2.7.6), jika probabilitas transisi pada algoritma MH
memenuhi
P x y p x P y x p y (2.8.5)
atau
, , , ,q x y x y p x q y x y x p y
maka dapat disimpulkan bahwa algoritma MH menghasilkan rantai markov
yang distribusi stasionernya adalah p x . Selanjutnya akan ditunjukkan
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
31
bahwa persamaan (2.8.5) dipenuhi oleh setiap pasang kemungkinan nilai x
dan y pada algoritma MH, yaitu jika:
1. , ,q x y p x q y x p y .
Hal ini menyebabkan
,, 1
,
q y x p yx y
q x y p x dan
,, 1
,
q x y p xy x
q y x p y , yaitu , ,x y y x , yang mengakibatkan:
, ,P x y p x q x y p x dan , ,P y x p y q y x p y
sehingga , ,P x y p x P y x p y , yaitu persamaan (2.8.5) dipenuhi.
2. , ,q x y p x q y x p y .
Pada kasus ini,
,1
,
p y q y x
p x q x y dan
,1
,
p x q x y
p y q y x , yang
menyebabkan:
,,
,
p y q y xx y
p x q x y dan , 1y x
sehingga
, , ,
,,
,
,
, ,
,
P x y p x q x y x y p x
p y q y xq x y p x
p x q x y
q y x p y
q y x y x p y
P y x p y
yaitu memenuhi persamaan (2.8.5).
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
32
3. , ,q x y p x q y x p y .
Pada kasus ini,
,1
,
p y q y x
p x q x y dan
,1
,
p x q x y
p y q y x , yang
menyebabkan:
, 1x y dan
,,
,
p x q x yy x
p y q y x
sehingga
, , ,
,,
,
,
, ,
,
P y x p y q y x y x p y
p x q x yq y x p y
p y q y x
q x y p x
q x y x y p x
P x y p x
yaitu memenuhi persamaan (2.8.5).
Karena persamaan (2.8.5) selalu terpenuhi untuk setiap pasang
kemungkinan nilai x dan y , maka terbukti bahwa algoritma MH
menghasilkan rantai markov yang distribusi stasionernya adalah p x .
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
33
BAB III
MODEL PERSAMAAN STRUKTURAL NONLINEAR
3.1 MODEL
Model Persamaan Struktural Nonlinear atau Nonlinear Structural
Equation Model (Nonlinear SEM) adalah suatu model persamaan struktural
yang memperhitungkan hubungan yang nonlinear antar variabel laten.
Perhatikan kembali diagram SEM di gambar 1 dengan beberapa
perubahan notasi sebagai berikut:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
34
Gambar 3.1. Contoh diagram model persamaan struktural nonlinear
dimana pada model tersebut terdapat satu variabel laten endogen ( 1 ) dan
dua variabel laten eksogen ( 2 3 dan ). Kemudian pertimbangkan terdapat
hubungan nonlinear, misalkan terdapat interaksi antara variabel laten
eksogen 2 dan 3 yang mempengaruhi variabel laten endogen 1 . Misalkan
interaksi antara variabel laten eksogen 2 dan 3 dilambangkan dengan
2 3 .
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
35
Maka dari diagram SEM pada gambar 2 di atas, dapat dijelaskan
mengenai model struktural dengan melibatkan interaksi variabel laten
eksogen 2 dan 3 sebagai berikut:
1 2 3 2 3 1
11 12 13
atau dalam bentuk matriks:
2
1 1 3 1
11 12 13
2 3
0
yaitu:
(1 1) (1 1) (1 3) (1 1)(1) (1 1) (1) (2) (3 1)( )ξ Π ξ Γ ξ δH
dimana
11 menyatakan pengaruh variabel eksogen 2 terhadap variabel
endogen 1 ,
12 menyatakan pengaruh variabel eksogen 3 terhadap variabel
endogen 1 ,
13 menyatakan pengaruh interaksi variabel eksogen 2 dan 3
terhadap variabel endogen 1 ,
Π adalah matriks ukuran (1 1) yang berisi parameter 11 yang
menyatakan koefisien variabel endogen 1 dalam model pada
diagram SEM di gambar 2, nilai 11 0 .
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
36
Secara umum, model struktural untuk nonlinear SEM dapat dituliskan
sebagai berikut:
(1) (1) (2)( )ξ Πξ Γ ξ δH (3.1.1)
Dimana:
1
1
2
(1) =
q
ξ adalah matriks ukuran 1 1q dari variabel-variabel laten endogen,
1
1
1 2
1
2
(2) =
q
q
q q
ξ adalah matriks ukuran 2 1q dari variabel-variabel laten
eksogen,
1 (2)
2 (2)
(2)
(2)
( )
( )( )=
( )t
h
hH
h
ξ
ξξ
ξ
adalah matriks ukuran 1t dimana t adalah banyaknya
fungsi dari variabel laten eksogen, 1 2, , , th h h adalah fungsi dari (2)ξ dimana
2t q , Π adalah matriks koefisien untuk variabel laten endogen ukuran
1 1q q , Γ adalah matriks koefisien untuk (2)( )ξH ukuran 1q t , dan δ adalah
matriks error struktural ukuran 1 1q . Diasumsikan (2)ξ dan δ masing-masing
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
37
berdistribusi ,N 0 Φ dan ,N 0 Ψ dimana Φ adalah matriks kovarians dari
(2)ξ dan Ψ adalah matriks kovarians dari δ .
Sebut 0 1Π Π
qI dimana
1qI adalah matriks identitas ukuran 1 1q q .
Model struktural dalam persamaaan (3.1.1) nonlinear dalam variabel laten
(2)ξ tetapi linear dalam matriks parameter Π dan Γ , sehingga parameter
dalam model dapat ditaksir.
Sebut Λ Π Γ dan (1)
(2)
( )( )
ξξ
ξG
H
, maka (3.1.1) dapat pula ditulis
sebagai:
(1) ( )ξ Λ ξ δG (3.1.2)
Sedangkan model pengukuran pada nonlinear SEM sama dengan
model pengukuran pada SEM biasa, yaitu:
y μ Λξ ε (3.1.3)
Diasumsikan ε berdistribusi ,N 0 Ψ dimana Ψ adalah matriks kovarians
dari ε dan ε independen terhadap ξ .
3.2 TAKSIRAN MAKSIMUM LIKELIHOOD PADA NONLINEAR SEM
MLE pada nonlinear SEM akan dicari dengan menggunakan algoritma
EM. Sedangkan algoritma EM itu sendiri baru dapat dilakukan untuk mencari
MLE jika minimal terdapat satu variabel yang merupakan variabel laten.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
38
Misalkan 1 2, , ..., nY y y y adalah matriks yang berisi sampel acak
ukuran n dari variabel indikator yang diambil dari suatu populasi dengan
model persamaan struktural nonlinear yang telah didefinisikan pada
persamaan (3.1.1) dan (3.1.3), 1 2, , ..., nZ ξ ξ ξ adalah matriks dari variabel
laten, dan θ adalah vektor parameter yang mengandung semua parameter
yang tidak diketahui dalam μ , Λ , Λ , Φ , Ψ , dan Ψ .
Ide dasar dalam penaksiran parameter pada nonlinear SEM ini adalah
dengan mempertimbangkan penambahan data dimana data Y yang
terobservasi ditambahkan dengan data variabel laten Z , sehingga algoritma
EM dapat dilakukan.
Misalkan ,X Y Z adalah himpunan data yang telah ditambahkan dan
, , log ,L pY Z θ X θ adalah fungsi log likelihood dari θ berdasarkan X .
Dari (3.1.1) dan (3.1.3), maka ,L X θ dapat dijabarkan sebagai berikut:
(1) (2) (2)
, log ,
log , ,
log | , . ,
log | , . | , . ,
L p
p
p p
p p p
X θ X θ
Y Z θ
Y Z θ Z θ
Y Z θ ξ ξ θ ξ θ
(3.2.1)
Sebelumnya perhatikan bahwa jika suatu variabel random X yang
berdistribusi multivariat normal dipartisi menjadi 1
2
XX
X dengan mean
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
39
1
2
μμ
μ dan matriks kovariansi 11 12
21 22
Σ ΣΣ
Σ Σ, maka distribusi dari 1X
bersyarat 2X adalah multivariat normal 1 2| ,NX X μ Σ dimana
1
1 12 22 2 2
μ μ Σ Σ X μ (3.2.2)
1
11 12 22 21
Σ Σ Σ Σ Σ (3.2.3)
Selanjutnya partisi X menjadi
YX
Z dengan mean
Y
Z
μμ
μ dan
matriks kovariansi
YY YZ
ZY ZZ
Σ ΣΣ
Σ Σ, dimana:
E E E E Yμ Y μ Λξ ε μ Λ ξ ε μ
E E Zμ Z ξ 0
0
E E E
E
E
E
E E E E
YY
ZZ
ZZ
Σ YY Y Y
μ Λξ ε μ Λξ ε μμ
μ Λξ ε μ ξ Λ ε μμ
μμ μξ Λ με Λξμ Λξξ Λ Λξε εμ εξ Λ εε μμ
μμ Λ ξξ Λ εε μμ ξ ε
μμ ΛΣ Λ Ψ μμ
ΛΣ Λ Ψ
suku lain bernilai nol karena E
cov ,
.
E E E
E
E
YZ
ZZ
Σ Y Z
YZ Y Z
μ Λξ ε ξ μ 0
μξ Λξξ εξ
ΛΣ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
40
ZY YZ ZZ ZZ ZZΣ Σ ΛΣ Σ Λ Σ Λ
Maka distribusi dari Y bersyarat Z adalah multivariat normal
| ,NY Z μ Σ dimana:
1
1
Y YZ ZZ Z
ZZ ZZ
μ μ Σ Σ Z μ
μ ΛΣ Σ ξ 0
μ Λξ
1
1
YY YZ ZZ ZY
ZZ ZZ ZZ ZZ
ZZ ZZ
Σ Σ Σ Σ Σ
ΛΣ Λ Ψ ΛΣ Σ Σ Λ
ΛΣ Λ Ψ ΛΣ Λ
Ψ
Sehingga fungsi likelihood dari Y bersyarat Z adalah:
1 1
1/2/2 1
1 1
1/2/2 1
/2/2 1
1
| , | , | ,
12 exp
2
1 2 exp
2
12 exp
2
n n
p
p
n n
nnnp
i i
i
p f f
Y Z θ Y Z θ Y Z θ
Ψ y μ Λξ Ψ y μ Λξ
Ψ y μ Λξ Ψ y μ Λξ
Ψ y μ Λξ Ψ y μ Λξ
(3.2.4)
Dengan cara yang sama, diperoleh fungsi likelihood dari (1)ξ bersyarat (2)ξ :
1 /2/2 1
(1) (2) 0 (1) (1)
1
1| , 2 exp
2
nn nnq
i i i i
i
p G G
ξ ξ θ Ψ Π ξ Λ ξ Ψ ξ Λ ξ
(3.2.5)
Kemudian fungsi likelihood dari (2)ξ adalah:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
41
2
2
2
(2) 1(2) (2)
1/2/2 1
1(2) 1(2)
1/2/2 1
(2) (2)
/2/2 1
(2) (2)
1
, , ,
12 exp
2
1 2 exp
2
12 exp
2
n
q
q
n n
nnnq
i i
i
p f f
ξ θ ξ θ ξ θ
Φ ξ Φ ξ
Φ ξ Φ ξ
Φ ξ Φ ξ
(3.2.6)
Subtitusikan (3.2.4) - (3.2.6) ke dalam persamaan (3.2.1), sehingga ,L X θ
diberikan oleh:
(1) (2) (2), log | , . | , . ,L p p pX θ Y Z θ ξ ξ θ ξ θ
1
2
/2/2 1
1
/2/2 1
0 (1) (1)
1
/2/2 1
(2) (2)
1
1log 2 exp
2
1 2 exp
2
1 2 exp
2
,n
nnp
i i
i
nn nnq
i i i i
i
nnnq
i i
i
G G
L
Ψ y μ Λξ Ψ y μ Λξ
Ψ Π ξ Λ ξ Ψ ξ
X θ
Λ ξ
Φ ξ Φ ξ
1 2 /2 /2 /2( )/2
0
1 1
(2) (2)
1 1
1
(1) (1)
1
log 2
1 1 exp exp
2 2
1 exp
2
,n n n nn p q q
n n
i i i i
i i
n
i i i i
i
L
G G
Ψ Ψ Φ Π
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ
X
ξ
θ
0
1 1
(2) (2)
1 1
1
(1) (1)
1
1 1 1 1log 2 log log log log
2 2 2 2
1 1
2 2
1
,
2
n n
i i i i
i i
n
i i i i
i
p q n n n n n
G G
L
Ψ Ψ Φ Π
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ
X θ
Λ ξ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
42
0
1 1
(2) (2)
1 1
1
(1) (1)
1
1log 2 log lo, g log 2 log
2
n n
i i i i i i
i i
n
i i i i
i
p q n n n n n
G G
L
Ψ Ψ Φ Π
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ ξ
X θ
(3.2.7)
iξ dalam persamaan (3.2.7) adalah variabel random yang tidak teramati
(variabel laten) sehingga MLE dapat dicari dengan menggunakan algoritma
EM. Pada iterasi ke-t dalam algoritma EM, akan dicari nilai
1 1 1ˆ ˆ, , | , log , | ,t t tQ E L p p d Zθ θ X θ Y θ X θ Z Y θ Z (3.2.8)
dimana ekspektasi dicari berdasarkan distribusi kondisional dari X diberikan
Y dan 1tθ , kemudian nilai tθ ditentukan dengan memaksimumkan
1, tQ θ θ .
3.3 E-STEP MENGGUNAKAN ALGORITMA METROPOLIS-HASTINGS
Dapat ditunjukkan dari (3.2.7) bahwa untuk menghitung 1, tQ θ θ di E-
Step, perlu dihitung ekspektasi bersyarat dari statistik cukup berikut
(1) (2) (2), , , , ; 1, , i i i i i i i i iG G G i n ξ ξ ξ ξ ξ ξ ξ ξ ξ . Untuk lebih jelasnya
lihat lampiran 3.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
43
Karena nilai ekspektasi statistik cukup tersebut sulit untuk dicari secara
analitik, maka nilainya akan dicari secara numerik menggunakan metode
integral monte carlo yang telah dijelaskan di Bab II. Untuk dapat menghitung
nilai ekspektasi dengan menggunakan integral monte carlo (persamaan
(3.2.8)), maka dibutuhkan nilai-nilai iξ yang berasal dari distribusi | ,p Z Y θ ,
yaitu dari | ,i ip ξ y θ , 1, 2, , i n .
Perhatikan kembali persamaan (3.2.1), ,p X θ dapat dijabarkan
sebagai:
(1) (2) (2), , , | , . | , . ,p p p p p X θ Y Z θ Y Z θ ξ ξ θ ξ θ (3.3.1)
juga dapat dijabarkan sebagai:
, , , | , . ,p p p p X θ Y Z θ Z Y θ Y θ (3.3.2)
Dari persamaan (3.3.1) dan (3.3.2), didapat:
(1) (2) (2)| , . , | , . | , . ,p p p p pZ Y θ Y θ Y Z θ ξ ξ θ ξ θ
yaitu
(1) (2) (2)
(1) (2) (2)1 1
| , | , . | , . ,
| , | , | , ,n n
i i i i i i ii i
p p p p
p p p p
Z Y θ Y Z θ ξ ξ θ ξ θ
ξ y θ y ξ θ ξ ξ θ ξ θ
Karena iξ dan iy saling bebas, maka dari (3.2.7), | ,i ip ξ y θ proporsional
dengan
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
44
1 1
(2) (2)
1
(1) (1)
1 1exp
2 2
1
2
i i i i i i
i i i iG G
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ ξ
(3.3.3)
Karena sulitnya mengambil nilai-nilai iξ secara langsung dari
| ,i ip ξ y θ , maka akan digunakan algoritma Metropolis-Hastings (MH) untuk
mensimulasi nilai-nilai iξ tersebut. Dengan algoritma MH, akan diambil
sampel dari densitas tujuan dengan bantuan distribusi proposal (distribusi
awal) yang mudah untuk diambil sampelnya. Disini, | ,i ip ξ y θ digunakan
sebagai densitas tujuan. Berdasarkan Roberts (1996) serta Lee dan Zhu
(2002), adalah alami untuk menggunakan 2,N Ω sebagai distribusi
proposal, dimana 2 adalah nilai yang dipilih, 1 1
Ω Σ Λ Ψ Λ ,
1 1 1 1
0 0 0
1 1 1
0
Π Ψ Π Π Ψ ΓΣ
Γ Ψ Π Φ Γ Ψ Γ (3.3.4)
dan (2)
(2) (2)|
i
i i
H
ξ
ξ ξ 0.
Menurut Gelman, Roberts, dan Gilks (1994), jika digunakan distribusi
normal sebagai distribusi proposal, maka parameter 2 harus diatur
sedemikian sehingga laju penerimaan (acceptance rate) adalah sekitar 0.45.
Untuk distribusi multivariate normal dengan jumlah variabel yang banyak, laju
penerimaannya sebaiknya sekitar 0.25. Laju penerimaan dihitung sebagai
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
45
hasil bagi antara jumlah sampel yang diterima dengan M sampel terakhir
yang diambil dari distribusi proposal.
Untuk 1, 2, , i n , algoritma MH dilakukan dengan cara berikut:
Pada iterasi ke-1, ambil sembarang titik (0) (0) 0i if ξ ξ , dimana
if ξ adalah distribusi yang proporsional dengan | ,i ip ξ y θ seperti
yang diberikan di persamaan (3.3.3). Setiap nilai parameter pada
persamaan (3.3.3) untuk iterasi pertama ini juga dipilih secara
sembarang. Kemudian bangkitkan *ξ dari distribusi (0) 2,iN ξ , maka
titik kandidat *ξ akan diterima dengan probabilitas
* * (0)
(0) (0) *
( ) ( , )min ,1
( ) ( , )
i
i i
f q
f q
ξ ξ ξ
ξ ξ ξ. Jika diterima tetapkan (1) *
i ξ ξ , sebaliknya
jika ditolak bangkitkan titik kandidat baru sampai titik kandidat yang
dihasilkan diterima.
Lanjutkan proses di atas, pada iterasi ke-m, bangkitkan *ξ dari distribusi
( 1) 2,m
iN ξ , maka titik kandidat *ξ akan diterima dengan probabilitas
* * ( 1)
( 1) ( 1) *
( ) ( , )min ,1
( ) ( , )
m
i
m m
i i
f q
f q
ξ ξ ξ
ξ ξ ξ. Jika diterima tetapkan ( ) *m
i ξ ξ ,
sebaliknya jika ditolak bangkitkan titik kandidat baru sampai titik
kandidat yang dihasilkan diterima.
Misalkan setelah k iterasi proses tersebut mencapai distribusi yang
stasioner, maka sampel ( 1) ( )( , , )k k M
i i
ξ ξ adalah M buah sampel yang
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
46
diambil dari distribusi | ,i ip ξ y θ . Secara keseluruhan
( ) , 1, , ,m
i m k k M ξ 1, ,i n adalah sampel acak yang
dibangkitkan oleh algoritma MH dari distribusi | ,i ip ξ y θ .
Setelah didapatkan sampel acak yang diambil dari distribusi | ,i ip ξ y θ ,
maka nilai ekspektasi kondisional dari statistik cukup yang dibutuhkan untuk
mengevaluasi E-Step dapat dihitung dengan menggunakan metode integral
monte carlo sebagai berikut:
1 ( )
1
| ,M
m
i i i
m
E M
ξ y θ ξ
1 ( ) ( )
1
| ,M
m m
i i i i i
m
E M
ξ ξ y θ ξ ξ
1 ( ) ( )
1
| ,M
m m
i i i i i
m
E G G M G G
ξ ξ y θ ξ ξ
1 ( ) ( )
(1) (1)
1
| ,M
m m
i i i i i
m
E G M G
ξ ξ y θ ξ ξ
1 ( ) ( )
(2) (2) (2) (2)
1
| ,M
m m
i i i i i
m
E M
ξ ξ y θ ξ ξ (3.3.3)
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
47
3.4 M-STEP
Di M-Step kita perlu memaksimumkan 1, tQ θ θ terhadap θ .
Permasalahan ini ekivalen dengan menyelesaikan sistem persamaan berikut:
1
1
, ˆ, | , 0
t
t
QE L
θ θX θ Y θ
θ θ (3.4.1)
untuk 1, , k p dan 11, , j q
Misalkan kΛ adalah baris ke-k dari Λ dan jΛ adalah baris ke-j dari
Λ . Dapat ditunjukkan bahwa:
1
1
,
n
i i
i
L
X θΨ y μ Λξ
μ
1 1
(2) (2)
1
, 1
2
n
i i
i
L
X θΦ ξ ξ Φ Φ
Φ
1
1
,
n
k ki k k i i
ik
L
X θΨ y μ Λ ξ ξ
Λ
1
(1)
1
,
n
j ji j i i
ij
LG G
X θ
Ψ ξ Λ ξ ξΛ
1 1
1
, 1
( ) 2
n
i i i i
i
Ldiag
diag
X θΨ y μ Λξ y μ Λξ Ψ Ψ
Ψ
1 1
(1) (1)
1
, 1
( ) 2
n
i i i i
i
Ldiag G G
diag
X θ
Ψ ξ Λ ξ ξ Λ ξ Ψ ΨΨ
(3.4.2)
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
48
Untuk lebih jelasnya mengenai penurunan persamaan di atas, dapat dilihat di
lampiran 4.
Kemudian masing-masing nilai taksiran parameter di atas dihitung
nilainya. Setelah mendapatkan seluruh taksiran nilai parameternya, maka
kembalilah ke E-Step dengan menggunakan nilai taksiran parameter baru
yang didapatkan di M-Step. Ketika seluruh proses E-Step dan M-Step yang
telah dijelaskan di atas telah dilakukan, maka algoritma EM telah dijalankan
sebanyak satu kali (satu iterasi).
Lakukan algoritma EM ini sebanyak s iterasi, yaitu sampai didapatkan
suatu taksiran parameter θ yang konvergen atau
1ˆ ˆs sθ θ cukup kecil. Maka,
taksiran parameter pada iterasi ke-s (iterasi terakhir), yaitu ˆsθ adalah taksiran
parameter dari model persamaan struktural nonlinear yang didapatkan
menggunakan algoritma EM.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
49
BAB IV
CONTOH APLIKASI Dalam bab ini akan diberikan contoh dalam mencari taksiran parameter pada
Model Persamaan Struktural Non Linear dengan menggunakan metode taksiran
Maksimum Likelihood yang dihitung menggunakan Algoritma EM.
4.1 SUMBER DATA Data yang akan dianalisa adalah data dari Inter-university Consortium
for Political and Sosial Research (ICPSR) yang dikumpulkan di dalam proyek
World Value Survey (WVS) tahun 1981-1984 dan tahun 1990-1993. Seluruh
himpunan data dikumpulkan oleh 45 lembaga yang tersebar di seluruh dunia
dalam berbagai bidang seperti pekerjaan, kepercayaan beragama, makna
dan tujuan hidup, dan lain sebagainya.
Dalam contoh analisis ini, akan dilihat pola hubungan antara
kepercayaan beragama, kepuasan dalam pekerjaan, dan interaksi antara
kepercayaan beragama dan kepuasan pekerjaan dalam mempengaruhi
kepuasan hidup seseorang.
Terdapat tiga veriabel laten yang akan digunakan, yaitu:
1. 1 = kepuasan hidup, yang diukur oleh indikator:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
50
a. 1y = tingkat kepuasan dengan kehidupan di rumah.
Variabel ini diukur oleh skala 10 poin mulai dari sangat tidak puas
(poin 1) sampai sangat puas (poin 10).
b. 2y = tingkat kepuasan akan hidup.
Variabel ini diukur oleh skala 10 poin mulai dari sangat tidak puas
(poin 1) sampai sangat puas (poin 10).
2. 2 = kepercayaan beragama, yang diukur oleh indikator:
a. 3y = tingkat kepentingan kepercayaan beragama sebagai alasan
kerja sukarela.
Variabel ini diukur oleh skala 5 poin mulai dari tidak penting (poin
1) sampai sangat penting (poin 5).
b. 4y = tingkat kepentingan Tuhan dalam hidup.
Variabel ini diukur oleh skala 10 poin mulai dari sama sekali tidak
penting (poin 1) sampai sangat penting (poin 10).
3. 3 = kepuasan pekerjaan, yang diukur oleh indikator:
a. 5y = kepuasan akan pekerjaan.
Variabel ini diukur oleh skala 10 poin mulai dari sangat tidak puas
(poin 1) sampai sangat puas (poin 10).
b. 6y = kebebasan dalam mengambil keputusan di pekerjaan.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
51
Variabel ini diukur oleh skala 10 poin mulai dari sangat tidak bebas
(poin 1) sampai sangat bebas dalam mengambil keputusan (poin
10).
Dari seluruh data ICPSR, hanya data dari kawasan Great Britain yang
akan digunakan. Setelah menghilangkan seluruh pengamatan yang hilang
(missing data), ukuran sampel yang didapat adalah sebanyak 196.
4.2 ANALISIS DATA Karena akan dilihat pola hubungan antara kepercayaan beragama,
kepuasan dalam pekerjaan, dan interaksi antara kepercayaan beragama dan
kepuasan pekerjaan dalam mempengaruhi kepuasan hidup seseorang, maka
variabel laten endogennya adalah kepuasan hidup ( 1
(1) ( )ξ ), sedangkan
variabel eksogennya adalah kepercayaan beragama dan kepuasan dalam
pekerjaan (2 3
(2) ( ) ξ ). Kemudian juga akan dilihat pola hubungan
interaksi antara kepercayaan beragama dan kepuasan dalam pekerjaan
dalam mempengaruhi kepuasan hidup, sehingga 2 3 2 3
(2) H ξ .
Dalam mencari taksiran parameter dengan menggunakan Algoritma
EM, perlu diberikan nilai awal untuk seluruh parameter yang akan ditaksir,
yaitu:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
52
1. ij (elemen dari matriks Λ ), untuk setiap i dan j, yaitu:
21
42
63
1 0 0
0 0
0 1 0
0 0
0 0 1
0 0
Λ , dimana 21 42 63 0
2. ij (elemen dari matriks Γ ), untuk setiap i dan j, yaitu:
11 12 13 Γ , dimana 11 12 13 0
3. Matriks Φ , yaitu matriks kovariansi dari variabel (2)ξ , yaitu:
11 12
21 22
1 0
0 1
Φ
4. kk (elemen diagonal dari matriks Ψ ), untuk k = 1, …, 6, yaitu:
11
22
33
44
55
66
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
Ψ , dimana 11 66 1
5. (elemen dari matriks Ψ ), yaitu 1 Ψ .
6. i untuk i = 1, …, 6, yaitu:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
53
1
2
3
4
5
6
μ , dimana 1 6 1
Nilai parameter yang akan ditaksir dan diperbaharui nilainya di setiap
iterasi pada Algoritma EM adalah 21 , 42 , 63 , 11 , 12 , 13 , 11 , 12 , 22 , 11 ,
22 , 33 , 44 , 55 , 66 , , 1 , 2 , 3 , 4 , 5 , dan 6 , yaitu sebanyak 22
parameter. Nilai pada distribusi proposal ditetapkan sama dengan 1 yang
memberikan laju penerimaan sebesar 0.35. Algoritma EM tersebut dijalankan
sebanyak 70 iterasi (s = 70) dimana dalam setiap iterasinya dijalankan
algoritma MH hingga mencapai distribusi yang stasioner, baru kemudian
dijalankan lagi sebanyak 40 iterasi (M = 40) untuk diambil sampelnya.
4.3 HASIL TAKSIRAN DAN INTERPRETASINYA Ketika seluruh algoritma di atas dijalankan, didapatkan nilai-nilai
taksiran parameter sebagai berikut:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
54
Parameter Nilai taksiran Parameter Nilai taksiran
21 0.7405
11 1.2689
42 1.6265
22 1.5075
63 0.768
33 0.8899
11 0.303
44 4.0807
12 0.6617
55 2.6121
13 -0.1302
66 4.1521
1 8.426
11 2.1942
2 7.8325
12 -0.1004
3 2.3404
22 2.942
4 5.504
1.595
5 7.5621
6 7.3845
Tabel 4.1. Taksiran Maksimum Likelihood untuk data ICPSR
Dimana grafik taksiran parameter untuk setiap iterasi EM ditampilkan
pada gambar 4.1 sampai 4.6 di bawah.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
55
Gambar 4.1. Grafik taksiran parameter 21 , 42 , 63 untuk setiap iterasi
Gambar 4.2. Grafik taksiran parameter 11 , 12 , dan 13 untuk setiap iterasi
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
56
Gambar 4.3. Grafik taksiran parameter 1 sampai 6 untuk setiap iterasi
Gambar 4.4. Grafik taksiran parameter 11 sampai 66 untuk setiap iterasi
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
57
Gambar 4.5. Grafik taksiran parameter 11 , 12 , 22 untuk setiap iterasi
Gambar 4.6. Grafik taksiran parameter untuk setiap iterasi
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
58
Dari gambar 4.1 – 4.6 dapat dilihat bahwa sebagian besar taksiran
parameter akan stasioner setelah 20 iterasi. Di bawah disajikan diagram
nonlinear SEM dengan hasil taksiran parameternya.
Gambar 4.7. Diagram Model Nonlinear SEM dengan hasil taksiran parameter
Berdasarkan hasil dari tabel 4.1 dan gambar 4.7 didapat:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
59
1. Pada model struktural
Diperoleh taksiran model struktural:
1 2 3 2 3ˆ 0.303 0.6617 0.1302
yaitu pengaruh kepercayaan beragama dan kepuasan pekerjaan
terhadap kepuasan hidup adalah positif, sedangkan pengaruh interaksi
keduanya adalah negatif, artinya jika kepercayaan beragama atau
kepuasan pekerjaan meningkat, maka kepuasan hidup juga akan
meningkat namun dihambat oleh pengaruh interaksi antara
kepercayaan beragama dan kepuasan pekerjaan.
2. Pada model pengukuran, yaitu taksiran faktor loading dari:
tingkat kepuasan akan hidup ( 2y ) pada kepuasan hidup ( 1 ),
21 0.7405
tingkat kepentingan Tuhan dalam hidup ( 4y ) pada kepercayaan
beragama ( 2 ), 42 1.6265
kebebasan dalam mengambil keputusan di pekerjaan ( 6y ) pada
kepuasan pekerjaan ( 3 ), 63 0.768
Nilai faktor loading di atas menandakan kovariansi antara variabel laten
dengan variabel indikatornya.
3. Nilai 11 = 2.1942 dan 22 = 2.942 masing-masing adalah variansi dari
variabel laten kepercayaan beragama ( 2 ) dan kepuasan pekerjaan
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
60
3( ) . Sedangkan 12 = – 0.1004 adalah kovariansi antara variabel laten
2 dan 3 . Nilai korelasi antara 2 dan 3 dapat dihitung sebagai
1212
11 22
0.8638
. Nilai negatif pada korelasinya menandakan
bahwa jika salah satu variabel meningkat maka yang lain akan
berkurang. Nilai korelasi yang cukup besar tersebut (mendekati -1)
menandakan hubungan korelasi antara kedua variabel laten tersebut
cukup besar. Dalam kaitannya dengan contoh analisis data ini, nilai
korelasi yang negatif tersebut menandakan bahwa jika kepuasan
pekerjaan seseorang tinggi, maka kepercayaan beragama orang
tersebut cenderung kurang, sebaliknya jika orang tersebut mempunyai
kepercayaan beragama yang tinggi, maka kepuasan akan pekerjaannya
cenderung kurang.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
61
BAB V
PENUTUP
5.1 KESIMPULAN
Dari pembahasan dalam tugas akhir ini, dapat disimpulkan:
Taksiran parameter dalam model persamaan struktural nonlinear
dilakukan dengan metode taksiran maksimum likelihood, dengan fungsi
log-likelihood:
0
1 1
(2) (2)
1 1
1
(1) (1)
1
1log 2 log log log 2 log
2
n n
i i i i i i
i i
n
i i i i
i
p q n n n n n
G G
Ψ Ψ Φ Π
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ ξ
dimana:
Taksiran maksimum likelihood dicari dengan menggunakan
algoritma EM (Expectation Maximization).
E-Step pada algoritma EM dilakukan dengan algoritma MH
(Metropolis Hastings).
Taksiran Maksimum Likelihood yang dikembangkan dengan algoritma
EM adalah konvergen sehingga metode ini cukup efektif dalam mencari
taksiran parameter dalam Nonlinear SEM.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
62
Berdasarkan analisis data yang dilakukan pada aplikasi Nonlinear SEM
dalam tugas akhir ini, dapat disimpulkan bahwa:
Meningkatnya tingkat kepercayaan beragama dan kepuasan
dalam pekerjaan akan meningkatkan kepuasan hidup, namun
dihambat oleh pengaruh interaksinya.
Nilai korelasi yang negatif menandakan bahwa jika kepuasan
pekerjaan seseorang tinggi, maka kepercayaan beragama orang
tersebut cenderung kurang, sebaliknya jika orang tersebut
mempunyai kepercayaan beragama yang tinggi, maka kepuasan
akan pekerjaannya cenderung kurang.
5.2 SARAN
Tugas akhir ini dapat dilanjutkan dengan pengujian kococokan model
dan mencari variabel indikator mana yang signifikan dalam membentuk
variabel latennya.
Program yang digunakan pada tugas akhir ini dibuat khusus untuk
contoh aplikasi dalam tugas akhir ini. Program tersebut dapat
diperumum untuk menaksir parameter untuk setiap jenis model
nonlinear SEM.
Program dapat dikembangkan lagi untuk mencari taksiran parameter
yang telah distandarisasi (standardized estimates).
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
63
DAFTAR PUSTAKA
Bollen, Kenneth A. 1989. Structural Equations with Latent Variables. New
York: Wiley.
Chib, S., & Greenberg E. 1995. Understanding the Metropolis-Hastings
Algorithm. The American Statistician, Vol 49, No. 4, 327-335.
Givens, Geof H., & Hoeting, Jennifer A. 2005. Computational Statistics. New
York: Wiley.
Hogg. Robert V., & Allen T. Craig. 1978. Introduction to Mathematical
Statistics. New Jersey: Prentice-Hall International. Inc.
Lee, S.Y. 2007. Handbook of Latent Variable and Related Models. Oxford:
Elsevier.
Lee, S.Y. 2007. Structural Equation Modeling, a Bayesian Approach.
Chichester: Wiley.
Lee, S.Y., Song, X.Y., & Lee, John C.K. 2002. Maximum Likelihood
Estimation of Nonlinear Structural Equation Models with Ignorable
Missing Data. Department of Statistics, Chinese University of Hong
Kong.
Lee, S.Y., & Zhu, H.T. 2002. Maximum Likelihood Estimation of Nonlinear
Structural Equation Models. Psychometrika. 67: 189-210.
Martinez, Wendy L., & Martinez, Angel L. 2002. Computational Statistics
Handbook with MATLAB. Florida: Chapman and Hall.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
64
Mattos , Rogério Silva de, & Veiga, Álvaro. 2000. Estimating King’s ecological
inference normal model via the EM Algorithm.
McLachlan, G.J., & Krishnan, T. 2007. The EM Algorithm and Extensions.
New York: Wiley.
Nielsen, Heino B. 2005. Introduction to Vector and Matrix Differentiation.
Econometrics 2.
Petersen, K.B., & Pedersen, M.S. 2008. The Matrix Cookbook.
http://matrixcookbook.com, 14 November 2008.
Priyanto, Agus. 2008. Pendugaan Parameter Model Faktor dengan
Menggunakan Metode Maksimum Likelihood. Departemen Matematika
Universitas Negeri Jakarta.
Santoso, Singgih. 2007. Structural Equation Modeling, Konsep dan Aplikasi
dengan AMOS. Jakarta: Elex Media Komputindo.
Walsh, B. 2004. Markov Chain Monte Carlo and Gibbs Sampling. Lecture
Notes for EEB 581.
Wei, Greg C.G., Tanner, Martin A. 1990. A Monte Carlo Implementation of the
EM Algorithm and the Poor’s Man Data Augmentation Algorihtms.
Journal of the American Statistical Association, Vol. 85, No. 411, page
699 – 704.
Wijanto, Setyo Hari. 2008. Structural Equation Modeling dengan LISREL 8.8.
Yogyakarta: Graha Ilmu.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
65
Wikipedia. 2009. Metropolis-Hastings Algorithm.
http://en.wikipedia.org/wiki/Metropolis-Hastings_algorithm, 3 Juni 2009,
pk. 14.18.
Wikipedia. 2009. Multivariate Normal Distribution.
http://en.wikipedia.org/wiki/Multivariate_normal_distribution, 14 Juni
2009, pk. 08.56.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
66
LAMPIRAN LAMPIRAN 1 Penurunan fungsi Maximum Likelihood SEM biasa
Dalam menurunkan MLF , asumsikan himpunan N pengamatan yang
saling bebas dari variabel random (1)y dan
(2)y yang berdistribusi multivariat
normal. Jika (1)y dan
(2)y digabung dalam suatu vektor Z berukuran 1p ,
dimana Z sudah terstandarisasi, pdf-nya adalah:
/2 1
, 2 exp ½ 'p
f
z Σ θ Σ θ z Σ θ z (1)
Untuk suatu sampel random dengan N pengamatan yang saling bebas dari
Z , pdf bersamanya adalah:
1 2 1 2, , ; ; ; ;n nf f f fz z z Σ θ z Σ θ z Σ θ z Σ θ
dengan fungsi likelihood:
/2/2 1
12 exp ½
N NNp
i iiL
θ Σ θ z Σ θ z (2)
Log dari fungsi likelihood di atas adalah:
1
1
1log log 2 log
2 2 2
N
i i
i
Np NL
θ Σ θ z Σ θ z (3)
Suku terakhir dari persamaan di atas dapat ditulis dalam bentuk:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
67
1 1
1 1
11
1
1*
1
1 1
2 2
2
2
N N
i i i i
i i
N
i i
i
N
i
tr
Ntr N
Ntr
z Σ θ z z Σ θ z
z Σ θ z
S Σ θ
(4)
dimana *S adalah penaksir matriks kovariansi dari sampel dengan
memasukkan nilai N dalam penyebut. Langkah pertama dalam persamaan
(4) didapat karena tracenya sama dengan suatu skalar. Langkah kedua
persamaan (4) menggunakan sifat tr trABC CAB . Dengan
menggunakan persamaan (4) di atas, log L θ dapat dinyatakan sebagai:
1*
1*
log log2 2
log2
konstanta
konstanta
N NL tr
Ntr
θ Σ θ S Σ θ
Σ θ S Σ θ
(5)
Bandingkan dengan MLF :
1
log logMLF tr p
Σ θ SΣ θ S (6)
Persamaan log L θ dan MLF berbeda dalam beberapa hal yang tidak
berpengaruh besar dalam proses penaksiran θ̂ , yaitu:
Suku konstanta pada persamaan log L θ tidak mempengaruhi
pemilihan θ̂ , sehingga tidak adanya suku konstanta pada MLF tidak
mengakibatkan apa-apa.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
68
Demikian juga, suku log p S pada persamaan MLF yang tidak ada
pada persamaan log L θ tidak mempengaruhi pemilihan θ̂ , karena
untuk suatu sampel tertentu, S dan p adalah suatu konstanta.
Pengaruh 2
N yang ada pada persamaan log L θ mengakibatkan:
jika ingin memaksimumkan log L θ , maka harus meminimumkan MLF .
Dari poin-poin di atas, dapat disimpulkan bahwa hasil taksiran θ̂ dengan
memaksimumkan log L θ adalah sama dengan hasil taksiran θ̂ dengan
meminimumkan MLF .
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
69
LAMPIRAN 2
Akan ditunjukkan bahwa iterasi algoritma EM seperti yang dijelaskan melalui
E-step dan M-step pada Bab II akan meningkatkan nilai ,L y pada setiap
iterasinya.
Bukti:
Misalkan q(z) adalah suatu pdf sebarang dari Z, dimana 1Zq z dz . Maka
persamaan (2.3.1) dapat dituliskan sebagai:
, log ,
log ,
, ,log
| ,
log , , log log| ,
log , , log log| ,
z
z
z
z z z
L p
q z p dz
p z q zq z dz
p z q z
q zq z p z q z dz
p z
q zq z p z dz q z q z dz q z dz
p z
y y
y
y
y
yy
yy
(7)
Definisikan:
joint|| log , ,z
Q q p q z p z dz y (8)
|| logz
H q q q z q z dz (9)
post|| log| ,z
q zKL q p q z dz
p z
y
(10)
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
70
Jadi, persamaan (2.3.1) dapat dituliskan kembali menjadi:
joint post, || || ||L Q q p H q q KL q p y (11)
Pandang persamaan (11), dapat dibuktikan bahwa bagian terakhir, KL,
bersifat:
a) post|| 0KL q p q
b) || 0postsedemikian sehinggap KL p p (12)
Bukti:
a) Akan dibuktikan post|| 0KL q p
post log|
|log
||,
,
z
z
q zKL q p q z dz
p z
p zq z dz
q z
y
y (13)
Berdasarkan pertidaksamaan Jensen, untuk f suatu fungsi konveks
E f z f E z , dan karena
|log
,p z
q z
y adalah suatu fungsi
konveks, maka berlaku:
| |log log
| |log log
, ,
, ,
z z
p z p zE E
q z q z
p z p zq z dz q z dz
q z q z
y y
y y (14)
Berdasarkan (13) dan (14), maka ||KL q p dapat dituliskan sebagai
berikut:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
71
||| log log
|
|log
log | log 1
0
,
,
,
,
z z
z
z
q z p zKL q p q z dz q z dz
p z q z
p zq z dz
q z
p z dz
y
y
y
y
(15)
Jadi, 0,||KL q p q .
b) Akan dibuktikan
|| 0postsedemikian sehinggap KL p p
Misal pilih | ,q z p z y , maka | , 1zp z dz y , dan:
| ,log log
| , | ,
log 1
0
q z p z
p z p z
y
y y
(16)
Maka post||KL q p sesuai dengan persamaan (10), dapat dituliskan
sebagai berikut:
post|| log| ,
| , 0
0
z
z
q zKL q p q z dz
p z
p z dz
y
y
Jadi, untuk | ,q z p z y , nilai post|| 0KL q p
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
72
Misal 1ˆ| , tq z p z y , maka 0KL . Kemudian, sebut:
1
ˆ 1ˆ| , log , ,
tt t
zQ p z p z dz
y y (17)
1
ˆ 1 1ˆ ˆ| , log | ,
tt t
zH p z p z dz
y y (18)
Dengan mensubstitusikan (17), dan (18) ke (11), maka berlaku:
1 1
1 1
ˆ ˆ
ˆ ˆ
, 0t t
t t
tL Q H
Q H
y (19)
dimana 1
ˆt
H
tidak bergantung pada t (seperti terlihat pada (18)). Misalkan
ˆt adalah taksiran yang memaksimumkan
1tQ
, maka:
1 1ˆ ˆ
ˆ ˆ
1
1
1
,
,
, 0
,
t t
t t
t
t
t
t
t
L Q H
Q H
L KL
L
L
y
y
y
y
(20)
Jadi, 1, ,t tL L y y .
Jadi, terbukti bahwa dengan menggunakan algoritma EM akan didapatkan
taksiran yang memaksimumkan fungsi likelihood dari Y.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
73
LAMPIRAN 3
Penurunan Statistik Cukup
Dari fungsi log likelihood dari θ berdasarkan X (persamaan (3.2.7)), yaitu
0
1 1
(2) (2)
1 1
1
(1) (1)
1
1, log 2 log log log 2 log
2
n n
i i i i i i
i i
n
i i i i
i
L p q n n n n n
G G
X θ Ψ Ψ Φ Π
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ ξ
dapat diturunkan statistik cukup
(1) (2) (2), , , , ; 1, , i i i i i i i i iG G G i n ξ ξ ξ ξ ξ ξ ξ ξ ξ , yaitu:
1. Misalkan jka adalah elemen dari matriks 1
Φ , dimana 21, , j q ,
21, , k q , maka berdasarkan persamaan 1 pada lampiran 5,
1
(2) (2)
1
n
i i
i
ξ Φ ξ dapat dituliskan sebagai:
2 2
1 11
(2) (2)
1 1 1 1
q qn nq j q k
i i jk i i
i i j k
a
ξ Φ ξ
Dapat dilihat bahwa statistik cukupnya adalah 1 1q j q k
i i untuk seluruh j
dan k, yaitu elemen dari matriks (2) (2)i iξ ξ .
2. Misalkan jkb adalah elemen dari matriks 1
Ψ , dimana 1, , j p ,
1, , k p , dan sebut i i i ε y μ Λξ , maka berdasarkan persamaan 1
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
74
pada lampiran 5, 1
1
n
i i i i
i
y μ Λξ Ψ y μ Λξ dapat dituliskan
sebagai:
1
1 1 1 1
p pn n
i i i i jk j k
i i j k
b
y μ Λξ Ψ y μ Λξ
dimana elemen ke-j,k dapat dijabarkan sebagai berikut:
1 1
1
n nj j j k k k
jk j k jk i j i i k i
i i
nj k k j j k j k j k
jk i i i k i i i
i
j k k j k j j k
k i j i i j i j k i i
b b y y
b y y y y y
y
Karena berlaku untuk setiap j dan k, maka statistik cukupnya adalah k
dan j k , yaitu masing-masing adalah elemen dari matriks iξ dan i iξ ξ .
3. Misalkan jkc adalah elemen dari matriks 1
Ψ , dimana 11, , j q ,
11, , k q , dan sebut (1)i i iG δ ξ Λ ξ , maka berdasarkan
persamaan 1 pada lampiran 5, 1
(1) (1)
1
n
i i i i
i
G G
ξ Λ ξ Ψ ξ Λ ξ
dapat dituliskan sebagai:
1
(1) (1)
1 1 1 1
p pn n
i i i i jk j k
i i j k
G G c
ξ Λ ξ Ψ ξ Λ ξ
dimana elemen ke-j,k dapat dijabarkan sebagai berikut:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
75
1 1
1
n nj j l k k m
jk j k jk i jk i jk i i jk i jk i
i i
nj k j k j m j k j k j m
jk i i jk i i jk i i jk i i jk jk i i jk jk i i
i
k l k l l m
jk i i jk jk i i jk jk i i
c c
c
dimana 1 1, 1, , l m q q t .
Karena berlaku untuk setiap j, k, l, dan m, maka statistik cukupnya
adalah l k
i i dan l m
i i , yaitu masing-masing adalah elemen dari matriks
(1)i iG ξ ξ dan i iG G ξ ξ .
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
76
LAMPIRAN 4
Penurunan M-step
Di M-Step kita perlu memaksimumkan ( )| tQ θ θ terhadap θ .
Permasalahan ini ekivalen dengan menyelesaikan sistem persamaan berikut:
( )
( ) |
| | , 0
t
tQ
E L
θ θX θ Y θ
θ θ
Dapat ditunjukkan bahwa:
1.
1
1
|
n
i i
i
L
X θΨ y μ Λξ
μ
2. 1 1
(2) (2)
1
| 1
2
n
i i
i
L
X θΦ ξ ξ Φ Φ
Φ
3.
1
1
|
n
ki k k i ikik
L
X θΨ y μ Λ ξ ξ
Λ
dimana kΛ adalah baris ke-k dari Λ , dengan 1, , k p .
4.
1
(1)
1
|
n
ji j i ijij
LG G
X θ
Ψ ξ Λ ξ ξΛ
dimana jΛ adalah baris ke-j dari Λ , dengan 11, , j q .
5.
1 1
1
| 1
( ) 2
n
i i i i
i
Ldiag
diag
X θΨ y μ Λξ y μ Λξ Ψ Ψ
Ψ
6.
1 1
(1) (1)
1
| 1
( ) 2
n
i i i i
i
Ldiag G G
diag
X θ
Ψ ξ Λ ξ ξ Λ ξ Ψ ΨΨ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
77
Bukti:
Misalkan terdapat suatu matriks ukuran 1 1 yang berbentuk Y AY , dimana
Y ukuran 1p , Y ukuran 1 p , A ukuran p p dan A adalah matriks
kovariansi dari Y . Matriks tersebut dapat dijabarkan sebagai berikut:
11 1 1
1
1
11 1 1
1
1 1
1
1
1
1
1 1
1 1
p
p
p pp p
p p
p
p pp p
p
k k
k
p
p
pk k
k
p p
k k p pk k
k k
a a y
y y
a a y
a y a y
y y
a y a y
a y
y y
a y
y a y y a y
YAY
1 1
p p
j jk k
j k
y a y
1 1
p p
jk k j
j k
a y y
Y AY (21)
1. Akan dibuktikan
1
1
|
n
i i
i
L
X θΨ y μ Λξ
μ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
78
0
1 1
(2) (2)
1 1
1
(1) (1)
1
| 1log 2 log log log 2 log
2
n n
i i i i i i
i i
n
i i i i
i
Lp q n n n n n
G G
X θΨ Ψ Φ Π
μ μ
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ ξ
1
1
1
2
n
i i i i
i
y μ Λξ Ψ y μ Λξ
μ
11 1 1 1 1
1
1
( )1
2( )
p in
i i
i
p pp ip p p
a a y
a a y
y μ Λξμ
1
1
1
1
1 1 1 1
1 1
1
( )
1
2
( )
1( ) ( )
2
( ) ( )
p
k ik k k
kn
i i
i p
pk ik k k
k
pn
i k ik k k
i k
p
ip p p pk ik k k
k
a y
a y
y a y
y a y
y μ Λξμ
μ
1 1 1
1 1 1
1 1 1
1( ) ( )
2
1( ) ( )
2
1( ) ( )
2
p pn
ij j j jk ik k k
i j k
p pn
jk ik k k ij j j
i j k
p pn
jk ik k k ij j j
i j k
y a y
a y y
a y y
μ
μ
μ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
79
1 11
1
1 1
( ) ( )
1
2
( ) ( )
p p
jk ik k k ij j j
j kn
i p p
jk ik k k ij j j
j kp
a y y
a y y
11 1 1 1 11 1
1 1 1 121
1 1 1 12
1
1
1
1
1
2
i i
p
k ik k ikk
p
j i ij j jj
pp ip p ip pp p
p
pk ik k ip pk pkp
p
jp ip p ij jp jj
a y y
a y y
a y y
a y y
a y y
a y y
1
n
i
(suku yang lain = 0)
11 1 1 1 112 2
1 1 1
1 1
2
1
2
2
p p
i k ik k j ij jk jk j
n
i p p
pp ip p pk ik k jp ij jp k jk j
a y a y a y
a y a y a y
1 1
1 1
1
1 1
1
2
p p
k ik k j ij jk jk j
n
i p p
pk ik k jp ij jk jk j
a y a y
a y a y
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
80
1 1
1 1
1
1 1
1
2
p p
j ij j j ij jj jj j
n
i p p
pj ij j jp ij jj jj j
a y a y
a y a y
1 1
1
1
1
1
2
p
j j ij j jj
n
ip
pj jp ij j jj
a a y
a a y
11 11 1 1 1 11
1
1 1 1 1 1
1
2
i p p ip p pn
i
p p i pp pp ip p p
a a y a a y
a a y a a y
1 1 111 11 1 1
1
1 1
1
2
ip pn
i
p p pp ppip p p
ya a a a
a a a a y
1 1
1
1
1
1
2
12
2
n
i i
i
n
i i
i
Ψ Ψ y μ Λξ
Ψ y μ Λξ
1
1
n
i i
i
Ψ y μ Λξ
Sehingga terbukti bahwa
1
1
|
n
i i
i
L
X θΨ y μ Λξ
μ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
81
2. 1 1
(2) (2)
1
| 1
2
n
i i
i
L
X θΦ ξ ξ Φ Φ
Φ
0
1 1
(2) (2)
1 1
1
(1) (1)
1
1
(2) (2)
1
| 1log 2 log log log 2 log
2
1log
2
n n
i i i i i i
i i
n
i i i i
i
n
i i
i
Lp q n n n n n
G G
n
X θ
Ψ Ψ Φ ΠΦ Φ
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ ξ
Φ ξ Φ ξΦ
(suku lain sama dengan nol)
1
(2) (2)
1
1log
2
n
i i
i
n
Φ ξ Φ ξΦ Φ
dimana
log
log n n
ΦΦ
Φ Φ
1n Φ (lihat The Matrix Cookbook, sifat no.51)
1n Φ
1 1
(2) (2) (2) (2)
1 1
n n
i i i i
i i
ξ Φ ξ ξ Φ ξΦ Φ
1 1
(2) (2)
1
n
i i
i
Φ ξ Φξ ΦΦ
(karena 1 1 1 X X X X )
2 2
1 1
(2) (2)
1 1 1
q qnk j
jk i i
i j k
Φ Φ
Φ (dari persamaan (21))
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
82
2 2 2 2
2
2 2 2 2
2 2 2
(2) (2) (2) (2)
1 1 1 111 1
1 1
(2) (2) (2) (2)
1 1 1 11
q q q qk j k j
jk i i jk i i
j k j kq
q q q qk j k j
jk i i jk i i
j k j kq q q
Φ Φ
1
n
i
2
2 2 2
1 1 1
(2) (2) (2) (2)
1 1
1 1
(2) (2) (2) (2)
1 1
(2) (2)
1
1 1
(2) (2)
1
q
i i i in
i q q q
i i i i
n
i i
i
n
i i
i
Φ Φ
Φ ξ ξ Φ
Φ ξ ξ Φ
sehingga
1
(2) (2)
1
1 1 1
(2) (2)
1
1 1 1 1
(2) (2)
1
1 1 1 1
(2) (2)
1
1
(2)
| 1log
2
1
2
1
2
1
2
1
2
n
i i
i
n
i i
i
n
i i
i
n
i i
i
i
Ln
n
n
n
X θΦ ξ Φ ξ
Φ Φ Φ
Φ Φ ξ ξ Φ
Φ ξ ξ Φ Φ ΦΦ
Φ ξ ξ Φ Φ ΦΦ
Φ ξ ξ
1
(2)
1
1 1
(2) (2)
1
1
2
n
i
i
n
i i
i
n
Φ Φ
Φ ξ ξ Φ Φ
Sehingga terbukti bahwa 1 1
(2) (2)
1
| 1
2
n
i i
i
L
X θΦ ξ ξ Φ Φ
Φ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
83
3.
1
1
|
n
ki k k i ikik
L
X θΨ y μ Λ ξ ξ
Λ
0
1 1
(2) (2)
1 1
1
(1) (1)
1
| 1log 2 log log log 2 log
2
k k
n n
i i i i i i
i i
n
i i i i
i
Lp q n n n n n
G G
X θΨ Ψ Φ Π
Λ Λ
ξ Φ ξ y μ Λξ Ψ y μ Λξ
ξ Λ ξ Ψ ξ Λ ξ
1
1
1
2
n
i i i i
ik
y μ Λξ Ψ y μ Λξ
Λ
(suku lain sama dengan nol)
1 1 1
1( ) ( )
2
p pn
jl il l i l ij j i j
i j lk
a y y
Λξ Λξ
Λ(dari persamaan (21))
1 11
1
1 1
( ) ( )
1
2
( ) ( )
p p
jl il l i l ij j i j
j lkn
i p p
jl il l i l ij j i j
j lkq
a y y
a y y
Λξ Λξ
Λξ Λξ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
84
1,1
1,
1,
1
2
kk ik k i ik k ik k
p
kl il l i ik k il kl l kk
p
jk ik k i ij j ik jj j k
kk ik k i ik k ik k
p
kl il l i ik k il kl l kkq
jk ik k
a y y
a y y
a y y
a y y
a y y
a y
Λξ Λξ
Λξ Λξ
Λξ Λξ
Λξ Λξ
Λξ Λξ
1
1,
n
i
p
i ij j ik jj j k
y
Λξ Λξ
Kemudian perhatikan bahwa:
1
1
1
1 1
1
11 1 1
1
1
1
i qm
i k i k kq km ikmq
i
qm q
i km i k i kq i ikmk k k
qm q q
i km i k i kq i ikmkq kq kq
Λξ Λ ξ
Λξ
Λξ
maka:
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
85
1 1 1
1, 1,
1
1, 1,
2
1
2
2
p p
kk ik k k i i kl il l l i i jk ij j j i i
l l k j j kn
i p pq q q
kk ik k k i i kl il l l i i jk ij j j i i
l l k j j k
a y a y a y
a y a y a y
Λ ξ Λ ξ Λ ξ
Λ ξ Λ ξ Λ ξ
1 1
1 1
1
1 1
1
2
p p
kl il l l i i jk ij j j i i
l jn
i p pq q
kl il l l i i jk ij j j i i
l j
a y a y
a y a y
Λ ξ Λ ξ
Λ ξ Λ ξ
1
1
1
1
1
2
p
kj jk ij j j i i
jn
i pq
kj jk ij j j i i
j
a a y
a a y
Λ ξ
Λ ξ
1
1
1
1
1
2
p
kj jk ij j j i i
jn
i pq
kj jk ij j j i i
j
a a y
a a y
Λ ξ
Λ ξ
1
1 1
1 1
1
2
1
2
pnq
kj jk ij j j i i i
i j
pn
kj jk ij j j i i
i j
a a y
a a y
Λ ξ
Λ ξ ξ
1 1 1 1 1
1
1
2
n
k k i i kp pk ip p p i i
i
a a y a a y
Λ ξ Λ ξ ξ
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
86
1 1 1
1 1
1
1
2
i in
k k kp pk i
i
ip p p i
y
a a a a
y
Λ ξ
ξ
Λ ξ
1 1 1
1 1
1
1
2
i in
iki k
ip p p i
y
y
Λ ξ
Ψ Ψ ξ
Λ ξ
1
1
1
1
12
2
n
i i iki
n
i i iki
Ψ y μ Λξ ξ
Ψ y μ Λξ ξ
4.
1
(1)
1
|
n
ji j i ijij
LG G
X θ
Ψ ξ Λ ξ ξΛ
Pembuktian ini sama dengan pembuktian poin (3).
5.
1 1
1
| 1
( ) 2
n
i i i i
i
Ldiag
diag
X θΨ y μ Λξ y μ Λξ Ψ Ψ
Ψ
Pembuktian ini sama dengan pembuktian poin (2), namun di sini hanya
diambil elemen diagonalnya saja.
6.
1 1
(1) (1)
1
| 1
( ) 2
n
i i i i
i
Ldiag G G
diag
X θ
Ψ ξ Λ ξ ξ Λ ξ Ψ ΨΨ
Pembuktian ini sama dengan pembuktian poin (2), namun di sini hanya
diambil elemen diagonalnya saja.
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
87
LAMPIRAN 5
Data dari Inter-university Consortium for Political and Sosial Research
(ICPSR) yang dikumpulkan di dalam proyek World Value Survey (WVS)
tahun 1981-1984 dan tahun 1990-1993 dari kawasan Great Britain.
No. 1y 2y 3y 4y 5y 6y
No.
1y 2y 3y 4y 5y 6y
1 8 6 3 3 8 9
30 9 8 5 10 8 1
2 7 8 1 3 4 4
31 10 9 4 10 10 10
3 9 8 2 4 9 6
32 10 10 1 3 9 9
4 10 9 5 9 10 6
33 8 9 1 3 4 3
5 10 10 2 6 5 7
34 8 8 2 7 8 8
6 10 10 5 10 10 10
35 10 10 5 10 1 1
7 10 4 1 10 1 10
36 7 5 1 1 10 8
8 9 10 3 9 10 10
37 7 7 1 1 8 5
9 7 6 2 6 8 6
38 7 8 1 5 6 5
10 9 8 3 4 8 8
39 9 9 3 10 10 8
11 8 7 2 5 7 8
40 10 9 2 8 9 10
12 7 5 1 5 6 4
41 9 9 3 7 10 9
13 10 7 5 8 7 7
42 10 9 2 1 10 10
14 9 9 1 1 6 1
43 9 9 4 8 10 3
15 10 7 5 10 10 10
44 9 7 1 7 8 8
16 10 9 5 7 9 8
45 10 6 2 2 10 8
17 8 8 5 10 9 8
46 10 10 1 5 10 8
18 8 10 2 4 9 9
47 10 10 1 7 10 7
19 7 8 2 5 9 7
48 10 8 4 7 8 10
20 9 10 2 3 5 9
49 6 8 3 4 5 8
21 9 8 1 2 9 8
50 8 8 3 8 8 3
22 7 3 1 1 5 5
51 8 7 1 7 7 8
23 8 8 1 1 7 8
52 9 9 1 9 8 7
24 7 6 2 2 3 10
53 9 9 1 2 4 8
25 9 9 5 8 9 10
54 10 10 1 7 9 10
26 9 9 2 7 6 9
55 10 10 2 5 10 9
27 8 7 5 10 8 10
56 8 7 1 2 8 7
28 10 9 4 9 9 9
57 7 7 1 2 9 10
29 8 8 2 6 9 9
58 10 8 1 3 7 6
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
88
No. 1y 2y 3y 4y 5y 6y
No.
1y 2y 3y 4y 5y 6y
59 7 6 1 3 8 10
97 10 10 3 6 10 8
60 7 5 1 4 7 3
98 10 8 5 10 3 3
61 7 8 1 1 8 10
99 10 10 4 5 5 9
62 8 8 3 8 4 7
100 9 9 4 7 9 7
63 4 4 1 2 6 6
101 10 10 1 3 10 10
64 10 9 1 1 10 10
102 5 10 5 10 5 1
65 3 7 1 1 5 10
103 8 7 2 5 6 4
66 9 7 3 7 6 7
104 8 7 5 7 7 8
67 3 5 1 1 3 7
105 2 2 1 6 6 7
68 10 10 3 10 10 9
106 10 10 5 10 10 8
69 10 9 1 10 10 9
107 10 10 1 1 10 10
70 10 8 1 1 8 5
108 6 6 1 6 8 7
71 6 5 1 1 7 8
109 8 9 1 2 8 7
72 10 10 5 10 10 10
110 7 8 1 1 8 9
73 10 10 5 10 10 10
111 10 10 1 1 10 10
74 7 7 2 4 1 3
112 9 8 5 10 9 7
75 7 10 1 5 9 9
113 8 8 5 10 8 8
76 8 8 1 7 8 9
114 6 5 1 6 3 7
77 10 10 5 10 10 4
115 7 8 1 5 5 5
78 9 8 1 5 8 10
116 7 6 1 5 9 1
79 10 10 1 1 9 9
117 8 7 1 2 7 8
80 8 6 1 5 7 4
118 10 9 4 10 9 8
81 9 10 1 1 9 9
119 5 8 3 9 9 10
82 8 6 5 10 6 8
120 9 9 1 5 9 5
83 10 9 1 3 8 9
121 9 7 1 3 9 6
84 8 7 2 4 8 9
122 3 5 4 8 2 7
85 9 8 1 5 9 8
123 10 8 5 10 10 9
86 9 8 1 1 8 9
124 9 9 1 1 9 8
87 8 8 4 4 6 7
125 10 10 1 3 10 10
88 9 8 3 6 8 8
126 8 6 2 3 8 9
89 10 10 1 10 8 7
127 10 8 5 7 9 10
90 8 8 1 9 7 2
128 7 7 1 6 7 10
91 10 8 1 1 9 9
129 10 7 3 10 7 8
92 8 8 1 4 8 5
130 10 10 5 7 10 8
93 8 8 2 5 9 10
131 10 10 1 3 10 10
94 10 9 5 10 8 9
132 10 9 1 2 10 10
95 8 7 4 8 7 8
133 10 9 5 10 4 6
96 7 4 1 2 10 8
134 10 9 1 1 10 9
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
89
No. 1y 2y 3y 4y 5y 6y
No.
1y 2y 3y 4y 5y 6y
135 10 10 1 1 7 10
166 9 7 1 1 9 9
136 8 7 1 3 3 2
167 7 8 4 5 7 7
137 5 7 1 5 5 8
168 5 7 2 7 3 1
138 8 5 1 1 7 9
169 8 9 1 4 10 10
139 8 9 2 7 10 3
170 10 9 5 10 10 10
140 8 7 4 8 7 6
171 4 4 2 2 8 7
141 8 7 5 10 7 4
172 8 6 2 3 10 9
142 10 6 1 5 9 9
173 9 9 5 9 6 5
143 8 7 3 9 8 5
174 10 10 3 8 1 4
144 7 5 5 8 7 8
175 10 8 5 10 10 8
145 10 8 4 10 6 8
176 10 7 1 5 7 7
146 9 8 5 10 8 7
177 10 10 1 1 10 10
147 8 5 2 6 8 6
178 3 2 1 5 3 2
148 8 4 4 10 1 2
179 8 7 1 1 7 6
149 8 6 5 10 7 6
180 8 7 4 9 6 8
150 9 7 3 6 9 8
181 7 8 1 5 9 9
151 6 6 1 4 7 10
182 8 8 1 1 8 5
152 8 8 1 6 8 6
183 10 9 2 6 6 9
153 10 10 1 4 3 2
184 7 7 4 10 7 3
154 7 6 3 7 4 6
185 9 9 2 4 8 9
155 9 8 1 1 7 8
186 10 9 5 10 8 10
156 8 8 4 3 5 3
187 7 8 1 3 7 3
157 10 10 1 5 5 10
188 6 6 2 7 6 7
158 10 9 5 10 9 9
189 10 8 5 10 6 10
159 10 8 1 3 8 3
190 10 10 1 1 10 10
160 10 10 1 8 10 7
191 9 5 5 10 2 8
161 10 10 3 7 10 10
192 9 6 3 6 10 10
162 8 8 1 6 8 8
193 10 8 2 6 7 7
163 10 10 1 3 10 10
194 10 6 1 1 8 7
164 8 8 4 7 7 7
195 6 7 1 1 8 7
165 10 8 3 8 9 10
196 8 8 1 2 8 8
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
90
LAMPIRAN 6
Program Nonlinear SEM
Program untuk menaksir parameter pada model persamaan struktural
nonlinear (Nonlinear SEM) yang dibuat dalam tugas akhir ini terdiri dari 4
bagian, yaitu bagian utama dengan nama nlsem.m yang akan memanggil 3
fungsi, yaitu estep.m, estep2.m, dan mstep.m. Program ini dibuat dengan
menggunakan perangkat lunak MATLAB 7.4.0 (R2007a). Program ini secara
khusus dibuat dan dikembangkan untuk menaksir parameter pada model
persamaan struktural yang ada pada contoh aplikasi dalam tugas akhir ini.
Berikut adalah source code dan penjelasan dari masing-masing program:
1. Program utama, nlsem.m
Program nlsem.m ini adalah program induk yang berfungsi untuk
membaca data dan menjalankan semua fungsi yang dibutuhkan dalam
menaksir parameter pada Nonlinear SEM. Program nlsem.m ini juga
berfungsi untuk membuat grafik untuk setiap taksiran parameter dari
iterasi pertama sampai iterasi terakhir.
Source code:
_____________________________________________________________
function [Lambda Gamma Mu Psi_eps Phi Psi_delta] = nlsem(O, M, n)
% Nonlinear SEM
tic;
% M = 40;
% n = 196;
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
91
Y = xlsread('data.xls');
Lambda = [1 0 0;0 0 0;0 1 0;0 0 0;0 0 1;0 0 0];
Gamma = [0 0 0];
Phi = eye(2);
Psi_eps = eye(6);
Psi_delta = 1;
Mu = ones(6,1);
Pi = 0;
hasil = [];
for o=1:O
Lambda_xi = [Pi Gamma];
[Xi G_Xi] = estep(Y, M, n, Lambda, Gamma, Phi, Psi_eps, ...
Psi_delta, Mu, Pi);
[E_xi E_xixi E_gxigxi E_xi1gxi E_xi2xi2 E_gxixi1 E_e] =
estep2(M,n,Xi,G_Xi,Lambda_xi);
[Lambda Gamma Mu Psi_eps Phi Psi_delta] = mstep(Y, Lambda, ...
Lambda_xi, Mu, Psi_eps, n, E_xi, E_xixi, E_gxigxi, ...
E_xi1gxi, E_xi2xi2, E_gxixi1, E_e);
toc
fprintf('Iterasi ke-%d\n\n', o);
display(Lambda);
display(Gamma);
display(Mu);
display(Psi_eps);
display(Phi);
display(Psi_delta);
hasil = [hasil; Lambda(2,1) Lambda(4,2) Lambda(6,3) ...
Gamma(1,1) Gamma(1,2) Gamma(1,3) Mu' Psi_eps(1,1) ...
Psi_eps(2,2) Psi_eps(3,3) Psi_eps(4,4)Psi_eps(5,5) ...
Psi_eps(6,6) Phi(1,1) Phi(1,2) Phi(2,2) Psi_delta];
end
display(hasil);
figure;
subplot(2,2,1), plot(hasil(:,1)); xlabel('Lambda(2,1)');
subplot(2,2,2), plot(hasil(:,2)); xlabel('Lambda(4,2)');
subplot(2,2,3), plot(hasil(:,3)); xlabel('Lambda(6,3)');
figure;
subplot(2,2,1), plot(hasil(:,4)); xlabel('Gamma(1,1)');
subplot(2,2,2), plot(hasil(:,5)); xlabel('Gamma(1,2)');
subplot(2,2,3), plot(hasil(:,6)); xlabel('Gamma(1,3)');
figure;
subplot(3,2,1), plot(hasil(:,7)); xlabel('Mu(1)');
subplot(3,2,2), plot(hasil(:,8)); xlabel('Mu(2)');
subplot(3,2,3), plot(hasil(:,9)); xlabel('Mu(3)');
subplot(3,2,4), plot(hasil(:,10)); xlabel('Mu(4)');
subplot(3,2,5), plot(hasil(:,11)); xlabel('Mu(5)');
subplot(3,2,6), plot(hasil(:,12)); xlabel('Mu(6)');
figure;
subplot(3,2,1), plot(hasil(:,13)); xlabel('Psi_eps(1,1)');
subplot(3,2,2), plot(hasil(:,14)); xlabel('Psi_eps(2,2)');
subplot(3,2,3), plot(hasil(:,15)); xlabel('Psi_eps(3,3)');
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
92
subplot(3,2,4), plot(hasil(:,16)); xlabel('Psi_eps(4,4)');
subplot(3,2,5), plot(hasil(:,17)); xlabel('Psi_eps(5,5)');
subplot(3,2,6), plot(hasil(:,18)); xlabel('Psi_eps(6,6)');
figure;
subplot(2,2,1), plot(hasil(:,19)); xlabel('Phi(1,1)');
subplot(2,2,2), plot(hasil(:,20)); xlabel('Phi(1,2)');
subplot(2,2,3), plot(hasil(:,21)); xlabel('Phi(2,2)');
figure;
plot(hasil(:,22)); xlabel('Psi_delta');
time = toc;
fprintf('Waktu: %f seconds\n', time);
fprintf('Iterasi ke-%d\n\n', O);
_____________________________________________________________
Contoh hasil output program nlsem.m untuk iterasi pertama:
>> [Lambda Gamma Mu Psi_eps Phi Psi_delta] = nlsem(70, 40, 196);
Elapsed time is 144.276676 seconds.
Iterasi ke-1
Lambda =
1.0000 0 0
1.2325 0 0
0 1.0000 0
0 0.7442 0
0 0 1.0000
0 0 0.4462
Gamma =
-0.9797 -0.1643 0.3080
Mu =
4.8990
3.4692
1.7302
5.0782
4.4460
5.9956
Psi_eps =
44.8839 0 0 0 0 0
0 31.1870 0 0 0 0
0 0 3.0213 0 0 0
0 0 0 28.7090 0 0
0 0 0 0 35.8501 0
0 0 0 0 0 44.1815
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
93
Phi =
1.7791 2.0352
2.0352 11.8335
Psi_delta =
14.3580
Contoh hasil output program nlsem.m untuk iterasi terakhir (iterasi ke-
70):
Elapsed time is 13321.659708 seconds.
Iterasi ke-70
Lambda =
1.0000 0 0
0.7405 0 0
0 1.0000 0
0 1.6265 0
0 0 1.0000
0 0 0.7680
Gamma =
0.3030 0.6617 -0.1302
Mu =
8.4260
7.8325
2.3404
5.5040
7.5621
7.3845
Psi_eps =
1.2689 0 0 0 0 0
0 1.5075 0 0 0 0
0 0 0.8899 0 0 0
0 0 0 4.0807 0 0
0 0 0 0 2.6121 0
0 0 0 0 0 4.1521
Phi =
2.1942 -0.1004
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
94
-0.1004 2.9420
Psi_delta =
1.5950
Contoh output grafik taksiran parameter 11 , 12 , dan 22 :
Gambar 1 Lampiran 6. Contoh output grafik program NLSEM
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
95
2. Program ke-2, estep.m
Program estep.m ini adalah sebuah fungsi yang bertugas untuk
melakukan perhitungan E-Step menggunakan algoritma Metropolis-
Hastings.
Source Code:
_____________________________________________________________
function [Xi G_Xi] = estep(Y, M, n, Lambda, Gamma, Phi, Psi_eps,
Psi_delta, Mu, Pi)
syms xi_1 xi_2
Xi = zeros(3,M,n);
G_Xi = zeros(4,M,n);
xi2 = [0;0];
Lambda_xi = [Pi Gamma];
f=inline('exp(-1/2*transpose(xi2)*inv(Phi)*xi2 -
1/2*transpose(transpose(Y) - Mu -
Lambda*xi)*inv(Psi_eps)*(transpose(Y) - Mu - Lambda*xi) -
1/2*transpose(xi1-Lambda_eps*G_xi)*inv(Psi_delta)*(xi1-
Lambda_eps*G_xi))');
Pi0 = eye(1) - Pi;
Delta = [1 0;0 1;0 0];
Sigma_xi = [inv(Pi0)*inv(Psi_delta)*Pi0 -
inv(Pi0)*inv(Psi_delta)*Gamma*Delta;...
-Delta'*Gamma'*inv(Psi_delta)'*Pi0
inv(Phi)+Delta'*Gamma'*inv(Psi_delta)*Gamma*Delta];
Omega = inv(Sigma_xi)+Lambda'*inv(Psi_eps)*Lambda;
sigma2 = 1;
% E-Step
for i=1:n
Xi0 = zeros(1,3);
G_Xi0 = [Xi0 Xi0(2)*Xi0(3)];
while(f(G_Xi0',Lambda,Lambda_xi,Mu,Phi,Psi_delta,Psi_eps,Y(i,:),Xi0'
,Xi0(1),Xi0(2:3)') <= 0)
Xi0 = rand(1,3);
end
for m=m=1:2*M
flag = 1;
while((flag == 1))
Xi_star = mvnrnd(Xi0,sigma2*Omega,1);
G_Xi_star = [Xi_star Xi_star(2)*Xi_star(3)];
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
96
p1 = f(G_Xi_star(1,:)',Lambda,Lambda_xi,Mu, ...
Phi,Psi_delta,Psi_eps,Y(i,:),Xi_star', ...
Xi_star(1),Xi_star(2:3)')*...
mvnpdf(Xi0, Xi_star, sigma2*Omega);
p2 = f(G_Xi0(1,:)',Lambda,Lambda_xi,Mu, ...
Phi,Psi_delta,Psi_eps,Y(i,:), ...
Xi0',Xi0(1),Xi0(2:3)')*...
mvnpdf(Xi_star, Xi0, sigma2*Omega);
p = min(1,p1/p2);
alpha = min(1,p);
if alpha == 1
flag = 0;
else
p_ = unifrnd(0,1);
if p_ <= p
flag = 0;
end
end
end
Xi0 = Xi_star;
G_Xi0 = [Xi_star Xi_star(2)*Xi_star(3)];
Xi(:,m+1,i) = Xi0;
G_Xi(:,m+1,i) = G_Xi0;
end
end
_____________________________________________________________
3. Program ke-3, estep2.m
Program estep2.m ini adalah sebuah fungsi yang bertugas untuk
melakukan perhitungan nilai ekspektasi statistik cukup pada E-Step.
Source code:
_____________________________________________________________
function [E_xi E_xixi E_gxigxi E_xi1gxi E_xi2xi2 E_gxixi1 E_e] =
estep2(M,n,Xi,G_Xi,Lambda_xi)
E_xi = reshape(mean(Xi,2),3,196);
E_xixi = zeros(3,3,n);
E_gxigxi = zeros(4,4,n);
E_xi1gxi = zeros(n,4);
E_xi2xi2 = zeros(2,2,n);
E_gxixi1 = zeros(4,n);
E_e = zeros(n,1);
for i = 1:n
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
97
for m = M+1:2*M
% matriks 3x3x196 (3x3)
E_xixi(:,:,i) = E_xixi(:,:,i) + Xi(:,m,i)*Xi(:,m,i)';
% matriks 4x4x196 (4x4)
E_gxigxi(:,:,i) = E_gxigxi(:,:,i) + G_Xi(:,m,i)*G_Xi(:,m,i)';
% matriks 196x4 (1x4)
E_xi1gxi(i,:) = E_xi1gxi(i,:) + Xi(1,m,i)*G_Xi(:,m,i)';
% matriks 2x2x196 (2x2)
E_xi2xi2(:,:,i) = E_xi2xi2(:,:,i) + Xi(2:3,m,i)*Xi(2:3,m,i)';
% matriks 4x196 (4x1)
E_gxixi1(:,i) = E_gxixi1(:,i) + G_Xi(:,m,i)*Xi(1,m,i);
% skalar
E_e(i) = E_e(i) + (Xi(1,m,i) - Lambda_xi*G_Xi(:,m,i))^2;
end
end
E_xixi = E_xixi/M;
E_gxigxi = E_gxigxi/M;
E_xi1gxi = E_xi1gxi/M;
E_xi2xi2 = E_xi2xi2/M;
E_gxixi1 = E_gxixi1/M;
E_e = E_e/M;
_____________________________________________________________
4. Program ke-4, mstep.m
Program mstep.m ini adalah sebuah fungsi yang bertugas untuk
melakukan perhitungan nilai ekspektasi statistik cukup pada E-Step.
Source code:
_____________________________________________________________
% M-Step
function [Lambda_cap Gamma_cap Mu_cap Psi_eps_cap Phi_cap
Psi_delta_cap] = mstep(Y, Lambda, Lambda_xi, Mu, Psi_eps, n, E_xi,
E_xixi, E_gxigxi, E_xi1gxi, E_xi2xi2, E_gxixi1, E_e)
Phi_cap = mean(E_xi2xi2,3);
% compute Lambda_xi_cap
Lambda_xi_star = Lambda_xi(2:4);
B = rand(4,3);
while (rank(B) ~= 3)
B = rand(4,3);
end
b = Lambda_xi' - B*Lambda_xi_star';
sum1 = zeros(4,1);
for i=1:n
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.
98
sum1 = sum1 + (E_gxixi1(:,i) - E_gxigxi(:,:,i)*b);
end
Lambda_xi_star = (inv(B'*sum(E_gxigxi,3)*B)*B'*sum1)';
Lambda_xi_cap = (B*Lambda_xi_star' + b)';
% compute Psi_delta_cap
Psi_delta_cap = mean(E_e);
% compute Lambda_cap
Lambda_cap = Lambda;
for k=2:2:6
Lambda_star = Lambda(k,k/2);
A = rand(3,1);
a = Lambda(k,:)' - A*Lambda_star';
sum2 = zeros(3,1);
for i=1:n
sum2 = sum2 + (E_xi(:,i)*(Y(i,k) - Mu(k)) - ...
E_xixi(:,:,i)*a);
end
Lambda_cap_star = (inv(A'*sum(E_xixi,3)*A)*A'*sum2)';
Lambda_cap_ki = (A*Lambda_cap_star + a)';
Lambda_cap(k,k/2) = Lambda_cap_ki(k/2);
end
% compute Mu_cap
Mu_cap = mean(Y'-(Lambda_cap*E_xi),2);
% compute Psi_eps_cap
Psi_eps_cap = Psi_eps;
for k=1:6
Psi_kk = 0;
for i=1:n
Psi_kk = Psi_kk + ((Y(i,k) - Mu(k))^2 - 2*(Y(i,k) – ...
Mu_cap(k))*Lambda_cap(k,:)*E_xi(:,i) + ...
Lambda_cap(k,:)*E_xixi(:,:,i)*Lambda_cap(k,:)');
end
Psi_kk = Psi_kk/n;
Psi_eps_cap(k,k) = Psi_kk;
end
% compute Gamma_cap
Gamma_cap = Lambda_xi_cap(2:4);
_____________________________________________________________
Taksiran maksimum..., Amri Ilmma, FMIPA UI, 2009.