METODE EVALUASI...
Transcript of METODE EVALUASI...
METODE EVALUASI
PEMBANGUNAN
InHouse Training
Bappeda Provinsi Jawa Barat
22 November 2019
NURROHMAN WIJAYA, S.T., M.T., M.Sc., Ph.D.(c)KK Pengelolaan Pembangunan & Pengembangan Kebijakan
Sekolah Arsitektur, Perencanaan, dan Pengembangan Kebijakan
INSTITUT TEKNOLOGI BANDUNG
Konsep EVALUASI
• Evaluasi adalah proses “penghakiman“ terhadapsesuatu dengan mengkaji dan membuatkeputusan secara hati-hati berdasarkan berbagaifaktor:
– kriteria pertimbangan objektif, seperti standar, aturan, harga, dan bandingan;
– kriteria pertimbangan subjektif, seperti sistem nilai; dan
– asumsi-asumsi yang digunakan.
• Evaluasi adalah penilaian yang sistematis dan objektif atas desain, implementasi dan hasil dari intervensi yang sedang berlangsung atau yang telah selesai (Permen PPN/Bappenas No. 1/2017)
Pertimbangan dalam EvaluasiUntuk melakukan setiap evaluasi, kita perlu:1. Memahami dengan seksama knowledge tentang obyek yang akan
dievaluasi.
2. Menyusun argumen-argumen kriteria pertimbangan obyektif yang akandigunakan.
3. Menyusun argumen-argumen kriteria pertimbangan subyektif yang akandigunakan.
4. Menyusun argumen-argumen asumsi yang akan digunakan.
5. Mengumpulkan data dan informasi yang dibutuhkan untuk membuatkeputusan.
6. Melakukan klarifikasi dan verifikasi data dan informasi, seperti standar, aturan, harga, bandingan, dan sistem nilai supaya bisa membuatkeputusan.
7. Melakukan analisis dengan teknik yang dipilih menggunakan data daninformasi yang sudah diklarifikasi (jelas) dan diverifikasi (verified) untukproses menghakimi sesuatu yang dievaluasi.
8. Membuat keputusan penghakiman sebagai hasil evaluasi.
Note: Gabungan butir 2, 3, dan 4 adalah “conditionality for reading and understanding the process and result of the evaluation.” Yang dimaksud “sesuatu” dalam konteks ini adalah kebijakan, rencana, program, kegiatan, proyek.
Pemahaman Knowledge
tentang Obyek yang Akan Dievaluasi
• Mengetahui fakta, ide dan gagasan yang adadi obyek yang akan dievaluasi.
• Mengenal dengan baik, peduli, dan mengertiatas pengetahuan yang sudah diperoleh daripengalaman dan studi sendiri atau orang lain.
• Memahami secara keseluruhan apa yang sudah diketahui dari obyek yang akandievaluasi.
Kriteria Evaluasi
• Suatu kriteria evaluasi adalah suatu standar, aturan, atautes yang digunakan sebagai dasar dalam proses penghakiman terhadap sesuatu.
• Kriteria evaluasi diturunkan dari teori-teori dasar(fundamental theories) dari sesuatu yang akan dievaluasi, dan sistem nilai (ethics and values) dari sesuatu yang akandievaluasi.
• Kriteria evaluasi yang diturunkan tersebut berdasarkan satuset asumsi yang digunakan meliputi asumsi eksplisit danasumsi intrinsik.
• Kriteria evaluasi yang diturunkan dari fundamental theories akan menjadi kriteria obyektif.
• Kriteria evaluasi yang diturunkan dari sistem nilai akanmenjadi kriteria subyektif.
• Kriteria yang akan digunakan untuk mengevaluasi sesuatumencakup kriteria obyektif, kriteria subyektif, dan asumsi-asumsi yang digunakan.
Efficiency, Equity, Justice
• Pada kebijakan, rencana, program, kegiatan, danproyek yang bersifat publik, kriteria standar yang digunakan dalam setiap evaluasi adalah kriteriaefficiency, equity, dan justice.
• Engineering efficiency is: Output >>> Input
• Economic efficiency is: Engineering Efficiency + preference
• Equity is equal outcome vs equal opportunity
• Absolute justice vs relative/comparative justice
Klarifikasi dan Verifikasi
• Klarifikasi data dan informasi dibutuhkanuntuk membuat data dan informasi menjadijelas dan mudah dimengerti, tidakmembingungkan, serta bebas dari ketidak-pastian, sehingga memudahkan proses penghakiman.
• Verifikasi dibutuhkan untuk memastikan/ konfirmasi kebenaran data dan informasi, sehingga proses penghakiman akanmenghasilkan keputusan yang dapatdipercaya (reliable).
Asumsi
• Asumsi adalah tindakan menerima kondisi sepertidiberikan apa adanya atau tindakan menerimakondisi sebagai suatu kebenaran.
• Asumsi eksplisit adalah asumsi yang dituliskansecara eksplisit dalam dokumen suatu kebijakan, rencana, program, kegiatan, proyek.
• Asumsi intrinsik adalah asumsi yang tidakdituliskan, namun diyakini sudah diketahui dandimengerti atas kesadaran pembaca/pengguna.
• Semua asumsi eksplisit dan intrinsik harusdituliskan di awal sebelum melakukan evaluasi.
Implementasi Evaluasi (1)
• Pelaksanaan evaluasi dapat dilakukan pada saatpenyusunan rencana, pelaksanaan rencana, maupun setelah kebijakan/program/kegiatanselesai dilaksanakan.
• Pada saat penyusunan rencana, evaluasidilakukan untuk memilih alternatif kebijakan yang tepat dari berbagai alternatif yang ada.
• Selain itu, juga digunakan untuk menilai strukturdan sistematika penyusunan sasaran, arahkebijakan dan strategi pembangunan.
Implementasi Evaluasi (2)
• Pada saat pelaksanaan, evaluasi
dilakukan untuk menilai proses
pelaksanaan rencana.
• Sedangkan, setelah berakhirnya rencana,
evaluasi dilakukan dalam rangka menilai
capaian kinerja atas pelaksanaan rencana
dan mengindentifikasi permasalahan yang
ada.
Tujuan Evaluasi
• Hasil evaluasi dituntut agar dapat memberikan
data dan informasi mengenai berhasil tidaknya
pelaksanaan kebijakan/program/kegiatan,
serta
• Menilai efisiensi, efektivitas, relevansi, dampak
dan keberlanjutan kebijakan/program/kegiatan
terhadap masyarakat.
• Informasi tersebut dapat digunakan sebagai
dasar dalam pengambilan keputusan atas
kondisi yang ada.
Kerangka Evaluasi Pembangunan Nasional
Sumber: Permen PPN/Bappenas No. 1/2017 tentang Pedoman Evaluasi Pembangunan
Nasional
Evaluasi Pembangunan
• Dalam rangka menjamin pelaksanaan
evaluasi dilakukan secara tepat dan lebih
terukur, maka proses penyusunan
kebijakan/program/kegiatan harus
memenuhi kaidah-kaidah logical
framework atau Kerangka Kerja Logis
(KKL).
Jenis dan Metoda Evaluasi
• Evaluasi Ex-ante
• Evaluasi Pengukuran Kinerja
• Evaluasi Proses Pelaksanaan
• Evaluasi Kebijakan Strategis/Program
Besar
Evaluasi Ex-ante
• Evaluasi Ex-ante dilakukan sebelum dokumen perencanaan ditetapkan.
• Tujuan Evaluasi Ex-ante:– memilih alternatif kebijakan terbaik dari berbagai
alternatif yang ada; dan
– memastikan dokumen perencanaan disusun secara terstruktur, koheren dan sistematis, antara lain dengan cara menelaah konsistensi antar dokumen perencanaan dan menelaah penyusunan kebijakan/program/kegiatan dengan mengkaji permasalahan, formulasi sasaran, konsistensi arah kebijakan dan strategi pembangunan dengan sasaran, dan ketepatan indikator kinerja yang digunakan.
Evaluasi Pengukuran Kinerja
• Evaluasi pengukuran kinerja dilakukan untuk melihat capaian kinerja kebijakan/program/kegiatan dengan membandingkan antara target dengan capaian.
• Evaluasi pengukuran kinerja dilakukan dengan menggunakan metode Gap Analysis.
• Evaluasi pengukuran kinerja dapat dilakukan terhadap keseluruhan dokumen perencanaan.
Evaluasi Proses Pelaksanaan
• Evaluasi proses pelaksanaan rencana pembangunan dilakukan untuk mendeskripsikan proses pelaksanaan kebijakan/program/kegiatan secara mendalam.
• Deskripsi proses pelaksanaan, meliputi deskripsi pelaksanaan (siapa, apa, kapan, dimana, bagaimana), deskripsi latar belakang, deskripsi organisasi, deskripsi input, output dan aktivitas pelaksanaan dan hal lain yang diperlukan.
• Evaluasi proses pelaksanaan rencana pembangunan dilakukan terhadap kebijakan/program/kegiatan terpilih, antara lain untuk memahami fungsi-fungsi pelaksanaan agar diketahui fungsi mana yang berjalan dengan baik dan mana yang tidak, serta mengidentifikasi permasalahan dalam pelaksanaan untuk mencegah kegagalan pelaksanaan maupun perbaikan pelaksanaan di masa yang akan datang.
Evaluasi Kebijakan
Strategis/Program Besar• Evaluasi kebijakan strategis/program besar
merupakan penilaian secara menyeluruh, sistematis dan obyektif terkait aspek relevansi, efisiensi, efektivitas, dampak, dan keberlanjutan dari pelaksanaan kebijakan/program dengan menunjukkan hubungan sebab akibat akan kegagalan atau keberhasilan pelaksanaan kebijakan/ program.
• Kriteria kebijakan strategis/program besar meliputi:– memiliki dampak langsung dan besar kepada masyarakat;
– memiliki anggaran besar;
– mendukung secara langsung pencapaian agenda pembangunan nasional;
– mendukung pencapaian prioritas nasional; dan
– merupakan arahan direktif presiden dan pertimbangan lain.
Sistem Perencanaan
Pembangunan Nasional
adalah satu kesatuan
tata cara perencanaan
pembangunan untuk
menghasilkan rencana-
rencana pembangunan
dalam jangka panjang,
jangka menengah, dan
tahunan yang
dilaksanakan oleh
unsur penyelenggara
negara dan masyarakat
di tingkat Pusat dan
Daerah
UU No. 25 Tahun 2004 Tentang Sistem Perencanaan
Pembangunan Nasional
RPJP Daerah memuat visi, misi, dan arah pembangunan Daerah yang mengacu pada RPJP Nasional.
RPJM Daerah merupakan penjabaran dari visi, misi, dan program Kepala Daerah yang
penyusunannya berpedoman pada RPJP Daerah dan memperhatikan RPJM Nasional, memuat arah
kebijakan keuangan Daerah, strategi pembangunan Daerah, kebijakan umum, dan program Satuan Kerja
Perangkat Daerah, lintas Satuan Kerja Perangkat Daerah, dan program kewilayahan disertai dengan
rencana-rencana kerja dalam kerangka regulasi dan kerangka pendanaan yang bersifat indikatif.
RKPD merupakan penjabaran dari RPJM Daerah dan mengacu pada RKP, memuat rancangan kerangka
ekonomi Daerah, prioritas pembangunan Daerah, rencana kerja, dan pendanaannya, baik yang
dilaksanakan langsung oleh pemerintah maupun yang ditempuh dengan mendorong partisipasi
masyarakat.
Renstra-SKPD memuat visi, misi, tujuan, strategi, kebijakan, program, dan kegiatan
pembangunan yang disusun sesuai dengan tugas dan fungsi Satuan Kerja Perangkat Daerah serta
berpedoman kepada RPJM Daerah dan bersifat indikatif.
Renja-SKPD disusun dengan berpedoman kepada Renstra SKPD dan mengacu kepada RKP, memuat
kebijakan, program, dan kegiatan pembangunan baik yang dilaksanakan langsung oleh Pemerintah
Daerah maupun yang ditempuh dengan mendorong partisipasi masyarakat.
Pohon masalah dapat dikonversi menjadi pohon tujuan, dengan mengubah pernyataan masalah menjadi pernyataan tujuan berupa pernyataan yang bersifat positif dan konstruktif.
POHON MASALAH vs POHON TUJUAN
Pernyataan tujuan harus:
• Merupakan hasil yang paling langsung terlebih dahulu (most direct result)• Fokus pada yang harus ada terlebih dahulu untuk memperbaiki kehidupan masyarakat
• Dapat dicapai dalam waktu implementasi rencana• Sesuai dengan kewenangan atau tupoksi penanggungjawab
Kegiatan/Proyek (Output)
Program (Outcome)
Tujuan/Sasaran (Impact)
Visi/Misi (Impact)
Apabila sumber daya finansial ataupun institusional tidak memadai untuk menangani seluruh permasalahan, kita perlu membuat klaster permasalahan.
ANALISIS STRATEGI: POHON ALTERNATIF
Source: UNDP, 2009
PERNYATAAN INDIKATOR HASIL
Impact
Manfaat akhir yang akan dirasakan dalam jangka panjang oleh masyarakat
Outcome
Perubahan yang terjadi dalam jangkamenengah ataupendek; diperlukantercapainya lebih darisatu outcome untukmenghasilkan impact
Output
Produk dan layanan baik tangible/intangible yang dihasilkan atau disediakan
Activities
Tugas/kegiatan yang
harus dilaksanakan
untuk menghasilkan
output
PERFORMANCE INDICATORS
• Indicators are signposts of change along the path to development.
• Tanda yang berfungsi sebagai alat ukur pencapaian kinerja suatu kegiatan, program, atau sasaran dan tujuan dalam bentuk keluaran (output), hasil (outcome), dampak (impact)
• Critical for monitoring and evaluation.
• Indicators help to:
• Inform decision making for ongoing programme or project management
• Measure progress and achievements, as understood by the different stakeholders
• Clarify consistency between activities, outputs, outcomes, and impacts
• Ensure legitimacy and accountability to all stakeholders by demonstrating progress
• Assess project and staff performance Source: UNDP, 2009; Permendagri No. 86/2017
Source: UNDP, 2009
Quantitative
Ukuran statistik
• Proporsi
• Kecenderungan memusat (rata-rata, median, modus)
Qualitative
• Compliance with (kesesuaian)
• Quality of (kualitas)
• Extent of (sejauh mana)
• Level of (tingkat)
Proxy
Cara yang tidak langsung dalam mengukur kemajuan ketercapaian hasil
Contoh: bagaimana mengukur perbaikan kapasitas aparat pemerintah dalam menyediakan layanan persampahan?
TYPES OF INDICATORS
• Direct:– Hours of down time (out-of-service time) of solid waste vehicle
fleet due to O&M and other problems;
– Percentage change in number of households serviced weekly;
– Percentage change in number of commercial properties serviced weekly; etc.
• Proxy:– Percentage of clients satisfied with the quality and timeliness of
services provided by the solid waste management service.
Source: UNDP, 2009
DIRECT VS PROXY INDICATORS
• Impact indicators: kondisi yang ingin diubah– Improved educational performance of students in region:
percentage of students completing primary schooling; pass rates in standardized student test.
• Outcome indicators: keadaan yang ingindicapai/dipertahankan– Percentage of teachers trained that were rated as more
effective in doing their jobs one year later.
• Output indicators: produk akhir berupa barang ataujasa– District school teachers trained: number of teachers
trained by the end of 2010.
Source: UNDP, 2009
LEVEL OF INDICATORS
• Baseline data establishes a foundation
from which to measure change.
• Target will normally depend on the
programme period and the duration of
the interventions and activities (normally 5
– 10 years).
Source: UNDP, 2009
BASELINE AND TARGETS
• Results statements and indicators should
be SMART.
• “M” here stands for measurable, which
implies that the data should be readily
available in order to ascertain the
progress made in achieving results.
Source: UNDP, 2009
MEANS OF VERIFICATIONS
SYARAT INDIKATOR DAMPAK DAN HASIL
Source: UNDP, 2009; Permendagri No. 86/2017
SMART-C plus C: continuously improve (kualitas target terus
berkembang dan disempurnakan)
tidak bermakna ganda
dapat diukur
dapat dicapai dan disepakati
oleh semua stakeholder
dapat berkontribusi pada
pencapaian target pemb.
memiliki batas waktu pencapaian