1
1
MONITORING DAN EVALUASI
C. DESKRIPSI SINGKAT MATERI
Evaluasi merupakan suatu tahapan penting dalam keseluruhan program
pelayanan kesejahteraan sosial. Proses inilah yang akan menunjukkan apakah
program pelayanan yang dilaksanakan telah menjawab persoalan yang muncul
atau tidak, apakah program yang telah dilaksanakan benar-benar memenuhi
kebutuhan klien atau tidak, sesuai dengan prosedur atau tidak, bagaimana
hambatan yang dialami, dan sebagainya. Dengan kata lain, evaluasi merupakan
proses penting yang harus dilaksanakan untuk melihat apakan suatu program
pelayanan mengalami kegagalan atau keberhasilan secara lengkap.
Evaluasi merupakan proses penting yang harus dilakukan secara seksama
agar tujuan yang hendak dicapai dapat terlaksana dengan baik. Agar proses ini
dapat mencapai tujuan sesuai dengan yang diharapkan, maka evaluasi harus
dilakukan sesuai dengan kaidah-kaidah tertentu secara sistematis. Karena proses
yang dilakukan dimaksudkan untuk mengetahui situasi dan kondisi program yang
sedang atau telah dilakukan, maka pada dasarnya proses ini merupakan proses
penelitian atau penilaian secara mendalam yang ditujukan untuk mendapatkan
gambaran lengkap mengenai proses intervensi maupun program pelayanan
yang dilakukan. Oleh karena itu, kaidah-kaidah dalam penelitian ilmiah sangat
diperlukan dalam proses evaluasi ini.
A. KOMPETENSI UMUM
Melakukan Monitoring dan Evaluasi dengan tim kerja.
B. TUJUAN
1. Mampu memahami konsep Monitoring dan Evaluasi.
2. Mampu memahami manfaat Monitoring dan Evaluasi.
3. Mampu memahami dan menganalisis serta menjelaskan jenis dan
tipe Monitoring dan Evaluasi.
2
2
Pembahasan konsep evaluasi dalam modul ini diarahkan untuk
mengingatkan kembali para peserta sertifikasi tentang proses maupun kaidah
evaluasi. Modul ini tidak dimaksudkan untuk mengulas secara lengkap mengenai
konsep evaluasi secara panjang lebar, akan tetapi dipilih beberapa komponen
penting yang dianggap penting dalam suatu proses evaluasi kegiatan pelayanan.
Modul ini diarahkan untuk memperkuat pemahaman tentang konsep evaluasi bagi
peserta sertifikasi yang telah memiliki pemahaman awal tentang metode
penelitian.
Materi ini akan membahas beberapa konsep penting antara lain :
1. Manfaat evaluasi dalam praktek pelayanan sosial.
2. Proses evaluasi, yang meliputi beberapa konsep penting dalam penelitian,
seperti evaluasi formatif dan sumatif, baseline, validitas dan reliabilitas,
peluang generalisasi, metode pengumpulan data, variabel bebas dan
variabel terikat.
3. Desain Evaluasi yang terutama difokuskan pada lima disain utama, yaitu
disain subyek tunggal (Single subject design), skala pencapaian tujuan
(Goal attainment scaling), Skala pencapaian tugas (task achievement
scaling), kuesioner kepuasan klien (Client satisfaction questionaires),
serta analisis proses dan dampak program pelayanan.
Topik-topik ini sengaja dipilih karena sangat erat kaitannya dengan pekerjaan
sehari-hari para praktisi pelayanan, terutama Tenaga kesejahteraan sosial.
B. KOMPETENSI DASAR
1. Merancang disain evaluasi dan monitoring pelayanan.
2. Melakukan Evaluasi Pelayanan Langsung
3. Melakukan Evaluasi Pelayanan tak langsung
3
3
C. TUJUAN PEMBELAJARAN
1. Tujuan Umum.
Peserta sertifikasi mampu merancang sebuah disain evaluasi serta
melaksanakan rancangan tersebut untuk mengevaluasi praktik pelayanan
yang diberikannya.
2. Tujuan Khusus.
Peserta sertifikasi diharapkan :
a. Mampu memahami konsep evaluasi partisipatoris
• Mampu memahami dengan benar manfaat evaluasi dalam proses
pelayanan yang diberikan.
• Mampu memahami proses-proses, terutama beberapa konsep
penting dalam evaluasi.
• Mampu memahami serta merancang lima disain utama dalam
evaluasi, yaitu disain subyek tunggal, skala pencapaian tujuan, skala
pencapaian tugas, kuesioner kepuasan klien, serta analisis proses
dan dampak program.
b. Mampu memahami dan menggunakan beberapa alat partisipatoris yang
dapat digunakan dalam evaluasi program.
D. MATERI
1. Pengantar
Untuk menjadi seorang pengembangan masyarakat yang efektif, seseorang
harus memahami apakah intervensi yang dikembangkannya dapat dilakukan
secara efektif atau tidak, sesuai dengan harapan klien atau tidak, dapat mencapai
tujuan atau tidak, dsb. Hal ini nampaknya merupakan sesuatu yang sangat
sederhana, akan tetapi untuk mengembangkan strategi dalam mengevaluasi
praktek yang kita lakukan secara efektif tidak selalu menjadi suatu pekerjaan yang
mudah untuk dilakukan. Bahkan walaupun kita telah memiliki rencana yang jelas
untuk mengevaluasi hasil praktek yang telah dilakukan, atau untuk mengevaluasi
program yang dijalankan. Banyak tantangan yang harus dihadapi untuk mengukur
efektivitas ini.
4
4
Proses evaluasi secara tipikal merupakan suatu proses yang berkelanjutan
(ongoing process), sehingga kita harus selalu menilai apakah tujuan-tujuan jangka
pendek yang telah ditentukan dapat tercapai dengan baik. Evaluasi juga dapat
dipandang sebagai tahap akhir dalam sebuah kegiatan, yang seringkali mendasari
suatu keputusan bersama antara pekerja sosial dengan klien untuk mengakhiri
hubungan profesional yang terjalin (Termination). Secara umum, diskusi tentang
bahasan ini akan membantu pembaca untuk :
a. Menemukenali serta memilih metode yang sesuai untuk mengevaluasi
praktek pengembangan masyarakat yang dilakukan.
b. Menemukenali beberapa metode yang dapat dan mudah digunakan untuk
melakukan evaluasi program.
c. Menemukenali serta mampu membedakan secara jelas berbagai konsep
penting dalam melakukan evaluasi secara benar, seperti validitas,
reliabilitas, generalisasi, “baseline”, evaluasi formatif dan evaluasi
sumatif.
d. Menemukenali rancangan (design) yang dapat digunakan dalam
melakukan evaluasi terhadap praktek yang telah dilakukan maupun
mengevaluasi suatu program pelayanan tertentu.
E. MANFAAT EVALUASI
Sumber daya penyandang dana belakangan ini sudah begitu tinggi dalam
memberikan perhatian pada pentingnya pertanggung jawaban (accountability)
pelaksanaan program-program pelayanan. Oleh karena itu tuntutan untuk
melakukan evaluasi atas pelaksanaan program-program tersebut juga meningkat
dengan sangat signifikan. Para penyandang dana ini memberikan tuntutan yang
begitu tinggi untuk memperoleh jaminan bahwa dana yang dialokasikan bagi
program-program tersebut dimanfaatkan sesuai dengan tujuan dan manfaat yang
telah ditentukan. Di lain pihak, juga banyak lembaga-lembaga pelayanan yang
memberikan perhatian untuk mengukur praktek apa yang telah dilakukannya,
5
5
sampai seberapa jauh proses pelayanan telah sesuai dengan rencana, dan
bagaimana pencapaian tujuan akhirnya.
Gambar 1. Evaluasi dalam Model Intervensi Pemberi pelayanan.
Landasan bagi Praktek pengembangan Masy:
Pengetahuan (Knowledge)
Ketrampilan (Skills)
Nilai (Values)
Asesmen (Assessment)
Perencanaan
Intervensi
EVALUASI
Review tingkat pencapaian tujuan
Tujuan Tingkat Pencapaian Terminasi atau
assessment ulang
Misalnya suatu lembaga yang menyatakan bahwa mereka mampu
meningkatkan beban kasus sampai 25 % walaupun tidak ada peningkatan dalam
jumlah karyawannya. Dengan demikian diasumsikan bahwa masing-masing
Penerapan
Prinsip-prinsip
Intervensi Penelitian
6
6
karyawan atau stafnya telah bekerja lebih keras. Ukuran yang digunakan pada
contoh tersebut di atas menunjukkan informasi tentang apa yang telah dilakukan
oleh lembaga. Akan tetapi informasi tersebut samasekali tidak menunjukkan
apakah lembaga tadi telah melaksanakan fungsi dan tugasnya kepada klien dengan
baik atau tidak.
Selain pentingnya manfaat ekonomis dalam evaluasi, aspek politis juga
sangat menonjol dalam evaluasi. Suatu evaluasi yang dilakukan dengan baik,
terukur secara akurat, dan dipublikasikan secara luas akan berpengaruh besar
dalam pengambilan keputusan pada tingkat kebijakan. Suatu evaluasi terhadap
berhasilnya suatu program pelayanan terhadap keluarga dan anak, misalnya, dapat
memperkuat sistem legislatif (DPR) untuk mengalokasikan sumberdaya yang ada
bagi keberlanjutan program pelayanan yang diberikan. Evaluasi semacam ini
akan sangat bermanfaat untuk meyakinkan pihak-pihak yang skeptis, pesimis,
serta menentang keberlanjutan program.
Pergerakan keberdayaan para pengguna pelayanan (Consumer Movement
dengan lembaga konsumennya) juga telah berpengaruh terhadap pentingnya
evaluasi yang baik. Klien memiliki hak untuk mengetahui efektivitas pelayanan
yang dia dapatkan. Klien menginginkan suatu jaminan apakah mereka
memperoleh pelayanan sesuai dengan apa yang telah dijanjikan.
Perbaikan, perubahan penyederhanaan suatu proses pelayanan dapat selalu
dilakukan secara serius melalui evaluasi atas proses yang dijalankan. Supervisi
secara berkelanjutan untuk mencapai tujuan di atas hanya dapat dilakukan atas
dasar evaluasi secara terukur. Supervisor hanya dapat melakukan fungsi dan
tugasnya dengan baik jika dilandasi suatu proses evaluasi yang baik pula. Tanpa
evaluasi, sama dengan orang yang tidak pernah bercermin. Dia tidak mengetahui
apa hasil yang telah dicapai, dia tidak mengetahui proses mana yang tidak sesuai
dengan tujuan, dia tidak mengetahui harapan-harapan klien yang terabaikan.
7
7
Supervisor pekerja sosial hanya mampu berbicara tanpa dasar, jika tidak
dilakukan evaluasi secara terrencana.
Ada beberapa alasan mengapa evaluasi seringkali tidak dilakukan dalam
praktek-praktek pelayanan kepada masyarakat :
a. Pembei pelayanan khawatir bahwa dirinya akan merasa gagal jika
dievaluasi.
b. Pemberi pelayanan terlalu sibuk untuk melakukan evaluasi.
c. Lembaga atau pemberi pelayanan belum atau tidak memberikan perhatian
yang cukup terhadap pentingnya evaluasi.
d. Pemberi pelayanan tidak memiliki ketrampilan yang memadai untuk
melakukan evaluasi secara baik.
Toseland dan Rivas, 1984 (dalam Ashman, 1993) menyebutkan
pentingnya evaluasi dalam praktek pemberian pelayanan sosial :
a. Dapat memberikan pemahaman kepada pemberi pelayanan tentang
dampak dari praktek pertolongan yang telah dilakukannya.
b. Dapat memberikan umpan balik (feedback) kepada pemberi pelayanan
dalam meningkatkan keterampilannya dalam bekerjasama dengan klien.
c. Dapat menunjukkan kemanfaatan program-program yang dilaksanakan,
yang berguna untuk perbaikan program di masa yang akan datang.
d. Menjadi media untuk memahami kemajuan-kemajuan yang telah dicapai
klien.
e. Dapat menjadi media bagi klien untuk mengekspresikan sikap, harapan,
serta pandangan-pandangannya.
f. Dapat menjadi media untuk mengembangkan pengetahuan yang
bermanfaat bagi praktek orang lain.
Kettner dan Nichols, 1985 (dalam Ashman, 1993) seringkali membedakan
antara evaluasi dan monitoring, yang menyebutkan bahwa monitoring dan
evaluasi memiliki fungsi saling melengkapi (complementary). Monitoring
8
8
merupakan upaya untuk melihat proses pemberian pelayanan, sedangkan evaluasi
merupakan upaya untuk melihat efektivitas pelayanan. Ahli lain (Rivas dan
Barker) menyatakan bahwa monitoring sebenarnya juga merupakan suatu
evaluasi. Jadi mereka ini hanya membedakan antara evaluasi formatif dan
evaluasi sumatif. Evaluasi formatif dilakukan untuk melihat proses pelayanan
(identik dengan monitoring), sedangkan evaluasi sumatif dilakukan untuk melihat
efektifitas pelayanan, bersifat komprehensif dan dilakukan di akhir kegiatan.
F. PROSES EVALUASI
Proses evaluasi suatu praktek pelayanan sebenarnya juga mengikuti
tahapan proses pemecahan masalah itu sendiri (Duehn, 1985). Pada tahap awal,
kita harus menentukan atau mendefinisikan masalah yang akan diukur atau akan
dievaluasi serta mempertimbangkan berbagai pendekatan penelitian yang
mungkin relevan (assessment). Dari pertimbangan-pertimbangan tersebut,
kemudian dipilih salah satu pendekatan dan merancang tahapan kerja berikutnya
yang akan dilakukan (planning). Setelah rencana disusun dengan matang, maka
penelitian dilakukan secara intensif (intervention). Akhirnya perlu dilakukan
pengkajian dan evaluasi atas temuan yang diperoleh dari penelitian tersebut.
Ada beberapa konsep kunci yang sangat penting untuk memahami serta
melakukan evaluasi. Konsep-konsep ini antara lain : Evaluasi sumatif dan
formatif, Baselines, Variabel Bebas dan Variabel Terikat (independent Variables
dan Dependent Variables), validitas dan reliabilitas, metode pengumpulan data,
dan generalisasi.
1. Evaluasi formatif dan sumatif
Banyak ahli yang menyatakan bahwa evaluasi memiliki fungsi sebagai alat
untuk monitoring. Evaluasi semacam ini dilakukan pada saat intervensi atau
pelayanan sedang dilakukan. Evaluasi semacam ini disebut dengan evaluasi
formatif (Formative Evaluation). Fokus utama dari evaluasi formatif atau
monitoring lebih pada proses pemberian pelayanan dibandingkan pada hasil
9
9
akhirnya. Misalnya suatu evaluasi yang berupa penyampaian kuesioner kepada
kelayan suatu lembaga yang berisi tentang pelaksanaan suatu pelayanan
bimbingan dan konseling dalam suatu rangkaian pelayanan terhadap remaja nakal.
Evaluasi semacam ini bertujuan untuk melakukan assessment apakah kemajuan-
kemajuan yang telah direncanakan dapat tercapai. Pretest dan post-test dalam
suatu sesi pelayanan dapat juga digunakan sebagai evaluasi semacam ini.
Selain evaluasi formatif atau monitoring, evaluasi sumatif (Summative
Evaluation), yaitu untuk mengetahui apakah hasil akhir yang diharapkan telah
tercapai atau belum. Evaluasi semacam ini dilakukan setelah suatu proses
pelayanan diselesaikan.
2. Baselines.
Konsep ini berasal dari penelitian perilaku. Istilah ini merujuk pada
kondisi awal sebelum diadakan suatu intervensi atau suatu pelayanan tertentu.
Tanpa mengetahui informasi lengkap tentang kondisi awal, hampir mustahil
seseorang mengetahui bahwa sesuatu telah berkembang. Baseline ini digunakan
sebagai patokan untuk mengukur perkembangan atau perubahan yang telah
dicapai. Frekuensi, intensitas, serta durasi suatu perilaku yang akan diubah dapat
dikatakan sebagai baseline. Dalam suatu bentuk evaluasi tertentu, baseline ini
mungkin perlu dibuat lebih dari satu. Proses identifikasi awal yang dilakukan
secara serius, lengkap, dan akurat terhadap calon klien dari sebuah lembaga
mungkin dapat dijadikan baseline yang sangat berguna yang dapat dijadikan
patokan awal untuk mengukur perubahan atau kemajuan yang diperoleh
sehubungan dengan intervensi yang dilakukan..
3. Validitas dan Reliabilitas.
Ketika pemberi pelayanan akan melakukan suatu evaluasi, harus diyakini
bahwa dia telah menggunakan alat ukur atau instrumen yang tepat. Validitas
merujuk pada suatu kondisi atau sampai seberapa jauh suatu alat ukur yang
10
10
digunakan dapat mengukur hal yang akan diukur. Jika kita akan mengukur
bagaimana sikap klien terhadap perilaku kriminal tertentu dengan menggunakan
instrumen untuk mengukur perasan klien, maka instrumen tersebut dapat
dikatakan tidak valid. Ada tiga tipe uji validitas (Rubin, 1986) Yaitu
Reliabilitas merujuk pada kondisi sampai seberapa jauh suatu instrumen
atau alat ukur yang mengukur fenomena yang sama akan menghasilkan nilai yang
sama dari waktu ke waktu. Konsep kunci dalam pengertian tersebut adalah “dari
waktu ke waktu”, Artinya, jika alat ukur tersebut digunakan untuk mengukur
fenomena yang sama pada waktu yang berbeda, dengan catatan situasinya tetap,
maka hasilnya harus tetap sama. Instrumen atau alat ukur yang demikian adalah
alat ukur yang reliabel. Alat ukur yang reliabel akan menghasilkan temuan
evaluasi yang konsisten dalam rentang waktu yang berbeda.
4. Peluang untuk Generalisasi (Generalizability)
Kemungkinan atau peluang untuk dilakukannya generalisasi sebenarnya mengacu
pada suatu kondisi yang diperlukan yang memungkinkan penarikan kesimpulan
pada populasi secara lebih luas atas hasil penelitian atau evaluasi yang kita
lakukan. Persoalan yang seringkali dihadapi adalah sampel yang diambil terlalu
kecil untuk membuat generalisasi. Dengan demikian, evaluator harus memiliki
keyakinan tentang keterwakilan (Representativeness) dari sampel yang diambil
sehingga kita mempunyai keyakinan yang cukup kuat bahwa hasil penelitian atau
evaluasi yang dilakukan memang benar merupakan dampak dari grogram yang
dilaksanakan, bukan pengaruh variabel lain yang menyela (Intervening Variable).
5. Metode Pengumpulan Data.
Pilihan tentang metode serta teknik pengumpulan data apa yang akan digunakan
dalam evaluasi ditentukan oleh tujuan intervensi yang dilakukan yang akan
dievaluasi. Biasanya, metode yang digunakan adalah interview kepada pihak
utama yang terkait, studi dokumentasi, dan observasi, diskusi kelompok terfokus
11
11
(Focused Group Discussion), dsb. Wawancara dapat menggunakan alat ukur
yang terstruktur maupun yang tak terstruktur. Observasi dapat dilakukan secara
langsung tatap muka maupun menggunakan media seperti video tape atau digital
recording. Produk atau hasil karya juga sering digunakan untuk mengevaluasi
pencapaian prestasi tertentu. Kadangkala evaluator diharuskan untuk memperoleh
data subyektif seperti kemarahan, ketakutan, kecemasan, depresi, dan sebagainya.
Untuk itu gunakan alat ukur yang sudah dikembangkan oleh peneliti lain yang
sudah teruji validitas dan reliabilitasnya. Seperti “Self Report”.
6. Varibel Bebas dan Variabel Terikat
Dua konsep penting lain dalam praktek evaluasi adalah variabel bebas dan
variabel terikat. Variabel bebas (Independent Variables) meliputi “Faktor-faktor
yang diperkirakan akan mempengaruhi atau akan menyebabkan kondisi tertentu”.
Dalam konteks praktek pelayanan dapat berupa program pelayanan yang
dilakukan serta proses pelayanan yang dilakukan. Dengan kata lain, variabel
bebas ini adalah seluruh upaya yang dilakukan oleh pekerja sosial atau lembaga
pelayanan untuk membantu klien.
Faktor yang dipengaruhi disebut variabel terikat (Dependent Variables). Dalam
konteks praktek pemberian pelayanan, dapat berupa “hasil akhir dari proses
pelayanan”. Asumsinya, bahwa hasil akhir dipengaruhi oleh proses pertolongan
atau pelayanan yang diberikan. Perlu diperhatikan bahwa variabel bebas
seringkali tidak sepenuhnya bertanggung jawab dalam mempengaruhi variabel
terikat. Banyak variabel lain yang mungkin ikut terlibat, variabel ini disebut
Variabel penyela (Intervening Variables).
G. DISAIN EVALUASI
Banyak diantara para praktisi pemberi pelayanan yang terlibat dalam
praktek secara langsung dengan klien atau sistem klien. Hakikat serta tingkatan
praktek yang dilakukan sangat tergantung dari pengetahuan, ketrampilan, tingkat
pendidikan yang dimiliki, tuntutan dari lembaga tempat kerja, sistem klien yang
12
12
dilayani, dan sebagainya. Oleh karena itu, pemberi pelayanan harus memiliki
pemahaman yang cukup baik tentang berbagai teknik untuk melakukan evaluasi
praktek-praktek yang dilakukan. Banyak teknik yang dapat dilakukan dalam hal
tersebut, untuk pembahasan kali ini akan dipusatkan pada disain sistem tunggal,
skala pencapaian tujuan, skala pencapaian tugas, kuesioner kepuasan klien,
analisis proses, serta Analisis dampak program. Untuk itu akan dibahas secara
garis besar sebagai berikut.
a. Evaluasi Pelayanan Langsung.
1) Disain Subyek Tunggal (Single Subject Design)
Bloom dan Fischer (1982) menyatakan bahwa disain sistem tunggal ini
memiliki banyak nama yang dikemukakan oleh ahli yang berbeda, akan tetapi
intinya adalah sama. Nama-nama lain tersebut adalah Single N Research, Single
Subject Research, Single Case Study, AB Design, dan sebagainya. Disain ini
merupakan disain yang cukup sederhana, Pada dasarnya, petugas sosial bekerja
dengan klien yang memiliki masalah sosial. Masalah yang dihadapi oleh klien
akan diatasi melalui suatu bentuk atau suatu proses intervensi yang dilakukan oleh
petugas tersebut. Dari berjalannya proses intervensi tersebut akan memunculkan
suatu hasil sebagai dampak intervensi yang dilakukan. Dampak intervensi
kemudian dibandingkan dengan kondisi sebelum intervensi. Seringkali disain ini
disebut dengan “disain AB”, dimana A menggambarkan kondisi sebelum
intervensi dan B menggambarkan intervensi yang dilakukan. Disain Subyek
Tunggal dapat digambarkan dalam bagan sebagai berikut (pada Panti Kenakalan
Anak)
13
13
Jumlah Perilaku Nakal
Anak
6- Fase A
5- * * * * Fase B
4- *
3- *
2- * * *
1-
1 2 3 4 5 6 7 8 9
(waktu)
Periode Baseline
Dari bagan tersebut terlihat adanya kemajuan yang sangat baik, dimana perilaku
kenakalan yang muncul pada saat proses intervensi berlangsung menunjukkan
penurunan yang cukup jelas. Disain AB ini juga dapat dilakukan tanpa adanya
baseline seperti yang dapat digambarkan sebagai berikut :
Jumlah perilaku Nakal
Anak
6-
5- * * *
4- *
3- *
2- * *
1- * *
1 2 3 4 5 6 7 8 9
(waktu)
Permulaan
intervensi
14
14
Pada saat petugas pemberi pelayanan tidak memiliki kesempatan untuk
mengumpulkan data yang dapat digunakan sebagai baseline, petugas itu tetap
dapat melakukan pengukuran selama proses intervensi. Disain ini disebut disain
tipe B.
2) Skala pencapaian Tujuan (Goal Attainment Scaling)
Tidak jarang intervensi yang dilakukan oleh pemberi pelayanan memiliki
banyak tujuan secara berurutan sesuai tahapan intervensi yang dilakukan. Skala
pencapaian tujuan ini dapat dibuat dengan mengembangkan skor yang dapat
digunakan untuk menilai pencapaian masing-masing tujuan yang telah ditentukan
terlebih dahulu. Misalnya :
Tujuan intervensi : Meningkatnya ketrampilan anak dalam memenuhi kebutuhan
belajarnya
-3 -2 -1 0 1 2 3
Gagal Sangat Sedikit Titik Sedikit jauh
Tujuan ter-
Total Buruk lebih brk Awal lebih lebih capai
spnh-
drpd seblm- baik baik nya
nya
3) Skala Pencapaian Tugas (Task-Achievement Scaling)
Proses intervensi seringkali dapat dirinci menjadi beberapa tugas spesifik yang
dapat diamati secara langsung. Skor 4 menunjukkan bahwa tugas telah terlaksana
secara tuntas, skor 3 menunjukkan ada tugas yang belum terselesaikan, akan tetapi
sebagian besar telah terselesaikan. Skor 2 menunjukkan bahwa setengah dari tugas
telah terselesaikan dan setengahnya lagi belum terselesaikan, skor 1 menunjukkan
bahwa hanya sebagian kecil saja tugas yang ada telah terselesaikan, skor o
menunjukkan bahwa seluruh tugas samasekali belum terselesaikan.
15
15
Tugas Skor
a. Pelibatan masyarakat 3
b. Pendalaman kasus dan asesmen 4
c. Pemahaman sumber daya yang dimiliki 4
d. Kerjasama dalam penyusunan Rencana aksi 2
e. Kerjasama dalam menggerakkan sumber daya. 1
Jumlah 14
Bagaimana kesimpulannya ?
Dari 5 tugas yang ada dengan maksimum skor adalah 4, kalikan 5 tugas tersebut
dengan skor 4 (skor tertinggi) dan didapat total skor 20.
Dari skor yang ada dijumlahkan dan didapat jumlah skor yaitu 14, kemudian
jumlah tersebut dibagi dengan skor tertinggi (20) didapat 14 : 20 = 0.70. Dari situ
dikonfersikan dengan persen, yaitu rata-rata 70 % tugas telah diselesaikan.
4) Kuesioner Kepuasan Klien (Client Satisfaction Questionnaires)
Dalam berbagai situasi, pemeri pelayanan perlu mengetahui bagaimana
reaksi atau tanggapan klien terhadap intervensi yang diberikan. Untuk
mengetahui kepuasan klien yang kita layani ini dapat menggunakan kuesioner
kepuasan klien. Kusioner ini bisa digunakan untuk klien individual, kelompok
atau bahkan seluruh klien yang dilayani oleh sebuah lembaga sosial.
Contoh kuesioner :
Mohon dilingkari skor yang menggambarkan tanggapan anda :
1 Bagaimana tanggapan anda tentang kualitas keseluruhan proses pelibatan
masyarakat pada lembaga sosial ini ?
16
16
4 3 2 1
Sempurna/ Baik Cukup Buruk
Sangat baik
Komentar : _____________________________________
2. Apakah anda memperoleh pelayanan sesuai dengan yang anda harapkan ?
1 2 3 4
Benar-benar Tidak sepenuhnya Ya, pada Ya, benar-
Tidak umumnya benar yakin
Komentar : _______________________________________
3. Sampai sejauh mana pemberi pelayanan ini mampu memenuhi kebutuhan anda
?
4 3 2 1
Hampir semua Sbgn besar Sebagian kecil tak ada
kebutuhan
Kbthn saya kbthn saya saja kbthn saya saya yg
terpenuhi
Terpenuhi terpenuhi yg terpenuhi
Komentar : _______________________________________
5) Analisis Proses dan Dampak Program Pelayanan
Jika kita kaji kembali beberapa disain yang telah kita ulas secara garis besar di
atas, nampaknya skala pencapaian tujuan, skala pencapaian tugas, serta
kuesioner kepuasan klien dapat digunakan sebagai alat evaluasi proses pelayanan
atau evaluasi pelaksanaan suatu program pelayanan. Untuk itu tidak akan diulas
kembali tentang hal tersebut. Yang perlu dikaji kembali adalah apa sebenarnya
yang membedakan antara proses dengan dampak.
Proses, menunjukkan kepada kita tentang apa saja yang telah dilakukan, sampai
seberapa jauh hal itu dilakukan, serta bagaimana tanggapan klien terhadapnya.
17
17
Sedangkan dampak, merupakan hasil akhir yang dicapai sehubungan dengan
proses yang dilakukan. Jika asumsi yang mendasari intervensi adalah untuk
meningkatkan kemampuan fungsi sosial manusia / klien, maka yang masuk dalam
kategori dampak, adalah sejauh mana klien mampu melaksanakan fungsi
sosialnya dengan baik.
b. Evaluasi pelayanan/ praktek tak langsung.
1) Peer Review.
Merupakan suatu bentuk evaluasi yang dilakukan secara berkelompok bersama
anggota yang memiliki fungsi dan tugas yang sejenis, tanggung jawab yang
sejenis, dan proses pekerjaan yang sejenis. Kegiatan ini berbentuk diskusi
kelompok terfokus dari para pemberi pelayanan yang bertujuan untuk mengetahui,
memonitor, serta mencari jalan keluar atas masalah-maalah praktek yang
dihadapi.
Evaluasi seperti ini dilakukan pula untuk membahas topik-topik khusus, baik yang
bersifat sederhana maupun kompleks, akan tetapi perlu evaluasi tindak lanjut yang
bersifat lebih kompleks. Evaluasi seperti ini tidak memerlukan biaya, tenaga,
maupun ketrampilan khusus, dan sangat mudah dilakukan akan tetapi jarang
dilakukan.
TKS
TKS
TKS
TKS
TKS
Evaluasi seperti ini harus dilakukan secara periodik setiap minggu atau setiap
bulan sekali, sehingga dapat diperoleh manfaat :
18
18
• Masing-masing anggota dapat selalu mengikuti perkembangan proses
pelayanan
• Masing-masing anggota dpt saling bertukar pengalaman.
• Saling belajar.
• Saling memperbaiki proses-proses yg dilakukan.
• Juga dapat dilakukan ceramah dengan topik tertentu dari salah satu
anggota dengan tujuan pengayaan.
• Dsb.
Evaluasi ini harus selalu disertai dengan laporan tertulis atas proses-proses diskusi
secara lengkap, sehingga dapat dimanfaatkan atau dibaca ulang di waktu lain
secara seksama untuk dipelajari.
Formulir berikut dapat pula dijadikan contoh :
No Item Ya Tidak Komentar / catatan
1. Permasalahan dicatat scr
jelas.
2. Partisipan utama
dilibatkan scr optimal.
3. Perencanaan dilakukan
dengan jelas.
4. Strategi intervensi
tergambar dng jelas.
5. Frekuaensi dan durasi
kontak dilakukan secara
memadai
6. Pemanfaatan sumber
secara memadai.
7. Indikator kemajuan
tergambar dengan jelas.
19
19
Komentar Lain :
---------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------
-
2) Evaluasi Program.
Evaluasi ini ditujukan untuk menentukan sejauh mana sebuah program telah
mampu mencapai tujuan-tujuannya dengan baik.
Program sosial dapat didefinisikan sebagai suatu rangkaian aktivitas terencana
yang disusun untuk mencapai perubahan individual maupun perubahan sosial
tertentu. Dengan demikian, evaluasi program merupakan pengujian sistematis
yang dilakukan untuk menentukan apakah program tersebut telah mampu
mencapai tujuan-tujuannya. Dengan demikian, evaluasi program harus mampu
mengukur 4 demensi program : Input, Proses, output, dan outcome. Kemudian,
masing-masing demensi diukur dan dikaji apakah masing-masing telah sesuai
dengan tujuan yang ingin dicapai. Pengukuran dan penilaian dapat menggunakan
disain yang telah dibahas di muka.
3) Evaluasi kelembagaan
Evaluasi ini bertujuan untuk menilai atau mengkaji kinerja yang berkelanjutan
dari sebuah lembaga.
Lembaga sosial diharapkan merupakan suatu lembaga yang memiliki efisiensi dan
efektivitas dalam memberikan pelayanan sosial. Organisasi pusat seringkali
20
20
mengharapkan suatu lembaga sosial untuk melakukan evaluasi secara reguler.
Beberapa topik berikut merupakan yang perlu dipertimbangkan dalam melakukan
evaluasi sebuah lembaga :
• Responsiveness /
Apakah lembaga ybs tanggap terhadap kebutuhan publik atau kebutuhan
penyandang masalah.
• Relevansi
Apakah pelayanan yang diberikan oleh lembaga yang bersangkutan relevan
dengan kebutuhan spesifik klien, pelayanan yang diberikan sudah sesuai
dengan maksud sesungguhnya dari pelayanan tersebut.
• Ketersediaan
Apakah jumlah dan tipe pelayanan yang diberikan mencukupi untuk
memenuhi kebutuhan publik.
• Kemudahan akses
Apakah lokasi, biaya yang dikeluarkan, serta waktu yang digunakan sudah
sesuai dengan harapan publik, apakah proses-proses pelayanan mudah
dijangkau, apakah masih banyak calon-calon klien yang tak terlayani akibat
kesulitan akses.
• Kualitas
Apakah pelayanan yang diberikan sesuai dengan standar pelayanan, apakah
terdapat standar yang dapat dijadikan acuan kualitas pelayanan, klien memiliki
kepuasan atas pelayanan yang diberikan.
• Produktivitas.
Apakah lembaga yang bersangkutan telah memanfaatkan sumber daya yang
ada secara efisien dalam mencapai tujuan lembaga.
H. ISU-ISU DAN MASALAH DALAM EVALUASI
Setiap program evaluasi, baik yang dilakukan oleh petugas pemberi
pelayanan maupun dilakukan oleh suatu lembaga sosial, memiliki potensi untuk
dilakukan secara salah atau diinterpretasi secara kurang tepat. Salah satu
penyebab kesalahan ini disebabkan oleh hakikat alat penelitian (Research Tools)
21
21
yang tersedia dan digunakannya. Selain itu juga ada isu lain yang berkenaan
dengan persoalan etik, misalnya jika kita akan menggunakan disain eksperimental
yang akan membandingkan antara klien yang telah diberi intervensi dengan yang
belum. Persoalan etik ini perlu diperhatikan sebelum petugas melaksanakan
evaluasi. Beberapa isu maupun persoalan yang berkaitan dengan evaluasi anatara
lain :
1. Masalah dalam generalisasi.
Seperti yang telah dibahas pada topik terdahulu, bahwa hasil evaluasi
seringkali menunjukkan hasil tertentu, yang menyimpulkan suatu program
berhasil atau telah gagal. Dari kesimpulan tersebut ditarik kepada kelompok lain
yang lebih luas (Generalisasi). Yang perlu dipahami secara lebih baik, adalah
bahwa suatu program atau suatu kegiatan pelayanan tertentu yang berhasil di
suatu kelompok tertentu belum tentu berhasil pula jika diterapkan pada kelompok
lain. Ada banyak hal yang berkaitan dengan pemahaman tersebut. Salah satunya
adalah masalah dengan generalisasi. Suatu alasan paling mendasar yang
berkenaan dengan masalah generalisasi adalah teknik sampling yang digunakan.
Prinsip penting yang harus selalu dijunjung tinggi dalam penarikan sampel
adalah “Prinsip Keterwakilan” (Representativeness). Semakin tinggi sampel
tersebut dapat mewakili elemen-elemen dalam populasi yang diteliti atau
dievaluasi, maka semakin luas pula kemungkinannya bagi penarikan generalisasi.
Teknik Random Sampling, misalnya, didasari asumsi bahwa setiap unit populasi
akan memiliki kesempatan yang sama untuk terambil menjadi unit sampling.
Akan tetapi terbuka kemungkinan pula bahwa unit populasi yang terambil
ternyata tidak / kurang mewakili pengelompokan-pengelompokan yang ada dalam
populasi tersebut, misalnya jenis kelamin. Dengan teknik random sampling ini
ada kemungkinan bahwa salah satu jenis kelamin terambil lebih besar
dibandingkan dengan jenis kelamin lain, Padahal, informasi dari kedua unit
sampel tersebut akan memberikan warna yang berbeda pada hasil evaluasi yang
akan dilakukan. Dengan demikian, hasil evaluasi juga akan menyimpang dari
22
22
kondisi yang sebenarnya. Kondisi inilah yang harus diperhatikan dalam
generalisasi suatu hasil evaluasi.
2. Pemilihan alat evaluasi yang kurang tepat.
Alat yang digunakan dalam suatu evaluasi harus benar-benar
dipertimbangkan dengan matang, karena alat evaluasi dapat digunakan secara
tidak tepat akan tetapi hasilnya seolah-olah lengkap seperti tidak ada masalah.
Tetapi jika didalami secara serius maka hasil evaluasi tersebut tidak
menggambarkan situasi yang sebenarnya. Misalnya, Penggunaan kuesioner
kepuasan klien untuk mengevaluasi pencapaian tujuan program pelayanan di
lembaga pelayanan kepada anak nakal. Penggunaan alat ini dapat dikatakan
kurang tepat, karena tujuan pelayanan adalah untuk mengurangi tingkat kenakalan
anak, bukan mengembangkan potensi anak. Jadi evaluasi yang dilakukan harus
dapat menggambarkan apakah kenakalan anak menurun, tetap, atau meningkat.
3. Kegagalan untuk melibatkan klien dalam proses evaluasi.
Idealnya, suatu proses evaluasi harus melibatkan klien semaksimal mungkin,
sehingga hasil evaluasi benar-benar menggambarkan situasi sebenarnya yang
hendak diketahui. Di lain pihak, ada hambatan etik tertentu yang tidak
memperbolehkan untuk melakukan penelitian terhadap klien tanpa pemberitahuan
tentang hakikat penelitian yang dilakukan. Hal ini sangat berpengaruh terhadap
keterlibatan klien dalam proses yang dilakukan. Selain itu, prinsip kerahasiaan
seringkali terbongkar dengan adanya penelitian evaluasi secara mendalam.
Kekhawatiran klien terhadap penyebarluasan informasi pribadi akan sangat
berpengaruh terhadap motivasinya untuk terlibat dalam proses evaluasi.
23
23
4. Ketidak percayaan staf terhadap evaluasi.
Telah diketahui bahwa tidak semua lembaga pelayanan sosial telah
melaksanakan evaluasi secara rutin. Pada lembaga seperti ini, evaluasi yang
dilakukan, terlebih lagi jika dilaksanakan secara mendadak, akan menimbulkan
ketakutan, kekhawatiran, atau bahkan ketidak percayaan terhadap proses dan
manfaat evaluasi yang dilakukan. Mereka merasa bahwa dirinya sedang dinilai,
atau akan dikritik. Dampak selanjutnya adalah pemberian informasi yang kurang
akurat, pemberian dukungan yang sangat terbatas, dan sebagainya yang
mengakibatkan evaluasi tidak memiliki manfaat apapun bagi lembaga tersebut.
5. Proses evaluasi “mencampuri” pemberian pelayanan.
Proses evaluasi hendaknya dilaksanakan sedemikian rupa agar tidak mengganggu
proses intervensi yang dilakukan (Austin, 1982). Untuk menghindari masalah
tersebut, telah dikembangkan sistem informasi dengan menggunakan komputer
untuk menghindari hilangnya data, penjagaan kerahasiaan, serta sangat mudah
dilakukan. Akan tetapi, penggunaan komputer ini mengharuskan penyusunan
kuesioner secara panjang dan lengkap, akibatnya, dibutuhkan waktu yang panjang
untuk mengisi kuesioner tersebut, menghabiskan waktu, serta menjemukan. Hal
ini jelas sangat berpengaruh terhadap proses intervensi yang sedang dilakukan
yang tidak boleh terganggu oleh proses evaluasi yang dilakukan. Sebaliknya, jika
waktu yang diperlukan tersebut dipotong, maka dampaknya mengakibatkan
kurangnya data yang dapat dianalisis, kurang mendalam, dan akhirnya, evaluasi
tersebut kurang bermanfaat.
I. MONITORING DAN EVALUASI PARTISIPATIF
Pada dasarnya, landasan konseptual serta kerangka pikir dari moneva
partisipatif tidak berbeda dengan moneva biasa, hanya saja dilakukan melalui
suatu proses kerja partisipatif serta menggunakan alat kerja yang disusun dan
dikembangkan secara partisipatif. Artinya dilakukan oleh kelompok sasaran dari
program yang akan dievaluasi. Dengan demikian, kepemilikan, sustainabilitas
24
24
dari program yang dilakukan lebih terjamin. Selain itu, proses evaluasi tidak
sekedar memberikan penilaian atas proses yang dilakukan serta hasil yang dicapai
begitu saja, melainkan penilaian itu lebih berfungsi sebagai tenaga pendorong
(drives) bagi berjalannya program dengan lebih baik.
Evaluasi partisipatoris ini tidak hanya berhenti pada penilaian atas proses
maupun hasil, akan tetapi juga berupaya untuk mengeksplor apa yang menjadi
hambatan serta apa rekomendasi yang diberikan. Semuanya ini dilakukan oleh
sasaran (target group) dari pelayanan yang dilakukan.
Untuk mempermudah evaluasi yang dilakukan, maka diperlukan 2 buah matriks,
yaitu form yang digunakan seagai alat moneva. Matriks ini adalah matriks
evaluasi proses dan matriks evaluasi hasil.
1. Matriks Evaluasi Proses / monitoring.
Adalah suatu matriks yang berisi tentang aspek pengembangan masyarakat
atau aspek sub kegiatan sebagai proses yang dimonitor. Di samping itu juga
berisi tentang penilaian atas tingkat pelaksanaan sub kegiatan tersebut yang
masing-masing diberi skor. Penilaian tingkat pelaksanaan ini terbagi mejadi 4
tingkatan :
• Tidak terlaksana / tidak berjalan ----------- skor 1
• Sebagian kecil terlaksana / sebagian kecil berjalan ----------- skor 2
• Sebagian besar terlaksana / sebagian besar berjalan ----------- skor 3
• Terlaksana / berjalan secara penuh ----------- skor 4
Contoh :
Lembar Indikator
Aspek
Pengembang-
an masy
Aspek
Kegiatan
1
Tidak
Terlaksana
2
Sebagian
Kecil
Terlaksana
3
Sebagian
besar
Terlaksana
4
Terlaksana
Secara Penuh
25
25
1. Persiapan 1.
sosialisasi
2.
Dukungan
msy thd
pelayanan
Tdk Ada
org yg
mengetahui
Tdk ada
dukungan
msy
Hanya org
tertentu yg
mengetahui
Hanya
didukng
oleh org-
org tertentu
saja
Sebagian
bsar
kompnen
masy
mengetahui
Didukung
oleh
sebagian
besar
komponen
masy
Seluruh komp
masy
mengetahui
Didukung oleh
seluruh
komponen msy
2.
Pemahaman
dan Analisis
Masalah
Identifikasi
Masalah
Penentuan
prioritas
masalah
dst
Tidak ada
org yg
terlibat
dalam
proses
Tidak ada
org yg
terlibat
dalam
proses
Dst
Hanya
orang-org
tertentu yg
terlibat dlm
proses
Hanya
orang-org
tertentu yg
terlibat dlm
proses
Dst
Sebagian
bsr
komponen
masy
terlibat dlm
proses
Sebagian
bsr
komponen
masy
terlibat dlm
proses
dst
Seluruh
komponen
masy terlibat
dlm proses
Seluruh
komponen
masy terlibat
dlm proses
Dst
Lembar Penilaian Monitoring
Aspek Pengemb
Masyarakat
Kegiatan Nilai
Persiapan Sosial 1. Sosialisasi.
2. Penggalangan dukungan masy thd
pelayanan
3. dst
Nilai Rata-rata
Pemahaman dan
analisis mslh
1. Identifikasi masalah / kebutuhan.
2. Penentuan prioritas masalah.
3. Identifikasi sistem sumber
4. dst
Nilai rata-rata
Perencanaan
perumusan
1. Perumusan nama program pelayanan.
2. Perumusan tujuan.
26
26
masalah 3. Perumusan langkah-langkah kegiatan
4. Pembentukan Kelompok kerja
5. Penyusunan anggaran.
6. Perumusan indikator keberhasilan
7. dst
Nilai rata-rata
Pelaksanaan 1. Mobilisasi sumber
2. Penerapan langkah-langkah kegiatan
3. pemeliharaan
4. dst
Nilai rata-rata
Moneva 1. Pelaksanaan monitoring
2. Pelaksanaan evaluasi hasil
Nlai rata-rata
Lembar Gambaran Hasil Monitoring
ASPEK /TAHAPAN PELAYANAN YG
DIBERIKAN
1 2 3 4
Persiapan sosial
Pemahaman dan analisis masalah
Perencanaan
Pelaksanaan
Moneva
Lembar pengungkapan hambatan dan rekomendasi.
ASPEK
PENGEMBANGAN
MASY/AKTIVITAS
HAMBATAN REKOMENDASI
Persiapan
Pemahaman dan analisis
masalah
Perencanaan
Pelaksanaan
Moneva
Harus Diingat :
27
27
Pembuatan dan pengisian seluruh matriks dan lembar-lembar
monitoring ini harus dilakukan sediri oleh masyarakat / kelompok sasaran
secara penuh.
2. Matriks Evaluasi Hasil.
Adalah suatu matriks yang berisi tentang aspek pengembangan masyarakat
atau aspek sub kegiatan sebagai aspek yang dievaluasi. Di samping itu juga
berisi tentang penilaian atas tingkat pencapaian hasil pelaksanaan sub kegiatan
tersebut yang masing-masing diberi skor. Penilaian tingkat pelaksanaan ini
terbagi mejadi 4 tingkatan :
• Tidak berhasil -------- Skor 1
• Kurang berhasil ------ Skor 2
• Cukup berhasil ------- Skor 3
• Berhasil --------------- Skro 4
Contoh :
Penyusunan indikator.
ASPEK YG
DINILAI
TIDAK
BERHASIL
1
KURANG
BERHASIL
2
CUKUP
BERHASIL
3
BERHASIL
4
Ketepatan
Waktu
Jadwal yg
telah disusun
terlaksana
< 25%
Jadwal yg
telah disusun
terlaksana
26% - 50 %
Jadwal yg
telah disusun
terlaksana
51 - 75%
Jadwal yg
telah disusun
terlaksana
> 75%
Ketepatan
sasaran
Target sasaran
tepat
< 25%
Target sasaran
tepat
26% - 50 %
Target sasaran
tepat
51 - 75%
Target sasaran
tepat
> 75%
Kesesuaian
jumlah
sasaran
Dst
Kesesuaian
kualitas
Dst
Perubahan yg
terjadi
Dst
Kesesuaian
lokasi
Penerimaan
warga thd
pelayanan
Manfaat yang
dirasakan
28
28
Lembar penilaian evaluasi hasil
ASPEK YG DINILAI
NILAI
Ketepatan Waktu
Ketepatan sasaran
Kesesuaian jumlah sasaran
Kesesuaian kualitas
Perubahan yg terjadi
Kesesuaian lokasi
Penerimaan warga thd program
Manfaat yang dirasakan
Lembar gambaran hasil evaluasi hasil. (Tinggal diarsir sesuai dengan nilai yang
ada pada tabel di atas
ASPEK PENGEMBANGAN MASYARAKAT 1 2 3 4
Ketepatan waktu
Ketepatan Sasaran
Kesesuaian jumlah sasaran
Kesesuaian kualitas
Perubahan yang terjadi
Kesesuaian lokasi
Penerimaan warga thd pelayanan yang diberikan
Manfaat yang dirasakan
Lembar pengungkapan hambatan dan rekomendasi
ASPEK YG DINILAI
HAMBATAN REKOMENDASI
Ketepatan Waktu
Ketepatan sasaran
Kesesuaian jumlah sasaran
Kesesuaian kualitas
Perubahan yg terjadi
Kesesuaian lokasi
Penerimaan warga thd pelayanan
Manfaat yang dirasakan
29
29
Harus Diingat :
Pembuatan dan pengisian seluruh matriks dan lembar-lembar Evaluasi
hasil ini harus dilakukan sediri oleh masyarakat / kelompok sasaran secara
penuh.
Kepustakaan :
Ashman, Karen K. Kirst, Grafton H. Hull Jr, 1993. Understanding Generalist
Practice, Nelson Hall Publishers Chicago.
Bloom, Martin, Joel Fischer, 1982. Evaluating Practice, Guidelines for
accountable
Professional, Prentice Hall, Englewood Cliffs. NJ.
Mukherjee, Nilanjana, Christien Van Wijk, 2000. Sustainability Planning and
Monitoring
A Guide on methodology for Participatory Assessment for Community
Driven
Development Program, IRC International Water and Sanitation Centre.
Pietrzak, Jeanne, Malia Ramler, Tanya Renner, Lucy Ford, Neil Gilbert, 1990.
Practical Program Evaluation. Sage Publications, London.
Sheafor, Bradford W., Charles Horesjsi, 2003. Techniques and Guidelines for
Social Work
Work Practice, Pearson Education Inc, Boston.
Top Related