ประภาพรรณ อุ�นอบคณะสังคมศาสตร�และมนุษยศาสตร� มหาวิทยาลัยมหิดล

เอกสารประกอบการอบรมเชิงปฏิบัติการ

การประเมินแบบเสริมพลัง: เคร่ืองมือการเรียนรู(ในการนิเทศงานของสคร.

โครงการพัฒนาผู(นิเทศงานระดับหัวหน(าทีมตรวจราชการและนิเทศงานของสํานักป1องกันควบคุมโรคที่ 1-12 กรมควบคุม (Smart Supervisor)

วันที่ 25 พฤษภาคม 2562 ณ โรงแรมริชมอนด� สไตล�ลิส คอนเวนช่ัน โฮเทล อ.เมือง จ.นนทบุรี

ประเด็นการพูดคุยกันวันน้ี

วงจรชีวิตโครงการพัฒนากับการประเมิน การประเมินกลางนํ้า: เครื่องมือเพ่ิมประสิทธิภาพ

การบริหารโครงการ การประเมินแบบเสริมพลัง: เครื่องมือการเรียนรู(

ในการนิเทศงานของสคร.

วงจรของโครงการพฒันา

ระหว�างดําเนินการ

ก�อนดําเนินการ หลังดําเนินการ

เป1าหมาย ผลลัพธ�การใช(ความรู(

การประเมินต(นนํ้า (Upstream evaluation) /ก�อนดําเนินโครงการ (Pre-implementation stage)

เน(นการประเมินบริบท และการวางแผนโครงการว�า เปQนไปอย�างเหมาะสมเพียงใด

ซ่ึงอาจดูได(จากความต(องการจําเปQนของโครงการ ความเหมาะสมของวัตถุประสงค�ของโครงการและความเปQนไปได(ของการดําเนินงานและผลของโครงการ

• เรียนรู(เกี่ยวกับการวางแผนเพ่ือจัดโครงการให(มีประสิทธิผล • ทําให(ได(โครงการพัฒนาท่ีมีคุณภาพ

4

การประเมินกลางนํ้า (Midstream evaluation) /ระหว�างดําเนินโครงการ(Implementation stage)

เน(นประเมินการปฏิบัติงานตามโครงการว�าเปQนอย�างไร เหมาะสมเพียงใด

โดยอาจดูได(จากประสิทธิภาพในการบริหารงาน(บุคคลและงบประมาณ) รวมท้ังการปรับเปล่ียนแผนการดําเนินงานอย�างเหมาะสมและการดําเนินงานตามแผน

• เรียนรู(เก่ียวกับการปรับปรุงวิธีการดําเนินงาน/ การบริหารจัดการโครงการเพื่อให(บรรลุตามวัตถุประสงค�หรือเป1าหมายท่ีกําหนดไว(

• ทําให(โครงการมีแนวโน(ม/มีโอกาสท่ีจะบรรลุผลตามเป1าหมาย

5

การดําเนินงานตามแผนปฏิบัติงาน

การบริหารงบประมาณตามแผนงบประมาณ การดําเนินงานตามแนวทางธรรมาภิบาล การขับเคล่ือนระบบการติดตามประเมินผลระหว�าง ดําเนินงาน การสนับสนุนทางวิชาการท่ีจําเปQนต�อการบริหาร โครงการ กระบวนการแลกเปลี่ยนเรียนรู(

6

ประเด็น/องค�ประกอบในการประเมินกลางนํ้า

รูปแบบการประเมินระหว�างดําเนินโครงการ/กลางนํ้า เช�น

- การประเมินความก(าวหน(า(formative evaluation)- การประเมินกระบวนการ(process evaluation)- การประเมินแบบเสริมพลัง(empower evaluation) - การถอดบทเรียนหลังปฏิบัติการ (AAR)- แผนท่ีผลลัพธ� (outcome mapping)

7

การประเมินปลายนํ้า (Downstream evaluation) /หลังการดําเนินโครงการ (Post-implementation stage)

เน(นท่ีผลของการดําเนินโครงการว�ามีคุณค�าความเหมาะสมเพียงใด

โดยอาจดูจากประสิทธิผลและประสิทธิภาพของผลผลิต และผลลัพธ�ที่ได(จากการดําเนินโครงการ พร(อมท้ังความพึงพอใจของผู(ท่ีเกี่ยวข(อง

เรียนรู(เก่ียวกับวิธีการจัดทําโครงการท่ีมีลักษณะเช�นเดียวกันในอนาคตให(ประสบความสําเร็จได(/การขยายงานทราบว�าโครงการบรรลุตามเป1าหมายท่ีกําหนดไว(

8

ประสิทธิผล ประสิทธิภาพ ผลกระทบ ความยั่งยืน ความสอดคล(อง

9

ประเด็น/องค�ประกอบในการประเมินปลายนํ้า

ประเมินเมื่อโครงการสิ้นสุดลงไปแล(วระยะเวลาหน่ึง (6 เดือน – 5 ป_)

ประเมินเมื่อโครงการสิ้นสุดลงไปแล(วระยะเวลาหน่ึง (6 เดือน – 5 ป_)

รูปแบบการประเมินหลังการดําเนินโครงการ/ปลายนํ้า เช�น

- การประเมินผลสรุป (summative evaluation)

-การประเมินแบบเสริมพลัง(empower evaluation) -การถอดบทเรียนเมื่อสิ้นสุดโครงการ (retrospect)- แผนท่ีผลลัพธ� (outcome mapping)

10

ระหว�างดําเนินโครงการ

ก�อนดําเนินโครงการ

หลังดําเนินโครงการ

เป1าหมาย ผลลัพธ�ความรู(

การประเมินก�อนดําเนินโครงการ/ต(นนํ้า

การประเมินเมื่อสิ้นสุดโครงการ/ปลายนํ้า

การประเมินระหว�างดําเนินโครงการ/กลางนํ้า

อุปสรรคท่ีสําคัญของโครงการพัฒนาสังคม

วัตถุประสงค�โครงการ

กิจกรรม1 กิจกรรม2 กิจกรรม3 กิจกรรม…ผลลัพธ�/เป1าหมาย

1. ผู(ปฏิบัติไม�ได(เปQนเจ(าของการประเมิน หรือประเมินตนเองไม�ได( อยู�ในสภาพ “ถูกประเมิน” (ไม�ว�าด(วยสาเหตุใด)

2. ความสามารถในการทํากิจกรรมอาจไม�เต็ม 100% และก็ไม�ได(รับการเสริมศักยภาพ

* ผลก็คือ โครงการจํานวนมากไม�สามารถบรรลุเป1าหมายได(

1. ผู(ปฏิบัติไม�ได(เปQนเจ(าของการประเมิน หรือประเมินตนเองไม�ได( อยู�ในสภาพ “ถูกประเมิน” (ไม�ว�าด(วยสาเหตุใด)

2. ความสามารถในการทํากิจกรรมอาจไม�เต็ม 100% และก็ไม�ได(รับการเสริมศักยภาพ

* ผลก็คือ โครงการจํานวนมากไม�สามารถบรรลุเป1าหมายได(

ผลท่ีตามมาของการประเมิน• การประเมินทําให(เกิดช�องว�าง (gap) หรือเปQนส่ิงแปลกปลอมในโครงการ• การประเมินลดทอนพลังในการทํางานของทีมงาน• ยึดติดกับวิธีการทางวิทยาศาสตร�มากเกินไป• ผู(ถูกประเมินมีทัศนคติท่ีไม�ดีต�อการประเมิน, ต�อต(านการประเมิน• การใช(ประโยชน�จากการประเมินอยู�ในวงจํากัด

•วัฒนธรรมการตรวจสอบตนเองไม�เกิด จะตอบสนองการประเมินเปQนคร้ังคราว

13

ทําอย�างไรให(การประเมินโครงการ ???

• เปQนเครื่องมือสร(างการเรียนรู(ในโครงการได(ตลอดทุกช�วงวงจรของโครงการ โดยเฉพาะผู(รับผิดชอบโครงการ (ช�วยเสริมพลังคนทํางาน)

•ขณะเดียวกันก็สามารถใช(ประโยชน�จากการประเมินเพ่ือช�วยให(โครงการบรรลุเป1าหมายท่ีพึงประสงค�ได(

การเสริมพลังคืออะไร ????

การเสริมพลัง คืออะไร ???การเสริมพลัง คืออะไร ???•กระบวนการท่ีทําให(คน/องค�กร/ชุมชม มีอิทธิพลเหนือ

สถานการณ�ที่เปQนปkญหา

•การสร(างความเข(มแข็งและสมรรถนะให(คน/กลุ�มคน ในการช�วยเหลือตนเองและนําไปสู�การเปล่ียนแปลงสังคมได(

• การเสริมพลัง คือ การช�วยเขา ให(เขาช�วยเหลือตนเองได(

ทําอะไรบ(างเพ่ือช�วยการเสริมพลัง?•ฝmกอบรม (training)

•อํานวยความสะดวก (facilitation)เปQนพ่ีเลี้ยงคอยแนะนํา

•สนับสนุน โน(มน(าว ชักจูง• จุดประกาย ชวนให(คิดนอกกรอบ

•ให(เสรีภาพในการตัดสินใจ

เสริมพลัง + การประเมิน = ?เสริมพลัง + การประเมิน = ?ทําอย�างไรจะทําให(การประเมินเปQนการ

เสริมพลังให(กับคนทํางานและผู(ท่ีเก่ียวข(อง???

การประเมินแบบเสริมพลัง (EE)• เปQนวิธีการในการประเมินท่ีเน(นการเพ่ิมโอกาสในการประสบความสําเร็จของโครงการ โดย 1)จัดหาเคร่ืองมือดีๆ ให(แก�ผู(มีส�วนได(ส�วนเสียกับโครงการเพ่ือทําการประเมินแผน และการทํากิจกรรม ด(วยตนเอง และ 2) ทําให(ประเมินกับการวางแผนและบริหารโครงการ/องค�กร รวมเข(าเปQนเน้ือเดียวกัน

• Fetterman ได(เสนอ Three Steps Approach เพ่ือให(การประเมินแบบเสริมพลังเปQนไปตามนิยามข(างต(น

กระบวนการของการประเมินผลแบบเสริมพลัง

ข้ันเตรียมการ : เตรียมสถานท่ี เคร่ืองมือ อุปกรณ� และเตรียม “คน” (การคัดเลือกคน และการให(ความรู(ที่เก่ียวข(องก�อน)

ข้ันดําเนินการประเมินผลแบบเสริมพลัง : การประยุกต�ใช( “The Three Steps Approach”

การติดตามการดําเนินการของโครงการ : การติดตามการนําเอาแนวทางท่ีได(จากข้ันตอนท่ี 2 ไปใช(ในการดําเนินโครงการในระยะต�อมา

เราใช(การประเมินเพ่ือช�วยให(เขาประเมินตัวเองและยกระดับความสามารถในการทํา

โครงการไปสู�เป1าหมายได(ในท่ีสุด

ปรัชญาของ EE

ความเช่ือพ้ืนฐานของการประเมินแบบเสริมพลัง• การเปล่ียนแปลงระบบคิด ระบบคุณค�าและพฤติกรรมของบุคคลไม�

สามารถจัดกระทําหรือส่ังการจากเง่ือนไขภายนอกได( หากแต�ต(องจัดกระทําให(เกิดเง่ือนไขท่ีเอ้ืออํานวยให(มีผู(มีส�วนได(ส�วนเสียกับโครงการเรียนรู(ที่จะเปล่ียนแปลงตนเอง โดยสร(างการเรียนรู(ขึ้นจากประสบการณ�ตรง

• การช�วยให(ประชาชนหรือผู(มีส�วนได(ส�วนเสีย สามารถพัฒนาตนเองได(และมีความต(องการท่ีจะเรียนรู(ปรับปรุงสิ่งต�างๆอย�างต�อเน่ือง รวมท้ังมีการประเมินตนเอง สะท(อนกลับตนเองอย�างสม่าํเสมอ นับเปQนเง่ือนไขท่ีสําคัญของการเสริมพลัง

• การประเมินผลแบบเสริมพลังต(องมีการสร(างสภาพแวดล(อมและแหล�งเรียนรู( ให(ผู(มีส�วนได(ส�วนเสียสามารถพัฒนาสมรรถนะได(อย�างต�อเน่ือง มีทัศนะใฝvรู( อยากปรับปรุงตนเองอยู�ตลอดเวลา อ(นจะนําไปสู�ความสามารถในการแก(ปkญหาใหม�ๆ ท่ีมีความซับซ(อนและยากกว�าเดิม

• การประเมินผลแบบเสริมพลังดําเนินการบน ฐานข(อมูล ข(อเท็จจริง และเช่ือมั่นในการใช(ความรู(และปkญญานําการเปล่ียนแปลง

เม่ือ EE เข(าไปอยู�ในโครงการ

วัตถุประสงค�โครงการ

กิจกรรม1 กิจกรรม2 กิจกรรม3 กิจกรรม…ผลลัพธ�/เป1าหมาย

เปwดช�องทางให(มีการประเมินตนเองตามความจริงเสริมพลังเพื่อปรับกลยุทธ�แต�ละกิจกรรม แก(

ความพร�องทีละจุด

โครงการบรรลุเป1าหมาย เกิดบทเรียนจากการทํางาน คน/ทีมงานพัฒนาขึ้น

โครงการบรรลุเป1าหมาย เกิดบทเรียนจากการทํางาน คน/ทีมงานพัฒนาขึ้น

บริบทจริงในพื้นที่

กระบวนการประเมินเพื่อเสริมพลัง

ความแตกต�างจากการประเมินแบบด้ังเดิมการประเมินแบบด้ังเดิม

(ประเมินภายนอก)การประเมินเพ่ือเสริมพลัง

(ประเมินภายใน)

ภายนอก/คนนอก ภายใน/คนใน

ผู(ทรงคุณวุฒิ โค(ชหรือกัลยาณมิตร

โครงการพ่ึงพาผู(ประเมิน โครงการประเมินตนเองและพัฒนาตนเอง

การตัดสินอย�างอิสระ การตัดสินแบบร�วมมือ

ตัวอย�างการส่ือสาร ประเมินภายใน vs. ประเมินภายนอก

ประเด็นการสื่อสาร ประเมินภายใน ประเมินภายนอก

คุณลักษณะสําคัญ มองไปข(างหน(า (future oriented) เพ่ือขับเคล่ือนโครงการไปสู�เป1าหมาย

มองย(อนอดีต

เป1าหมายการส่ือสาร

ให(ข(อมูลแก�ผู(บริหารโครงการเพ่ือตัดสินใจอย�างทันเวลา (constant feedback)

ให(ข(อมูลแก�ผู(บริหาร ผู(กําหนดนโยบาย แหล�งทุนเพ่ือตัดสินใจ

รูปแบบวิธีการส่ือสาร

มีท้ังที่เปQนทางการ และไม�เปQนทางการ เน(นความเปQนทางการ

ช�วงเวลา เปQนระยะๆ ตลอดช�วงเวลาของโครงการ ส้ินสุดโครงการ

จุดเน(น การมีส�วนร�วม การเปQนเจ(าของร�วม การตัดสินใจร�วม สัมพันธภาพ

ความถูกต(อง เชื่อถือได(ของข(อมูล

คุณธรรม ความซื่อสัตย� ความซื่อสัตย�

ตัวละครใน EEตัวละครใน EE• ผู(ประเมิน (Evaluator) อํานวยความสะดวกตลอด

กระบวนการ EE•ชุมชนคนในโครงการ (Community) เปQนผู(ประเมิน

ตนเอง และกําหนดอนาคตของตนเอง• ผู(ให(ทุน (Funder) หรือผู(บริหาร เอื้ออํานวยให(

กระบวนการ EE เข(าไปอยู�ในโครงการ• ผู(บันทึก (Note Takers)

บทบาทของผู(ประเมิน EE

• ผู(อํานวยความสะดวก ครู ผู(ฝmกสอน เพ่ือนแท( นักประเมิน• เห็นด(วยกับแนวทางหรือวัตถุประสงค�ของโครงการ ต(องการ

ให(โครงการสําเร็จ (ไม�เปQนกลาง?) • ช�วยผู(เข(าร�วม EE ในการพัฒนารูปแบบและวิธีการประเมิน

ตนเองท่ีเข(มแข็งและเปQนระบบ อันจะนําไปสู�การสร(างการเปล่ียนแปลงในโครงการได(

• ช�วยสร(างข(อมูลฐาน ติดตามโครงการ และบันทึกการเปล่ียนแปลงตลอดช�วงเวลา

ประเมินโครงการของตนเองช�วยกันหากลยุทธ�หรือแนวทางท่ีจะทําให(

โครงการดีขึ้นดึงประสบการณ�ของตัวเองของมาแลกเปลี่ยนกระตุ(นหรือให(กําลังใจเพ่ือนสมาชิก

ชุมชนคนในโครงการ (Community)

สามข้ันตอนของ EEสามข้ันตอนของ EE

กําหนดภารกิจหรือเป1าหมาย (Mission/Goal)

ตรวจสอบต(นทุน (taking stock)

วางแผนเพื่ออนาคต (planning for future)

วัตถุประสงค�โครงการ

กิจกรรม1 กิจกรรม2 กิจกรรม3 กิจกรรม…ผลลัพธ�/เป1าหมาย

ประเมินและถอดบทเรียน

ข้ันตอนท่ี 1: กําหนดภารกิจหรือเป1าหมายโครงการ

•จุดประสงค�: เพื่อทบทวนและสร(างความเข(าใจร�วมกันถึง ภารกิจ หรือเป1าหมายของโครงการ (สร(างจุดรวมความคิด)

•วิธีการ: สมาชิกอภิปรายร�วมกันว�า “อะไรคือสิ่งที่โครงการที่คาดหวังจะให(เกิด” หรือ “เป1าหมายของโครงการนี้คืออะไร” และเพื่อให(บรรลุตามเป1าหมายข(างต(น เราได(ทํากิจกรรมสําคัญๆอะไรไปบ(าง (เลือกมาไม�เกิน 10 กิจกรรม)

•ข(อสังเกต: ถ(ามีเอกสารโครงการมาด(วยจะช�วยได( แต�ก็ไม�ละเลยสิ่งดีๆ ที่อาจเพิ่มเข(ามาได(

ข้ันตอนท่ี 2: ตรวจสอบต(นทุน (Taking Stock) •จุดประสงค�: ประเมินตนเองและวิเคราะห�เง่ือนไขปkจจัยท่ีส�งผล

ต�อการดําเนินงานท่ีผ�านมา

• วิธีการ: • คัดเลือกกิจกรรมที่สําคัญๆ• ประเมินความสามารถของทีมในการทํากิจกรรมน้ันๆ • วิเคราะห�เหตุ-ปkจจัย หรือจุดอ�อน-จุดแข็ง ที่ทําให(ได(ผลการประเมิน

เช�นน้ัน (ถอดบทเรียนจากการประเมิน)

•ข(อสังเกต: ในการอภิปรายหากมีข(อมูลเชิงประจักษ� เช�น รายงาน ภาพถ�าย ข(อมูลตามตัวชี้วัด หรืออ่ืนๆ จะช�วยได(มาก

ขั้นตอนท่ี 3: วางแผนสําหรับอนาคต (Planning for Future)

•วัตถุประสงค�: เพื่อหาทางแก(ไขจุดบกพร�อง หรือยกระดับการดําเนินงานแต�ละกิจกรรม

•วิธีการ: สมาชิกพิจารณาคัดเลือกกิจกรรมสําคัญๆ มาหากลยุทธ� ท่ีจะทําให(กิจกรรมน้ันดีขึ้นในครั้งต�อไป โดยดูจากผลการประเมินในขั้นตอนท่ี 2

•ข(อสังเกต: ควรมีการตั้งเป1าหมายว�าอยากเห็นกิจกรรมน้ันดีขึ้นอย�างไร และควรกําหนดจุดสังเกตว�าจะไปดูจากหลักฐานอะไร

หลักการ 10 ประการของ EE

�ความรู(สึกเปQนเจ(าของการประเมินและการตัดสินใจ�ทุกฝvายต(องเข(ามาใน EE�เน(นกระบวนการ

ประชาธิปไตย�ทุกข(อเสนอ มาจากของจริง�เช่ือมั่นความรู(ในผู(ปฏิบัติ�ทุกความคิด ต(องสะท(อน

ความรับผิดชอบต�อสังคมท่ีให(โอกาสเราทําโครงการ

การพัฒนาให(ดียิ่งข้ึน สภาพแวดล(อมท่ีเอื้อต�อการ

เรียนรู( เกิดความรู(สึกความเสมอ

ภาค เท�าเทียมกัน คนทําโครงการเก�งข้ึน

ทํางานท่ียากข้ึนไปได(

ด(านกระบวนการ EE ด(านผลลัพธ�ของ EE

EE : การถอดบทเรียนจากผลการประเมิน

• เปQนการสกัดความรู(ที่เกิดขึ้นจากผลการประเมินโครงการว�า มีเง่ือนไขปkจจัยใดบ(างท่ีส�งผลให(โครงการมีผลการดําเนินงานเช�นน้ัน

•การถอดบทเรียนแบบน้ี ให(ความสําคัญกับผลการประเมินมาก ดังน้ันก�อนถอดบทเรียนต(องม่ันใจในผลการประเมินโครงการก�อนว�าถูกต(อง เช่ือถือได( และตรงตามสภาพท่ีเปQนจริง

โจทย�ข(อ 1 (กําหนดเป1าหมาย) ระบุเป1าหมายของโครงการฯ ให(แต�ละคนช�วยกันทบทวนว�าเป1าหมายของโครงการเรา มีอะไรบ(าง

กิจกรรมน้ีใช(เวลาไม�เกิน 15 นาที

โจทย�ข(อ 2 (กําหนดผลลัพธ�ท่ีสําคัญ) เพ่ือบรรลุเป1าหมายโครงการฯ ขอให(ทบทวนว�าในช�วงเวลา

ท่ีผ�านมา พวกเราได(ทํากิจกรรมต�างๆจนก�อให(เกิดผลลัพธ�อะไรในโครงการ จัดลําดับความสําคัญของผลลพัธ�แต�ละตัวกับเป1าหมายของ

ยุทธศาสตร�ฯ (โดยใช(สติกเกอร�สี 3 สี : มาก ปานกลาง น(อย)

อภิปรายให(เหตุผลของแต�ละคนในแต�ละผลลพัธ� คัดเลือกผลลัพธ�ที่สําคัญมากๆ ไว(ไม�เกิน 3 ผลลัพธ�

กิจกรรมน้ีใช(เวลา 50 นาที

โจทย�ข(อ 3 (ประเมินตนเอง) นําผลลัพธ�ที่คัดเลือกไว( มาประเมินความสามารถของทีมในการทํา

กิจกรรมดังกล�าว โดยให(แต�ละคนให(คะแนน 1 – 10 ของแต�ละกิจกรรม

หาค�าเฉล่ียของแต�ละผลลัพธ�

อภิปรายผลการประเมิน ถึงสาเหตุที่ผลการประเมินแต�ละผลลัพธ�ได(มาเช�นน้ัน (จุดอ�อน – จุดแข็ง) เริ่มจากผลลัพธ�ที่สําคัญมากท่ีสุดก�อน โดยยกตัวอย�างส่ิงท่ีเกิดขึ้นจริงมาแลกเปล่ียน

กิจกรรมน้ีใช(เวลา 90 นาที

โจทย�ข(อ 4 (วางแผนสําหรับอนาคต)พิจารณาผลการประเมินและการวิเคราะห�เหตุปkจจัย(จดุอ�อน

– จุดแข็ง) ในแต�ละผลลัพธ�วางแผนการดําเนินงานในอนาคตของแต�ละผลลพัธ� โดย

กําหนดเป1าหมายของผลลัพธ�น้ันๆกําหนดกลยุทธ�ที่คิดว�าเหมาะสม แตกต�าง ยกระดับ ให(ดี

ข้ึน หากมีการประเมินอีกคร้ังกําหนดจุดสังเกตว�าจะดูจากหลักฐานอะไร

กิจกรรมน้ีใช(เวลา 90 นาที

เป1าหมาย กลยุทธ�

ชุดความรู(ที่เปQนผลมาจากการสรุปบทเรียนและการสังเคราะห�ความรู(การดําเนินงานด(านการสร(างเสริมสุขภาพในระดับจังหวัด 1 ชุด

-ทีมงานศึกษาเรื่องเทคนิคการถอดบทเรียน-จัดเวทีถอดบทเรียนอย�างน(อย 1 ครั้ง-สัมภาษณ�เชิงลึกกลุ�มเป1าหมาย-จัดทําเอกสารชุดความรู(

ตัวอย�างโจทย�ข(อ 4 ผลลัพธ�: ชุดความรู(กลไกฯ

จุดสังเกต: เอกสารชุดความรู(ที่มีรายละเอียดครบถ(วนตามท่ีกําหนด