ตารางคะแนนคุณค่าสาธารณะและกรอบผลลัพธ์

ทำไมสิ่งนี้จึงสำคัญต่อคุณค่าสาธารณะ

ผู้นำภาครัฐและภาคสังคมส่วนใหญ่ผลิตเอกสารยุทธศาสตร์ที่พูดถึงผลลัพธ์ได้คล่องแคล่ว น้อยกว่านั้นมากที่ผลิตได้ในอีกหนึ่งปีต่อมาซึ่งหลักฐานที่แสดงว่าผลลัพธ์เหล่านั้นขยับจริงหรือไม่ ช่องว่างระหว่างสองอย่างนี้มักไม่ใช่การขาดข้อมูล องค์กรส่วนใหญ่เก็บข้อมูลปริมาณมหาศาล แต่เป็นการขาดโครงสร้างที่มีวินัยซึ่งเปลี่ยนจำนวนกิจกรรมดิบให้เป็นข้อกล่าวอ้างที่ปกป้องได้เรื่องคุณค่าที่สร้างขึ้น หัวข้อ 1.2 — สามเหลี่ยมเชิงกลยุทธ์: ความชอบธรรม คุณค่า และขีดความสามารถ วางความชอบธรรมและการสนับสนุน ข้อเสนอคุณค่า และขีดความสามารถเชิงปฏิบัติการ เป็นสามด้านที่ยุทธศาสตร์ขององค์กรต้องตอบสนองพร้อมกัน (ดู หัวข้อ 1.2 — สามเหลี่ยมเชิงกลยุทธ์: ความชอบธรรม คุณค่า และขีดความสามารถ) หัวข้อนี้ว่าด้วยเครื่องมือที่ทำให้สามด้านนั้นวัดได้แทนที่จะเป็นเพียงการยืนยัน

เดิมพันนั้นเกิดขึ้นทันทีและเกิดซ้ำ ผู้ให้ทุนหรือสภานิติบัญญัติถามในรอบงบประมาณถัดไปว่า "เราได้อะไรจากเงินนี้" และองค์กรที่มีเพียงการนับผลผลิต (คลินิกที่เปิด กรณีที่ดำเนินการ การฝึกอบรมที่จัด) ไม่มีคำตอบสำหรับคำถามผลลัพธ์ที่อยู่ข้างใต้ ทีมโครงการเชื่อว่าตนกำลังสำเร็จเพราะกิจกรรมสูงและยุ่ง โดยไม่ได้แยกกิจกรรมออกจากการเปลี่ยนแปลงในโลกที่กิจกรรมมีไว้ก่อ คณะกรรมการอนุมัติโครงการริเริ่มใหม่ด้วยเรื่องเล่าที่น่าเชื่อ แล้วไม่มีเกณฑ์ที่ตกลงกันหนึ่งปีต่อมาเพื่อตัดสินว่าจะต่อ ขยาย หรือหยุด แต่ละอย่างเหล่านี้เป็นความล้มเหลวในการวัดที่มีผลทางยุทธศาสตร์ ไม่ใช่ความไม่สะดวกทางเทคนิค

เครื่องมือในหัวข้อนี้ ได้แก่ ตารางคะแนนคุณค่าสาธารณะของ Mark Moore แบบจำลองตรรกะ และความรับผิดชอบตามผลลัพธ์กับญาติของมัน ไม่ได้แก้ทุกปัญหาการวัดที่องค์กรภาครัฐหรือภาคสังคมเผชิญ หัวข้อต่อ ๆ ไปครอบคลุมชั้นที่ยากและเทคนิคกว่า ได้แก่ การแปลงผลลัพธ์เป็นตัวเงินผ่านการวิเคราะห์ต้นทุน-ผลประโยชน์และต้นทุน-ประสิทธิผล (ดู หัวข้อ 2.2 — การวิเคราะห์ต้นทุน-ผลประโยชน์ทางสังคมและต้นทุน-ประสิทธิผล) การประเมินค่าผลลัพธ์ที่ต่อต้านการแปลงเป็นตัวเงินผ่านผลตอบแทนทางสังคมจากการลงทุน (ดู หัวข้อ 2.3 — ผลตอบแทนทางสังคมจากการลงทุนและการวัดผลกระทบ) และการพิสูจน์ว่าโครงการก่อให้เกิดการเปลี่ยนแปลงที่สังเกตได้จริงผ่านการประเมินโครงการอย่างเป็นทางการ (ดู หัวข้อ 2.4 — เศรษฐมิติภาครัฐและการประเมินโครงการ) สิ่งที่หัวข้อนี้ให้คือชั้นที่อยู่ใต้ทั้งสาม คือคำศัพท์ร่วมและกรอบที่ทนทานจำนวนน้อยสำหรับระบุ ก่อนงานเทคนิคใด ๆ จะเริ่ม ว่าองค์กรพยายามเปลี่ยนอะไรจริง ๆ เพื่อใคร และจะรู้ได้อย่างไร

แนวคิดหลัก

ตารางคะแนนคุณค่าสาธารณะ คือข้อเสนอของ Mark H. Moore สำหรับติดตามแต่ละด้านของสามเหลี่ยมเชิงกลยุทธ์ด้วยชุดตัวชี้วัดของตนเอง แทนที่จะถอยไปใช้มาตรวัดทางการเงินและการปฏิบัติการที่บาลานซ์สกอร์การ์ดของภาคเอกชนจะใช้ มัวร์ดัดแปลงบาลานซ์สกอร์การ์ด ซึ่งเป็นเครื่องมือของ Robert Kaplan และ David Norton ในการติดตามธุรกิจผ่านมุมมองด้านการเงิน ลูกค้า กระบวนการภายใน และการเรียนรู้ เพราะผลลัพธ์ทางการเงินบรรทัดล่างเดียวไม่อาจแทนองค์กรที่ข้ออ้างหลักในการดำรงอยู่คือสร้างคุณค่าที่ราคาตลาดไม่จับได้ ตารางคะแนนคุณค่าสาธารณะให้องค์กรระบุมาตรวัดภายใต้สามหัวข้อที่สะท้อนสามเหลี่ยม ได้แก่ บัญชีความชอบธรรมและการสนับสนุน (สภาพแวดล้อมที่ให้อำนาจพอใจหรือไม่ ผู้ให้ทุน ผู้กำกับดูแล สาธารณชน) บัญชีคุณค่าสาธารณะ (ข้อเสนอคุณค่ากำลังเป็นจริงหรือไม่ ผลลัพธ์สำหรับพลเมืองและผู้รับบริการ) และบัญชีขีดความสามารถเชิงปฏิบัติการ (องค์กรสามารถรักษาและปรับปรุงการส่งมอบได้หรือไม่ บุคลากร ระบบ การเงิน ความร่วมมือ) วินัยอยู่ที่การไม่ยอมให้บัญชีใดบัญชีหนึ่งแทนทั้งหมด องค์กรที่รายงานเพียงประสิทธิภาพทางการเงินหรือเพียงความพึงพอใจของผู้รับบริการไม่ได้รายงานตามสามเหลี่ยมเลย

แบบจำลองตรรกะ ให้โครงสร้างภายในแก่บัญชีคุณค่าของตารางคะแนน แบบจำลองตรรกะวางห่วงโซ่เหตุปัจจัยที่โครงการอ้างว่าดำเนินอยู่ ได้แก่ ปัจจัยนำเข้า (เงิน บุคลากร และทรัพยากรอื่นที่ผูกพัน) กิจกรรม (สิ่งที่องค์กรทำกับสิ่งเหล่านั้น) ผลผลิต (ผลิตภัณฑ์ที่นับได้ทันทีจากกิจกรรม เช่น เซสชันที่จัด ใบอนุญาตที่ออก ครัวเรือนที่เยี่ยม) ผลลัพธ์ (การเปลี่ยนแปลงด้านความรู้ พฤติกรรม สภาพ หรือสถานะที่ผลผลิตมีไว้ก่อ โดยทั่วไปในช่วงหลายเดือนถึงสองสามปี) และผลกระทบ (การเปลี่ยนแปลงระยะยาวมักระดับประชากรที่ผลลัพธ์มีไว้ร่วมสร้าง มักใช้ร่วมกับผู้แสดงอื่นและกำหนดความรับผิดชอบให้โครงการเดียวได้ยากกว่า) ความแตกต่างระหว่างผลผลิตกับผลลัพธ์เป็นความแตกต่างที่ส่งผลมากที่สุดเพียงข้อเดียวในหัวข้อนี้ ผลผลิตคือสิ่งที่องค์กรทำ ผลลัพธ์คือสิ่งที่เปลี่ยนไปสำหรับผู้อื่นอันเป็นผลมาจากมัน ผลผลิตของโครงการฝึกอบรมคือจำนวนคนที่ได้รับการฝึก ผลลัพธ์คือสิ่งที่คนเหล่านั้นทำได้หลังจากนั้น หรือสถานการณ์ของพวกเขาเปลี่ยนไปอย่างไรที่ก่อนหน้านี้ทำไม่ได้

ทฤษฎีการเปลี่ยนแปลง (theory of change) คือวินัยที่เกี่ยวข้องใกล้ชิดในการทำให้สมมติฐานเบื้องหลังแบบจำลองตรรกะชัดเจนแทนที่จะเป็นนัย คือเหตุใดองค์กรเชื่อว่ากิจกรรม A จะก่อผลลัพธ์ B จริง และภายใต้เงื่อนไขใดที่ข้อกล่าวอ้างเหตุปัจจัยนั้นอาจล้มเหลว ทฤษฎีการเปลี่ยนแปลงไม่ใช่เพียงแบบจำลองตรรกะที่ละเอียดกว่า มันเน้นการใช้เหตุผลแบบ "ถ้า... แล้ว... เพราะ" และสมมติฐานเชิงบริบทที่แผนภาพกล่องและลูกศรของแบบจำลองตรรกะมักปล่อยไว้ไม่กล่าว หัวข้อ 2.3 ใช้ทฤษฎีการเปลี่ยนแปลงเป็นจุดเริ่มต้นของการวัดผลกระทบในภาคสังคมอย่างลึกกว่านี้ (ดู หัวข้อ 2.3 — ผลตอบแทนทางสังคมจากการลงทุนและการวัดผลกระทบ) ที่นี่สำคัญหลัก ๆ ในฐานะวินัยที่ทำให้แบบจำลองตรรกะซื่อตรงต่อสิ่งที่มันอ้างว่าก่อจริง ต่างจากสิ่งที่เพียงหวังว่าจะตามมา

ความรับผิดชอบตามผลลัพธ์ (Results-Based Accountability: RBA) เป็นสมาชิกที่รู้จักกันดีที่สุดของตระกูลกรอบตามผลลัพธ์ที่ใช้ทั่วรัฐบาลและภาคสังคมเพื่อเชื่อมผลลัพธ์ระดับประชากรกับผลปฏิบัติงานของโครงการเฉพาะ พัฒนาโดย Mark Friedman และวางไว้ในหนังสือ Trying Hard Is Not Good Enough RBA แยกความรับผิดชอบสองชนิดที่องค์กรมักสับสน ความรับผิดชอบระดับประชากรถามว่าชุมชนหรือเขตอำนาจทั้งหมดเป็นอย่างไรในเงื่อนไขความเป็นอยู่ที่ดี เช่น ความยากจนของเด็ก ความปลอดภัยของชุมชน ระดับการศึกษา โดยใช้ตัวชี้วัดหลักจำนวนน้อยที่หน่วยงานเดียวไม่ได้เป็นเจ้าของหรือควบคุมได้เต็มที่ ความรับผิดชอบระดับผลปฏิบัติงานถามว่าโครงการหรือหน่วยงานเฉพาะทำได้ดีเพียงใด โดยใช้ตัวชี้วัดผลปฏิบัติงานสามชนิดที่กรอบของ Friedman ยืนยันให้แยก คือทำไปมากเท่าไร (ความพยายาม คือจำนวนผลผลิต) ทำได้ดีเพียงใด (คุณภาพ) และมีใครดีขึ้นหรือไม่ (ผล คือผลลัพธ์) วิธีปฏิบัติของ RBA ซึ่งบางครั้งเรียกการวิเคราะห์ "พลิกเส้นโค้ง" (turn the curve) ทำงานย้อนจากตัวชี้วัดที่เลือก โดยถามว่าข้อมูลบอกเรื่องอะไร อะไรเป็นสาเหตุ ใครคือพันธมิตรที่มีบทบาทเปลี่ยนมัน อะไรจะได้ผล และองค์กรเสนอจะทำอะไร ซึ่งเป็นรูปแบบที่มีโครงสร้างของการใช้เหตุผลที่แบบจำลองตรรกะและทฤษฎีการเปลี่ยนแปลงทำให้เป็นทางการแยกกัน RBA เป็นตัวอย่างหนึ่งของรูปแบบที่กว้างกว่าของการจัดการตามผลลัพธ์ เกี่ยวข้องใกล้ชิดกับแนวปฏิบัติประจำของการติดตามและประเมินผลที่ใช้ทั่วการพัฒนาระหว่างประเทศและการบริหารรัฐกิจ ซึ่งรัฐบาลแห่งชาติ ผู้ให้ทุนด้านการกุศล และองค์กรพหุภาคีส่งเสริมในรูปแบบต่าง ๆ เป็นวินัยร่วมในการเชื่อมการใช้จ่ายกับผลลัพธ์ไม่ใช่เพียงผลผลิต

ผลผลิต ผลลัพธ์ และตารางคะแนนรวมกัน เหตุผลที่กรอบเหล่านี้อยู่ในหัวข้อเดียวแทนที่จะสามหัวข้อคือ มันตอบคำถามพื้นฐานเดียวกัน ณ จุดต่างกันในรอบการวางแผนและการรายงานขององค์กร แบบจำลองตรรกะถูกวาดในเวลาออกแบบ เพื่อระบุข้อกล่าวอ้างเหตุปัจจัย ความรับผิดชอบตามผลลัพธ์และกรอบที่เทียบเคียงได้ถูกใช้ในเวลารายงาน เพื่อให้มาตรวัดผลปฏิบัติงานซื่อตรงต่อความแตกต่างระหว่างความพยายามกับผล ตารางคะแนนคุณค่าสาธารณะอยู่เหนือทั้งสอง ในฐานะโครงสร้างถาวรที่รับประกันว่าหลักฐานผลลัพธ์ ไม่ว่าผลิตด้วยวิธีใด ไปถึงการสนทนาเรื่องความชอบธรรมและขีดความสามารถที่การตัดสินใจเรื่องงบประมาณและอาณัติเกิดขึ้นจริง แทนที่จะอยู่ภายในการรายงานของทีมโครงการเอง รวมกันแล้ว กรอบทั้งสามคือสิ่งที่เปลี่ยนคุณค่าสาธารณะจากข้อกล่าวอ้างที่องค์กรทำเกี่ยวกับตนเองให้เป็นข้อกล่าวอ้างที่ปกป้องได้ด้วยหลักฐาน

แนวปฏิบัติที่ดี

1. วาดแบบจำลองตรรกะก่อนตัวชี้วัด ไม่ใช่หลัง การเลือกสิ่งที่จะวัดก่อนตกลงว่ากำลังอ้างว่าก่อสิ่งใดผลิตรายการของสิ่งที่นับง่ายที่สุด วาดห่วงโซ่ปัจจัยนำเข้าถึงผลกระทบก่อน แล้วค่อยเลือกมาตรวัดที่ทดสอบแต่ละข้อต่อ
2. รายงานต่อทั้งสามบัญชีของตารางคะแนนพร้อมกัน ไม่ใช่ทีละบัญชี รายงานความชอบธรรมที่ไม่มีหลักฐานผลลัพธ์ หรือรายงานผลลัพธ์ที่ไม่มีบัญชีขีดความสามารถว่าต้องใช้อะไรเพื่อรักษา แต่ละอย่างเล่าเพียงส่วนหนึ่งของเรื่องที่ผู้ให้ทุนหรือผู้กำกับดูแลต้องการเพื่อตัดสินใจจริง
3. แยกความพยายาม คุณภาพ และผลอย่างชัดแจ้งในทุกรายงานผลปฏิบัติงาน ยืมการแบ่งสามทางของ Friedman แม้นอกการนำ RBA ไปใช้อย่างเป็นทางการ รายงานที่ผสม "เซสชันที่จัด" กับ "ชีวิตที่ดีขึ้น" โดยไม่แยกจะถอยไปสู่อย่างใดอย่างหนึ่งที่พองได้ง่ายกว่าเสมอ
4. เลือกตัวชี้วัดประชากรหลักจำนวนน้อยและถือไว้เป็นปี ไม่ใช่ไตรมาส เงื่อนไขระดับประชากรเคลื่อนช้าและถูกกระทบโดยผู้แสดงหลายราย การเปลี่ยนมาตรวัดหลักทุกรอบรายงานทำให้บอกไม่ได้ว่าเส้นโค้งกำลังพลิกจริงหรือไม่
5. พูดออกมาดัง ๆ ว่าองค์กรไม่ได้ควบคุมอะไร แบบจำลองตรรกะที่บ่งชี้ว่าโครงการเดียวก่อผลลัพธ์ระดับประชากรทั้งหมดเชิญข้อสงสัยที่บ่อนทำลายความชอบธรรมเมื่อผลลัพธ์ไม่ขยับตามกำหนด ระบุปัจจัยร่วมอื่น ๆ ตั้งแต่ต้น
6. เผยแพร่กรอบผลลัพธ์ก่อนรอบงบประมาณ ไม่ใช่หลัง กรอบผลลัพธ์ที่ผลิตเพื่อพิสูจน์การตัดสินใจงบประมาณที่ทำไปแล้วอ่านเป็นการหาเหตุผลภายหลัง ส่วนที่เผยแพร่ก่อนรอบเป็นหลักฐานว่ากำลังทดสอบการตัดสินใจจริงกับมัน
7. รักษาตารางคะแนนและแบบจำลองตรรกะเป็นเอกสารที่มีชีวิต ทบทวนเมื่อบริบทเปลี่ยน ไม่ใช่สิ่งประดิษฐ์รายปี แบบจำลองตรรกะที่วาดสำหรับสภาพแวดล้อมนโยบายหนึ่งอาจเลิกตรงกับความเป็นจริงอย่างเงียบ ๆ จากกฎหมายใหม่ การเปลี่ยนแปลงทางประชากร หรือการเปลี่ยนเงินทุน นานก่อนที่การทบทวนตามกำหนดจะจับได้ ถือว่าทั้งสองเป็นของทีมส่งมอบ ไม่ใช่แบบฝึกหัดปฏิบัติตามกฎของสำนักงานกลาง
8. เก็บมาตรวัดบัญชีผลปฏิบัติงานให้ใกล้กับผู้ที่ลงมือได้ ทีมโครงการปรับปรุงมาตรวัดคุณภาพและความพยายามได้โดยตรง หากส่งเป้าผลลัพธ์ระดับประชากรที่พวกเขาขยับเองไม่ได้ การวัดจะกลายเป็นแหล่งของความท้อแทนที่จะเป็นทิศทาง
9. ถือว่าเป้าผลลัพธ์ที่พลาดเป็นเครื่องกระตุ้นให้ถามว่าทำไม ไม่ใช่คำตัดสินที่ต้องซ่อน นิสัย "พลิกเส้นโค้ง" ของการถามว่าอะไรเป็นสาเหตุของแนวโน้มก่อนกล่าวโทษทำให้การรายงานผลลัพธ์มีประโยชน์ วัฒนธรรมที่ลงโทษเป้าที่พลาดสอนบุคลากรให้ปกป้องตัวเลขแทนผลลัพธ์
10. ทำให้สมมติฐานในทฤษฎีการเปลี่ยนแปลงพิสูจน์ว่าผิดได้ สมมติฐานที่เขียนคลุมเครือจนไม่มีหลักฐานใดหักล้างได้ไม่ได้เพิ่มความเข้มงวดให้แบบจำลองตรรกะ จงเขียนสมมติฐานให้เฉพาะเจาะจงพอที่การประเมินในอนาคตจะแสดงได้ว่าผิด

คำถามที่ควรหารือกับทีมของท่าน

เราแยกผลผลิตออกจากผลลัพธ์ได้หรือไม่ สำหรับโครงการที่สำคัญที่สุดของเรา และบุคลากรของเราเองใช้สองคำนี้ถูกต้องหรือไม่? หลายองค์กรรายงานการนับกิจกรรมด้วยภาษาของผลลัพธ์โดยไม่สังเกตการสลับ ซึ่งกัดกร่อนความแตกต่างที่หัวข้อนี้ถือเป็นรากฐานอย่างเงียบ ๆ ใช้คำถามนี้เพื่อดึงรายงานปัจจุบันจริงและตรวจสอบทีละบรรทัดว่าตัวเลขใดอธิบายสิ่งที่องค์กรทำเทียบกับสิ่งที่เปลี่ยนไปสำหรับผู้อื่น หารือว่าภาษาเลื่อนไปตรงไหน และการเลื่อนนั้นสะท้อนความสับสนจริงเกี่ยวกับตรรกะของโครงการ หรือเพียงว่าข้อมูลผลลัพธ์หายากกว่าข้อมูลผลผลิต หากคำตอบซื่อตรงคือข้อหลัง นั่นเองเป็นข้อค้นพบที่ควรบันทึก ไม่ใช่เหตุผลที่จะใช้ภาษาผลผลิตที่แต่งตัวเป็นผลลัพธ์ต่อไป

การรายงานปัจจุบันของเรายุบความพยายาม คุณภาพ และผลเป็นตัวเลขเดียวตรงไหน และตัวเลขนั้นบอกผู้อ่านจริง ๆ ว่าอะไร? การแบ่งสามทางของ Friedman มีอยู่เพราะองค์กรมักถอยไปรายงานความพยายาม ซึ่งนับง่ายที่สุดในสามอย่าง ขณะที่บ่งชี้ว่ารายงานผลแล้ว ใช้คำถามนี้เพื่อระบุมาตรวัดเรือธงหนึ่งที่องค์กรรายงานในปัจจุบันและหาร่วมกันว่ามันวัดสามอย่างไหนจริง หารือว่าต้องทำอะไรเพื่อรายงานทั้งสามแยกกันสำหรับมาตรวัดนั้น และการทำเช่นนั้นจะเปลี่ยนวิธีที่องค์กรถูกมองโดยผู้ที่เห็นเพียงตัวเลขผสมในปัจจุบันหรือไม่

หากผลลัพธ์ประชากรหลักของเราไม่ขยับอีกสองรอบการรายงาน เราจะทำอะไรต่างออกไป และเราจะไม่เปลี่ยนอะไร? คำถามนี้ทดสอบว่าองค์กรใช้กรอบผลลัพธ์เพื่อบังคับทิศทางจริง หรือเพียงผลิตมันเป็นภาระการรายงาน ใช้เพื่อแยกว่าส่วนใดของยุทธศาสตร์ปัจจุบันขึ้นกับข้อมูลผลลัพธ์และส่วนใดคงที่ไม่ว่าข้อมูลจะแสดงอะไร หารือซื่อตรงว่าส่วนใดของโครงการปัจจุบันจะอยู่รอดโดยไม่เปลี่ยนแม้หลักฐานจะกลับด้านอย่างหนักแน่น เพราะนั่นคือส่วนที่กรอบไม่ได้บริหารจริง

ตารางคะแนนคุณค่าสาธารณะของเรา หากมี รายงานทั้งสามด้านของสามเหลี่ยม หรือเงียบ ๆ กลายเป็นตารางคะแนนสำหรับด้านเดียว? เป็นเรื่องทั่วไปที่กรอบผลลัพธ์เริ่มด้วยความทะเยอทะยานสามด้านที่แท้จริงและเลื่อนไหล ภายใต้แรงกดดันการรายงาน ไปสู่เอกสารผลลัพธ์อย่างเดียวหรือการเงินอย่างเดียว ใช้คำถามนี้เพื่อตรวจสอบรายงานอย่างเป็นทางการสองสามฉบับล่าสุดเทียบกับโครงสร้างสามบัญชีที่หัวข้อนี้อธิบาย หารือว่าด้านใดมักถูกทิ้งก่อนเมื่อเวลาน้อย และนั่นบอกอะไรเกี่ยวกับด้านที่องค์กรโดยปริยายถือเป็นทางเลือก

ใครนอกองค์กรนี้ที่ต้องเห็นด้วยกับแบบจำลองตรรกะของเราเพื่อให้น่าเชื่อถือ และเราถามพวกเขาจริงหรือยัง? แบบจำลองตรรกะที่วาดทั้งหมดโดยทีมโครงการที่ออกแบบการแทรกแซงอาจเข้ารหัสสมมติฐานเชิงบวกที่ไม่มีใครนอกห้องอยู่ในตำแหน่งท้าทายอย่างเงียบ ๆ ใช้คำถามนี้เพื่อระบุว่าผู้แสดงภายนอกใด ผู้ให้ทุน พันธมิตรผู้ส่งมอบ ผู้ที่โครงการให้บริการ มีส่วนได้ส่วนเสียว่าห่วงโซ่เหตุปัจจัยถูกต้องหรือไม่ และมีใครทบทวนมันจริงหรือยัง หารือว่าอะไรเปลี่ยนไป ถ้ามี ครั้งล่าสุดที่เชิญมุมมองภายนอกเข้าสู่การทบทวนนั้น

ชุดตัวชี้วัดประชากรและผลปฏิบัติงานที่เล็กที่สุดที่เรารายงานได้ แต่ยังให้ผู้ภายนอกตัดสินได้ว่าองค์กรนี้กำลังสร้างคุณค่าสาธารณะหรือไม่ คืออะไร? ระบบการวัดมักสะสมตัวชี้วัดตามเวลาเร็วกว่าที่เลิกใช้มาก จนกรอบใหญ่เกินกว่าที่ใครจะใช้ในการตัดสินใจจริง ใช้คำถามนี้เพื่อลองเป็นแบบฝึกหัด ลดชุดตัวชี้วัดปัจจุบันลงครึ่งหนึ่งโดยไม่สูญเสียความสามารถในการตอบคำถามความรับผิดชอบระดับประชากรและระดับผลปฏิบัติงานที่หัวข้อนี้อธิบาย หารือว่าแบบฝึกหัดนั้นเผยแรงต้านอะไร เพราะแรงต้านต่อการตัดตัวชี้วัดเฉพาะมักเป็นสัญญาณของสิ่งที่องค์กรถูกกำกับให้รับผิดชอบจริง ไม่ว่าจะตรงกับยุทธศาสตร์ที่ประกาศหรือไม่

ในทางปฏิบัติ: ตัวอย่างคุณค่าสาธารณะ

เครือข่ายระดับภูมิภาคขององค์กรการกุศลสนับสนุนครอบครัว เป็นเรื่องสมมติ ยกตัวอย่างรูปแบบมากกว่ารายงานองค์กรจริง ดำเนินโครงการเยี่ยมบ้านสำหรับพ่อแม่มือใหม่ในละแวกรายได้ต่ำมาเป็นเวลาหนึ่งทศวรรษ รายงานประจำปีถึงผู้ให้ทุนละเอียดและน่าประทับใจตามมาตรวัดผลผลิต การเยี่ยมบ้านนับพันครั้งทุกปี การเข้าร่วมเวิร์กช็อปการเลี้ยงดูสูง คะแนนความพึงพอใจแข็งแกร่งจากครอบครัวที่เข้าร่วม ด้วยสถิติเช่นนั้น เครือข่ายเติบโตอย่างต่อเนื่อง เพิ่มสาขาท้องถิ่นใหม่ประมาณทุกสองปี

ผู้ให้ทุนระดับชาติรายใหม่ ที่พิจารณาให้ทุนหลายปีก้อนใหญ่พอจะเพิ่มขอบเขตของเครือข่ายเป็นสองเท่า ถามคำถามที่คณะกรรมการของเครือข่ายเองไม่เคยตั้งอย่างเป็นทางการต่อฝ่ายบริหาร หลักฐานอะไรแสดงว่าเด็ก ๆ ในครอบครัวที่ได้รับการเยี่ยมบ้านกำลังดีขึ้นจริงในภายหลังกว่าเด็กที่เปรียบเทียบได้ซึ่งครอบครัวไม่ได้รับ ผู้นำของเครือข่ายตระหนักขณะทำงานผ่านคำถามนั้นว่าการรายงานของตนไม่เคยแยกความพยายามออกจากผล จำนวนการเยี่ยมและคะแนนความพึงพอใจเป็นหลักฐานแท้ว่าโครงการถูกส่งมอบและได้รับการต้อนรับดี แต่ไม่ใช่หลักฐานว่าเปลี่ยนผลลัพธ์พัฒนาการของเด็ก ซึ่งเป็นข้อกล่าวอ้างที่ฝังอยู่ในถ้อยแถลงพันธกิจของเครือข่ายเอง และโดยปริยายในทุกใบสมัครขอทุนที่เคยเขียน

เครือข่ายสร้างแบบจำลองตรรกะจากศูนย์ เริ่มจากผลลัพธ์ที่ต้องการจริง ได้แก่ ตัวชี้วัดพัฒนาการเด็กปฐมวัยที่ดีขึ้น กรณีการทอดทิ้งเด็กที่ยืนยันแล้วลดลง ความมั่นใจของผู้ปกครองที่แข็งแรงขึ้น และทำงานย้อนไปยังกิจกรรมและผลผลิตที่แต่ละอย่างถูกกำหนดให้พึ่งพา โดยระบุสมมติฐานระหว่างกลางอย่างชัดแจ้ง เครือข่ายนำโครงสร้างความรับผิดชอบตามผลลัพธ์ที่ง่ายขึ้นมาใช้ ตัวชี้วัดประชากรที่ติดตามระดับละแวกและแบ่งปันกับโรงเรียนท้องถิ่นและบริการสุขภาพ ควบคู่กับตัวชี้วัดผลปฏิบัติงานที่ทีมของตนลงมือได้โดยตรง ได้แก่ ความถี่การเยี่ยม การเรียนเวิร์กช็อปจบ และความมั่นใจในการเลี้ยงดูที่บุคลากรประเมินที่สามและสิบสองเดือน ตัวชี้วัดผลลัพธ์ห้าตัวมีสองตัวที่ไม่ขยับตามหวังในละแวกหนึ่งในรอบรายงานแรก แทนที่จะปิดบังผลลัพธ์ เครือข่ายใช้กระบวนการ "พลิกเส้นโค้ง" ของตนเองเพื่อสืบสวน พบว่าการเปลี่ยนแปลงบุคลากรผู้เยี่ยมบ้านด้านสุขภาพในท้องถิ่นรบกวนเส้นทางการส่งต่อ และปรับข้อตกลงความร่วมมือแทนที่จะปรับแบบจำลองหลัก ผู้ให้ทุนต่ออายุและขยายทุน โดยอ้างความซื่อตรงของการรายงาน ไม่ใช่การไม่มีความบกพร่อง เป็นเหตุผลของความเชื่อมั่น

มุมมองสี่ภาคส่วน

รัฐบาลท้องถิ่น

กรอบผลลัพธ์ของหน่วยงานท้องถิ่นโดยทั่วไปอยู่ภายในชุดตัวชี้วัดที่กำหนดระดับชาติที่กว้างกว่าซึ่งไม่ได้เลือกแต่ต้องรายงานเทียบ ควบคู่กับมาตรวัดที่เลือกในท้องถิ่นซึ่งสะท้อนลำดับความสำคัญของสภานั้นเอง โครงสร้างคู่นี้หมายความว่าตารางคะแนนท้องถิ่นมักต้องประสานผู้ฟังสองกลุ่มที่มีคำถามต่างกัน ผู้ตรวจสอบระดับชาติที่ถามถึงการปฏิบัติตามชุดตัวชี้วัดมาตรฐาน และผู้อยู่อาศัยท้องถิ่นที่ถามถึงเงื่อนไขท้องถิ่นที่เห็นได้เฉพาะ เช่น ถนนหรือบริการหนึ่ง แบบจำลองตรรกะในระดับรัฐบาลท้องถิ่นมักสร้างได้ง่ายที่สุดสำหรับบริการเดียว (การเปลี่ยนแปลงการเก็บขยะรีไซเคิล การออกแบบห้องสมุดใหม่) และยากที่สุดที่จะสร้างอย่างน่าเชื่อถือสำหรับผลลัพธ์ข้ามภาคส่วน เช่น ความกลมเกลียวของชุมชน ที่ผู้แสดงหลายรายนอกการควบคุมของสภาก็มีส่วนร่วม

รัฐบาลระดับชาติ

กรอบผลลัพธ์ระดับชาติดำเนินงานในระดับที่ความแตกต่างระหว่างความรับผิดชอบระดับประชากรกับระดับผลปฏิบัติงานจาก RBA กลายเป็นสิ่งจำเป็นแทนที่จะเป็นทางเลือก ตัวชี้วัดสุขภาพหรือการศึกษาระดับชาติได้รับผลกระทบจากโครงการนับร้อย มีเพียงไม่กี่โครงการที่กระทรวงเดียวให้ทุนโดยตรง ดังนั้นการที่กระทรวงหนึ่งอ้างเครดิตหรือความผิดเดี่ยวสำหรับแนวโน้มระดับชาติแทบปกป้องไม่ได้ รัฐบาลระดับชาติยังเป็นแหล่งที่พบบ่อยที่สุดของกรอบผลลัพธ์ขนาดใหญ่ที่กำหนดจากส่วนกลางที่หน่วยส่งมอบในห่วงโซ่ลงมาต้องนำมาใช้ ซึ่งสร้างความเสี่ยงที่เกิดซ้ำว่ากรอบถูกออกแบบเพื่อการรวมและเปรียบเทียบข้ามกระทรวง แทนที่จะบังคับทิศทางการส่งมอบของโครงการใดโครงการหนึ่งจริง

ภาคสังคมและองค์กรไม่แสวงหากำไร

องค์กรไม่แสวงหากำไรและองค์กรพัฒนาเอกชน (NGO) มักสร้างแบบจำลองตรรกะและทฤษฎีการเปลี่ยนแปลงของตนจากหลักการแรกมากกว่ารับกรอบที่ผู้ให้อำนาจส่งลงมา เพราะผู้ให้ทุนของพวกเขามักเป็นผู้ที่ขอข้อโต้แย้งเหตุปัจจัยแทนที่จะให้แม่แบบมาตรฐาน ซึ่งให้อิสระแก่องค์กรภาคสังคมมากขึ้นในการออกแบบกรอบผลลัพธ์ที่เข้ากับตรรกะโครงการจริง แต่ก็เสี่ยงต่อความเหนื่อยล้าจากการวัดที่ผู้ให้ทุนขับเคลื่อนมากขึ้นด้วย ที่ซึ่งแต่ละทุนมีข้อกำหนดการรายงานของตนและองค์กรต้องรักษากรอบผลลัพธ์ขนานกันหลายชุดสำหรับงานพื้นฐานเดียวกัน การแยกประชากรกับผลปฏิบัติงานของ RBA มีประโยชน์เป็นพิเศษที่นี่ เพราะให้ภาษาแก่องค์กรไม่แสวงหากำไรที่จะบอกผู้ให้ทุนตรง ๆ ว่ารับผิดชอบต่อมาตรวัดผลปฏิบัติงานของตนได้ แต่ไม่ใช่ตามลำพังสำหรับตัวชี้วัดประชากรที่ผู้แสดงอื่นอีกมากก็มีอิทธิพล

ระดับพหุภาคีและระหว่างประเทศ

องค์กรพหุภาคีดำเนินการจัดการตามผลลัพธ์ในระดับที่สมมติฐานของแบบจำลองตรรกะเดินทางข้ามบริบทระดับชาติหลายสิบพร้อมกัน ดังนั้นตรรกะการแทรกแซงที่ใช้ได้ในประเทศหนึ่งอาจล้มเหลวอย่างเงียบ ๆ ในอีกประเทศโดยตัวชี้วัดระดับโลกหลักไม่เผยว่าบริบทใดเป็นปัญหา กรอบผลลัพธ์ในบริบทนี้มักถูกสร้างเพื่อตอบสนองรัฐบาลผู้บริจาคหลายแห่งพร้อมกัน แต่ละแห่งมีความชอบในการรายงานของตน ซึ่งผลักไปสู่ชุดตัวชี้วัดมาตรฐาน (แบบที่ส่งเสริมผ่านแนวทางการจัดการตามผลลัพธ์ระหว่างประเทศ) โดยแลกกับความเฉพาะท้องถิ่น ช่องว่างระหว่างผลผลิตที่พันธมิตรผู้ดำเนินการรายงานได้เร็ว เช่น การฝึกอบรมที่จัด คลินิกที่จัดหาสิ่งของ กับผลลัพธ์ที่ปรากฏเฉพาะในการสำรวจระดับชาติอีกหลายปีต่อมา กว้างที่สุดที่นี่ ทำให้วินัยของการระบุห่วงโซ่เหตุปัจจัยที่สันนิษฐานอย่างชัดแจ้ง แทนที่จะสันนิษฐานเอา สำคัญเป็นพิเศษ

รูปแบบความล้มเหลวที่พบบ่อย

ผลผลิตปลอมตัวเป็นผลลัพธ์ องค์กรรายงานการนับกิจกรรมด้วยภาษาผลลัพธ์ เช่น "ปรับปรุงความปลอดภัยของชุมชน" ทั้งที่มาตรวัดจริงคือการลาดตระเวนที่ทำ ไม่ว่าจากความสับสนแท้จริงหรือเพราะข้อมูลผลลัพธ์เก็บยากและช้ากว่า ต้นทุนปรากฏเมื่อผู้ทบทวนภายนอกขอหลักฐานผลลัพธ์โดยตรงและพบเพียงผลผลิตอยู่เบื้องหลังข้ออ้าง ซึ่งทำลายความน่าเชื่อถือขององค์กรมากกว่าผลลัพธ์ที่เจียมตัวแต่รายงานซื่อตรง

ตัวชี้วัดงอกเงยเกินพอดี ตารางคะแนนหรือแบบจำลองตรรกะสะสมมาตรวัดเร็วกว่าที่เลิกใช้ ผลักดันโดยคำขอของผู้มีส่วนได้ส่วนเสียรายใหม่แต่ละรายที่เพิ่มอีกหนึ่งบรรทัดแทนที่จะแทนที่ที่มีอยู่ ผลที่ได้ในที่สุดคือกรอบที่ใหญ่เกินกว่าผู้จัดการใดจะใช้ในการตัดสินใจจริง ซึ่งทำให้องค์กรถอยกลับไปใช้วิจารณญาณอย่างไม่เป็นทางการอย่างเงียบ ๆ ขณะที่กรอบอย่างเป็นทางการกลายเป็นสิ่งประดิษฐ์การรายงานที่ไม่มีใครปรึกษา

การถูกยึดโดยเป้าหมาย มาตรวัดผลปฏิบัติงานเมื่อผูกกับเงินทุนหรือรางวัล กลายเป็นสิ่งที่บุคลากรเพิ่มประสิทธิภาพโดยตรงแทนที่จะเป็นผลลัพธ์ที่มันมีไว้เป็นตัวแทน ซึ่งเป็นรูปแบบที่กฎของกู๊ดฮาร์ตอธิบาย คือมาตรวัดที่ใช้เป็นเป้าหมายเลิกเป็นมาตรวัดที่เชื่อถือได้ ที่ตั้งหลักของหัวข้อนี้สำหรับพลวัตนั้นในภาครัฐโดยเฉพาะ รวมถึงวิธีที่ระบอบคุณภาพพยายามตรวจจับและจำกัดมัน อยู่ที่อื่น (ดู หัวข้อ 3.11 — การจัดการคุณภาพ ความปลอดภัย และผลการปฏิบัติงาน) ที่นี่มีความสำคัญในฐานะเหตุผลให้แยกมาตรวัดความพยายาม คุณภาพ และผลออกจากกัน และทบทวนเป้าหมายก่อนที่มันจะบิดเบือนพฤติกรรม

การอ้างความรับผิดชอบเกินจริง รายงานของโครงการบ่งชี้ความรับผิดชอบเหตุปัจจัยเดี่ยวสำหรับผลลัพธ์ระดับประชากรที่ผู้แสดงอื่นอีกหลายรายก็มีอิทธิพล ไม่ว่าผ่านภาษาที่ไม่ระมัดระวังหรือความเชื่อแท้จริง เมื่อผลลัพธ์ไม่ขยับ ซึ่งมักเพราะเหตุผลนอกการควบคุมของโครงการ องค์กรรับความผิดมากเกินสัดส่วนกับผลงานที่แท้จริง ซึ่งบั่นทอนการรายงานความบกพร่องอย่างซื่อตรงในรอบต่อไป

กรอบที่ไม่มีข้อมูลป้อนกลับ องค์กรสร้างแบบจำลองตรรกะและกรอบผลลัพธ์ที่ออกแบบมาดีอย่างแท้จริง แล้วไม่เคยกลับมาทบทวนเทียบกับผลลัพธ์จริง มันจึงแข็งตัวเป็นเอกสารตายตัวแทนที่จะเป็นเครื่องมือบริหารที่มีชีวิต ยุทธศาสตร์ข้างใต้ยังดำเนินบนสมมติฐานเดิมหลายปีหลังจากที่หลักฐานจะทำให้การปรับสมเหตุสมผล โดยเสียความสามารถในการปรับตัวที่กรอบมีไว้เพื่อให้เกิด

แบบจำลองวุฒิภาวะ

รายการตรวจสอบ

• วาดแบบจำลองตรรกะ (ปัจจัยนำเข้า กิจกรรม ผลผลิต ผลลัพธ์ ผลกระทบ) สำหรับแต่ละโครงการสำคัญก่อนสรุปตัวชี้วัด
• เขียนสมมติฐานเหตุปัจจัยของทฤษฎีการเปลี่ยนแปลงให้เฉพาะเจาะจงพอที่หลักฐานจะหักล้างได้
• แยกมาตรวัดความพยายาม คุณภาพ และผลในทุกรายงานผลปฏิบัติงาน แม้นอกการนำความรับผิดชอบตามผลลัพธ์ไปใช้อย่างเป็นทางการ
• สร้างหรือปรับปรุงตารางคะแนนคุณค่าสาธารณะเพื่อรายงานทั้งสามด้าน ได้แก่ ความชอบธรรม คุณค่า ขีดความสามารถ พร้อมกัน ไม่ใช่แยกกัน
• เลือกชุดตัวชี้วัดหลักระดับประชากรที่เล็กและมั่นคง และผูกมัดที่จะถือไว้ข้ามหลายรอบการรายงาน
• ตรวจสอบรายงานปัจจุบันหาภาษาที่อธิบายผลผลิตด้วยคำของผลลัพธ์ และแก้ไข
• เผยแพร่กรอบผลลัพธ์ก่อนรอบงบประมาณหรือรอบให้ทุนถัดไป ไม่ใช่เป็นผลที่ตามมา
• ระบุอย่างชัดแจ้งว่าองค์กรไม่ได้ควบคุมเพียงลำพังอะไรสำหรับข้ออ้างระดับประชากรใดที่รายงาน
• กำหนดรอบคงที่ในการทบทวนแบบจำลองตรรกะเทียบกับหลักฐานจริง ไม่ใช่เฉพาะตอนการประเมินอย่างเป็นทางการตามกำหนด
• ระบุผู้มีส่วนได้ส่วนเสียภายนอกอย่างน้อยหนึ่งรายเพื่อทบทวนสมมติฐานของแบบจำลองตรรกะก่อนสรุป
• ตรวจสอบชุดตัวชี้วัดปัจจุบันเพื่อหาโอกาสเลิกใช้มาตรวัดที่ไม่มีใครใช้ในการตัดสินใจจริง
• ตกลงล่วงหน้าว่าองค์กรจะทำอะไรต่างไปหากผลลัพธ์หลักไม่ขยับสองรอบการรายงาน

แหล่งข้อมูลสำคัญ

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) และ Recognizing Public Value (2013) — ตำราต้นฉบับของตารางคะแนนคุณค่าสาธารณะ ดัดแปลงประเพณีบาลานซ์สกอร์การ์ดสู่สามด้านของสามเหลี่ยมเชิงกลยุทธ์
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — ตำราต้นฉบับของความรับผิดชอบตามผลลัพธ์ รวมถึงความแตกต่างระหว่างความรับผิดชอบระดับประชากรกับระดับผลปฏิบัติงาน และการวิเคราะห์ "พลิกเส้นโค้ง"
• วรรณกรรมบาลานซ์สกอร์การ์ดของ Robert Kaplan และ David Norton — แหล่งในภาคเอกชนที่มัวร์ดัดแปลงสำหรับบริบทคุณค่าสาธารณะ
• แนวทางของ OECD เรื่องการจัดการตามผลลัพธ์และศัพท์การประเมิน ใช้ทั่วการพัฒนาและการบริหารรัฐกิจเพื่อทำให้ภาษาผลลัพธ์และผลกระทบเป็นมาตรฐาน
• แนวทางของกลุ่มประเมินอิสระของธนาคารโลกเรื่องกรอบผลลัพธ์และทฤษฎีการเปลี่ยนแปลงสำหรับการดำเนินงานพัฒนา
• บัญชีสาธารณะของสำนักงานบริการมนุษย์แห่งรัฐเวอร์มอนต์ (Vermont Agency of Human Services) เรื่องการนำความรับผิดชอบตามผลลัพธ์ไปใช้ในระดับรัฐและชุมชน — ตัวอย่างหนึ่งของกรอบนี้ในการใช้งานจริงของรัฐบาล

เอกสารอ้างอิง

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf