เศรษฐมิติภาครัฐและการประเมินโครงการ

ทำไมสิ่งนี้จึงสำคัญต่อคุณค่าสาธารณะ

ทุกปี หน่วยงานภาครัฐต่ออายุ ขยาย หรือยกเลิกโครงการบนฐานของการเปรียบเทียบผลลัพธ์ ผู้เข้าร่วมโครงการจ้างงานหางานได้เร็วกว่าผู้ไม่เข้าร่วม นักเรียนในโครงการติวได้คะแนนสูงกว่านักเรียนที่ไม่ได้ติว การเปรียบเทียบแต่ละอย่างจริงในฐานะคำอธิบายและอันตรายในฐานะข้อโต้แย้ง เพราะไม่มีอย่างใดตามลำพังบอกได้ว่าโครงการเป็นสาเหตุของความแตกต่างหรือไม่ ผู้ที่ลงทะเบียนโครงการจ้างงานมักมีแรงจูงใจสูงกว่าผู้ที่ไม่ลงทะเบียน และนักเรียนที่ถูกเลือกเข้าติวมักถูกเลือกเพราะครูคาดอยู่แล้วว่าจะตอบสนองดี ช่องว่างระหว่าง "กลุ่มที่ได้รับการดูแลทำได้ดีกว่า" กับ "การดูแลทำให้พวกเขาทำได้ดีกว่า" คือช่องว่างที่การอนุมานเชิงเหตุผลมีไว้ปิด

นี่ไม่ใช่ความละเอียดอ่อนเชิงวิชาการ คณะกรรมการการเงินที่ถูกขอให้ต่ออายุเงินทุนของโครงการกำลังถูกขอโดยปริยายให้อนุญาตใช้เงินสาธารณะบนข้ออ้างเรื่องเหตุปัจจัย ไม่ว่าจะมีใครในห้องใช้คำนั้นหรือไม่ หัวข้อ 2.1 ให้กรอบผลลัพธ์ที่ระบุว่าโครงการมีไว้เปลี่ยนอะไร (ดู หัวข้อ 2.1 — ตารางคะแนนคุณค่าสาธารณะและกรอบผลลัพธ์) หัวข้อนี้ให้วิธีที่ทดสอบว่ามันเปลี่ยนจริงหรือไม่และเท่าไร การวิเคราะห์ต้นทุน-ผลประโยชน์และต้นทุน-ประสิทธิผล (ดู หัวข้อ 2.2 — การวิเคราะห์ต้นทุน-ผลประโยชน์ทางสังคมและต้นทุน-ประสิทธิผล) และผลตอบแทนทางสังคมจากการลงทุน (ดู หัวข้อ 2.3 — ผลตอบแทนทางสังคมจากการลงทุนและการวัดผลกระทบ) ทั้งสองต้องการขนาดของผลที่ปกป้องได้เพื่อใช้ทำงาน หัวข้อนี้คือที่ที่ขนาดของผลนั้นมา หรือที่ที่ท่านเรียนรู้ว่าตัวเลขที่ท่านมีอยู่แล้วแบกน้ำหนักที่ถูกวางบนมันไม่ได้

เดิมพันไม่ใช่เพียงด้านการเงิน รัฐบาลที่ขยายโครงการที่ไม่ได้ผลเพราะการประเมินที่บกพร่องทำให้มันดูได้ผลได้สิ้นเปลืองเงินและ มักแย่กว่านั้น ได้เบียดบังทางเลือกที่ได้ผลจริงซึ่งไม่เคยได้โอกาส รัฐบาลที่ยกเลิกโครงการที่ได้ผลเพราะการเปรียบเทียบอย่างไร้เดียงสาทำให้มันดูไร้ประโยชน์ได้ทำลายคุณค่าที่การประเมินที่ออกแบบดีกว่าจะปกป้องไว้ การระบุเหตุปัจจัยให้ถูกต้อง และรู้เมื่อใดที่ทำให้ถูกต้องไม่ได้ เป็นสมรรถนะด้านคุณค่าสาธารณะในตัวมันเอง ไม่ใช่ความสนใจข้างเคียงของผู้เชี่ยวชาญ

แนวคิดหลัก

การอนุมานเชิงเหตุผล (causal inference) เป็นสาขาของสถิติที่เกี่ยวกับการพิสูจน์ว่า และมากเพียงใด การเปลี่ยนแปลงของตัวแปรหนึ่งก่อให้เกิดการเปลี่ยนแปลงในอีกตัวแปรหนึ่ง ต่างจากการที่ตัวแปรสองตัวเพียงเคลื่อนไปด้วยกัน มันให้รากฐานเชิงแนวคิด ได้แก่ การใช้เหตุผลแบบ counterfactual ภาษาของกลุ่มรับการดูแลและกลุ่มควบคุม แคตตาล็อกภัยคุกคามเฉพาะต่อข้ออ้างเชิงเหตุผล ที่ทุกวิธีในหัวข้อนี้อาศัย วิกิพีเดีย: Causal inference

ข้อเท็จจริงสมมติตรงข้าม (counterfactual) คือผลลัพธ์ที่บุคคลหรือหน่วยจะประสบหากไม่ได้รับโครงการ และเป็นปริมาณหลักที่สังเกตไม่ได้ซึ่งทุกวิธีเชิงเหตุผลพยายามประมาณ คือท่านดูสิ่งที่เกิดกับผู้เข้าร่วมได้ แต่ไม่เคยดูสิ่งที่จะเกิดกับบุคคลเดียวกันนั้นโดยไม่ได้รับความช่วยเหลือ ทุกวิธีด้านล่างเป็นกลยุทธ์ต่างกันสำหรับสร้างตัวแทนที่น่าเชื่อถือของการสังเกตที่หายไปนั้น แบบจำลองเหตุผลของรูบิน (Rubin causal model) ซึ่งพัฒนาโดยนักสถิติ Donald Rubin เป็นหลัก ทำให้เรื่องนี้เป็นทางการเป็นกรอบ "ผลลัพธ์ที่เป็นไปได้" คือแต่ละหน่วยมีผลลัพธ์ที่เป็นไปได้ภายใต้การดูแลและภายใต้การควบคุม และผลเชิงเหตุผลคือผลต่างระหว่างสองอย่าง ซึ่งสังเกตได้เพียงอย่างเดียว วิกิพีเดีย: Rubin causal model

ตัวแปรกวน (confounding) เกิดขึ้นเมื่อปัจจัยที่สามส่งผลต่อทั้งว่าหน่วยได้รับโครงการหรือไม่และผลลัพธ์ที่โครงการมีไว้เปลี่ยน ทำให้ดูราวกับว่าโครงการก่อผลที่ตัวแปรกวนก่อจริง แรงจูงใจ ความสามารถเดิม สภาพเศรษฐกิจท้องถิ่น และความมั่งคั่งของครัวเรือนเป็นตัวแปรกวนที่เกิดซ้ำในการประเมินโครงการภาครัฐ เพราะมันส่งผลเป็นประจำต่อทั้งใครรับบริการและบุคคลหรือพื้นที่นั้นเป็นอย่างไรหลังจากนั้น วิกิพีเดีย: Confounding

อคติจากการคัดเลือก (selection bias) คือกรณีเฉพาะของตัวแปรกวนที่เกิดจากวิธีที่ผู้เข้าร่วมมาอยู่ในกลุ่มรับการดูแลตั้งแต่แรก การเลือกตนเอง การส่งต่อโดยบุคลากร หรือกฎคุณสมบัติ จนกลุ่มรับการดูแลและไม่รับการดูแลต่างกันอย่างเป็นระบบก่อนที่โครงการจะแตะต้อง โครงการจ้างงานที่มีเพียงผู้หางานที่มีแรงจูงใจสูงสุดสมัครจะดูได้ผลแม้ไม่ทำอะไร เพราะกลุ่มเปรียบเทียบไม่เคยเป็นตัวแทนที่เป็นธรรมของสิ่งที่ผู้เข้าร่วมจะทำโดยไม่ได้รับความช่วยเหลือ วิกิพีเดีย: Selection bias

สหสัมพันธ์ไม่ได้บ่งชี้เหตุปัจจัย (correlation does not imply causation) คือคำเตือนทั่วไปที่หัวข้อนี้นำไปปฏิบัติ ตัวแปรสองตัวเคลื่อนไปด้วยกันสอดคล้องกับการที่ตัวหนึ่งก่อตัวหนึ่ง กับการกลับกัน กับสาเหตุร่วมที่ใช้ร่วมกัน หรือกับความบังเอิญ และรูปแบบเพียงอย่างเดียวแยกสิ่งเหล่านี้ไม่ได้ ยอดขายไอศกรีมและการจมน้ำตายเพิ่มขึ้นทุกฤดูร้อนโดยไม่มีอย่างใดก่อให้เกิดอีกอย่าง เพราะอากาศร้อนขับเคลื่อนทั้งสอง การประเมินโครงการภาครัฐเต็มไปด้วยกับดักเดียวกันในรูปที่ละเอียดกว่า วิกิพีเดีย: Correlation does not imply causation

การทดลองแบบสุ่มมีกลุ่มควบคุม (randomized controlled trial: RCT) ซึ่งเรียกการประเมินแบบสุ่มในวรรณกรรมการประเมินนโยบาย จัดหน่วยที่มีคุณสมบัติโดยสุ่มเข้ากลุ่มรับการดูแลที่ได้รับโครงการและกลุ่มควบคุมที่ไม่ได้รับ เพื่อให้โดยเฉลี่ยสองกลุ่มต่างกันเพียงว่าได้รับการดูแลหรือไม่ การสุ่มทรงพลังเพราะจัดการกับตัวแปรกวนทั้งหมดรวดเดียว มันสร้างสมดุลทั้งตัวแปรกวนที่ท่านวัดได้และที่วัดไม่ได้ โดยไม่ต้องระบุชื่อล่วงหน้า วิกิพีเดีย: Randomized controlled trial

ผลต่างของผลต่าง (difference-in-differences: DiD) เปรียบเทียบการเปลี่ยนแปลงของผลลัพธ์ตามเวลาของกลุ่มรับการดูแลกับการเปลี่ยนแปลงในช่วงเวลาเดียวกันของกลุ่มเปรียบเทียบที่ไม่ได้รับโครงการ โดยสมมติว่า ในกรณีไม่มีโครงการ สองกลุ่มจะเดินตามแนวโน้มขนาน เป็นวิธีหลักที่ใช้งานจริงเมื่อโครงการไปถึงเขตอำนาจหนึ่งก่อนอีกเขต และการสุ่มไม่เคยเป็นทางเลือก เพราะใช้ข้อมูลทางการบริหารที่เก็บเป็นประจำได้ แทนการทดลองที่สร้างเป็นพิเศษ วิกิพีเดีย: Difference in differences

การออกแบบความไม่ต่อเนื่องเชิงถดถอย (regression discontinuity design: RDD) ใช้ประโยชน์จากกฎของโครงการที่กำหนดการดูแลตามคะแนนที่วัดได้ข้ามจุดตัดคงที่ เช่น ผลประโยชน์ที่เริ่มพอดีที่เกณฑ์รายได้ ชั้นเรียนซ่อมเสริมที่มอบหมายให้นักเรียนที่ได้คะแนนต่ำกว่าเกณฑ์ผ่านเล็กน้อย และเปรียบเทียบผลลัพธ์ของหน่วยที่อยู่เหนือและใต้เล็กน้อย ซึ่งในอย่างอื่นคล้ายกัน เพราะว่าหน่วยตกด้านใดของเกณฑ์เป็นเรื่องที่เกิดขึ้นโดยพลการในช่วงแคบรอบมัน การเปรียบเทียบจึงประมาณการทดลองสุ่มเฉพาะที่โดยไม่มีใครสุ่มอะไรเลย วิกิพีเดีย: Regression discontinuity design

การประมาณด้วยตัวแปรเครื่องมือ (instrumental variables: IV) ใช้ตัวแปรที่สาม คือ "เครื่องมือ" ที่ส่งผลต่อการรับโครงการแต่ไม่มีผลโดยตรงต่อผลลัพธ์ยกเว้นผ่านการรับนั้น เพื่อขจัดส่วนของความสัมพันธ์การดูแล-ผลลัพธ์ที่ตัวแปรกวนจะปนเปื้อน เครื่องมือนโยบายสาธารณะแบบคลาสสิกคือระยะทางไปยังสถานที่ หรือที่นั่งที่จัดสรรโดยการจับสลาก ซึ่งเปลี่ยนการมีส่วนร่วมโดยไม่ก่อผลลัพธ์อย่างอิสระ ความยากส่วนใหญ่ของวิธีนี้อยู่ที่การปกป้องว่าเครื่องมือส่งผลต่อผลลัพธ์ผ่านโครงการเท่านั้น วิกิพีเดีย: Instrumental variables estimation

การทดลองตามธรรมชาติ (natural experiment) คือสถานการณ์ที่เกิดจากนโยบาย ภูมิศาสตร์ หรือสถานการณ์ ไม่ใช่การออกแบบของนักวิจัย ซึ่งบางคนได้รับโครงการและคนอื่นที่เทียบเคียงได้ไม่ได้รับ ราวกับว่ามีการทดลองโดยไม่มีใครดำเนินมัน การเปลี่ยนนโยบายที่มีผลที่เกณฑ์วันเกิด เขตแดนที่วางครัวเรือนเกือบเหมือนกันในเขตอำนาจต่างกัน หรือการจับสลากที่จัดสรรที่นั่งที่คนสมัครเกิน เป็นการทดลองตามธรรมชาติที่ RDD, IV หรือ DiD วิเคราะห์ได้ วิกิพีเดีย: Natural experiment

ปรากฏการณ์ฮอว์ธอร์น (Hawthorne effect) ตั้งชื่อความเสี่ยงที่ผู้คนเปลี่ยนพฤติกรรมเพียงเพราะรู้ว่ากำลังถูกสังเกต อิสระจากเนื้อหาจริงของโครงการ ซึ่งสามารถพองผลที่ประมาณหากกลุ่มควบคุมไม่ถูกสังเกตด้วยความเข้มเท่ากัน การวัดเองอาจกลายเป็นส่วนหนึ่งของการดูแล วิกิพีเดีย: Hawthorne effect

อำนาจทางสถิติ (statistical power) คือความน่าจะเป็นที่การประเมินจะตรวจพบผลจริงขนาดหนึ่ง หากมีอยู่ ขึ้นหลัก ๆ กับขนาดตัวอย่าง ขนาดของผลที่ค้นหา และความแปรผันของผลลัพธ์ภายในกลุ่ม การประเมินที่อำนาจต่ำซึ่งพบ "ไม่มีผลที่มีนัยสำคัญ" มักไม่ได้แสดงว่าโครงการไม่ทำอะไร แต่แสดงว่าการประเมินเล็กเกินกว่าจะบอกได้ไม่ว่าทางใด ความแตกต่างที่ผู้นำมักพลาดภายใต้แรงกดดันให้ได้คำตัดสิน วิกิพีเดีย: Power (statistics)

แนวปฏิบัติที่ดี

1. ตัดสินใจเรื่องการออกแบบการประเมินก่อนโครงการเริ่ม ไม่ใช่หลัง การประเมินแบบสุ่ม การเปิดตัวแบบเหลื่อมเวลาที่เหมาะกับผลต่างของผลต่าง หรือเกณฑ์คุณสมบัติที่เหมาะกับการออกแบบความไม่ต่อเนื่องเชิงถดถอย ล้วนสร้างตั้งแต่ต้นง่ายกว่าการดัดแปลงภายหลังเมื่อการส่งมอบเริ่มไปแล้วแบบเฉพาะกิจมาก
2. ระบุข้อเท็จจริงสมมติตรงข้ามอย่างชัดแจ้งในทุกบันทึกการประเมิน เขียนเป็นประโยคเดียวว่าท่านเปรียบเทียบผู้เข้าร่วมกับอะไร ไม่มีโครงการเลย โครงการก่อนหน้า การแทรกแซงอื่น เพราะข้อเท็จจริงสมมติตรงข้ามที่ไม่ได้ระบุคือที่ซึ่งข้อพิพาทการประเมินที่คมที่สุดมักซ่อนอยู่
3. ถือการเปรียบเทียบก่อน-หลังอย่างง่ายเป็นสมมติฐานเริ่มต้น ไม่ใช่ข้อค้นพบ ผลลัพธ์ลอยไปด้วยเหตุผลมากมายที่ไม่เกี่ยวกับโครงการของท่าน วัฏจักรเศรษฐกิจ ผลตามฤดูกาล การเปลี่ยนนโยบายอื่นที่มาถึงพร้อมกัน และการออกแบบก่อน-หลังแยกส่วนร่วมของโครงการท่านออกจากของเหล่านั้นไม่ได้
4. จับคู่วิธีกับกฎที่กำหนดโครงการจริง ไม่ใช่กับวิธีที่ท่านคุ้นเคยที่สุด โครงการที่ปันส่วนด้วยการจับสลากเรียกหาตรรกะของการประเมินแบบสุ่มแม้ท่านไม่เคยเรียกมันว่าการทดลอง โครงการที่กำหนดโดยเกณฑ์คะแนนเรียกหาการออกแบบความไม่ต่อเนื่องเชิงถดถอย โครงการที่เปิดตัวในบางพื้นที่ก่อนอีกพื้นที่เรียกหาผลต่างของผลต่าง
5. ลงทะเบียนล่วงหน้าซึ่งมาตรวัดผลลัพธ์และแผนการวิเคราะห์ก่อนดูผล การตัดสินใจว่าผลลัพธ์ใดนับเป็น "ความสำเร็จ" หลังเห็นว่าผลลัพธ์ใดขยับเป็นเส้นทางที่บันทึกไว้อย่างดีสู่ผลบวกเท็จ และการลงทะเบียนล่วงหน้าคือการป้องกันมาตรฐาน
6. ให้การประเมินมีอำนาจพอสำหรับผลขนาดเล็กที่สุดที่ยังคุ้มต้นทุนโครงการ ไม่ใช่เพื่อความสะดวก การประเมินที่เล็กเกินกว่าจะตรวจพบผลที่เกี่ยวข้องกับนโยบายจะผลิตผล "ไม่มีความแตกต่างอย่างมีนัยสำคัญ" ที่ไม่ให้ข้อมูลซึ่งถูกตีความผิดเป็นหลักฐานของความล้มเหลว
7. รายงานลักษณะของกลุ่มเปรียบเทียบควบคู่กับกลุ่มรับการดูแล ไม่ใช่เพียงผลหลัก การประเมินที่น่าเชื่อถือให้ผู้อ่านที่สงสัยตรวจสอบได้ว่าสองกลุ่มคล้ายกันก่อนการรักษา การประเมินที่ซ่อนเรื่องนี้ทำให้ผู้อ่านต้องรับสมดุลด้วยศรัทธา
8. มอบหมายการประเมินจากแหล่งอิสระจากทีมส่งมอบ หรือกั้นไฟร์วอลล์การวิเคราะห์หากทำไม่ได้ ทีมที่มีส่วนได้ส่วนเสียในความสำเร็จของโครงการมีแรงจูงใจเชิงโครงสร้าง ซึ่งมักโดยไม่รู้ตัว ที่จะตีความหลักฐานที่คลุมเครือในทางเข้าข้างโครงการ
9. แยกนัยสำคัญทางสถิติออกจากนัยสำคัญเชิงปฏิบัติและการคลังในทุกรายงาน ผลเล็กที่ประมาณอย่างแม่นยำกับผลใหญ่ที่ประมาณอย่างไม่แม่นยำเป็นข้อค้นพบต่างกันที่เรียกร้องการตัดสินใจต่างกัน และการยุบทั้งสองเป็น "มีนัยสำคัญ" หรือ "ไม่มีนัยสำคัญ" ลบความแตกต่างที่การตัดสินใจให้ทุนต้องการ
10. จัดงบสำหรับการประเมินเป็นสัดส่วนคงที่ของต้นทุนโครงการในขั้นออกแบบ ไม่ใช่สิ่งที่เหลือ โครงการที่ใหญ่พอจะสำคัญต่อคุณค่าสาธารณะมักใหญ่พอจะให้ทุนการประเมินผลกระทบที่น่าเชื่อถือ และการถือการประเมินเป็นสิ่งที่ทำหรือไม่ทำก็ได้คือวิธีที่หลักฐานอ่อนกลายเป็นเรื่องปกติ
11. เผยแพร่ผลที่ไม่มีนัยและผลเชิงลบด้วยการมองเห็นเท่ากับผลเชิงบวก สภาพแวดล้อมการมอบหมายที่เผยแพร่เฉพาะการประเมินที่ประสบความสำเร็จสร้างอคติจากการคัดเลือกในฐานหลักฐานที่เผยแพร่เอง ทำให้การตัดสิน "อะไรได้ผล" ของทุกคนภายหลังเอนไปทางมองโลกในแง่ดี
12. ป้อนทุกการประเมินที่เสร็จสิ้นเข้าสู่ฐานหลักฐานที่กว้างกว่าที่ภาคส่วนของท่านดูแล ไม่ใช่เฉพาะคลังของท่านเอง การประเมินเดียว ไม่ว่าออกแบบดีเพียงใด เป็นจุดข้อมูลเดียว การสังเคราะห์อย่างเป็นระบบข้ามหลายการประเมินคือสิ่งที่เปลี่ยนข้อค้นพบของโครงการเป็นความรู้ที่ถ่ายโอนได้ (ดู หัวข้อ 2.6 — การสังเคราะห์หลักฐานและสิ่งที่ได้ผล)

คำถามที่ควรหารือกับทีมของท่าน

ข้อเท็จจริงสมมติตรงข้ามที่เรากำลังเปรียบเทียบโครงการนี้อยู่จริงคืออะไร และเราพูดออกมาดัง ๆ แล้วหรือยัง? ทุกข้ออ้างเรื่องผลกระทบนัยการเปรียบเทียบ แต่ทีมมักปล่อยให้เป็นนัย ปล่อยให้ "สิ่งนี้ได้ผล" ลื่นไถลระหว่าง "ดีกว่าไม่มีอะไร" "ดีกว่าที่เราทำก่อนหน้า" และ "ดีกว่าทางเลือกที่ดีที่สุดที่เราให้ทุนได้" ขอให้หัวหน้าฝ่ายประเมินระบุข้อเท็จจริงสมมติตรงข้ามเป็นประโยคเดียวในภาษาง่าย ๆ แล้วตรวจสอบว่าหลักฐานที่มีสนับสนุนข้ออ้างเกี่ยวกับการเปรียบเทียบเฉพาะนั้นจริงหรือไม่ หากข้อเท็จจริงสมมติตรงข้ามที่ซื่อตรงคือ "เราไม่รู้ว่าจะเกิดอะไรขึ้นหากไม่มีโครงการ" ให้ถือข้ออ้างผลกระทบปัจจุบันเป็นสมมติฐาน ไม่ใช่ข้อค้นพบ และหารือว่าต้องทำอะไรเพื่อปิดช่องว่างนั้น

คนหรือสถานที่ที่รับโครงการนี้อาจต่างจากที่ไม่รับอย่างเป็นระบบในแบบที่ส่งผลต่อผลลัพธ์ด้วยหรือไม่? นี่คือคำถามอคติจากการคัดเลือก และสมควรถามแม้ว่า โดยเฉพาะเมื่อ คำตอบดูเหมือน "ไม่" อย่างชัดเจน แรงจูงใจ สถานการณ์เดิม ขีดความสามารถท้องถิ่น และรูปแบบการส่งต่อโดยบุคลากรเป็นแหล่งความแตกต่างที่ซ่อนอยู่ทั่วไปที่ผลิตค่าประมาณผลกระทบที่ทำให้เข้าใจผิดแม้ด้วยตัวอย่างใหญ่และดูระมัดระวัง หากทีมอธิบายไม่ได้ว่าผู้เข้าร่วมมาอยู่ในโครงการอย่างไร ก็ตัดทิ้งไม่ได้ และช่องว่างนั้นควรกังวลท่านมากกว่าขนาดตัวอย่างที่เล็ก

การออกแบบการประเมินของเราสร้างไว้ในโครงการ หรือติดภายหลัง และมันทำให้เราเสียอะไร? การประเมินแบบสุ่ม การเปิดตัวแบบเหลื่อมเวลา หรือเกณฑ์คุณสมบัติที่ให้คะแนน ล้วนถูกกว่าและน่าเชื่อถือกว่ามากเมื่อวางแผนก่อนเปิดตัวมากกว่าสร้างใหม่จากข้อมูลทางการบริหารใดก็ตามที่รอดมา ถามว่าตัวเลือกการออกแบบการประเมินใดถูกพิจารณา ณ ขั้นออกแบบโครงการ และหากไม่มี ให้ถือเป็นช่องว่างกระบวนการที่ต้องปิดก่อนโครงการถัดไป ไม่ใช่เพียงข้อจำกัดของโครงการนี้ หารือว่าข้อมูลใดต้องมีตั้งแต่วันแรกเพื่อให้โครงการสำคัญถัดไปรองรับค่าประมาณเชิงเหตุผลที่น่าเชื่อถือ

ตัวอย่างของเราใหญ่พอจะตรวจพบผลที่คุ้มรู้หรือไม่ และเราจะจำการค้นพบ "ไม่มีผล" ที่อำนาจต่ำได้หรือไม่หากเจอ? การประเมินที่รายงานว่าไม่มีผลที่มีนัยสำคัญทางสถิติบางครั้งบอกท่านอย่างถูกต้องว่าโครงการไม่ได้ผล และบางครั้งบอกเพียงว่าการประเมินเล็กเกินกว่าจะเห็นผลที่มีอยู่จริง ขอให้นักวิเคราะห์ระบุขนาดผลต่ำสุดที่การประเมินมีอำนาจตรวจพบ และเทียบกับขนาดผลที่จะคุ้มต้นทุนของโครงการจริง หากสองตัวเลขห่างกันมาก การค้นพบ "ไม่มีผล" อาจไม่ให้ข้อมูลมากกว่าประณาม และทีมควรบอกอย่างชัดเจนแทนที่จะปล่อยให้ความเงียบถูกอ่านเป็นความล้มเหลว

ใครได้ประโยชน์ ทางวิชาชีพหรือชื่อเสียง หากการประเมินนี้ออกมาเป็นบวก และสิ่งนั้นเปลี่ยนว่าต้องการการตรวจสอบอิสระมากเท่าใดหรือไม่? นี่ไม่ใช่การกล่าวหาว่าไม่ซื่อสัตย์ แต่เป็นการตระหนักว่าผู้ที่ออกแบบหรือส่งมอบโครงการมีแนวโน้มเชิงโครงสร้างมากกว่าที่จะตีความผลที่คลุมเครืออย่างให้อภัย มักโดยไม่รู้ตัวว่ากำลังทำ หารือว่าการประเมินถูกมอบหมาย วิเคราะห์ หรือทบทวนโดยใครที่อิสระจากทีมส่งมอบหรือไม่ และหากไม่ ไฟร์วอลล์ที่สมสัดส่วนสำหรับโครงการขนาดนี้จะเป็นอย่างไร เป้าหมายคือผลที่ผู้ให้ทุนที่สงสัยที่สุดของท่านก็ไว้วางใจ ไม่ใช่เพียงผลที่ทีมของท่านสบายใจที่จะปกป้อง

หากการค้นพบของการประเมินนี้แข็งแรง เราจะทำอะไรต่างออกไปจริง และเราพร้อมจะทำหรือไม่? การประเมินที่มอบหมายแต่ไม่เคยตั้งใจเปลี่ยนการตัดสินใจคือต้นทุนจมที่แต่งเป็นความรอบคอบ และควรระบุความเสี่ยงนั้นก่อนผลมาถึงแทนหลัง หารือล่วงหน้าว่าการค้นพบเชิงบวกที่แข็งแรงจะสมเหตุสมผลกับอะไร (การขยาย และเท่าไร) และการค้นพบที่ไม่มีนัยหรือเชิงลบจะกระตุ้นอะไร (การออกแบบใหม่ หรือการยกเลิก และตามกรอบเวลาใด) หากไม่มีใครในห้องตอบได้ก่อนเห็นผล การประเมินอาจกำลังทำหน้าที่ความชอบธรรมมากกว่าหน้าที่การตัดสินใจ และควรซื่อตรงเรื่องนั้น (ดู หัวข้อ 2.1 — ตารางคะแนนคุณค่าสาธารณะและกรอบผลลัพธ์)

ในทางปฏิบัติ: ตัวอย่างคุณค่าสาธารณะ

ภาพประกอบสมมติ กระทรวงบริการจ้างงานของประเทศขนาดกลางที่ไม่ระบุชื่อดำเนินโครงการนำร่องหนึ่งปีของบริการโค้ชเข้มข้นสำหรับผู้หางานที่ว่างงานระยะยาว ควบคู่กับบริการมาตรฐานที่มีอยู่ เมื่อสิ้นสุดโครงการนำร่อง รายงานภายในเปรียบเทียบกลุ่มที่ได้รับการโค้ชเข้มข้นกับทุกคนที่ออกจากการว่างงานในช่วงเดียวกัน กลุ่มที่ได้รับการโค้ชมีอัตราการได้งาน 38 เปอร์เซ็นต์ภายในหกเดือน เทียบกับ 24 เปอร์เซ็นต์ของผู้ที่เหลือในกลุ่มที่ดูแล รัฐมนตรีได้รับแจ้งว่าโครงการ "ได้ผล" และข้อเสนอเชิงธุรกิจเดินหน้าไปสู่การขยายระดับชาติ

ก่อนลงนามเงินทุน คณะกรรมการการเงินถามคำถามตรงไปตรงมา ผู้หางานมาอยู่ในกลุ่มที่ได้รับการโค้ชตั้งแต่แรกได้อย่างไร คำตอบกลับสำคัญมาก เจ้าหน้าที่ดูแลกรณีส่งต่อผู้หางานที่ตนตัดสินว่า "น่าจะได้ประโยชน์มากที่สุด" เข้าสู่โครงการโค้ช การคัดกรองด้วยเจตนาดีที่ในผลคือเลือกกลุ่มที่พร้อมทำงานมากกว่าเข้าสู่การดูแลตั้งแต่ต้น การเปรียบเทียบ 38 เปอร์เซ็นต์กับ 24 เปอร์เซ็นต์ถูกปนเปื้อนด้วยอคติจากการคัดเลือกที่หัวข้อนี้เตือนไว้พอดี เป็นไปได้เต็มที่ที่กลุ่มที่ได้รับการโค้ชจะทำผลงานดีกว่ากลุ่มที่เหลือแม้ไม่มีการโค้ชเลย

แทนที่จะอนุมัติหรือปฏิเสธการขยายบนการเปรียบเทียบนั้น หน่วยประเมินของกระทรวงเสนอระยะที่สองโดยใช้การจับสลาก ความต้องการบริการโค้ชเกินจำนวนที่นั่งอยู่แล้ว หน่วยจึงจัดสรรที่นั่งโดยสุ่มในหมู่ผู้สมัครที่มีคุณสมบัติเท่ากัน และเปรียบเทียบอัตราการได้งานระหว่างผู้ชนะสลากกับผู้แพ้สลาก เป็นการประยุกต์ตรรกะการประเมินแบบสุ่มโดยไม่ต้องกันบริการไว้จากใครที่ไม่ได้รับอยู่แล้ว สิบสองเดือนต่อมา การเปรียบเทียบด้วยการจับสลากแสดงผลที่เล็กกว่าแต่เป็นจริง การปรับปรุงการได้งานหกเดือน 9 จุดเปอร์เซ็นต์ ไม่ใช่ช่องว่าง 14 จุดที่การเปรียบเทียบเดิมบ่งชี้ กระทรวงใช้ค่าประมาณจากการจับสลาก ควบคู่กับข้อมูลต้นทุนของตน เพื่อสร้างข้อเสนอต้นทุน-ประสิทธิผลที่ปกป้องได้ (ดู หัวข้อ 2.2 — การวิเคราะห์ต้นทุน-ผลประโยชน์ทางสังคมและต้นทุน-ประสิทธิผล) สำหรับการขยายที่ถูกจำกัดด้วยทรัพยากรแต่ได้ผล แทนที่จะเป็นการขยายที่ใหญ่กว่าและส่งมอบไม่ได้ซึ่งการเปรียบเทียบเริ่มต้นที่บกพร่องจะอ้างเหตุผลให้

มุมมองสี่ภาคส่วน

รัฐบาลท้องถิ่น

หน่วยงานท้องถิ่นโดยทั่วไปดำเนินโครงการขนาดเล็กและขนาดกลางจำนวนมากแทนที่จะเป็นโครงการใหญ่มากไม่กี่โครงการ ซึ่งทำให้การประเมินแบบสุ่มที่สร้างเป็นพิเศษแพงเมื่อเทียบกับขนาดโครงการ และผลักผู้ประเมินท้องถิ่นไปสู่วิธีกึ่งทดลองที่ใช้ข้อมูลทางการบริหารที่เก็บอยู่แล้วซ้ำ ผลต่างของผลต่างข้ามพื้นที่บริการที่นำการเปลี่ยนแปลงมาใช้ต่างเวลากัน หรือการออกแบบความไม่ต่อเนื่องเชิงถดถอยรอบเกณฑ์คุณสมบัติท้องถิ่น ความแตกต่างของเขตแดนและเขตอำนาจที่เป็นที่น่ารำคาญที่อื่นมักเป็นการทดลองตามธรรมชาติที่ดีที่สุดของผู้ประเมินท้องถิ่น เพราะสองเขตหรืออำเภอข้างเคียงอาจต่างนโยบายขณะยังคล้ายกันในเกือบทุกอย่างอื่น

รัฐบาลระดับชาติ

รัฐบาลระดับชาติมีขนาดที่จะให้ทุนการประเมินแบบสุ่มที่สร้างเป็นพิเศษ และมีชุดข้อมูลทางการบริหาร มักเชื่อมโยงข้ามบันทึกภาษี สวัสดิการ สุขภาพ และการศึกษา เพื่อดำเนินการออกแบบกึ่งทดลองที่น่าเชื่อถือด้วยต้นทุนส่วนเพิ่มต่ำ ขนาดนี้ยังเป็นที่ที่หน่วยงานเฉพาะกิจการประเมิน "อะไรได้ผล" และแนวทางการประเมินที่ส่วนกลาง เช่น คู่มือการประเมินมาตรฐานของกระทรวงการคลัง มักตั้งอยู่ เพราะมีเพียงรัฐบาลระดับชาติที่ปกป้องต้นทุนคงที่ของการรักษาโครงสร้างพื้นฐานการประเมินถาวรและมาตรฐานเชิงวิธีวิทยาร่วมข้ามหลายกระทรวงได้

ภาคสังคมและองค์กรไม่แสวงหากำไร

องค์กรไม่แสวงหากำไรและองค์กรพัฒนาเอกชนแทบไม่มีขนาดตัวอย่างหรืองบที่การประเมินแบบสุ่มที่มีอำนาจดีต้องการ และโครงการของพวกเขามักเปลี่ยนแบบปรับตัวตามสิ่งที่บุคลากรแนวหน้าสังเกต ซึ่งทำให้การออกแบบใดที่สมมติการดูแลที่มั่นคงและนิยามชัดเจนซับซ้อน ความร่วมมือกับกลุ่มวิจัยวิชาการหรือคนกลางการประเมินเฉพาะทาง แบบที่เติบโตรอบขบวนการประเมินแบบสุ่มในการพัฒนาระหว่างประเทศ มักเป็นเส้นทางเดียวที่เป็นจริงสู่ค่าประมาณเชิงเหตุผลที่เข้มงวด และผู้ให้ทุนขอการเป็นหุ้นส่วนภายนอกลักษณะนี้มากขึ้นก่อนผูกมัดทุนหลายปี

ระดับพหุภาคีและระหว่างประเทศ

องค์กรพหุภาคีให้ทุนโครงการข้ามหลายประเทศที่มีระบบข้อมูล ขีดความสามารถทางการบริหาร และบรรทัดฐานการทบทวนจริยธรรมต่างกัน ซึ่งทำให้วิธีเชิงเหตุผลมาตรฐานใช้ได้สม่ำเสมอยากกว่าแต่ก็สร้างความแปรผันข้ามประเทศตามธรรมชาติที่ตัวมันเองกลายเป็นการทดลองตามธรรมชาติได้เมื่อนโยบายถูกนำมาใช้ในบางรัฐสมาชิกก่อนรัฐอื่น การประเมินแบบสุ่มในเศรษฐศาสตร์การพัฒนามีอิทธิพลเป็นพิเศษในระดับนี้ ผลิตหลักฐานที่หล่อหลอมวิธีจัดสรรเงินทุนพัฒนาระหว่างประเทศ แต่ก็มีความเสี่ยงที่บันทึกไว้ของความล้มเหลวด้านความตรงภายนอก ผลที่ใช้ได้ในประเทศและบริบทที่ศึกษาไม่ถ่ายโอนไปยังบริบทอื่นโดยอัตโนมัติ ข้อแม้ที่การออกแบบโครงการพหุภาคีมักมองข้ามเกินไป

รูปแบบความล้มเหลวที่พบบ่อย

การเปรียบเทียบก่อน-หลังอย่างไร้เดียงสา โครงการถูกตัดสินเพียงด้วยการเปรียบเทียบผลลัพธ์ก่อนเริ่มกับหลัง โดยไม่มีกลุ่มเปรียบเทียบเลย แนวโน้มใดที่กำลังดำเนินอยู่แล้ว การฟื้นตัวทางเศรษฐกิจ การเปลี่ยนแปลงทางประชากร การเปลี่ยนนโยบายแยกต่างหาก จึงถูกระบุผิดว่าเป็นของโครงการ ต้นทุนคือเรื่องเล่าเชิงเหตุผลที่มั่นใจซึ่งสร้างบนการออกแบบที่แยกผลของโครงการออกจากทุกอย่างอื่นที่เกิดขึ้นในเวลาเดียวกันไม่ได้จริง

อคติจากการคัดเลือกที่ถูกเข้าใจผิดเป็นผลของโครงการ ผู้เข้าร่วมที่เลือกเข้ามาเอง หรือถูกส่งต่อเข้ามาเพราะดูมีแนวโน้มสำเร็จ ถูกเปรียบเทียบกับทุกคนที่เหลือ ผลิตค่าประมาณผลกระทบที่จริง ๆ แล้วเป็นการวัดว่าโครงการดึงดูดใคร ไม่ใช่สิ่งที่มันทำต่อพวกเขา ต้นทุนคือโครงการที่ขยายแล้วดูได้ผลน้อยลง บางครั้งมาก เมื่อไปถึงประชากรที่เลือกตนเองน้อยกว่า

การประเมินที่อำนาจต่ำรายงานเป็นการค้นพบไม่มีผล โครงการนำร่องขนาดเล็กพบ "ไม่มีผลที่มีนัยสำคัญทางสถิติ" และถูกอ่านเป็นหลักฐานว่าโครงการไม่ได้ผล ทั้งที่ตัวอย่างเล็กเกินกว่าจะตรวจพบผลขนาดที่จะสำคัญ ต้นทุนเดินสองทาง โครงการที่ได้ผลจริงอาจถูกยกเลิกบนหลักฐานที่ไม่เคยสามารถแสดงว่ามันได้ผล หรือทรัพยากรย้ายไปให้ทุนการทดลองที่ใหญ่กว่าซึ่งไม่ต้องจำเป็นหากบันทึกเดิมถูกกำหนดอำนาจอย่างถูกต้อง

การขยายค่าประมาณท้องถิ่นเกินบริบท การออกแบบความไม่ต่อเนื่องเชิงถดถอยประมาณผลสำหรับหน่วยใกล้เกณฑ์คุณสมบัติได้ถูกต้อง และค่าประมาณตัวแปรเครื่องมือประมาณผลสำหรับหน่วยที่เครื่องมือเปลี่ยนสถานะการรับการดูแลได้ถูกต้อง แต่ทั้งสองข้อค้นพบถูกนำไปใช้กับประชากรทั้งหมดราวกับค่าประมาณใช้ได้ทุกที่ ต้นทุนคือนโยบายที่ขยายบนตัวเลขที่จริงเพียงเฉพาะที่

การประเมินเป็นการแสดง การประเมินถูกมอบหมายเพื่อสร้างภาพของการตัดสินใจบนหลักฐาน แต่การตัดสินใจถูกทำไปแล้วโดยปริยาย และไม่มีข้อค้นพบที่เป็นไปได้ใดจะเปลี่ยนมัน ต้นทุนคืองบประเมินที่เสียเปล่า และที่กัดกร่อนกว่านั้น คือการสึกกร่อนอย่างช้า ๆ ของความไว้วางใจในการประเมินเองเมื่อบุคลากรสังเกตว่าผลไม่เคยเปลี่ยนผลลัพธ์

แบบจำลองวุฒิภาวะ

รายการตรวจสอบ

• ระบุข้อเท็จจริงสมมติตรงข้ามสำหรับแต่ละการประเมินโครงการสำคัญเป็นประโยคภาษาง่ายเดียว
• ยืนยันว่าผู้เข้าร่วมมาอยู่ในกลุ่มรับการดูแลได้อย่างไร และประเมินว่ากระบวนการนั้นอธิบายความแตกต่างของผลลัพธ์ได้เองหรือไม่
• เลือกวิธีประเมิน (การประเมินแบบสุ่ม ผลต่างของผลต่าง การออกแบบความไม่ต่อเนื่องเชิงถดถอย ตัวแปรเครื่องมือ หรือการทดลองตามธรรมชาติ) ให้ตรงกับกฎการกำหนดโครงการจริง ก่อนการส่งมอบเริ่มทุกที่ที่เป็นไปได้
• คำนวณอำนาจทางสถิติที่ต้องการเพื่อตรวจพบผลขนาดเล็กที่สุดที่คุ้มต้นทุนโครงการ
• ลงทะเบียนมาตรวัดผลลัพธ์และแผนการวิเคราะห์ล่วงหน้าก่อนเห็นผล
• รายงานความเปรียบเทียบได้ของกลุ่มรับการดูแลและกลุ่มเปรียบเทียบควบคู่กับผลหลัก
• มอบหมายหรือทบทวนการประเมินผ่านฟังก์ชันที่อิสระจากทีมส่งมอบ
• แยกนัยสำคัญทางสถิติออกจากนัยสำคัญเชิงการคลังและเชิงปฏิบัติในทุกรายงานต่อผู้ตัดสินใจ
• จัดงบสำหรับการประเมินเป็นสัดส่วนคงที่ของต้นทุนโครงการในขั้นออกแบบ
• เผยแพร่ข้อค้นพบที่ไม่มีนัยและเชิงลบด้วยการมองเห็นเท่ากับที่ให้ข้อค้นพบเชิงบวก
• ตรวจสอบว่าค่าประมาณท้องถิ่นเชิงบวก (จากการออกแบบความไม่ต่อเนื่องเชิงถดถอยหรือตัวแปรเครื่องมือ) ถูกขยายเกินประชากรที่มันครอบคลุมจริงหรือไม่
• นำการประเมินที่เสร็จสิ้นเข้าสู่ฐานหลักฐานที่กว้างกว่าที่ภาคส่วนของท่านดูแล ไม่ใช่เฉพาะคลังของท่านเอง

แหล่งข้อมูลสำคัญ

แกนวิธีวิทยาของหัวข้อนี้อาศัยประเพณีเศรษฐมิติประยุกต์ที่เกี่ยวข้องกับ Joshua D. Angrist และ Jörn-Steffen Pischke และกรอบผลลัพธ์ที่เป็นไปได้ที่ Donald Rubin ทำให้เป็นทางการ ขบวนการประเมินแบบสุ่มในนโยบายสาธารณะและเศรษฐศาสตร์การพัฒนา ซึ่งเกี่ยวข้องกับ Abdul Latif Jameel Poverty Action Lab (J-PAL) และเครือข่ายวิชาการของมัน ให้แนวปฏิบัติประยุกต์ส่วนใหญ่ที่อ้างถึงในมุมมองรายภาคส่วน มาตรฐานการประเมินของรัฐบาลอาศัยแนวทาง Magenta Book ของกระทรวงการคลังสหราชอาณาจักร และแนวปฏิบัติการสังเคราะห์หลักฐานอาศัยมาตรฐานของ Campbell Collaboration สำหรับการทบทวนอย่างเป็นระบบในนโยบายสังคม (ดู หัวข้อ 2.6 — การสังเคราะห์หลักฐานและสิ่งที่ได้ผล)

เอกสารอ้างอิง

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network