การสังเคราะห์หลักฐานและสิ่งที่ได้ผล

ทำไมสิ่งนี้จึงสำคัญต่อคุณค่าสาธารณะ

รัฐมนตรี นายกเทศมนตรี หรือผู้อำนวยการโครงการขององค์กรการกุศลแทบไม่มีความหรูหราของการศึกษาเดียวที่สะอาดให้ลงมือตาม บ่อยกว่านั้นบนโต๊ะมีการประเมินสามฉบับที่ไม่ตรงกัน การทบทวนวรรณกรรมที่อ้างอิงอย่างเลือกสรร กลุ่มผลักดันที่โบกการทดลองเดียวที่เหมาะกับกรณีของตน และกำหนดเวลาที่ตั้งโดยรอบงบประมาณแทนจังหวะของงานวิจัย การสังเคราะห์หลักฐานมีอยู่เพราะการศึกษาแต่ละชิ้นมีสัญญาณรบกวน ขนาดตัวอย่างเล็ก บริบทต่างกัน และผลใดผลหนึ่งอาจเป็นเรื่องบังเอิญ ความเหมาะเฉพาะที่ที่จะไม่เดินทาง หรือผลที่แท้จริง คำถามที่ผู้นำต้องการคำตอบแทบไม่ใช่ "การศึกษาเดียวนี้พบอะไร" แต่ "ในทุกสิ่งที่น่าเชื่อถือที่เคยลอง ฉันควรคาดหวังอะไรหากทำสิ่งนี้ที่นี่ ตอนนี้"

ทฤษฎีคุณค่าสาธารณะทำให้เรื่องนี้เป็นมากกว่าความละเอียดทางเทคนิค โครงการที่ได้รับทุนด้วยทรัพยากรร่วมตั้งอยู่บนข้อเสนอคุณค่าที่พลเมืองโดยรวมจะอนุญาต (ดู หัวข้อ 2.1 — ตารางคะแนนคุณค่าสาธารณะและกรอบผลลัพธ์ สำหรับวิธีที่ข้อเสนอนั้นถูกระบุและติดตาม) ข้อเสนอที่สร้างบนการศึกษาเดียวที่เลือกมาอย่างเลือกสรร หรือบนการไม่ทบทวนหลักฐานเลย เป็นข้ออ้างต่อความชอบธรรมที่อ่อนกว่าข้อเสนอที่สร้างบนการสังเคราะห์อย่างระมัดระวัง และเป็นฐานที่อ่อนกว่าของขีดความสามารถเชิงปฏิบัติการ เพราะบุคลากรและงบประมาณถูกผูกพันบนกำลังของมัน ขบวนการ "อะไรได้ผล" ซึ่งคือเครือข่ายของหน่วยงานอิสระที่จัดอันดับคุณภาพและความแข็งแรงของหลักฐานนโยบาย เติบโตโดยตรงจากปัญหานี้ การตัดสินใจสาธารณะจำนวนมากเกินไปทำบนการศึกษาที่เสียงดังที่สุดมากกว่าที่ได้รับการสนับสนุนดีที่สุด

ปัญหาที่ยากกว่าที่หัวข้อนี้ตอบคือผู้นำทำอย่างไรเมื่อการสังเคราะห์เองไม่ชี้ขาด ถูกโต้แย้ง หรือไม่มีทันเวลา ลำดับชั้นของหลักฐานสร้างขึ้นเพื่อนำความเป็นระเบียบมาสู่ฐานหลักฐานที่ยุ่งเหยิง แต่หากใช้อย่างไม่ระมัดระวัง "หลักฐานยังไม่แข็งแรงพอ" กลายเป็นข้ออ้างถาวรเพื่อหลีกเลี่ยงการตัดสินใจที่ความเป็นจริงจะไม่รอจริง ผู้นำที่เข้าใจว่าการสังเคราะห์ทำงานอย่างไรและขีดจำกัดอยู่ตรงไหนสามารถแยกความไม่แน่นอนที่แท้จริงซึ่งสมควรระมัดระวังออกจากลำดับชั้นที่ถูกใช้เป็นที่กำบังของการไม่ลงมือ

หัวข้อนี้เป็นภาคต่อตามธรรมชาติของวิธีการอนุมานเชิงเหตุผลที่การสังเคราะห์อาศัย (ดู หัวข้อ 2.4 — เศรษฐมิติภาครัฐและการประเมินโครงการ) และอยู่เคียงกับ ไม่ใช่แทนที่ กรอบผลลัพธ์ที่การสังเคราะห์ท้ายที่สุดรับใช้ (ดู หัวข้อ 2.1 — ตารางคะแนนคุณค่าสาธารณะและกรอบผลลัพธ์) ผู้นำที่อ่านการทบทวนอย่างเป็นระบบได้ เข้าใจการจัดอันดับ "อะไรได้ผล" และใช้เหตุผลอย่างชัดเจนเกี่ยวกับหลักฐานที่ไม่มีเทียบกับหลักฐานเชิงลบ ตัดสินใจสดได้ดีกว่าผู้ที่ทำได้เพียงเรียกร้อง "หลักฐานมากกว่านี้" หรือยอมรับการศึกษาแรกที่ถูกยื่นให้

แนวคิดหลัก

การทบทวนอย่างเป็นระบบ (systematic review) คือการสังเคราะห์หลักฐานเกี่ยวกับคำถามที่กำหนดโดยใช้วิธีที่ชัดแจ้ง กำหนดล่วงหน้า และทำซ้ำได้ในการค้นหา ประเมิน และรวมการศึกษา ต่างจากการทบทวนวรรณกรรมเชิงเล่าเรื่องที่เลือกแหล่งตามดุลพินิจของผู้เขียน (ดูการทบทวนอย่างเป็นระบบ) ลักษณะเฉพาะของมันคือโปรโตคอลที่ลงทะเบียนซึ่งเขียนก่อนเริ่มค้นหา กลยุทธ์การค้นหาที่รวมวรรณกรรมที่ไม่ได้ตีพิมพ์และวรรณกรรมเทา เกณฑ์การรวมที่ชัดแจ้ง และวิธีมาตรฐานในการประเมินความเสี่ยงอคติของแต่ละการศึกษา นี่คือสิ่งที่แยกการทบทวนอย่างเป็นระบบออกจากเรียงความที่เขียนดีพร้อมเชิงอรรถ ทีมอื่นที่ทำตามโปรโตคอลเดียวกันจะพบหลักฐานคล้ายกันกว้าง ๆ และได้ข้อสรุปคล้ายกันกว้าง ๆ

อภิมานวิเคราะห์ (meta-analysis) คือเทคนิคทางสถิติที่มักจับคู่กับการทบทวนอย่างเป็นระบบ โดยรวมขนาดผลเชิงปริมาณจากหลายการศึกษาอิสระเป็นค่าประมาณเดียวที่แม่นยำขึ้น โดยทั่วไปถ่วงน้ำหนักแต่ละการศึกษาตามขนาดตัวอย่างและคุณภาพ (ดูอภิมานวิเคราะห์) อภิมานวิเคราะห์ดีเท่าการศึกษาที่ป้อนเข้ามา การรวมห้าการศึกษาที่อ่อนผลิตค่าประมาณที่แม่นยำขึ้นของผลที่อาจเอนเอียง ไม่ใช่ที่เชื่อถือได้ นักวิเคราะห์จึงรายงานความหลากหลายของผล (heterogeneity) คือผลการศึกษาแปรผันเกินกว่าที่โอกาสจะคาดมากเพียงใด เพราะความหลากหลายสูงบ่งว่าการศึกษาไม่ได้ทดสอบสิ่งเดียวกันจริง และตัวเลขรวมเดียวอาจทำให้เข้าใจผิด

อคติจากการตีพิมพ์ (publication bias) คือแนวโน้มที่การศึกษาที่มีผลบวกและมีนัยสำคัญถูกตีพิมพ์ขณะที่ผลที่ไม่มีนัยหรือเชิงลบนอนอยู่ในลิ้นชักของนักวิจัย ทำให้การแทรกแซงดูมีประสิทธิผลสม่ำเสมอในวรรณกรรมมากกว่าที่เป็นจริง (ดูอคติจากการตีพิมพ์) การทบทวนที่เข้มงวดแก้ไขโดยค้นทะเบียนการทดลองและการประเมินที่ไม่ได้ตีพิมพ์ ไม่ใช่เพียงบทความวารสาร ผู้นำที่อ่านการสังเคราะห์ที่สร้างบนบทความที่ตีพิมพ์เท่านั้นควรถามว่าผู้ทบทวนทำอะไรเพื่อหาการศึกษาที่ไม่เคยเข้าสู่สิ่งพิมพ์

ลำดับชั้นของหลักฐาน (hierarchy of evidence) จัดอันดับการออกแบบการศึกษาตามความสามารถในการควบคุมตัวแปรกวนและอคติ โดยทั่วไปวางอภิมานวิเคราะห์ของการทดลองแบบสุ่มไว้บนสุด การทดลองแบบสุ่มมีกลุ่มควบคุมรายการถัดมา แล้วการออกแบบกึ่งทดลองและการสังเกต และความเห็นผู้เชี่ยวชาญไว้ล่างสุด (ดูลำดับชั้นของหลักฐาน) การทดลองแบบสุ่มมีกลุ่มควบคุมจัดสรรผู้เข้าร่วมเข้าสู่กลุ่มแทรกแซงหรือกลุ่มเปรียบเทียบโดยโอกาส เครื่องมือที่ทรงพลังที่สุดข้อเดียวในการแยกผลเชิงเหตุผลออกจากทุกอย่างอื่นรอบตัว (ดูการทดลองแบบสุ่มมีกลุ่มควบคุม และ หัวข้อ 2.4 — เศรษฐมิติภาครัฐและการประเมินโครงการ สำหรับวิธีสร้างและวิเคราะห์การออกแบบเช่นนั้น) ลำดับชั้นเป็นหลักปฏิบัติที่มีประโยชน์จริง แต่เป็นหลักปฏิบัติ ไม่ใช่กฎหมาย การศึกษาเชิงสังเกตที่ทำดีของนโยบายที่หายากหรือเคลื่อนช้าอาจเหนือกว่าการทดลองที่ทำไม่ดีและมีอำนาจต่ำ และผู้นำที่ถือลำดับชั้นเป็นการจัดอันดับสัมบูรณ์จะบางครั้งทิ้งหลักฐานที่เกี่ยวข้องกว่าเพื่อการออกแบบที่มีเกียรติกว่า

แนวทาง GRADE (Grading of Recommendations, Assessment, Development and Evaluations) ทำให้การตัดสินข้อที่สองที่แยกต่างหาก ซึ่งลำดับชั้นเพียงอย่างเดียวไม่ได้ทำ เป็นทางการ คือจัดอันดับทั้งความแน่นอนของหลักฐานและ อย่างอิสระ ความแข็งแรงของข้อเสนอแนะให้ลงมือตามมัน เพราะหลักฐานที่แข็งแรงไม่ได้ชอบธรรมข้อเสนอแนะที่แข็งแรงเสมอไป และหลักฐานที่อ่อนไม่ได้ชอบธรรมการไม่ทำอะไรเสมอไปเมื่อเทียบกับอันตรายที่รุนแรงและเร่งด่วน (ดูแนวทาง GRADE) การแยกนี้เป็นความคิดที่มีประโยชน์ที่สุดข้อเดียวในหัวข้อนี้สำหรับผู้ตัดสินใจที่มีเวลาจำกัด มันให้ผู้นำพูดได้อย่างซื่อตรงว่า "หลักฐานที่นี่อยู่ในระดับปานกลาง และด้วยเดิมพันและต้นทุนของการรอ ฉันแนะนำให้เราดำเนินการ" ซึ่งเป็นวิจารณญาณที่ปกป้องได้และบันทึกไว้ แทนทางเลือกเท็จระหว่างการรอความแน่นอนกับการเพิกเฉยหลักฐานโดยสิ้นเชิง

ความแตกต่างที่เกิดซ้ำตลอดในการโต้แย้งนโยบายสดคือระหว่างการไม่มีหลักฐานกับหลักฐานของการไม่มี การขาดการศึกษาเกี่ยวกับผลของการแทรกแซง ("ไม่มีหลักฐานของผล") ไม่ใช่ข้ออ้างเดียวกับกองการศึกษาที่มีอำนาจดีที่พบอย่างเป็นบวกว่าไม่มีผล ("หลักฐานของการไม่มีผล") (ดูหลักฐานของการไม่มี) โครงการท้องถิ่นใหม่ที่ยังไม่มีการประเมินเพียงแต่ยังไม่ถูกทดสอบ โครงการระดับชาติที่ศึกษาดีแล้วที่พบซ้ำแล้วซ้ำเล่าว่าไม่ขยับผลลัพธ์ใดถูกทดสอบและแสดงว่าไม่ได้ผล การสับสนทั้งสองเป็นข้อผิดพลาดที่ส่งผลมากที่สุดข้อหนึ่งที่ผู้นำภาครัฐทำได้ คือฆ่าโครงการนำร่องที่ยังไม่ถูกทดสอบแต่มีแนวโน้มราวกับว่ามันลองแล้วล้มเหลว หรือให้ทุนโครงการที่ถูกพิสูจน์ว่าผิดซ้ำ ๆ ต่อไปราวกับว่ายังไม่มีใครมองใกล้พอ

นโยบายบนฐานหลักฐาน (evidence-based policy) คือขบวนการที่กว้างกว่าและข้ออ้างเชิงบรรทัดฐานว่าการตัดสินใจสาธารณะควรตั้งอยู่บนหลักฐานที่สถาปนาอย่างเข้มงวดมากกว่าอุดมการณ์ เรื่องเล่า หรือสัญชาตญาณเพียงอย่างเดียว (ดูนโยบายบนฐานหลักฐาน) ผู้วิจารณ์ของมัน และผู้สนับสนุนเองเพิ่มขึ้น ชอบ "นโยบายที่ได้รับข้อมูลจากหลักฐาน" ซึ่งยอมรับว่าหลักฐานเป็นปัจจัยนำเข้าหนึ่งในหลายอย่าง ได้แก่ คุณค่า อาณัติ ต้นทุน และคำถามความชอบธรรมที่หนังสือเล่มนี้ถือเป็นรากฐาน แทนที่จะเป็นกฎการตัดสินใจเชิงกลไกที่หลักฐานเพียงอย่างเดียวยุติได้

จากขบวนการนี้เติบโต รูปแบบศูนย์ "อะไรได้ผล" หรือสำนักหักบัญชีหลักฐาน (what-works center or clearinghouse) หน่วยงานอิสระที่ทบทวนหลักฐานสำหรับการแทรกแซงในโดเมนนโยบายอย่างเป็นระบบและเผยแพร่การจัดอันดับที่เข้าถึงได้และเปรียบเทียบได้ แทนที่จะปล่อยให้ผู้มอบหมายบริการท้องถิ่นแต่ละรายทำการทบทวนของตน Cochrane บุกเบิกรูปแบบนี้ในการดูแลสุขภาพตั้งแต่ปี 1993 ดูแลคู่มือที่มีชีวิตของวิธีวิทยาการทบทวนอย่างเป็นระบบซึ่งใช้ไกลเกินการแพทย์ (ดูCochrane) Campbell Collaboration ขยายวิธีวิทยาเดียวกันไปสู่นโยบายสังคม ความยุติธรรมทางอาญา การศึกษา และการพัฒนาระหว่างประเทศ (ดูCampbell Collaboration) สำนักหักบัญชีระดับชาติตามมา What Works Clearinghouse ของสหรัฐอเมริกา ดำเนินการโดยสถาบันวิทยาศาสตร์การศึกษาตั้งแต่ปี 2002 ทบทวนงานวิจัยด้านการศึกษาเทียบกับมาตรฐานการออกแบบที่ชัดแจ้ง (ดูWhat Works Clearinghouse) Education Endowment Foundation ของอังกฤษเผยแพร่ชุดเครื่องมือ Teaching and Learning Toolkit ที่ใช้กันอย่างกว้างขวาง จัดอันดับการแทรกแซงในห้องเรียนตามต้นทุน ความแข็งแรงของหลักฐาน และผลกระทบโดยทั่วไปในรูปแบบเปรียบเทียบได้เดียว (ดูEducation Endowment Foundation) ศูนย์เทียบเท่ามีอยู่สำหรับการลดอาชญากรรม การแทรกแซงเร็ว การไร้ที่อยู่ และการสูงวัยอย่างดี ตระกูลนานาชาติเล็ก ๆ ที่สร้างบนวิธีเดียวกัน ได้แก่ การทบทวนอย่างเป็นระบบ การจัดอันดับที่โปร่งใส และบทสรุปสำหรับผู้ปฏิบัติที่ไม่ต้องใช้นักวิธีวิทยาอ่าน

แนวปฏิบัติที่ดี

1. ขอการสังเคราะห์ก่อนการศึกษาเดี่ยว เมื่อผลที่โดดเด่นมาถึงโต๊ะของท่าน ให้ถามก่อนว่ามีการทบทวนอย่างเป็นระบบหรือการจัดอันดับ "อะไรได้ผล" สำหรับการแทรกแซงนั้นอยู่แล้วหรือไม่ ไม่ใช่ว่าการศึกษาดูน่าเชื่อเมื่อแยกเดี่ยว
2. อ่านการทบทวนที่อยู่ข้างใต้ควบคู่กับการจัดอันดับชุดเครื่องมือใด ๆ ไม่ใช่แทน การจัดอันดับหนึ่งบรรทัดหรือไอคอนแม่กุญแจสรุปวิจารณญาณ ไม่ใช่สิ่งทดแทนการเข้าใจว่ามันตั้งอยู่บนหลักฐานใดและใช้โดยตรงกับบริบทของท่านเพียงใด
3. แยกคุณภาพของหลักฐานออกจากความแข็งแรงของข้อเสนอแนะของท่านอย่างชัดแจ้ง ยืมตรรกะ GRADE แม้อย่างไม่เป็นทางการ ระบุว่าหลักฐานแน่นอนเพียงใด แล้วระบุแยกต่างหากว่าความแน่นอนนั้น รวมกับเดิมพันและต้นทุน ชอบธรรมการลงมือเดี๋ยวนี้แข็งแรงเพียงใด
4. ระบุว่าท่านเผชิญ "ยังไม่มีหลักฐาน" หรือ "หลักฐานของการไม่มีผล" ก่อนตัดสินใจ ใส่ความแตกต่างนี้เป็นลายลักษณ์อักษรในทุกบันทึกหลักฐาน เพราะสองสถานการณ์สมควรการตอบสนองที่เกือบตรงข้ามกัน นำร่องอย่างระมัดระวังเทียบกับหยุดหรือออกแบบใหม่
5. ตรวจสอบความตรงกันระหว่างบริบทของการทบทวนกับของท่านก่อนสมมติว่าผลจะถ่ายโอน ขนาดผลที่รวมจากการศึกษาที่ทำที่อื่นเป็นค่าเฉลี่ย ไม่ใช่คำสัญญา ถามว่าอะไรปรับผลเดิมและตัวปรับเหล่านั้นมีอยู่ที่นี่หรือไม่
6. มอบหมายการประเมินหลักฐานอย่างรวดเร็วเมื่อการทบทวนอย่างเป็นระบบเต็มรูปแบบไม่พอดีกับกรอบเวลาของท่าน การทบทวนวรรณกรรมที่มีโครงสร้างและจำกัดเวลา ในหน่วยวันหรือสัปดาห์ ไม่ใช่เดือน เป็นเส้นทางกลางที่ชอบธรรมระหว่างการวิจัยปฐมภูมิใหม่กับการไม่ทบทวนเลย
7. เผยแพร่การประเมินของท่านเองไม่ว่าผลเป็นอย่างไร ผลที่ไม่มีนัยและเชิงลบมีค่าต่อการสังเคราะห์ถัดไปเท่ากับผลบวก การปกปิดทำให้อคติจากการตีพิมพ์ที่บ่อนทำลายทุกการทบทวนในอนาคตของสาขาท่านแย่ลง
8. สร้างความสัมพันธ์ถาวรกับศูนย์ "อะไรได้ผล" หรือสำนักหักบัญชีในโดเมนของท่านก่อนที่ท่านจะต้องการ การค้นหาชุดเครื่องมือของหน่วยสังเคราะห์เป็นครั้งแรกระหว่างวิกฤตสดช้ากว่ามากเมื่อเทียบกับการรู้แล้วว่ามันครอบคลุมอะไรและควรถามใครเกี่ยวกับช่องว่าง
9. กำหนดเกณฑ์หลักฐานของท่านก่อนผลมาถึง ไม่ใช่หลัง ตกลงล่วงหน้าว่าระดับหลักฐานใดจะชอบธรรมการขยาย นำร่องเพิ่มเติม หรือหยุด เพื่อลดแรงล่อใจที่จะตีความข้อค้นพบที่คลุมเครือใหม่ให้เข้ากับการตัดสินใจที่ทำไปแล้ว
10. จำกัดเวลาการค้นหาการศึกษาที่จะขจัดความสงสัยทั้งหมด การรอฐานหลักฐานที่สมบูรณ์และไม่คลุมเครือเป็นการตัดสินใจในตัวเอง โดยทั่วไปคือคงทำสิ่งที่ท่านทำอยู่แล้วต่อไป กำหนดเส้นตายที่เคารพทั้งต้นทุนของความล่าช้าและต้นทุนของการลงมือบนหลักฐานที่อ่อน
11. ถือการสังเคราะห์เป็นปัจจัยนำเข้าสู่ข้อเสนอคุณค่า ไม่ใช่สิ่งทดแทน การแทรกแซงที่ได้รับการสนับสนุนดีที่สุดไม่ใช่ตัวเลือกที่ถูกต้องโดยอัตโนมัติเมื่อชั่งต้นทุน ผลเชิงการกระจาย และความชอบธรรมควบคู่กัน (ดู หัวข้อ 2.1 — ตารางคะแนนคุณค่าสาธารณะและกรอบผลลัพธ์)
12. บันทึกว่าท่านพิจารณาหลักฐานใดและทำไมให้น้ำหนักอย่างที่ให้ บันทึกเป็นลายลักษณ์อักษรของการศึกษาที่ทบทวนและเหตุผลเบื้องหลังวิจารณญาณสุดท้ายปกป้องทั้งความชอบธรรมของการตัดสินใจและความสามารถของผู้ทบทวนคนถัดไปที่จะเรียนรู้จากมัน

คำถามที่ควรหารือกับทีมของท่าน

ครั้งล่าสุดที่เราเปลี่ยนการตัดสินใจสดเพราะการทบทวนอย่างเป็นระบบหรือการจัดอันดับ "อะไรได้ผล" ขัดแย้งกับสิ่งที่เราวางแผนจะทำอยู่แล้วคือเมื่อใด? หากคำตอบซื่อตรงคือ "ไม่เคย" สมควรนั่งอยู่กับมัน เพราะบ่งชี้ว่าการทบทวนหลักฐานอาจทำหน้าที่เป็นแบบฝึกหัดยืนยันมากกว่าการตรวจสอบจริง หารือการตัดสินใจล่าสุดที่ฐานหลักฐานปะปน และไล่ดูว่ามันหล่อหลอมทางเลือกจริง หรือถูกรวบรวมส่วนใหญ่เพื่อสนับสนุนข้อสรุปที่ได้มาก่อน พิจารณาว่าอะไรต้องเปลี่ยนในวิธีและเวลาที่หลักฐานไปถึงผู้ตัดสินใจ เพื่อให้มันมีอิทธิพลจริงแทนน้ำหนักเชิงสัญลักษณ์

เรากำลังถือ "ไม่มีหลักฐานของผล" ราวกับเป็น "หลักฐานของการไม่มีผล" หรือในทางกลับกันตรงไหนหรือไม่? ไล่ดูพอร์ตโฟลิโอโครงการปัจจุบันของท่านและระบุโครงการใดที่ท่านลดความสำคัญอย่างเงียบ ๆ เพราะ "หลักฐานไม่มี" และตรวจสอบว่านั่นหมายถึงยังไม่ถูกทดสอบจริงหรือถูกพิสูจน์ว่าผิดจริง ทำเช่นเดียวกันในทิศทางตรงข้าม โครงการใดที่ท่านยังให้ทุนเพราะ "ไม่มีใครแสดงว่ามันไม่ได้ผล" ทั้งที่จริงไม่มีใครมองเลย หารือว่าต้องทำอะไรเพื่อแก้ไขตัวอย่างที่ส่งผลมากที่สุดสองสามอย่าง และใครควรเป็นเจ้าของการแก้ไขนั้น

หากการตัดสินใจต้องการหลักฐานภายในวันศุกร์ เรามีกระบวนการประเมินหลักฐานอย่างรวดเร็วจริงหรือไม่ หรือจะประดิษฐ์ขึ้นภายใต้แรงกดดัน? แรงกดดันด้านเวลาไม่ใช่สมมติ มันคือเงื่อนไขปกติที่การตัดสินใจบนฐานหลักฐานจริงส่วนใหญ่ถูกทำ หารือว่าองค์กรของท่านมีวิธีถาวรหรือไม่ ทีมที่ระบุชื่อ แม่แบบ รายชื่อสั้นของศูนย์ "อะไรได้ผล" ที่ตรวจก่อน หรือทุกคำขอเร่งด่วนเริ่มจากหน้าว่าง หากเป็นอย่างหลัง หารือว่ากระบวนการประเมินอย่างรวดเร็วขั้นต่ำที่ใช้งานได้หน้าตาเป็นอย่างไรและใครจะเป็นเจ้าของ

เรากำลังใช้ลำดับชั้นหลักฐานของใคร และมันเหมาะกับเดิมพันและความย้อนกลับได้ของการตัดสินใจนี้หรือไม่? โดเมนต่างกันใช้มาตรฐานหลักฐานต่างกัน และลำดับชั้นที่ปรับเทียบสำหรับการตัดสินใจที่ย้อนกลับไม่ได้และเดิมพันสูงไม่ใช่เกณฑ์ที่ถูกต้องเสมอสำหรับโครงการนำร่องราคาถูกที่ย้อนกลับได้และติดตามง่าย หารือว่าองค์กรของท่านใช้มาตรฐานหลักฐานเดียวสม่ำเสมอโดยไม่คำนึงถึงเดิมพันหรือไม่ และสิ่งนั้นปกป้องท่านจากการตัดสินใจที่แย่ หรือเพียงชะลอการตัดสินใจที่ดี ตกลงร่วมกันในทีมว่ามาตรฐานใดควรต้องการสำหรับสามการตัดสินใจถัดไปในวาระของท่าน ก่อนที่ท่านจะรู้ว่าหลักฐานบอกอะไร

เราทำอะไรอย่างเป็นรูปธรรมเพื่อหยุดการประเมินของเราเองจากการหายเข้าลิ้นชักแฟ้ม? ทุกผลที่ไม่มีนัยที่ไม่ได้ตีพิมพ์ที่องค์กรของท่านนั่งทับเป็นช่องว่างที่องค์กรอื่นต้องค้นพบใหม่ด้วยวิธียาก หารือประวัติของท่านอย่างซื่อตรง ในสิบการประเมินล่าสุดของท่านมีกี่ฉบับที่ถูกแบ่งปันภายนอก และเกิดอะไรกับฉบับที่ไม่ถูกแบ่งปัน ตกลงพันธะที่เป็นรูปธรรมและมีทรัพยากร เช่น นโยบายการเผยแพร่ ทะเบียนร่วม แทนที่จะเป็นปณิธานทั่วไปที่จะโปร่งใสขึ้น

เรากำลังใช้วลี "เราต้องการหลักฐานมากกว่านี้" อย่างซื่อตรง หรือเป็นวิธีหลีกเลี่ยงการตัดสินใจที่เราไม่ต้องการทำ? นี่คือคำถามที่น่าอึดอัดที่สุดในหัวข้อนี้ และสมควรถามตรง ๆ ระบุการตัดสินใจเฉพาะที่ติดขัดอยู่บนเหตุผลด้านหลักฐานในปัจจุบัน และหารืออย่างตรงไปตรงมาว่าอะไรจะเปลี่ยนใจท่านจริง และหลักฐานที่ท่านรออยู่จะมาถึงทันเวลาอย่างเป็นจริงหรือไม่ หากไม่ หารือว่าการตัดสินใจอย่างซื่อตรงภายใต้ความไม่แน่นอนที่แท้จริงหน้าตาเป็นอย่างไรแทนการรอต่อไป และใครมีอำนาจทำ

ในทางปฏิบัติ: ตัวอย่างคุณค่าสาธารณะ

สำนักงานจัดหางานระดับภูมิภาค ซึ่งเป็นส่วนหนึ่งของกรมระดับชาติที่รับผิดชอบโครงการตลาดแรงงาน อยู่ภายใต้แรงกดดันให้ตัดสินใจภายในรอบงบประมาณเดียวว่าจะขยายโครงการนำร่องฝึกอบรมการจ้างงานจากสามเขตไปทั่วทั้งภูมิภาคหรือไม่ โครงการนำร่องผสมการจัดวางงานที่ได้รับเงินอุดหนุนกับการให้คำปรึกษาแบบมีโครงสร้าง และการทดลองแบบสุ่มของสำนักงานเองข้ามสามเขตนำร่องพบการเพิ่มขึ้นอย่างพอประมาณแต่มีนัยสำคัญทางสถิติในการจ้างงานที่ยั่งยืนที่ 12 เดือน แหล่งหลักฐานคู่แข่งทำให้ภาพซับซ้อน การทบทวนอย่างเป็นระบบที่เผยแพร่เมื่อปีก่อน รวมเก้าโครงการคล้ายกันข้ามหลายประเทศ พบผลเฉลี่ยใกล้ศูนย์ โดยมีความแปรผันกว้างระหว่างการศึกษาและไม่มีรูปแบบที่ชัดเจนอธิบายว่าโครงการใดได้ผล

หน่วยหลักฐานของสำนักงานมีหกสัปดาห์ก่อนกำหนดเสนอของบประมาณเพื่อประสานสองข้อค้นพบ สัญชาตญาณแรกของนักวิเคราะห์รุ่นน้องคือถือการทบทวนที่รวมว่าเป็นที่น่าเชื่อถือกว่าเพียงเพราะรวมการศึกษามากกว่า และแนะนำให้ยกเลิกโครงการนำร่อง ที่ปรึกษาหลักฐานหัวหน้าของหน่วยคัดค้าน ค่าเฉลี่ยรวมใกล้ศูนย์ข้ามโครงการที่ต่างกันจริงไม่ใช่หลักฐานแข็งแรงว่าโครงการท้องถิ่นเฉพาะที่ดำเนินการดีนี้จะล้มเหลว มันเป็นหลักฐานว่าโครงการฝึกอบรมการจ้างงานโดยทั่วไปมีความหลากหลายในคุณภาพและความเหมาะสม ซึ่งเป็นที่รู้อยู่แล้ว ความหลากหลายของผลสูงที่รายงานในการทบทวนเองเป็นข้อค้นพบที่สำคัญกว่าค่าเฉลี่ยรวม

ที่ปรึกษาเสนอเส้นทางกลางแทนทางเลือกทวิภาค เธอแนะนำการขยายเป็นขั้นไปครึ่งหนึ่งของภูมิภาค โดยเขตขยายถูกสุ่มเลือกเพื่อให้การเปิดตัวเองผลิตหลักฐานเพิ่มเติมแทนที่จะเพียงใช้จ่ายเทียบกับสมมติฐาน (ดู หัวข้อ 2.4 — เศรษฐมิติภาครัฐและการประเมินโครงการ สำหรับวิธีที่การเปิดตัวเป็นระยะสามารถออกแบบเป็นการประเมินเพิ่มเติม) เธอยังแนะนำให้เผยแพร่การทดลองเดิมเต็มรูปแบบ รวมวิธีการและข้อมูลดิบ เพื่อให้การทบทวนอย่างเป็นระบบถัดไปหยิบไปใช้ได้ แทนที่จะนอนอยู่ในรายงานภายในที่ไม่มีใครนอกสำนักงานจะได้เห็น

ผู้นำของกรมอนุมัติแนวทางแบบเป็นขั้น โดยกำหนดกรอบอย่างชัดแจ้งในข้อเสนอเชิงธุรกิจ (ดู หัวข้อ 2.5 — ข้อเสนอเชิงธุรกิจและความคุ้มค่า) ว่าเป็นการตัดสินใจภายใต้หลักฐานความแน่นอนปานกลางพร้อมกลไกในตัวเพื่อแก้ความไม่แน่นอนภายใน 18 เดือน ไม่ใช่การตัดสินใจที่ทำเพราะหลักฐานชี้ขาด หลัง 18 เดือน เขตขยายแสดงผลใกล้เคียงกับโครงการนำร่องเดิม และกรมขยายต่อด้วยฐานหลักฐานที่แข็งแรงกว่าที่แหล่งใดแหล่งหนึ่งเสนอลำพัง และร่องรอยเอกสารที่ชัดเจนที่แสดงว่าทำไมจึงเลือกลงมือแทนรอ

สถานการณ์นี้เป็นเพียงตัวอย่างและเป็นเรื่องสมมติ ไม่ได้อธิบายโครงการหรือการประเมินของกรมจริงใด

มุมมองสี่ภาคส่วน

รัฐบาลท้องถิ่น

หน่วยงานท้องถิ่นแทบไม่มีงบประมาณหรือปริมาณงานที่จะมอบหมายการทบทวนอย่างเป็นระบบของตนเอง ดังนั้นงานฝีมือเชิงปฏิบัติคือการแปลหลักฐานการสังเคราะห์ระดับชาติและนานาชาติให้เข้ากับบริบทท้องถิ่นเฉพาะภายใต้แรงกดดันด้านเวลาจริง ตรวจสอบว่าฐานหลักฐานของการแทรกแซงที่จัดอันดับในชุดเครื่องมือคล้ายประชากร ระบบบริการ และระดับเงินทุนของตนหรือไม่ ก่อนสมมติว่าผลที่จัดอันดับจะถ่ายโอน ผู้นำท้องถิ่นอยู่ใกล้ต้นทุนของทั้งสองข้อผิดพลาดที่หัวข้อนี้เตือน คือลงมือบนการแทรกแซงที่การสังเคราะห์แสดงแล้วว่าไม่ได้ผล และปฏิเสธนวัตกรรมท้องถิ่นที่มีแนวโน้มจริงแต่ประเมินไม่พอเพราะยังไม่มีศูนย์ "อะไรได้ผล" จัดอันดับ

รัฐบาลระดับชาติ

รัฐบาลระดับชาติคือที่ซึ่งศูนย์ "อะไรได้ผล" และแนวทางลำดับชั้นหลักฐานอย่างเป็นทางการส่วนใหญ่ตั้งอยู่ ให้กรมระดับชาติใกล้โครงสร้างพื้นฐานการสังเคราะห์ แต่ก็เสี่ยงที่สุดที่จะถือลำดับชั้นหลักฐานเป็นด่านระบบราชการมากกว่าเครื่องช่วยตัดสินใจ งานเฉพาะระดับชาติคือการมอบหมายและดูแลโครงสร้างพื้นฐานนั้น ให้ทุนสำนักหักบัญชี กำหนดมาตรฐานหลักฐานของมัน และรับประกันว่าการจัดอันดับของมันไปถึงเจ้าหน้าที่ที่เขียนข้อเสนอเชิงธุรกิจจริง (ดู หัวข้อ 2.5 — ข้อเสนอเชิงธุรกิจและความคุ้มค่า) แทนที่จะเป็นเว็บไซต์ที่ได้รับการยกย่องที่ทีมนโยบายแทบไม่ปรึกษาภายใต้แรงกดดันกำหนดเวลา

ภาคสังคมและองค์กรไม่แสวงหากำไร

องค์กรไม่แสวงหากำไรและองค์กรการกุศลโดยทั่วไปขาดทรัพยากรที่จะดำเนินการประเมินอย่างเข้มงวดในขนาดใหญ่ ทำให้พึ่งพาหน่วยสังเคราะห์ภายนอกอย่างหนักและผู้ให้ทุนที่กำหนดให้สอดคล้องกับระดับหลักฐานที่จัดอันดับเป็นเงื่อนไขทุนเพิ่มขึ้น ซึ่งสร้างความเสี่ยงเฉพาะ องค์กรภายใต้แรงกดดันทางการเงินอาจถูกล่อให้พูดเกินว่าโครงการของตนจับคู่กับการจัดอันดับที่เอื้อเพียงใด รูปแบบของการฟอกด้วยหลักฐาน (evidence-washing) หรือในทางกลับกัน องค์กรการกุศลท้องถิ่นขนาดเล็กที่ได้ผลจริงอาจถูกบีบออกจากเงินทุนเพราะไม่เคยใหญ่พอจะสร้างหลักฐานที่สำนักหักบัญชีระดับชาติจัดอันดับสูง (ดู หัวข้อ 3.8 — การบริหารภาคสังคมและองค์กรไม่แสวงหากำไร สำหรับโครงสร้างเงินทุนเบื้องหลังแรงกดดันนี้)

ระดับพหุภาคีและระหว่างประเทศ

องค์กรพหุภาคีและระหว่างประเทศเผชิญปัญหาความทั่วไปได้ในรูปที่เฉียบพลันที่สุด การแทรกแซงที่พิสูจน์แล้วในระบบสุขภาพ ภาคเกษตร หรือตลาดแรงงานของประเทศหนึ่งถูกเสนอเป็นประจำสำหรับบริบทเศรษฐกิจและสถาบันที่ต่างกันมาก และวรรณกรรมการสังเคราะห์ดีกว่าในการชี้การถ่ายโอนที่ไม่มีเหตุผลสนับสนุนนี้ภายหลังมากกว่าล่วงหน้า เครือข่ายวิจัยที่สร้างขึ้นเพื่อปิดช่องว่างนี้ เช่น Abdul Latif Jameel Poverty Action Lab ผลักนโยบายการพัฒนาไปสู่การทำซ้ำเฉพาะบริบทแทนการพิสูจน์แนวคิดในประเทศเดียว แต่ความตึงเครียดระหว่างหลักฐานที่เปรียบเทียบได้ทั่วโลกกับผลที่ขึ้นกับบริบทยังคงเป็นลักษณะที่กำหนดของการสังเคราะห์ในระดับนี้

รูปแบบความล้มเหลวที่พบบ่อย

ลำดับชั้นหลักฐานเป็นข้ออ้างของการไม่ลงมือ ทีมที่เผชิญการตัดสินใจที่ยากและถูกโต้แย้งอ้าง "หลักฐานไม่พอ" หรือ "ยังไม่มีการทดลองแบบสุ่ม" เป็นเหตุผลที่จะเลื่อนไม่มีกำหนด ทั้งที่ตัวขับเคลื่อนที่ซื่อตรงของความล่าช้าคือความไม่สบายใจทางการเมืองหรือความต้องการหลีกเลี่ยงความรับผิดชอบ ต้นทุนคือองค์กรเสียโอกาสนั้นเอง และเสียการทดสอบในโลกจริงที่ฐานหลักฐานอาจแก้ความไม่แน่นอนได้ ทิ้งผู้ตัดสินใจคนถัดไปไว้เผชิญช่องว่างเดียวกัน

การสับสนการไม่มีหลักฐานกับหลักฐานของการไม่มี นวัตกรรมท้องถิ่นที่มีแนวโน้มแต่ยังไม่ถูกทดสอบถูกฆ่าราวกับถูกลองแล้วล้มเหลว ขณะที่โครงการระดับชาติที่ถูกพิสูจน์ว่าผิดซ้ำ ๆ ยังคงได้รับทุนเพราะไม่มีใครกำหนดกรอบหลักฐานเป็นข้อค้นพบเชิงลบแทนช่องว่าง ทั้งสองข้อผิดพลาดแพง ข้อหนึ่งปิดทางเลือกที่มีแนวโน้ม อีกข้อปกป้องโครงการที่การสังเคราะห์ที่มองอย่างชัดเจนจะเลิกไปหลายปีก่อน

การถือการจัดอันดับในชุดเครื่องมือเป็นการวิเคราะห์ทั้งหมด ผู้ตัดสินใจอ่านไอคอนแม่กุญแจเดียวหรือการจัดอันดับดาวเดียวและหยุดที่นั่น โดยไม่ตรวจสอบว่าการศึกษาที่อยู่ข้างใต้ตรงกับบริบท ประชากร หรือขนาดของตนหรือไม่ การจัดอันดับถูกบีบอัดโดยเจตนาเพื่อให้เข้าถึงได้ หากใช้โดยไม่มีการทบทวนข้างใต้ สามารถผลิตการตัดสินใจที่มั่นใจซึ่งสร้างบนฐานหลักฐานที่บางกว่าที่ความเรียบง่ายของการจัดอันดับบ่งชี้

การเพิกเฉยต่อความหลากหลายของผลเพื่อผลรวมที่เป็นพาดหัว ขนาดผลเฉลี่ยเดียวของอภิมานวิเคราะห์ถูกอ้างในสรุป ขณะที่ความแปรผันกว้างระหว่างการศึกษาที่ผลิตมัน ซึ่งมักเป็นข้อค้นพบที่ให้ข้อมูลมากกว่า ถูกทิ้ง ผลิตความแม่นยำเท็จ ผู้ตัดสินใจทำราวกับว่าทุกการดำเนินการทำงานเหมือนกัน ทั้งที่คุณภาพการดำเนินการและบริบททำงานเท่ากับการแทรกแซงเอง

การปล่อยให้อคติจากการตีพิมพ์หล่อหลอมฐานหลักฐานอย่างเงียบ ๆ องค์กรอ่านเฉพาะวรรณกรรมวิชาการที่ตีพิมพ์เมื่อประเมินการแทรกแซง พลาดการทดลองเชิงลบที่ไม่ได้ตีพิมพ์และการประเมินภายในที่ไม่เคยเข้าสู่วารสาร ภาพ "อะไรได้ผล" ที่ได้เอนเป็นบวกอย่างเป็นระบบ และการตัดสินใจที่สร้างบนมันสืบทอดความเอนนั้นโดยไม่มีใครเลือกอย่างจงใจ

แบบจำลองวุฒิภาวะ

รายการตรวจสอบ

• ตรวจการทบทวนอย่างเป็นระบบหรือการจัดอันดับ "อะไรได้ผล" ก่อนพึ่งพาการศึกษาเดี่ยว
• อ่านการทบทวนหลักฐานที่อยู่ข้างใต้ ไม่ใช่เพียงการจัดอันดับสรุปหรือไอคอน
• ระบุคุณภาพของหลักฐานและความแข็งแรงของข้อเสนอแนะเป็นสองวิจารณญาณที่แยกกัน
• แยก "ไม่มีหลักฐานของผล" ออกจาก "หลักฐานของการไม่มีผล" อย่างชัดแจ้งในบันทึกเป็นลายลักษณ์อักษร
• ตรวจสอบความตรงกันของบริบทระหว่างการศึกษาที่ทบทวนกับการตัดสินใจที่อยู่ตรงหน้า (ประชากร ขนาด ระบบบริการ)
• มีกระบวนการประเมินหลักฐานอย่างรวดเร็วพร้อมใช้และใช้เมื่อการทบทวนเต็มรูปแบบไม่พอดีกับกรอบเวลา
• ตกลงเกณฑ์หลักฐานสำหรับการตัดสินใจก่อนทบทวนผล
• มีแผนเผยแพร่การประเมินขององค์กรนี้เอง ไม่ว่าผลเป็นอย่างไร
• สร้างความสัมพันธ์ถาวรกับศูนย์ "อะไรได้ผล" หรือสำนักหักบัญชีที่เกี่ยวข้อง ไม่ใช่สร้างจากศูนย์ภายใต้แรงกดดัน
• บันทึกเหตุผลเบื้องหลังวิจารณญาณสุดท้าย รวมถึงหลักฐานที่พิจารณาและปฏิเสธ
• ทบทวนการตัดสินใจเทียบกับข้อเสนอคุณค่าและข้อพิจารณาความชอบธรรม ไม่ใช่เฉพาะความแข็งแรงของหลักฐาน

แหล่งข้อมูลสำคัญ

• Cochrane Handbook for Systematic Reviews of Interventions ดูแลโดย Cochrane สำหรับวิธีวิทยาพื้นฐานที่แนวปฏิบัติการทบทวนอย่างเป็นระบบข้ามภาคส่วนสร้างอยู่บน
• แนวทางของ Campbell Collaboration เรื่องการทบทวนอย่างเป็นระบบและการสังเคราะห์หลักฐานสำหรับนโยบายสังคม พฤติกรรม และอาชญาวิทยา สำหรับการขยายตรงของวิธีวิทยานั้นสู่โดเมนนโยบายภาครัฐนอกเหนือสุขภาพ
• What Works Clearinghouse Standards Handbook (สถาบันวิทยาศาสตร์การศึกษา สหรัฐอเมริกา) สำหรับตัวอย่างที่ใช้งานจริงของวิธีที่สำนักหักบัญชีระดับชาติกำหนดมาตรฐานการออกแบบการศึกษาที่ชัดแจ้งและจัดอันดับหลักฐานเทียบกับมัน
• Teaching and Learning Toolkit ของ Education Endowment Foundation สำหรับตัวอย่างที่ใช้ปฏิบัติได้และมุ่งผู้ปฏิบัติงานของการแปลหลักฐานรวมเป็นการจัดอันดับต้นทุน ผลกระทบ และความแข็งแรงของหลักฐานที่เปรียบเทียบได้
• งานของ Organisation for Economic Co-operation and Development (OECD) เรื่องการสร้างขีดความสามารถสำหรับการกำหนดนโยบายที่ได้รับข้อมูลจากหลักฐาน สำหรับบัญชีข้ามประเทศของวิธีที่รัฐบาลจัดระเบียบด้านอุปสงค์และอุปทานของการใช้หลักฐาน
• What Works Center for Crime Reduction ของ College of Policing และชุดเครื่องมือลดอาชญากรรม สำหรับตัวอย่างที่ใช้งานจริงเพิ่มเติมของรูปแบบสำนักหักบัญชีที่ใช้นอกสุขภาพและการศึกษา

เอกสารอ้างอิง

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction