Chủ đề 2.6 — Tổng hợp bằng chứng và điều gì hiệu quả

Vì sao điều này quan trọng đối với giá trị công

Một bộ trưởng, một thị trưởng hay giám đốc chương trình của một tổ chức từ thiện hiếm khi có xa xỉ về một nghiên cứu đơn lẻ, rõ ràng để hành động theo. Thường hơn, trên bàn có ba bản đánh giá không đồng nhất, một tổng quan văn liệu trích dẫn chúng có chọn lọc, một nhóm vận động vẫy lá cờ về thử nghiệm duy nhất hợp với lập luận của mình, và một hạn chót do chu kỳ ngân sách đặt ra chứ không phải nhịp độ của nghiên cứu. Tổng hợp bằng chứng tồn tại vì các nghiên cứu riêng lẻ có nhiễu: cỡ mẫu nhỏ, bối cảnh khác nhau, và bất kỳ kết quả nào cũng có thể là sự ngẫu nhiên, một sự khớp cục bộ không thể di chuyển, hay một hiệu ứng thật. Câu hỏi mà một nhà lãnh đạo cần được trả lời hiếm khi là "nghiên cứu này tìm thấy gì?" mà là "trong mọi điều đáng tin cậy đã được thử, tôi nên kỳ vọng gì nếu làm điều này ở đây, bây giờ?"

Lý thuyết giá trị công làm cho điều này trở thành hơn một sự tinh tế kỹ thuật. Một chương trình được tài trợ bằng nguồn lực tập thể dựa trên một đề xuất giá trị mà công dân, nói chung, sẽ cho phép (xem Chủ đề 2.1 — Bảng điểm giá trị công và các khung kết quả về cách đề xuất đó được nêu và theo dõi). Một đề xuất xây trên một nghiên cứu chọn lọc cẩn thận hoặc không có sự rà soát bằng chứng nào là một tuyên bố yếu hơn về tính chính danh so với một đề xuất xây trên một tổng hợp cẩn thận — và là cơ sở yếu hơn cho năng lực vận hành, vì nhân sự và ngân sách được cam kết dựa trên sức mạnh của nó. Phong trào "điều gì hiệu quả" — mạng lưới các cơ quan độc lập đánh giá chất lượng và độ mạnh của bằng chứng chính sách — nảy sinh trực tiếp từ vấn đề này: quá nhiều quyết định công được đưa ra dựa trên nghiên cứu ồn ào nhất thay vì cái được ủng hộ tốt nhất.

Vấn đề khó hơn mà chủ đề này bàn đến là nhà lãnh đạo làm gì khi chính sự tổng hợp là không kết luận, gây tranh cãi, hoặc đơn giản là không có kịp thời. Các hệ thống phân cấp bằng chứng được xây để mang trật tự đến một cơ sở bằng chứng lộn xộn, nhưng nếu dùng cẩu thả, "bằng chứng chưa đủ mạnh" trở thành một cái cớ thường trực để tránh một quyết định mà thực tế sẽ không thực sự chờ. Một nhà lãnh đạo hiểu tổng hợp hoạt động ra sao, và giới hạn của nó nằm đâu, có thể phân biệt bất định thực sự đáng thận trọng với một hệ thống phân cấp được dùng làm vỏ bọc cho sự không hành động.

Chủ đề này là phần tiếp theo tự nhiên của các phương pháp suy luận nhân quả mà một tổng hợp dựa vào (xem Chủ đề 2.4 — Kinh tế lượng khu vực công và đánh giá chương trình) và đứng cạnh, không thay thế, các khung kết quả mà một tổng hợp cuối cùng phục vụ (xem Chủ đề 2.1 — Bảng điểm giá trị công và các khung kết quả). Một nhà lãnh đạo có thể đọc một tổng quan hệ thống, hiểu một xếp hạng điều-gì-hiệu-quả, và lập luận rõ ràng về bằng chứng vắng mặt so với bằng chứng tiêu cực sẽ đưa ra các quyết định trực tiếp tốt hơn người chỉ biết đòi "thêm bằng chứng" hay chấp nhận nghiên cứu đầu tiên được trao.

Khái niệm cốt lõi

Một tổng quan hệ thống là sự tổng hợp bằng chứng về một câu hỏi xác định dùng một phương pháp tường minh, được chỉ định trước, có thể tái tạo để tìm, thẩm định và kết hợp các nghiên cứu, khác với tổng quan văn liệu tường thuật, vốn chọn nguồn theo ý tác giả (xem Tổng quan hệ thống). Các đặc điểm xác định của nó là một đề cương đã đăng ký được viết trước khi việc tìm kiếm bắt đầu, một chiến lược tìm kiếm bao gồm văn liệu chưa công bố và văn liệu xám, các tiêu chí đưa vào tường minh, và một phương pháp chuẩn để thẩm định rủi ro thiên lệch của từng nghiên cứu. Đây là điều phân biệt một tổng quan hệ thống với một bài tiểu luận viết hay có chú thích: một nhóm khác theo cùng đề cương sẽ tìm thấy về cơ bản cùng bằng chứng và đi đến một kết luận về cơ bản tương tự.

Phân tích tổng hợp là kỹ thuật thống kê thường được ghép với một tổng quan hệ thống: nó gộp các độ lớn hiệu ứng định lượng từ nhiều nghiên cứu độc lập thành một ước lượng duy nhất, chính xác hơn, thường đặt trọng số cho từng nghiên cứu theo cỡ mẫu và chất lượng của nó (xem Phân tích tổng hợp). Một phân tích tổng hợp chỉ tốt bằng các nghiên cứu đưa vào nó; gộp năm nghiên cứu yếu tạo ra một ước lượng chính xác hơn của một hiệu ứng có thể thiên lệch, không phải một ước lượng đáng tin. Do đó các nhà phân tích báo cáo tính không đồng nhất — mức kết quả các nghiên cứu biến thiên vượt quá điều ngẫu nhiên dự đoán — vì tính không đồng nhất cao báo hiệu các nghiên cứu không thực sự kiểm nghiệm cùng một thứ, và một con số gộp duy nhất có thể gây hiểu lầm.

Thiên lệch công bố là xu hướng các nghiên cứu có kết quả dương, có ý nghĩa được công bố trong khi các kết quả không có hiệu ứng hoặc tiêu cực nằm trong ngăn kéo hồ sơ của nhà nghiên cứu, khiến một can thiệp trông hiệu quả nhất quán hơn trong văn liệu so với thực tế (xem Thiên lệch công bố). Một tổng quan chặt chẽ sửa điều này bằng cách tìm kiếm các sổ đăng ký thử nghiệm và các đánh giá chưa công bố, không chỉ các bài báo tạp chí. Một nhà lãnh đạo đọc một tổng hợp chỉ xây trên các bài đã công bố nên hỏi những người tổng quan đã làm gì để tìm các nghiên cứu không bao giờ lên được bản in.

Hệ thống phân cấp bằng chứng xếp hạng các thiết kế nghiên cứu theo mức độ chúng kiểm soát nhiễu và thiên lệch, thường đặt các phân tích tổng hợp thử nghiệm ngẫu nhiên ở trên cùng, rồi đến từng thử nghiệm đối chứng ngẫu nhiên, sau đó các thiết kế bán thực nghiệm và quan sát, và ý kiến chuyên gia ở dưới cùng (xem Hệ thống phân cấp bằng chứng). Một thử nghiệm đối chứng ngẫu nhiên phân bổ người tham gia vào một can thiệp hoặc nhóm so sánh bằng may rủi, công cụ mạnh nhất duy nhất để cô lập một hiệu ứng nhân quả khỏi mọi thứ khác đang diễn ra quanh nó (xem Thử nghiệm đối chứng ngẫu nhiên; xem Chủ đề 2.4 — Kinh tế lượng khu vực công và đánh giá chương trình về cách các thiết kế như vậy được xây và phân tích). Hệ thống phân cấp là một quy tắc kinh nghiệm thực sự hữu ích, nhưng là quy tắc kinh nghiệm, không phải quy luật: một nghiên cứu quan sát được tiến hành tốt về một chính sách hiếm hay diễn ra chậm có thể vượt một thử nghiệm được tiến hành kém, thiếu lực, và một nhà lãnh đạo coi nó là một xếp hạng tuyệt đối đôi khi sẽ loại bỏ bằng chứng liên quan hơn để lấy thiết kế danh giá hơn.

Cách tiếp cận GRADE — Grading of Recommendations, Assessment, Development and Evaluations — hình thức hóa một phán đoán thứ hai, riêng biệt mà riêng hệ thống phân cấp không đưa ra: nó đánh giá cả mức chắc chắn của bằng chứng lẫn, độc lập, độ mạnh của một khuyến nghị hành động theo nó, vì bằng chứng mạnh không phải lúc nào cũng biện minh cho một khuyến nghị mạnh, và bằng chứng yếu không phải lúc nào cũng biện minh cho sự không hành động trước một tác hại nghiêm trọng, cấp bách (xem Cách tiếp cận GRADE). Sự tách biệt này là ý tưởng hữu ích nhất duy nhất trong chủ đề này cho một người ra quyết định bị áp lực thời gian: nó cho phép nhà lãnh đạo nói, một cách trung thực, "bằng chứng ở đây là trung bình, và xét mức rủi ro và cái giá của việc chờ đợi, tôi khuyến nghị chúng ta tiến hành" — một phán đoán bảo vệ được, có ghi chép, thay vì một lựa chọn giả giữa chờ sự chắc chắn và phớt lờ bằng chứng hoàn toàn.

Một sự phân biệt lặp lại liên tục trong tranh luận chính sách trực tiếp là giữa sự vắng mặt của bằng chứng và bằng chứng của sự vắng mặt: việc thiếu nghiên cứu về hiệu ứng của một can thiệp ("không có bằng chứng về hiệu ứng") không phải cùng một tuyên bố với một khối nghiên cứu đủ lực đã tích cực tìm thấy không có hiệu ứng ("bằng chứng về không có hiệu ứng") (xem Bằng chứng của sự vắng mặt). Một chương trình địa phương mới chưa có đánh giá nào chỉ đơn giản là chưa được kiểm nghiệm; một chương trình quốc gia được nghiên cứu kỹ nhiều lần được thấy không làm thay đổi kết quả nào đã được kiểm nghiệm và cho thấy không hiệu quả. Nhầm lẫn hai điều này là một trong những sai lầm có hệ quả nhất mà một nhà lãnh đạo công có thể mắc: giết một chương trình thí điểm chưa được kiểm nghiệm nhưng đầy hứa hẹn như thể nó đã thất bại, hoặc tiếp tục tài trợ một chương trình bị bác bỏ lặp đi lặp lại như thể chưa ai xem xét đủ kỹ.

Chính sách dựa trên bằng chứng là phong trào rộng hơn và tuyên bố chuẩn tắc rằng các quyết định công nên dựa trên bằng chứng được xác lập chặt chẽ chứ không phải ý thức hệ, giai thoại hay trực giác một mình (xem Chính sách dựa trên bằng chứng). Những người chỉ trích nó, và ngày càng nhiều những người ủng hộ chính nó, ưa dùng "chính sách có thông tin từ bằng chứng", thừa nhận rằng bằng chứng là một đầu vào trong số nhiều đầu vào — giá trị, ủy nhiệm, chi phí và các câu hỏi tính chính danh mà cuốn sách này coi là nền tảng — chứ không phải một quy tắc quyết định máy móc mà riêng bằng chứng có thể giải quyết.

Từ phong trào này nảy sinh khuôn mẫu trung tâm điều-gì-hiệu-quả hay cơ quan lưu trữ: một cơ quan độc lập xem xét có hệ thống bằng chứng cho các can thiệp trong một lĩnh vực chính sách và công bố các xếp hạng dễ tiếp cận, so sánh được, thay vì để mỗi người đặt hàng dịch vụ địa phương tự chạy một cuộc tổng quan riêng. Cochrane tiên phong mô hình này trong chăm sóc sức khỏe từ năm 1993, duy trì một cẩm nang sống về phương pháp luận tổng quan hệ thống được dùng vượt xa y học (xem Cochrane (tổ chức)). Campbell Collaboration mở rộng cùng phương pháp sang chính sách xã hội, tư pháp hình sự, giáo dục và phát triển quốc tế (xem Campbell Collaboration). Các cơ quan lưu trữ quốc gia theo sau: What Works Clearinghouse của Hoa Kỳ, do Viện Khoa học Giáo dục điều hành từ năm 2002, xem xét nghiên cứu giáo dục đối chiếu với các chuẩn thiết kế tường minh (xem What Works Clearinghouse); Education Endowment Foundation của Anh công bố một Bộ công cụ Dạy và Học được dùng rộng rãi xếp hạng các can thiệp trong lớp học theo chi phí, độ mạnh bằng chứng và tác động điển hình trong một định dạng so sánh được (xem Education Endowment Foundation). Các trung tâm tương đương tồn tại cho giảm tội phạm, can thiệp sớm, vô gia cư và già hóa khỏe mạnh — một họ quốc tế nhỏ xây trên cùng phương pháp: tổng quan hệ thống, xếp hạng minh bạch và một bản tóm tắt hướng tới người thực hành không cần nhà phương pháp luận để đọc.

Thực hành tốt nhất

Hỏi về tổng hợp trước nghiên cứu đơn lẻ. Khi một kết quả nổi bật đáp xuống bàn bạn, hãy hỏi trước liệu đã tồn tại một tổng quan hệ thống hay xếp hạng điều-gì-hiệu-quả cho can thiệp đó chưa, thay vì hỏi nghiên cứu có trông thuyết phục khi xét riêng không.
Đọc tổng quan nền tảng cùng với bất kỳ xếp hạng bộ công cụ nào, không phải thay cho nó. Một xếp hạng một dòng hay biểu tượng ổ khóa tóm tắt một phán đoán; nó không thay thế việc hiểu bằng chứng nào nó dựa trên và nó áp dụng trực tiếp thế nào cho bối cảnh của bạn.
Tách chất lượng bằng chứng khỏi độ mạnh khuyến nghị của bạn, một cách tường minh. Mượn logic GRADE ngay cả không chính thức: nêu bằng chứng chắc chắn đến đâu, rồi nêu riêng việc sự chắc chắn đó, kết hợp với mức rủi ro và chi phí, biện minh cho hành động ngay bây giờ mạnh đến đâu.
Gọi tên bạn đang đối mặt "chưa có bằng chứng" hay "bằng chứng về không có hiệu ứng" trước khi quyết định. Ghi sự phân biệt này thành văn bản trong mọi bản tóm tắt bằng chứng, vì hai tình huống đòi hỏi các phản ứng gần như ngược nhau — thí điểm thận trọng so với dừng hoặc thiết kế lại.
Kiểm tra sự khớp giữa bối cảnh của tổng quan và của bạn trước khi giả định hiệu ứng sẽ chuyển giao. Một độ lớn hiệu ứng gộp từ các nghiên cứu chạy ở nơi khác là một trung bình, không phải một lời hứa; hãy hỏi điều gì đã điều biến hiệu ứng ban đầu và các yếu tố điều biến đó có hiện diện ở đây không.
Đặt hàng một đánh giá bằng chứng nhanh khi một tổng quan hệ thống đầy đủ không vừa với thời gian của bạn. Một tổng quan có cấu trúc, giới hạn thời gian về văn liệu sẵn có — vài ngày hay vài tuần, không phải vài tháng — là một con đường giữa chính đáng giữa nghiên cứu sơ cấp mới và không tổng quan nào cả.
Công bố các đánh giá của chính bạn bất kể kết quả. Các phát hiện không có hiệu ứng và tiêu cực có giá trị với tổng hợp tiếp theo cũng như các phát hiện tích cực; giữ chúng lại làm trầm trọng thêm thiên lệch công bố làm suy yếu mọi tổng quan trong tương lai ở lĩnh vực của bạn.
Xây dựng mối quan hệ thường trực với một trung tâm điều-gì-hiệu-quả hay cơ quan lưu trữ trong lĩnh vực của bạn trước khi bạn cần. Tìm kiếm lạnh trong bộ công cụ của một cơ quan tổng hợp lần đầu tiên trong một cuộc khủng hoảng trực tiếp chậm hơn nhiều so với việc đã biết nó bao quát gì và hỏi ai về một khoảng trống.
Đặt ngưỡng bằng chứng của bạn trước khi kết quả đến, không phải sau. Thống nhất trước mức bằng chứng nào sẽ biện minh cho việc mở rộng, thí điểm thêm hay dừng, để giảm cám dỗ diễn giải lại các phát hiện mơ hồ cho khớp với một quyết định đã đưa ra.
Giới hạn thời gian cho việc tìm kiếm một nghiên cứu sẽ loại bỏ mọi nghi ngờ. Chờ một cơ sở bằng chứng hoàn hảo, rõ ràng tự nó là một quyết định, thường là tiếp tục làm bất cứ điều gì bạn vẫn làm; hãy đặt một thời hạn tôn trọng cái giá của sự chậm trễ cũng như cái giá của việc hành động trên bằng chứng yếu.
Coi tổng hợp là một đầu vào cho đề xuất giá trị, không phải sự thay thế cho nó. Can thiệp được ủng hộ tốt nhất không tự động là lựa chọn đúng một khi chi phí, tác động phân phối và tính chính danh được cân nhắc cùng nó (xem Chủ đề 2.1 — Bảng điểm giá trị công và các khung kết quả).
Ghi lại bằng chứng nào bạn đã cân nhắc, và vì sao bạn đặt trọng số cho nó như vậy. Một bản ghi bằng văn bản về các nghiên cứu đã xem xét và lập luận đằng sau phán đoán cuối cùng bảo vệ cả tính chính danh của quyết định lẫn khả năng học hỏi từ nó của người xem xét tiếp theo.

Câu hỏi thảo luận với đội ngũ của bạn

Lần cuối chúng ta thay đổi một quyết định trực tiếp vì một tổng quan hệ thống hay xếp hạng điều-gì-hiệu-quả mâu thuẫn với điều chúng ta đã định làm là khi nào? Nếu câu trả lời trung thực là "chưa bao giờ", điều đó đáng để ngồi lại với nó, vì nó gợi ý rằng việc xem xét bằng chứng có thể hoạt động như một bài tập xác nhận hơn là một sự kiểm tra thực sự. Hãy thảo luận một quyết định gần đây khi cơ sở bằng chứng hỗn hợp và đi qua liệu nó có thực sự định hình lựa chọn hay được thu thập chủ yếu để ủng hộ một kết luận đã đạt từ trước. Hãy cân nhắc điều gì cần thay đổi trong cách bằng chứng đến với người ra quyết định, và vào lúc nào, để nó có ảnh hưởng thực sự thay vì trọng lượng mang tính biểu tượng.

Có chỗ nào chúng ta đang coi "không có bằng chứng về hiệu ứng" như thể là "bằng chứng về không có hiệu ứng", hoặc ngược lại không? Hãy đi qua danh mục chương trình hiện tại của bạn và xác định bất kỳ chương trình nào bạn đã lặng lẽ giảm ưu tiên vì "bằng chứng chưa có", và kiểm tra xem điều đó có nghĩa là thực sự chưa được kiểm nghiệm hay thực sự bị bác bỏ. Làm tương tự theo hướng ngược lại: bất kỳ chương trình nào bạn vẫn tài trợ vì "chưa ai cho thấy nó không hiệu quả", trong khi thực tế chưa ai xem xét. Hãy thảo luận cần gì để sửa hai hay ba ví dụ có hệ quả nhất, và ai nên sở hữu việc sửa đó.

Nếu một quyết định cần bằng chứng trước thứ Sáu, chúng ta thực sự có quy trình đánh giá bằng chứng nhanh không, hay sẽ ứng biến một cái dưới áp lực? Áp lực thời gian không phải giả thuyết; đó là điều kiện bình thường mà dưới đó hầu hết các quyết định dựa trên bằng chứng thực sự được đưa ra. Hãy thảo luận liệu tổ chức bạn có một phương pháp thường trực — một nhóm được đặt tên, một mẫu, một danh sách ngắn các trung tâm điều-gì-hiệu-quả để kiểm tra trước — hay mọi yêu cầu khẩn cấp đều bắt đầu từ một trang trắng. Nếu là vế sau, hãy thảo luận một quy trình đánh giá nhanh khả thi tối thiểu sẽ trông ra sao và ai sẽ sở hữu nó.

Chúng ta thực sự đang dùng hệ thống phân cấp bằng chứng của ai, và nó có khớp với mức rủi ro và khả năng đảo ngược của quyết định này không? Các lĩnh vực khác nhau áp dụng chuẩn bằng chứng của họ khác nhau, và một hệ thống phân cấp được hiệu chỉnh cho các quyết định không thể đảo ngược, hệ trọng không phải lúc nào cũng là ngưỡng đúng cho một chương trình thí điểm rẻ, có thể đảo ngược, dễ giám sát. Hãy thảo luận liệu tổ chức bạn có áp dụng một chuẩn bằng chứng đồng nhất bất kể mức rủi ro không, và điều đó bảo vệ bạn khỏi các quyết định tồi hay chỉ làm chậm các quyết định tốt. Hãy thống nhất, như một nhóm, chuẩn nào nên được yêu cầu cho ba quyết định tiếp theo trong chương trình nghị sự của bạn, trước khi bạn biết bằng chứng nói gì.

Chúng ta đã làm gì, cụ thể, để ngăn các đánh giá của chính mình biến mất vào ngăn kéo hồ sơ? Mỗi kết quả không có hiệu ứng chưa công bố mà tổ chức bạn giữ là một khoảng trống mà một tổ chức khác sẽ phải tái khám phá bằng cách khó. Hãy thảo luận hồ sơ của bạn một cách trung thực: bao nhiêu trong 10 đánh giá gần nhất của bạn đã được chia sẻ ra bên ngoài, và điều gì đã xảy ra với những cái không được. Hãy thống nhất một cam kết cụ thể, có nguồn lực — một chính sách công bố, một sổ đăng ký chung — thay vì một khát vọng chung chung về việc minh bạch hơn.

Chúng ta đang dùng cụm "chúng ta cần thêm bằng chứng" một cách trung thực, hay như cách để tránh một quyết định chúng ta không muốn đưa ra? Đây là câu hỏi khó chịu nhất trong chủ đề này, và nó đáng được hỏi thẳng. Hãy xác định một quyết định cụ thể hiện đang đình trệ vì lý do bằng chứng và thảo luận, thẳng thắn, điều gì thực sự sẽ thay đổi suy nghĩ của bạn, và bằng chứng bạn đang chờ có thực tế sẽ đến kịp không. Nếu không, hãy thảo luận một quyết định trung thực trong điều kiện bất định thực sự sẽ trông ra sao thay vì tiếp tục chờ, và ai có thẩm quyền đưa ra nó.

Trong thực tiễn: một ví dụ về giá trị công

Một cơ quan việc làm khu vực, thuộc một bộ chính phủ quốc gia phụ trách các chương trình thị trường lao động, chịu áp lực phải quyết định trong một chu kỳ ngân sách có nên mở rộng một chương trình đào tạo nghề thí điểm từ ba quận ra toàn khu vực không. Thí điểm kết hợp các vị trí làm việc được trợ cấp với kèm cặp có cấu trúc, và thử nghiệm ngẫu nhiên của chính cơ quan trên ba quận thí điểm tìm thấy sự gia tăng khiêm tốn nhưng có ý nghĩa thống kê về việc làm bền vững sau 12 tháng. Một nguồn bằng chứng đối địch làm phức tạp bức tranh: một tổng quan hệ thống công bố năm trước, gộp chín chương trình tương tự qua nhiều quốc gia, tìm thấy hiệu ứng trung bình gần bằng không, với biến thiên rộng giữa các nghiên cứu và không có khuôn mẫu rõ ràng giải thích chương trình nào hiệu quả.

Đơn vị bằng chứng của cơ quan có sáu tuần trước hạn nộp ngân sách để dung hòa hai phát hiện. Bản năng đầu tiên của một nhà phân tích cấp dưới là coi tổng quan gộp là có thẩm quyền hơn đơn giản vì nó kết hợp nhiều nghiên cứu hơn, và khuyến nghị bỏ chương trình thí điểm. Cố vấn bằng chứng chính của đơn vị phản bác: một trung bình gộp gần bằng không trên các chương trình thực sự khác nhau không phải bằng chứng mạnh rằng chương trình địa phương cụ thể, được thực hiện tốt này sẽ thất bại — đó là bằng chứng rằng các chương trình đào tạo nghề nói chung không đồng nhất về chất lượng và độ phù hợp, điều vốn đã được biết. Tính không đồng nhất cao được báo cáo trong tổng quan tự nó là phát hiện quan trọng hơn trung bình gộp.

Cố vấn đề xuất một con đường giữa thay vì một lựa chọn nhị phân. Bà khuyến nghị mở rộng theo giai đoạn đến một nửa khu vực, với các quận mở rộng được chọn ngẫu nhiên để chính việc triển khai tạo ra thêm bằng chứng thay vì chỉ chi tiêu dựa trên một giả định (xem Chủ đề 2.4 — Kinh tế lượng khu vực công và đánh giá chương trình về cách một đợt triển khai theo giai đoạn có thể được thiết kế như một đánh giá bổ sung). Bà cũng khuyến nghị công bố đầy đủ thử nghiệm ban đầu, gồm cả phương pháp và dữ liệu thô, để nó có thể được tổng quan hệ thống tiếp theo nhặt lên thay vì nằm trong một báo cáo nội bộ mà không ai ngoài cơ quan sẽ thấy.

Ban lãnh đạo của bộ phê duyệt cách tiếp cận theo giai đoạn, được đóng khung tường minh trong luận chứng kinh tế (xem Chủ đề 2.5 — Luận chứng kinh tế và giá trị đồng tiền) như một quyết định được đưa ra dưới bằng chứng có độ chắc chắn trung bình với một cơ chế sẵn có để giải quyết sự bất định trong vòng 18 tháng, không phải một quyết định được đưa ra vì bằng chứng đã kết luận. Sau 18 tháng, các quận mở rộng cho thấy một hiệu ứng gần với thí điểm ban đầu, và bộ mở rộng thêm với một cơ sở bằng chứng mạnh hơn cả hai nguồn từng cung cấp riêng — cùng một dấu vết giấy tờ rõ ràng cho thấy vì sao nó đã chọn hành động thay vì chờ.

Kịch bản này mang tính minh họa và hư cấu; nó không mô tả chương trình hay đánh giá của bất kỳ bộ có thật nào.

Bốn góc nhìn theo khu vực

Chính quyền địa phương

Một chính quyền địa phương hiếm khi có ngân sách hay số lượng hồ sơ để đặt hàng một tổng quan hệ thống riêng, nên kỹ nghệ thực tế của nó là chuyển bằng chứng tổng hợp quốc gia và quốc tế vào một bối cảnh địa phương cụ thể dưới áp lực thời gian thực — kiểm tra liệu cơ sở bằng chứng của một can thiệp được xếp hạng trong bộ công cụ có giống dân số, hệ thống dịch vụ và mức tài trợ của chính mình không trước khi giả định hiệu ứng được xếp hạng sẽ chuyển giao. Các nhà lãnh đạo địa phương cũng đứng gần nhất với cái giá của cả hai sai lầm mà chủ đề này cảnh báo: hành động theo một can thiệp mà một tổng hợp đã cho thấy không hiệu quả, và từ chối một đổi mới địa phương thực sự hứa hẹn nhưng chưa được đánh giá đủ vì chưa có trung tâm điều-gì-hiệu-quả nào xếp hạng nó.

Chính phủ quốc gia

Chính phủ quốc gia là nơi đặt hầu hết các trung tâm điều-gì-hiệu-quả và hướng dẫn phân cấp bằng chứng chính thức, trao cho các bộ quốc gia sự gần gũi với hạ tầng tổng hợp nhưng cũng chịu nguy cơ lớn nhất khi coi một hệ thống phân cấp bằng chứng như một cổng quan liêu thay vì một công cụ hỗ trợ quyết định. Nhiệm vụ quốc gia đặc trưng là đặt hàng và duy trì hạ tầng đó — tài trợ cho một cơ quan lưu trữ, đặt chuẩn bằng chứng của nó, và bảo đảm các xếp hạng của nó thực sự đến được các quan chức viết luận chứng kinh tế (xem Chủ đề 2.5 — Luận chứng kinh tế và giá trị đồng tiền), thay vì tồn tại như một trang web được kính trọng mà các nhóm chính sách hiếm khi tham khảo dưới áp lực thời hạn.

Khu vực xã hội và phi lợi nhuận

Các tổ chức phi lợi nhuận và từ thiện thường thiếu nguồn lực để chạy các đánh giá chặt chẽ ở quy mô lớn, khiến họ phụ thuộc nhiều vào các cơ quan tổng hợp bên ngoài và ngày càng phụ thuộc vào các nhà tài trợ yêu cầu phù hợp với một bậc bằng chứng được xếp hạng như điều kiện tài trợ. Điều này tạo ra một rủi ro đặc trưng: các tổ chức chịu áp lực tài chính có thể bị cám dỗ phóng đại mức độ chương trình của mình khớp với một xếp hạng thuận lợi — một dạng tẩy trắng bằng chứng — hoặc ngược lại, các tổ chức từ thiện địa phương nhỏ nhưng thực sự hiệu quả có thể bị loại khỏi nguồn tài trợ vì chưa bao giờ đủ lớn để tạo ra bằng chứng mà một cơ quan lưu trữ quốc gia xếp hạng cao (xem Chủ đề 3.8 — Quản lý khu vực xã hội và tổ chức phi lợi nhuận về các cấu trúc tài trợ đằng sau áp lực này).

Đa phương và quốc tế

Các tổ chức đa phương và quốc tế đối mặt với vấn đề khái quát hóa ở dạng gay gắt nhất: một can thiệp được chứng minh trong hệ thống y tế, khu vực nông nghiệp hay thị trường lao động của một quốc gia thường được đề xuất cho một bối cảnh kinh tế và thể chế rất khác, và văn liệu tổng hợp giỏi hơn trong việc đánh dấu sự chuyển giao không có cơ sở này sau sự việc so với trước. Các mạng lưới nghiên cứu xây để khép khoảng cách này, như Phòng thí nghiệm Hành động Chống Nghèo Abdul Latif Jameel, đã đẩy chính sách phát triển về phía nhân bản theo bối cảnh cụ thể thay vì chứng minh khái niệm ở một quốc gia, nhưng căng thẳng giữa bằng chứng có thể so sánh toàn cầu và các hiệu ứng phụ thuộc bối cảnh vẫn là đặc điểm xác định của tổng hợp ở quy mô này.

Các kiểu thất bại thường gặp

Hệ thống phân cấp bằng chứng như cái cớ cho sự không hành động. Một nhóm đối mặt với một quyết định khó, gây tranh cãi viện dẫn "bằng chứng không đủ" hay "chưa có thử nghiệm ngẫu nhiên" làm lý do để trì hoãn vô thời hạn, trong khi động lực trung thực của sự chậm trễ là sự khó chịu chính trị hoặc mong muốn tránh trách nhiệm giải trình. Điều này làm tổ chức mất chính cơ hội, và làm cơ sở bằng chứng mất một phép thử thực tế có thể giải quyết sự bất định, để người ra quyết định tiếp theo đối mặt đúng cùng một khoảng trống.

Nhầm sự vắng mặt của bằng chứng với bằng chứng của sự vắng mặt. Một đổi mới địa phương hứa hẹn nhưng chưa được kiểm nghiệm bị giết như thể nó đã được thử và thất bại, trong khi một chương trình quốc gia bị bác bỏ lặp đi lặp lại tiếp tục được tài trợ vì không ai đóng khung bằng chứng là một phát hiện tiêu cực thay vì một khoảng trống. Cả hai sai lầm đều tốn kém: một cái đóng cửa các lựa chọn hứa hẹn, cái kia bảo vệ các chương trình mà một tổng hợp sáng suốt đã cho nghỉ hưu từ nhiều năm trước.

Coi một xếp hạng bộ công cụ là toàn bộ phân tích. Một người ra quyết định đọc một biểu tượng ổ khóa hay xếp hạng sao duy nhất và dừng ở đó, không kiểm tra liệu các nghiên cứu nền tảng có khớp với bối cảnh, dân số hay quy mô của mình không. Các xếp hạng được nén có chủ ý cho dễ tiếp cận; dùng mà không có tổng quan nền tảng, chúng có thể tạo ra các quyết định tự tin xây trên một cơ sở bằng chứng mỏng hơn sự đơn giản của xếp hạng gợi ý.

Bỏ qua tính không đồng nhất để ủng hộ kết quả gộp tiêu đề. Độ lớn hiệu ứng trung bình duy nhất của một phân tích tổng hợp được trích dẫn trong một bản thông báo trong khi biến thiên rộng giữa các nghiên cứu tạo ra nó — thường là phát hiện nhiều thông tin hơn — bị bỏ. Điều này tạo ra sự chính xác giả tạo: người ra quyết định hành động như thể mọi cách thực hiện đều hành xử như nhau, trong khi chất lượng thực hiện và bối cảnh đang làm công việc nhiều như chính can thiệp.

Để thiên lệch công bố lặng lẽ định hình cơ sở bằng chứng. Một tổ chức chỉ đọc văn liệu học thuật đã công bố khi đánh giá một can thiệp, bỏ lỡ các thử nghiệm tiêu cực chưa công bố và các đánh giá nội bộ không bao giờ vào tạp chí. Bức tranh về "điều gì hiệu quả" kết quả lệch có hệ thống về phía tích cực, và các quyết định xây trên đó thừa hưởng độ lệch này mà không ai chọn nó một cách có chủ ý.

Mô hình trưởng thành

Chiều	Khởi đầu	Phát triển	Chuẩn hóa	Quản lý	Điều phối
Sử dụng bằng chứng tổng hợp	Các quyết định trích dẫn các nghiên cứu đơn lẻ được chọn không chính thức, nếu có trích dẫn bằng chứng	Nhân viên đôi khi kiểm tra tổng quan hệ thống hay xếp hạng bộ công cụ, không nhất quán	Kiểm tra một tổng quan hệ thống hoặc xếp hạng điều-gì-hiệu-quả liên quan là bước bắt buộc trước các quyết định lớn	Việc xem xét bằng chứng được ghi lại và kiểm toán đối chiếu với các quyết định đã đưa ra, với các khoảng trống được theo dõi	Tổ chức đóng góp các đánh giá của chính mình trở lại hệ sinh thái tổng hợp như lẽ đương nhiên
Xử lý bằng chứng gây tranh cãi hoặc vắng mặt	"Không có bằng chứng" và "bằng chứng về không có hiệu ứng" được dùng thay thế cho nhau, không phân biệt	Nhân viên biết sự phân biệt nhưng áp dụng không nhất quán giữa các nhóm	Một phương pháp có tài liệu phân biệt hai điều và đặt phản ứng mặc định cho mỗi điều	Các quyết định dưới bằng chứng gây tranh cãi hoặc vắng mặt được theo dõi, tính thời gian và xem xét chất lượng	Các quyết định bằng chứng mơ hồ được chia sẻ như nghiên cứu tình huống để xây dựng phán đoán toàn tổ chức
Năng lực đánh giá bằng chứng nhanh	Không có quy trình; các quyết định khẩn cấp được đưa ra với bất cứ bằng chứng nào tình cờ có sẵn	Có một quy trình xem xét nhanh không chính thức nhưng ad hoc và phụ thuộc vào cá nhân	Một phương pháp và mẫu đánh giá bằng chứng nhanh chuẩn được lập tài liệu và cấp nguồn lực	Các đánh giá nhanh được tính thời gian, kiểm tra chất lượng, và ảnh hưởng của chúng lên quyết định được theo dõi	Năng lực đánh giá nhanh được chia sẻ với các tổ chức đối tác và mở rộng quy mô trong các cuộc khủng hoảng liên cơ quan
Công bố bằng chứng của chính tổ chức	Các đánh giá nội bộ, đặc biệt các phát hiện không có hiệu ứng hay tiêu cực, hiếm khi được chia sẻ ngoài nhóm đặt hàng	Một số đánh giá được công bố, không nhất quán và không có chính sách	Một chính sách công bố yêu cầu mọi đánh giá được đặt hàng phải được chia sẻ, tích cực hay tiêu cực	Mức tuân thủ công bố được theo dõi và báo cáo như một thước đo hiệu suất	Tổ chức chủ động đưa bằng chứng của mình vào các cơ quan tổng hợp và bộ công cụ quốc gia hoặc quốc tế

Danh mục kiểm tra

Đã kiểm tra tổng quan hệ thống hoặc xếp hạng điều-gì-hiệu-quả trước khi dựa vào một nghiên cứu đơn lẻ.
Đã đọc tổng quan bằng chứng nền tảng, không chỉ xếp hạng tóm tắt hay biểu tượng.
Chất lượng bằng chứng và độ mạnh khuyến nghị được nêu như hai phán đoán riêng.
"Không có bằng chứng về hiệu ứng" so với "bằng chứng về không có hiệu ứng" được phân biệt tường minh trong bản tóm tắt bằng văn bản.
Đã kiểm tra sự khớp bối cảnh giữa các nghiên cứu được tổng quan và quyết định đang bàn (dân số, quy mô, hệ thống dịch vụ).
Có sẵn và đã dùng quy trình đánh giá bằng chứng nhanh khi một tổng quan đầy đủ không vừa với thời gian.
Ngưỡng bằng chứng cho quyết định được thống nhất trước khi xem xét kết quả.
Có kế hoạch công bố đánh giá của chính tổ chức này, bất kể kết quả.
Đã thiết lập mối quan hệ thường trực với một trung tâm điều-gì-hiệu-quả hoặc cơ quan lưu trữ liên quan, không xây từ đầu dưới áp lực.
Lập luận đằng sau phán đoán cuối cùng được ghi lại, gồm bằng chứng đã cân nhắc và bị bác bỏ.
Quyết định được xem xét đối chiếu với đề xuất giá trị và các cân nhắc tính chính danh, không chỉ độ mạnh bằng chứng.

Nguồn chính

Cochrane Handbook for Systematic Reviews of Interventions, do Cochrane duy trì, cho phương pháp luận nền tảng mà thực hành tổng quan hệ thống qua các khu vực được xây trên.
Hướng dẫn của Campbell Collaboration về tổng quan hệ thống và tổng hợp bằng chứng cho chính sách xã hội, hành vi và tội phạm học, cho sự mở rộng trực tiếp của phương pháp luận đó vào các lĩnh vực chính sách công ngoài y tế.
Standards Handbook của What Works Clearinghouse (Viện Khoa học Giáo dục, Hoa Kỳ), cho một ví dụ thực hành về cách một cơ quan lưu trữ quốc gia đặt các chuẩn thiết kế nghiên cứu tường minh và xếp hạng bằng chứng theo chúng.
Teaching and Learning Toolkit của Education Endowment Foundation, cho một ví dụ thực tiễn, hướng tới người thực hành về việc chuyển bằng chứng gộp thành các xếp hạng chi phí, tác động và độ mạnh bằng chứng có thể so sánh.
Công trình của Tổ chức Hợp tác và Phát triển Kinh tế (OECD) về xây dựng năng lực hoạch định chính sách có thông tin từ bằng chứng, cho một bản trình bày xuyên quốc gia về cách các chính phủ tổ chức phía cầu và phía cung của việc sử dụng bằng chứng.
What Works Center for Crime Reduction của College of Policing và bộ công cụ giảm tội phạm của nó, cho một ví dụ thực hành nữa về khuôn mẫu cơ quan lưu trữ được áp dụng ngoài y tế và giáo dục.

Tài liệu tham khảo

Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction