Chủ đề 2.4 — Kinh tế lượng khu vực công và đánh giá chương trình

Vì sao điều này quan trọng đối với giá trị công

Mỗi năm, các cơ quan công gia hạn, mở rộng hay hủy các chương trình dựa trên một phép so sánh kết quả: người tham gia chương trình việc làm tìm được việc nhanh hơn người không tham gia; học sinh trong chương trình dạy kèm đạt điểm cao hơn học sinh không được dạy kèm. Mỗi phép so sánh đều đúng như một mô tả và nguy hiểm như một lập luận, vì không phép nào, tự nó, cho biết chương trình có gây ra sự khác biệt hay không. Những người đăng ký một chương trình việc làm thường có động lực hơn những người không đăng ký, và học sinh được chọn để dạy kèm thường được chọn vì một giáo viên đã kỳ vọng các em sẽ đáp ứng tốt. Khoảng cách giữa "nhóm được can thiệp làm tốt hơn" và "can thiệp khiến họ làm tốt hơn" chính là khoảng cách mà suy luận nhân quả tồn tại để khép lại.

Đây không phải một sự tinh tế học thuật. Một ủy ban tài chính được yêu cầu gia hạn tài trợ cho một chương trình đang ngầm được yêu cầu cho phép chi tiền công trên một tuyên bố nhân quả, dù có ai trong phòng dùng từ đó hay không. Chủ đề 2.1 đã trao cho bạn khung kết quả nêu một chương trình nhằm thay đổi điều gì (xem Chủ đề 2.1 — Bảng điểm giá trị công và các khung kết quả); chủ đề này trao cho bạn các phương pháp kiểm tra xem nó có thực sự thay đổi điều đó không, và thay đổi bao nhiêu. Phân tích chi phí–lợi ích và hiệu quả chi phí (xem Chủ đề 2.2 — Phân tích chi phí–lợi ích xã hội và phân tích hiệu quả chi phí) và lợi tức xã hội trên đầu tư (xem Chủ đề 2.3 — Lợi tức xã hội trên đầu tư và đo lường tác động) đều cần một độ lớn hiệu ứng bảo vệ được để làm việc; chủ đề này là nơi độ lớn hiệu ứng ấy đến từ, hoặc nơi bạn biết rằng con số bạn đang có không thể chịu được sức nặng đặt lên nó.

Cái giá không chỉ là tài chính. Một chính phủ mở rộng một chương trình không hiệu quả vì một đánh giá có sai sót khiến nó trông hiệu quả đã lãng phí tiền và, thường tệ hơn, đã đẩy lùi một phương án thực sự hiệu quả chưa bao giờ có cơ hội; một chính phủ hủy một chương trình hiệu quả vì một phép so sánh ngây thơ khiến nó trông vô dụng đã phá hủy giá trị mà một đánh giá được thiết kế tốt hơn sẽ bảo vệ. Làm đúng việc nhận diện nhân quả, và biết khi nào bạn không thể làm đúng, tự nó là một năng lực giá trị công, không phải mối quan tâm phụ của chuyên gia.

Khái niệm cốt lõi

Suy luận nhân quả là nhánh của thống kê quan tâm đến việc xác lập liệu, và bao nhiêu, sự thay đổi của một biến tạo ra sự thay đổi của biến khác, khác với việc hai biến chỉ cùng di chuyển. Nó cung cấp nền tảng khái niệm — lập luận phản thực tế, ngôn ngữ của nhóm can thiệp và nhóm đối chứng, danh mục các mối đe dọa cụ thể đối với một tuyên bố nhân quả — mà mọi phương pháp trong chủ đề này dựa vào. Wikipedia: Suy luận nhân quả.

Phản thực tế là kết quả mà một người hay một đơn vị sẽ trải qua nếu họ không nhận chương trình, và là đại lượng trung tâm, không quan sát được mà mọi phương pháp nhân quả cố gắng xấp xỉ: bạn có thể quan sát điều đã xảy ra với một người tham gia, nhưng không bao giờ biết điều sẽ xảy ra với chính người đó nếu không được hỗ trợ. Mỗi phương pháp dưới đây là một chiến lược khác nhau để dựng một vật thay thế đáng tin cho quan sát còn thiếu đó. Mô hình nhân quả Rubin, chủ yếu do nhà thống kê Donald Rubin phát triển, hình thức hóa điều này thành khung "kết quả tiềm năng": mỗi đơn vị có một kết quả tiềm năng khi được can thiệp và một khi đối chứng, và tác động nhân quả là hiệu giữa chúng, trong đó chỉ một được quan sát. Wikipedia: Mô hình nhân quả Rubin.

Nhiễu xảy ra khi một yếu tố thứ ba ảnh hưởng đến cả việc một đơn vị có nhận chương trình hay không lẫn kết quả mà chương trình nhằm thay đổi, khiến có vẻ như chương trình gây ra một hiệu ứng mà thực ra yếu tố nhiễu tạo ra. Động lực, năng lực trước đó, điều kiện kinh tế địa phương và sự giàu có của hộ gia đình là những yếu tố nhiễu lặp lại trong đánh giá chương trình công, vì chúng thường xuyên ảnh hưởng đến cả ai tiếp nhận một dịch vụ lẫn người hay nơi đó sau này ra sao. Wikipedia: Nhiễu.

Thiên lệch chọn mẫu là trường hợp riêng của nhiễu phát sinh từ cách người tham gia đi vào nhóm can thiệp ngay từ đầu — tự chọn, nhân viên giới thiệu hay quy tắc đủ điều kiện — sao cho các nhóm được và không được can thiệp khác nhau một cách có hệ thống trước khi chương trình chạm đến họ. Một chương trình việc làm mà chỉ những người tìm việc có động lực nhất đăng ký sẽ trông hiệu quả dù nó không làm gì, vì nhóm so sánh không bao giờ là vật thay thế công bằng cho điều những người tham gia sẽ làm nếu không được hỗ trợ. Wikipedia: Thiên lệch chọn mẫu.

Tương quan không hàm ý nhân quả là lời cảnh báo chung mà chủ đề này thao tác hóa: hai biến cùng di chuyển phù hợp với việc biến này gây ra biến kia, với chiều ngược lại, với một nguyên nhân chung, hay với sự trùng hợp, và riêng khuôn mẫu không thể phân biệt các khả năng này. Doanh số kem và số ca chết đuối đều tăng mỗi mùa hè mà không cái nào gây ra cái kia, vì thời tiết nóng thúc đẩy cả hai; đánh giá chương trình công đầy những phiên bản tinh vi hơn của cùng cái bẫy. Wikipedia: Tương quan không hàm ý nhân quả.

Thử nghiệm đối chứng ngẫu nhiên (RCT), gọi là đánh giá ngẫu nhiên trong văn liệu đánh giá chính sách, gán ngẫu nhiên các đơn vị đủ điều kiện vào một nhóm can thiệp nhận chương trình và một nhóm đối chứng không nhận, sao cho trung bình hai nhóm chỉ khác nhau ở chỗ có được can thiệp hay không. Ngẫu nhiên hóa mạnh vì nó xử lý nhiễu một cách trọn gói: nó cân bằng cả những yếu tố nhiễu bạn đo được lẫn những yếu tố bạn không đo được, mà không cần gọi tên chúng từ trước. Wikipedia: Thử nghiệm đối chứng ngẫu nhiên.

Sai khác trong sai khác (DiD) so sánh sự thay đổi kết quả theo thời gian của một nhóm được can thiệp với sự thay đổi trong cùng giai đoạn của một nhóm so sánh không nhận chương trình, giả định rằng, nếu không có chương trình, hai nhóm sẽ đi theo các xu hướng song song. Đó là phương pháp chủ lực khi một chương trình đến một khu vực pháp lý này trước khu vực khác và ngẫu nhiên hóa chưa bao giờ là lựa chọn, vì nó có thể dùng dữ liệu hành chính được thu thập thường lệ thay vì một thử nghiệm xây riêng. Wikipedia: Sai khác trong sai khác.

Thiết kế gián đoạn hồi quy (RDD) khai thác một quy tắc chương trình gán can thiệp dựa trên một điểm số đo được vượt qua một ngưỡng cố định — một khoản trợ cấp bắt đầu đúng tại một ngưỡng thu nhập, một lớp phụ đạo gán cho học sinh điểm ngay dưới điểm đạt — và so sánh kết quả của các đơn vị ngay trên và ngay dưới ngưỡng, vốn tương tự nhau về các mặt khác. Vì phía nào của ngưỡng mà một đơn vị rơi vào thực chất là tùy ý trong một dải hẹp quanh nó, phép so sánh xấp xỉ một thử nghiệm ngẫu nhiên cục bộ mà không ai ngẫu nhiên hóa điều gì. Wikipedia: Thiết kế gián đoạn hồi quy.

Ước lượng biến công cụ (IV) dùng một biến thứ ba, một "công cụ", ảnh hưởng đến việc tiếp nhận một chương trình nhưng không có ảnh hưởng trực tiếp lên kết quả ngoại trừ qua sự tiếp nhận đó, để loại phần của mối quan hệ can thiệp–kết quả vốn bị nhiễu làm vấy bẩn. Một công cụ chính sách công kinh điển là khoảng cách đến một cơ sở, hay một suất được phân bổ bằng bốc thăm, làm thay đổi sự tham gia mà không tự gây ra kết quả; phần lớn khó khăn của phương pháp nằm ở việc bảo vệ rằng công cụ chỉ ảnh hưởng đến kết quả qua chương trình. Wikipedia: Ước lượng biến công cụ.

Thí nghiệm tự nhiên là một tình huống, nảy sinh từ chính sách, địa lý hay hoàn cảnh chứ không phải thiết kế của nhà nghiên cứu, trong đó một số người được tiếp xúc với chương trình và những người tương đương khác thì không, như thể một thí nghiệm đã được chạy mà không ai chạy nó. Một thay đổi chính sách có hiệu lực tại một ngưỡng ngày sinh, một ranh giới đặt các hộ gần như giống hệt nhau vào các khu vực pháp lý khác nhau, hay một cuộc bốc thăm phân bổ một suất đăng ký quá tải là những thí nghiệm tự nhiên mà RDD, IV hay DiD sau đó có thể phân tích. Wikipedia: Thí nghiệm tự nhiên.

Hiệu ứng Hawthorne gọi tên rủi ro rằng mọi người thay đổi hành vi đơn giản vì biết mình đang bị quan sát, độc lập với nội dung thực của chương trình, có thể thổi phồng một hiệu ứng ước tính nếu nhóm đối chứng không được quan sát với cường độ bằng nhau — chính hành vi đo lường có thể trở thành một phần của can thiệp. Wikipedia: Hiệu ứng Hawthorne.

Lực thống kê là xác suất một đánh giá sẽ phát hiện một hiệu ứng thật ở một độ lớn nhất định nếu nó tồn tại, phụ thuộc chủ yếu vào cỡ mẫu, độ lớn hiệu ứng được tìm kiếm và mức độ kết quả biến thiên trong từng nhóm. Một đánh giá thiếu lực tìm thấy "không có hiệu ứng có ý nghĩa" thường chưa chứng minh chương trình không làm được gì; nó chỉ chứng minh đánh giá quá nhỏ để nói theo cách nào, một sự phân biệt mà các nhà lãnh đạo thường bỏ lỡ dưới áp lực phải đưa ra phán quyết. Wikipedia: Lực thống kê.

Thực hành tốt nhất

Quyết định thiết kế đánh giá trước khi chương trình khởi động, không phải sau. Một đánh giá ngẫu nhiên, một lộ trình triển khai so le phù hợp cho sai khác trong sai khác, hay một ngưỡng đủ điều kiện phù hợp cho thiết kế gián đoạn hồi quy đều dễ xây từ đầu hơn nhiều so với lắp thêm sau khi việc thực hiện đã bắt đầu theo cách ad hoc.
Nêu tường minh phản thực tế trong mọi bản mô tả đánh giá. Viết ra, trong một câu, bạn đang so người tham gia với cái gì — không có chương trình nào, chương trình trước, một can thiệp khác — vì một phản thực tế không được nêu là nơi những tranh chấp đánh giá sắc nét nhất thường ẩn nấp.
Coi một phép so sánh trước–sau đơn giản là giả thuyết khởi đầu, không bao giờ là một phát hiện. Kết quả trôi dạt vì nhiều lý do không liên quan đến chương trình của bạn — chu kỳ kinh tế, hiệu ứng mùa vụ, các thay đổi chính sách khác đáp xuống cùng lúc — và một thiết kế trước–sau không thể tách đóng góp của chương trình bạn khỏi đóng góp của chúng.
Khớp phương pháp với quy tắc thực sự đã gán chương trình, không phải với phương pháp bạn thấy quen thuộc nhất. Một chương trình được phân bổ bằng bốc thăm đòi hỏi logic của một đánh giá ngẫu nhiên dù bạn chưa bao giờ gọi nó là thử nghiệm; một chương trình được gán bằng một ngưỡng điểm đòi hỏi thiết kế gián đoạn hồi quy; một chương trình triển khai đến một số khu vực trước các khu vực khác đòi hỏi sai khác trong sai khác.
Đăng ký trước các thước đo kết quả và kế hoạch phân tích trước khi nhìn kết quả. Quyết định kết quả nào được tính là "thành công" sau khi thấy kết quả nào chuyển động là một con đường được ghi nhận dẫn đến dương tính giả, và đăng ký trước là biện pháp phòng vệ tiêu chuẩn chống lại nó.
Tính lực cho đánh giá theo độ lớn hiệu ứng nhỏ nhất vẫn biện minh được chi phí của chương trình, không phải theo sự tiện lợi. Một đánh giá quá nhỏ để phát hiện một hiệu ứng có ý nghĩa chính sách sẽ tạo ra kết quả "không có khác biệt có ý nghĩa" vô thông tin bị đọc nhầm là bằng chứng thất bại.
Báo cáo đặc điểm của nhóm so sánh cạnh đặc điểm của nhóm can thiệp, không chỉ hiệu ứng chính. Một đánh giá đáng tin cho phép một người đọc hoài nghi kiểm tra rằng hai nhóm giống nhau trước can thiệp; một đánh giá giấu điều này buộc người đọc tin vào sự cân bằng.
Đặt hàng đánh giá từ một nguồn độc lập với nhóm thực hiện, hoặc cách ly phân tích nếu không thể. Một nhóm có lợi ích trong thành công của chương trình có động cơ cấu trúc, thường vô thức, để diễn giải bằng chứng mơ hồ theo hướng có lợi cho chương trình.
Tách ý nghĩa thống kê khỏi ý nghĩa thực tiễn và ngân sách trong mọi báo cáo. Một hiệu ứng nhỏ được ước lượng chính xác và một hiệu ứng lớn được ước lượng thiếu chính xác là các phát hiện khác nhau đòi hỏi các quyết định khác nhau, và gộp cả hai thành "có ý nghĩa" hay "không có ý nghĩa" xóa đi sự phân biệt mà một quyết định tài trợ thực sự cần.
Lập ngân sách đánh giá như một phần cố định của chi phí chương trình ở giai đoạn thiết kế, không phải phần còn lại. Một chương trình đủ lớn để quan trọng đối với giá trị công thường đủ lớn để tài trợ một đánh giá tác động đáng tin, và coi đánh giá là tùy ý là cách bằng chứng yếu trở thành thông lệ.
Công bố các kết quả không có hiệu ứng và tiêu cực với cùng mức độ hiển thị như kết quả tích cực. Một môi trường đặt hàng chỉ công bố các đánh giá thành công tạo ra thiên lệch chọn mẫu ngay trong cơ sở bằng chứng được công bố, làm lệch phán đoán "điều gì hiệu quả" sau này của mọi người về phía lạc quan.
Đưa mọi đánh giá đã hoàn thành vào cơ sở bằng chứng rộng hơn mà khu vực của bạn duy trì, không chỉ kho lưu trữ riêng. Một đánh giá đơn lẻ, dù thiết kế tốt đến đâu, là một điểm dữ liệu; tổng hợp có hệ thống qua nhiều đánh giá mới biến một phát hiện của chương trình thành tri thức có thể chuyển giao (xem Chủ đề 2.6 — Tổng hợp bằng chứng và điều gì hiệu quả).

Câu hỏi thảo luận với đội ngũ của bạn

Phản thực tế mà chúng ta thực sự đang so chương trình này với là gì, và chúng ta đã nói to lên chưa? Mọi tuyên bố về tác động đều ngụ ý một phép so sánh, nhưng các nhóm thường để nó ngầm, để "việc này hiệu quả" lặng lẽ trượt giữa "tốt hơn không có gì", "tốt hơn điều chúng ta làm trước đây" và "tốt hơn phương án thay thế tốt nhất chúng ta có thể đã tài trợ". Hãy yêu cầu trưởng bộ phận đánh giá của bạn nêu phản thực tế thành một câu bằng ngôn ngữ giản dị, rồi kiểm tra xem bằng chứng bạn có thực sự ủng hộ một tuyên bố về đúng phép so sánh cụ thể đó không. Nếu phản thực tế trung thực là "chúng ta không biết điều gì sẽ xảy ra nếu không", hãy coi tuyên bố tác động hiện tại là một giả thuyết, không phải một phát hiện, và thảo luận cần gì để khép khoảng trống đó.

Những người hay nơi đã tiếp nhận chương trình này có thể khác biệt một cách có hệ thống so với những nơi không, theo những cách cũng ảnh hưởng đến kết quả không? Đây là câu hỏi về thiên lệch chọn mẫu, và đáng hỏi ngay cả khi — nhất là khi — câu trả lời có vẻ hiển nhiên là "không". Động lực, hoàn cảnh trước đó, năng lực địa phương và các khuôn mẫu nhân viên giới thiệu là những nguồn khác biệt ẩn thường gặp tạo ra một ước lượng tác động gây hiểu lầm ngay cả với một mẫu lớn, trông cẩn thận. Nếu nhóm không thể mô tả người tham gia đã vào chương trình bằng cách nào, họ không thể loại trừ điều này, và khoảng trống đó nên làm bạn lo hơn một cỡ mẫu nhỏ.

Thiết kế đánh giá của chúng ta được xây vào chương trình, hay lắp thêm sau đó, và điều đó đã tốn của chúng ta gì? Một đánh giá ngẫu nhiên, một lộ trình triển khai so le, hay một ngưỡng đủ điều kiện có điểm số đều rẻ hơn và đáng tin hơn nhiều khi được lên kế hoạch trước khi khởi động so với khi được tái dựng từ bất cứ dữ liệu hành chính nào tình cờ còn sót lại. Hãy hỏi những lựa chọn thiết kế đánh giá nào đã được cân nhắc ở giai đoạn thiết kế chương trình, và nếu không có lựa chọn nào, hãy coi đó là khoảng trống quy trình cần khép trước chương trình tiếp theo, không chỉ là hạn chế của chương trình này. Hãy thảo luận dữ liệu nào cần tồn tại từ ngày đầu để chương trình lớn tiếp theo hỗ trợ một ước lượng nhân quả đáng tin.

Mẫu của chúng ta có đủ lớn để phát hiện một hiệu ứng đáng biết không, và chúng ta có nhận ra một phát hiện "không có hiệu ứng" thiếu lực nếu thấy nó không? Một đánh giá báo cáo không có hiệu ứng có ý nghĩa thống kê đôi khi nói đúng rằng chương trình không hiệu quả, và đôi khi chỉ nói rằng đánh giá quá nhỏ để thấy một hiệu ứng thực sự có mặt. Hãy yêu cầu các nhà phân tích của bạn nêu độ lớn hiệu ứng tối thiểu mà đánh giá được tính lực để phát hiện, và so nó với độ lớn hiệu ứng sẽ thực sự biện minh chi phí của chương trình. Nếu hai con số cách nhau xa, phát hiện "không có hiệu ứng" có thể là vô thông tin chứ không phải kết tội, và nhóm nên nói rõ như vậy thay vì để sự im lặng bị đọc là thất bại.

Ai được lợi, về nghề nghiệp hay danh tiếng, nếu đánh giá này cho kết quả tích cực, và điều đó có thay đổi mức độ soi xét độc lập mà nó cần không? Đây không phải lời buộc tội thiếu trung thực; đó là sự thừa nhận rằng những người thiết kế hay thực hiện một chương trình về cấu trúc dễ diễn giải kết quả mơ hồ một cách khoan dung hơn, thường mà không nhận ra mình đang làm vậy. Hãy thảo luận liệu đánh giá có được đặt hàng, phân tích hay xem xét bởi ai đó độc lập với nhóm thực hiện không, và nếu không, một bức tường cách ly tương xứng sẽ trông ra sao cho một chương trình cỡ này. Mục tiêu là một kết quả mà nhà tài trợ hoài nghi nhất của bạn cũng tin, không chỉ một kết quả mà nhóm của bạn thấy thoải mái bảo vệ.

Nếu phát hiện của đánh giá này vững, chúng ta thực sự sẽ làm khác đi điều gì, và chúng ta có sẵn sàng làm không? Một đánh giá được đặt hàng nhưng không bao giờ có ý định thay đổi một quyết định là một chi phí chìm khoác áo thẩm định, và đáng gọi tên rủi ro này trước khi kết quả đến chứ không phải sau. Hãy thảo luận trước điều một phát hiện tích cực mạnh sẽ biện minh (mở rộng, và bao nhiêu) và điều một phát hiện không có hiệu ứng hay tiêu cực sẽ kích hoạt (thiết kế lại, hay hủy bỏ, và theo lộ trình nào). Nếu không ai trong phòng trả lời được điều này trước khi thấy kết quả, đánh giá có thể đang phục vụ một chức năng tính chính danh thay vì chức năng quyết định, và điều đó đáng được thành thật về nó (xem Chủ đề 2.1 — Bảng điểm giá trị công và các khung kết quả).

Trong thực tiễn: một ví dụ về giá trị công

Minh họa hư cấu. Bộ Dịch vụ Việc làm của một quốc gia cỡ vừa, không nêu tên, chạy một thí điểm một năm về dịch vụ huấn luyện chuyên sâu cho những người tìm việc thất nghiệp dài hạn, bên cạnh dịch vụ tiêu chuẩn hiện có. Cuối thí điểm, một báo cáo nội bộ so sánh nhóm nhận huấn luyện chuyên sâu với tất cả những người khác thoát thất nghiệp trong cùng giai đoạn: nhóm được huấn luyện có tỷ lệ có việc làm 38% trong sáu tháng, so với 24% của phần còn lại của danh sách hồ sơ. Các bộ trưởng được cho biết chương trình "hiệu quả" và một luận chứng kinh tế được chuyển lên để triển khai trên toàn quốc.

Trước khi ký duyệt tài trợ, ủy ban tài chính hỏi một câu đơn giản: những người tìm việc đã vào nhóm được huấn luyện bằng cách nào ngay từ đầu? Câu trả lời hóa ra quan trọng vô cùng. Các nhân viên phụ trách hồ sơ đã giới thiệu những người tìm việc mà họ đánh giá là "có nhiều khả năng được lợi nhất" vào thí điểm huấn luyện, một quyết định phân loại thiện chí nhưng thực tế đã chọn một nhóm sẵn sàng đi làm hơn vào can thiệp ngay từ đầu. Phép so sánh 38% với 24% bị vấy bẩn bởi đúng thiên lệch chọn mẫu mà chủ đề này cảnh báo: hoàn toàn có thể nhóm được huấn luyện sẽ vượt phần còn lại của danh sách ngay cả khi không có huấn luyện nào.

Thay vì phê duyệt hay bác bỏ việc triển khai trên phép so sánh đó, đơn vị đánh giá của bộ đề xuất một giai đoạn hai dùng bốc thăm. Nhu cầu cho dịch vụ huấn luyện vốn đã vượt quá số suất sẵn có, nên đơn vị phân bổ ngẫu nhiên các suất giữa những người nộp đơn đủ điều kiện như nhau và so sánh tỷ lệ có việc làm giữa người trúng thăm và người không trúng, một ứng dụng logic đánh giá ngẫu nhiên mà không cần giữ lại dịch vụ khỏi bất kỳ ai vốn sẽ nhận được. Mười hai tháng sau, phép so sánh bốc thăm cho thấy một hiệu ứng nhỏ hơn nhưng có thật: cải thiện 9 điểm phần trăm trong tỷ lệ có việc làm sáu tháng, không phải khoảng cách 14 điểm mà phép so sánh ban đầu ngụ ý. Bộ dùng ước lượng dựa trên bốc thăm, cùng dữ liệu chi phí của chính mình, để xây một luận cứ hiệu quả chi phí bảo vệ được (xem Chủ đề 2.2 — Phân tích chi phí–lợi ích xã hội và phân tích hiệu quả chi phí) cho một đợt triển khai có quy mô nhưng bị giới hạn nguồn lực, thay vì sự mở rộng lớn hơn, không thể thực hiện mà phép so sánh ban đầu có sai sót sẽ biện minh.

Bốn góc nhìn theo khu vực

Chính quyền địa phương

Chính quyền địa phương thường vận hành nhiều chương trình nhỏ và vừa hơn là một vài chương trình rất lớn, khiến các đánh giá ngẫu nhiên xây riêng đắt so với quy mô chương trình và đẩy các nhà đánh giá địa phương về phía các phương pháp bán thực nghiệm tái dùng dữ liệu hành chính đang được thu thập — sai khác trong sai khác qua các khu vực dịch vụ áp dụng thay đổi vào các thời điểm khác nhau, hoặc thiết kế gián đoạn hồi quy quanh một ngưỡng đủ điều kiện địa phương. Những khác biệt về ranh giới và khu vực pháp lý vốn sẽ là phiền toái ở nơi khác thường là thí nghiệm tự nhiên tốt nhất của nhà đánh giá địa phương, vì hai phường hay quận lân cận có thể khác nhau về chính sách trong khi vẫn giống nhau ở hầu hết các mặt khác.

Chính phủ quốc gia

Chính phủ quốc gia có quy mô để tài trợ các đánh giá ngẫu nhiên xây riêng và các bộ dữ liệu hành chính, thường liên kết giữa hồ sơ thuế, phúc lợi, y tế và giáo dục, để chạy các thiết kế bán thực nghiệm đáng tin với chi phí biên thấp. Quy mô này cũng là nơi các lực lượng đặc nhiệm đánh giá "điều gì hiệu quả" và hướng dẫn đánh giá tập trung, như cẩm nang đánh giá tiêu chuẩn của một bộ tài chính, có xu hướng đặt, vì chỉ một chính phủ quốc gia mới có thể biện minh chi phí cố định của việc duy trì hạ tầng đánh giá thường trực và một chuẩn phương pháp chung qua nhiều bộ.

Khu vực xã hội và phi lợi nhuận

Các tổ chức phi lợi nhuận và phi chính phủ hiếm khi có cỡ mẫu hay ngân sách mà một đánh giá ngẫu nhiên đủ lực cần, và chương trình của họ thường thay đổi một cách thích ứng theo điều nhân viên tuyến đầu quan sát, làm phức tạp bất kỳ thiết kế nào giả định một can thiệp ổn định, được xác định rõ. Hợp tác với một nhóm nghiên cứu học thuật hoặc một trung gian đánh giá chuyên biệt, thuộc loại đã phát triển quanh phong trào đánh giá ngẫu nhiên trong phát triển quốc tế, thường là con đường thực tế duy nhất đến một ước lượng nhân quả chặt chẽ, và các nhà tài trợ ngày càng yêu cầu chính loại hợp tác bên ngoài này trước khi cam kết các khoản tài trợ nhiều năm.

Đa phương và quốc tế

Các tổ chức đa phương tài trợ chương trình qua nhiều quốc gia với hệ thống dữ liệu, năng lực hành chính và chuẩn mực xét duyệt đạo đức khác nhau, khiến các phương pháp nhân quả chuẩn hóa khó áp dụng đồng đều hơn nhưng cũng tạo ra biến thiên xuyên quốc gia tự nhiên có thể tự trở thành thí nghiệm tự nhiên khi một chính sách được áp dụng ở một số quốc gia thành viên trước các nước khác. Các đánh giá ngẫu nhiên trong kinh tế học phát triển đặc biệt có ảnh hưởng ở quy mô này, tạo ra bằng chứng định hình cách tài trợ phát triển quốc tế được phân bổ, nhưng chúng cũng mang rủi ro đã được ghi nhận về thất bại tính giá trị ngoại tại: một kết quả đúng ở quốc gia và bối cảnh được nghiên cứu không tự động chuyển sang bối cảnh khác, một lưu ý mà việc thiết kế chương trình đa phương quá thường lướt qua.

Các kiểu thất bại thường gặp

Trước–sau ngây thơ. Một chương trình được đánh giá chỉ bằng so sánh kết quả trước khi nó bắt đầu với kết quả sau, hoàn toàn không có nhóm so sánh, nên bất kỳ xu hướng nào đã sẵn diễn ra — phục hồi kinh tế, chuyển dịch nhân khẩu, một thay đổi chính sách riêng — bị quy nhầm cho chương trình. Cái giá là một câu chuyện nhân quả tự tin xây trên một thiết kế thực sự không thể phân biệt hiệu ứng của chương trình với mọi thứ khác đã xảy ra cùng lúc.

Thiên lệch chọn mẫu bị nhầm là hiệu ứng chương trình. Những người tham gia đã tự chọn tham gia, hoặc được giới thiệu vì có vẻ sẽ thành công, bị đem so với mọi người khác, tạo ra một ước lượng tác động thực chất là thước đo chương trình đã thu hút ai chứ không phải nó đã làm gì với họ. Cái giá là một chương trình được mở rộng trông kém hiệu quả hơn, đôi khi kém hơn nhiều, một khi nó chạm đến một dân số ít tự chọn hơn.

Đánh giá thiếu lực bị báo cáo như một phát hiện không có hiệu ứng. Một thí điểm nhỏ tìm thấy "không có hiệu ứng có ý nghĩa thống kê" và bị đọc như bằng chứng chương trình không hiệu quả, trong khi mẫu thực ra quá nhỏ để phát hiện một hiệu ứng ở độ lớn có ý nghĩa. Cái giá chạy theo cả hai hướng: một chương trình thực sự hiệu quả có thể bị hủy dựa trên bằng chứng chưa bao giờ có khả năng cho thấy nó hiệu quả, hoặc nguồn lực chuyển sang tài trợ một thử nghiệm lớn hơn vốn không cần thiết nếu bản mô tả ban đầu đã được tính lực đúng.

Ngoại suy một ước lượng cục bộ vượt quá bối cảnh của nó. Một thiết kế gián đoạn hồi quy ước lượng đúng hiệu ứng cho các đơn vị gần ngưỡng đủ điều kiện, và một ước lượng biến công cụ ước lượng đúng hiệu ứng cho các đơn vị mà công cụ thực sự làm thay đổi trạng thái can thiệp, nhưng cả hai phát hiện sau đó bị áp dụng cho toàn bộ dân số như thể ước lượng đúng ở mọi nơi. Cái giá là một chính sách được mở rộng dựa trên một con số chỉ từng đúng cục bộ.

Đánh giá như sân khấu. Một đánh giá được đặt hàng để tạo vẻ ngoài của việc ra quyết định dựa trên bằng chứng, nhưng quyết định thực tế đã được đưa ra, và không phát hiện hợp lý nào có thể thay đổi nó. Cái giá là một ngân sách đánh giá bị lãng phí và, ăn mòn hơn, một sự xói mòn chậm niềm tin vào chính việc đánh giá một khi nhân viên nhận ra kết quả dường như không bao giờ thay đổi được điều gì.

Mô hình trưởng thành

Tiểu chiều	Khởi đầu	Phát triển	Chuẩn hóa	Quản lý	Điều phối
Thiết kế đánh giá được chọn tương ứng với thiết kế chương trình	Đánh giá, nếu có, là suy nghĩ sau cùng khi việc thực hiện đã bắt đầu	Một số nhóm cân nhắc các lựa chọn thiết kế không chính thức, không nhất quán	Một hướng dẫn quyết định chuẩn khớp loại chương trình với phương pháp đánh giá	Các lựa chọn thiết kế được xem xét và phê duyệt trước khởi động, trên toàn tổ chức	Các chuẩn thiết kế được chia sẻ và so chuẩn với các tổ chức đồng cấp
Xử lý chọn mẫu và nhiễu	Các so sánh được thực hiện mà không chú ý đến cách các nhóm khác nhau	Có nhận thức về thiên lệch chọn mẫu, xử lý ad hoc	Các kiểm tra chuẩn về tính so sánh được của nhóm can thiệp và nhóm so sánh	Tính so sánh được kiểm toán độc lập trước khi kết quả được chấp nhận	Các phương pháp xử lý chọn mẫu được chia sẻ công khai và cải thiện cùng các tổ chức đồng cấp
Lực thống kê và hoạch định mẫu	Cỡ mẫu đặt theo sự tiện lợi, không theo độ lớn hiệu ứng tìm kiếm	Lực đôi khi được thảo luận nhưng hiếm khi tính chính thức	Tính toán lực là phần bắt buộc của mọi kế hoạch đánh giá	Các đánh giá thiếu lực được đánh dấu và hoặc được củng cố hoặc được đặt lại khung	Các chuẩn về lực được phối hợp trên một danh mục các chương trình liên quan
Độc lập và minh bạch của các phát hiện	Đánh giá được thực hiện và diễn giải chỉ bởi nhóm thực hiện	Một người xem xét nội bộ thỉnh thoảng kiểm tra các phát hiện	Xem xét độc lập hoặc cách ly là tiêu chuẩn cho các đánh giá lớn	Các phát hiện độc lập, tích cực và tiêu cực, được công bố như thường lệ	Năng lực đánh giá độc lập được gộp hoặc chia sẻ giữa các tổ chức
Phát hiện đánh giá đưa vào quyết định	Phát hiện được tạo ra nhưng hiếm khi được xem lại một khi quyết định đã đưa ra	Phát hiện đôi khi cung cấp thông tin cho các vòng ngân sách sau	Một quy trình xác định đưa phát hiện vào các quyết định tài trợ và mở rộng	Các quyết định được theo dõi đối chiếu với phát hiện và các chênh lệch được giải thích	Phát hiện đưa vào một cơ sở bằng chứng chung liên tổ chức (xem Chủ đề 2.6 — Tổng hợp bằng chứng và điều gì hiệu quả)

Danh mục kiểm tra

Nêu phản thực tế cho mỗi đánh giá chương trình lớn trong một câu bằng ngôn ngữ giản dị.
Xác nhận người tham gia đã vào nhóm can thiệp bằng cách nào, và đánh giá liệu quá trình đó có thể tự giải thích sự khác biệt kết quả không.
Chọn phương pháp đánh giá (đánh giá ngẫu nhiên, sai khác trong sai khác, thiết kế gián đoạn hồi quy, biến công cụ hay thí nghiệm tự nhiên) khớp với quy tắc gán thực tế, trước khi việc thực hiện bắt đầu bất cứ khi nào có thể.
Tính lực thống kê cần để phát hiện độ lớn hiệu ứng nhỏ nhất vẫn biện minh chi phí của chương trình.
Đăng ký trước các thước đo kết quả và kế hoạch phân tích trước khi thấy kết quả.
Báo cáo tính so sánh được của nhóm can thiệp và nhóm so sánh cạnh hiệu ứng chính.
Đặt hàng hoặc xem xét đánh giá qua một chức năng độc lập với nhóm thực hiện.
Tách ý nghĩa thống kê khỏi ý nghĩa ngân sách và thực tiễn trong mọi báo cáo gửi người ra quyết định.
Lập ngân sách đánh giá như một phần cố định của chi phí chương trình ở giai đoạn thiết kế.
Công bố các phát hiện không có hiệu ứng và tiêu cực với cùng mức hiển thị như phát hiện tích cực.
Kiểm tra xem một ước lượng cục bộ tích cực (từ thiết kế gián đoạn hồi quy hay biến công cụ) có đang bị ngoại suy vượt quá dân số mà nó thực sự bao quát không.
Đưa các đánh giá đã hoàn thành vào cơ sở bằng chứng rộng hơn mà khu vực của bạn duy trì, không chỉ kho lưu trữ riêng.

Nguồn chính

Lõi phương pháp luận của chủ đề này dựa trên truyền thống kinh tế lượng ứng dụng gắn với Joshua D. Angrist và Jörn-Steffen Pischke, và trên khung kết quả tiềm năng do Donald Rubin hình thức hóa. Phong trào đánh giá ngẫu nhiên trong chính sách công và kinh tế học phát triển, gắn với Phòng thí nghiệm Hành động Chống Nghèo Abdul Latif Jameel (J-PAL) và mạng lưới học thuật của nó, cung cấp phần lớn thực hành ứng dụng được nhắc đến ở các góc nhìn theo khu vực. Các chuẩn đánh giá của chính phủ dựa trên hướng dẫn Magenta Book của Kho bạc Anh, và thực hành tổng hợp bằng chứng dựa trên các chuẩn của Campbell Collaboration về tổng quan hệ thống trong chính sách xã hội (xem Chủ đề 2.6 — Tổng hợp bằng chứng và điều gì hiệu quả).

Tài liệu tham khảo

Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network