সরকারি খাতের অর্থমিতি ও কর্মসূচি মূল্যায়ন

কেন এটি জনমূল্যে গুরুত্বপূর্ণ

প্রতি বছর সরকারি সংস্থা ফলাফলের তুলনার ভিত্তিতে কর্মসূচি নবায়ন, সম্প্রসারণ বা বাতিল করে: কর্মসংস্থান কর্মসূচির অংশগ্রহণকারীরা অ-অংশগ্রহণকারীদের চেয়ে দ্রুত কাজ পেয়েছেন; টিউটোরিং প্রকল্পের শিক্ষার্থীরা যাদের টিউটোরিং করানো হয়নি তাদের চেয়ে বেশি নম্বর পেয়েছে। প্রতিটি তুলনা বর্ণনা হিসেবে সত্য এবং যুক্তি হিসেবে বিপজ্জনক, কারণ কোনোটিই একা বলে না কর্মসূচিটি পার্থক্যটি ঘটিয়েছে কি না। কর্মসংস্থান কর্মসূচিতে যাঁরা ভর্তি হন তাঁরা প্রায়ই যাঁরা হন না তাঁদের চেয়ে বেশি অনুপ্রাণিত, এবং টিউটোরিংয়ের জন্য নির্বাচিত শিক্ষার্থীদের প্রায়ই বেছে নেওয়া হয় কারণ একজন শিক্ষক ইতিমধ্যে আশা করেন তারা ভালো সাড়া দেবে। "চিকিৎসাপ্রাপ্ত গোষ্ঠী ভালো করেছে" এবং "চিকিৎসা তাদের ভালো করিয়েছে"-র মধ্যকার ব্যবধানই সেই ব্যবধান যা বন্ধ করতে কার্য-কারণ অনুমান আছে।

এটি একাডেমিক সূক্ষ্মতা নয়। একটি কর্মসূচির অর্থায়ন নবায়নের জন্য বলা একটি অর্থ কমিটিকে অন্তর্নিহিতভাবে কার্য-কারণ দাবির ওপর সরকারি অর্থ ব্যয়ের অনুমোদন দিতে বলা হচ্ছে, ঘরের কেউ সেই শব্দ ব্যবহার করুন বা না করুন। বিষয় 2.1 আপনাকে ফলাফল-কাঠামো দিয়েছে যা বলে একটি কর্মসূচির কী বদলানোর কথা (দেখুন বিষয় 2.1 — জনমূল্য স্কোরকার্ড ও ফলাফল কাঠামো); এই বিষয় আপনাকে সেই পদ্ধতি দেয় যা পরীক্ষা করে এটি আসলে তা বদলেছে কি না, এবং কতটা। ব্যয়-সুবিধা ও ব্যয়-কার্যকারিতা বিশ্লেষণ (দেখুন বিষয় 2.2 — সামাজিক ব্যয়-সুবিধা ও ব্যয়-কার্যকারিতা বিশ্লেষণ) এবং সামাজিক বিনিয়োগ প্রতিদান (দেখুন বিষয় 2.3 — সামাজিক বিনিয়োগ প্রতিদান ও প্রভাব পরিমাপ) উভয়ের কাজ করার জন্য একটি প্রতিরক্ষাযোগ্য প্রভাব-মাপ দরকার; এই বিষয় সেখান থেকে সেই প্রভাব-মাপ আসে, অথবা আপনি জানতে পারেন যে আপনার কাছে ইতিমধ্যে থাকা সংখ্যা তার ওপর চাপানো ভার বহন করতে পারে না।

বাজি কেবল আর্থিক নয়। যে সরকার একটি ত্রুটিপূর্ণ মূল্যায়ন কর্মসূচিটিকে কার্যকর দেখিয়েছে বলে একটি অকার্যকর কর্মসূচি বড় করে, সে অর্থ অপচয় করেছে এবং, প্রায়ই আরও খারাপ, একটি প্রকৃতপক্ষে কার্যকর বিকল্পকে সরিয়ে দিয়েছে যা সুযোগ পায়নি; যে সরকার একটি সরল তুলনা কার্যকর কর্মসূচিটিকে অকেজো দেখিয়েছে বলে তা বাতিল করে, সে এমন মূল্য ধ্বংস করেছে যা একটি ভালো-নকশা মূল্যায়ন রক্ষা করত। কার্য-কারণ সনাক্তকরণ ঠিক করা, এবং কখন ঠিক করতে পারছেন না তা জানা, নিজেই একটি জনমূল্য-দক্ষতা, কোনো বিশেষজ্ঞের পাশ-আগ্রহ নয়।

মূল ধারণা

কার্য-কারণ অনুমান (কজাল ইনফারেন্স) হলো পরিসংখ্যানের সেই শাখা যা প্রতিষ্ঠা করে কোনো একটি চলকের পরিবর্তন অন্যটির পরিবর্তন ঘটায় কি না, এবং কতটা, দুটি চলক নিছক একসঙ্গে নড়া থেকে আলাদা করে। এটি ধারণাগত ভিত্তি জোগায় — বিকল্প-পরিস্থিতির যুক্তি, চিকিৎসা ও নিয়ন্ত্রণের ভাষা, কার্য-কারণ দাবির প্রতি নির্দিষ্ট হুমকির তালিকা — যা এই বিষয়ের প্রতিটি পদ্ধতি কাজে লাগায়। Wikipedia: Causal inference।

বিকল্প-পরিস্থিতি (কাউন্টারফ্যাকচুয়াল) হলো একজন ব্যক্তি বা এককের ফলাফল যদি তিনি কর্মসূচিটি না পেতেন, এবং এটি কেন্দ্রীয়, অপর্যবেক্ষণযোগ্য রাশি যা প্রতিটি কার্য-কারণ পদ্ধতি আন্দাজ করতে চায়: আপনি একজন অংশগ্রহণকারীর কী হয়েছে তা দেখতে পারেন, কিন্তু সেই একই ব্যক্তি সহায়তা ছাড়া কী ঘটত তা কখনও নয়। নিচের প্রতিটি পদ্ধতি সেই হারানো পর্যবেক্ষণের একটি বিশ্বাসযোগ্য বিকল্প গড়ার ভিন্ন কৌশল। রুবিন কার্য-কারণ মডেল, মূলত পরিসংখ্যানবিদ ডোনাল্ড রুবিনের বিকশিত, একে "সম্ভাব্য ফলাফল" কাঠামো হিসেবে আনুষ্ঠানিক করে: প্রতিটি এককের চিকিৎসার অধীনে একটি সম্ভাব্য ফলাফল এবং নিয়ন্ত্রণের অধীনে একটি আছে, এবং কার্য-কারণ প্রভাব হলো তাদের মধ্যকার পার্থক্য, যার কেবল একটিই কখনও পর্যবেক্ষিত। Wikipedia: Rubin causal model।

বিভ্রান্তিকর চলক (কনফাউন্ডিং) ঘটে যখন একটি তৃতীয় কারণ একটি একক কর্মসূচি পায় কি না এবং কর্মসূচিটি যে ফলাফল বদলাতে চায় উভয়কেই প্রভাবিত করে, কর্মসূচিটি এমন প্রভাব ঘটিয়েছে মনে করায় যা আসলে বিভ্রান্তিকর চলকটিই উৎপন্ন করেছে। অনুপ্রেরণা, পূর্ব সামর্থ্য, স্থানীয় অর্থনৈতিক অবস্থা এবং পরিবারের সম্পদ সরকারি কর্মসূচি মূল্যায়নে পুনরাবৃত্ত বিভ্রান্তিকর চলক, কারণ এগুলো নিয়মিত প্রভাবিত করে কে একটি সেবা নেয় এবং সেই ব্যক্তি বা স্থান পরে কেমন থাকে। Wikipedia: Confounding।

নির্বাচন-পক্ষপাত (সিলেকশন বায়াস) হলো বিভ্রান্তিকর চলকের সেই নির্দিষ্ট ক্ষেত্র যা অংশগ্রহণকারীরা প্রথমে চিকিৎসা-গোষ্ঠীতে কীভাবে এল তা থেকে উদ্ভূত — স্ব-নির্বাচন, কর্মী-সুপারিশ বা যোগ্যতা-নিয়ম — যাতে চিকিৎসাপ্রাপ্ত ও চিকিৎসাহীন গোষ্ঠী কর্মসূচি তাদের স্পর্শ করার আগেই পদ্ধতিগতভাবে ভিন্ন। কেবল সবচেয়ে অনুপ্রাণিত চাকরিপ্রার্থীরা নাম লেখান এমন একটি কর্মসংস্থান কর্মসূচি কিছু না করলেও কার্যকর দেখাবে, কারণ তুলনা-গোষ্ঠী কখনও সহায়তা ছাড়া অংশগ্রহণকারীরা কী করত তার ন্যায্য বিকল্প ছিল না। Wikipedia: Selection bias।

সংসর্গ কার্য-কারণ বোঝায় না (কোরিলেশন ডাজ নট ইমপ্লাই কজেশন) হলো সাধারণ সতর্কতা যা এই বিষয় কার্যকর করে: দুটি চলক একসঙ্গে নড়া একটি অন্যটিকে ঘটানোর সঙ্গে, বিপরীত দিকের সঙ্গে, একটি অভিন্ন সাধারণ কারণের সঙ্গে, বা কাকতালের সঙ্গে সামঞ্জস্যপূর্ণ, এবং প্যাটার্ন একা এগুলোর মধ্যে পার্থক্য করতে পারে না। আইসক্রিম বিক্রি ও ডুবে মৃত্যু প্রতি গ্রীষ্মে দুটোই বাড়ে অথচ কোনোটিই অন্যটিকে ঘটায় না, কারণ উষ্ণ আবহাওয়া উভয়কে চালায়; সরকারি কর্মসূচি মূল্যায়ন একই ফাঁদের আরও সূক্ষ্ম রূপে ভরা। Wikipedia: Correlation does not imply causation।

দৈবচয়িত নিয়ন্ত্রিত পরীক্ষা (RCT), নীতি-মূল্যায়ন সাহিত্যে দৈবচয়িত মূল্যায়ন নামেও পরিচিত, যোগ্য এককগুলোকে দৈবভাবে বরাদ্দ করে একটি চিকিৎসা-গোষ্ঠীতে যা কর্মসূচিটি পায় এবং একটি নিয়ন্ত্রণ-গোষ্ঠীতে যা পায় না, যাতে গড়ে দুই গোষ্ঠী কেবল চিকিৎসা পেয়েছে কি না তাতেই ভিন্ন। দৈবচয়ন শক্তিশালী কারণ এটি বিভ্রান্তিকর চলকগুলোকে পাইকারিভাবে সামাল দেয়: এটি আপনি যা মাপতে পারেন এবং যা পারেন না উভয় বিভ্রান্তিকর চলককেই ভারসাম্যে আনে, আগে থেকে সেগুলোর নাম না বলেই। Wikipedia: Randomized controlled trial।

পার্থক্যের পার্থক্য (DiD) সময়ের সঙ্গে চিকিৎসাপ্রাপ্ত গোষ্ঠীর ফলাফলের পরিবর্তনকে কর্মসূচি না পাওয়া তুলনা-গোষ্ঠীর একই সময়ের পরিবর্তনের বিপরীতে তুলনা করে, ধরে নিয়ে যে কর্মসূচির অনুপস্থিতিতে দুই গোষ্ঠী সমান্তরাল প্রবণতা অনুসরণ করত। যখন একটি কর্মসূচি এক এখতিয়ারে অন্যটির আগে পৌঁছেছিল এবং দৈবচয়ন কখনও বিকল্প ছিল না তখন এটি কাজের ঘোড়া পদ্ধতি, কারণ এটি উদ্দেশ্য-নির্মিত পরীক্ষার বদলে নিয়মিত সংগৃহীত প্রশাসনিক উপাত্ত ব্যবহার করতে পারে। Wikipedia: Difference in differences।

রিগ্রেশন ডিসকন্টিনিউইটি ডিজাইন (RDD) এমন একটি কর্মসূচি-নিয়মকে কাজে লাগায় যা চিকিৎসা বরাদ্দ করে একটি মাপা স্কোর নির্দিষ্ট সীমা পেরোনোর ভিত্তিতে — ঠিক একটি আয়-সীমায় শুরু হওয়া সুবিধা, পাস-নম্বরের ঠিক নিচে স্কোর করা শিক্ষার্থীদের বরাদ্দ করা প্রতিকারমূলক ক্লাস — এবং সীমার ঠিক ওপরে ও নিচের এককগুলোর ফলাফল তুলনা করে, যারা অন্যথায় একই রকম। যেহেতু সীমার কোন পাশে একটি একক পড়বে তা এর চারপাশের সংকীর্ণ ব্যান্ডে কার্যত যদৃচ্ছ, তুলনাটি কাউকে দৈবভাবে বরাদ্দ না করেই স্থানীয় দৈবচয়িত পরীক্ষার কাছাকাছি হয়। Wikipedia: Regression discontinuity design।

ইনস্ট্রুমেন্টাল ভ্যারিয়েবলস (IV) অনুমান একটি তৃতীয় চলক, একটি "যন্ত্র (ইনস্ট্রুমেন্ট)", ব্যবহার করে যা কর্মসূচি গ্রহণকে প্রভাবিত করে কিন্তু সেই গ্রহণের মাধ্যম ছাড়া ফলাফলের ওপর কোনো সরাসরি প্রভাব নেই, চিকিৎসা-ফলাফল সম্পর্কের সেই অংশ বাদ দিতে যা বিভ্রান্তিকর চলক অন্যথায় দূষিত করত। একটি ক্লাসিক সরকারি-নীতির যন্ত্র হলো কোনো সুবিধা থেকে দূরত্ব, বা লটারিতে বরাদ্দ করা স্থান, যা স্বাধীনভাবে ফলাফল না ঘটিয়ে অংশগ্রহণ সরায়; পদ্ধতিটির বেশির ভাগ কঠিনতা এই রক্ষা করায় যে যন্ত্রটি কেবল কর্মসূচির মাধ্যমে ফলাফলকে প্রভাবিত করে। Wikipedia: Instrumental variables estimation।

একটি প্রাকৃতিক পরীক্ষা (ন্যাচারাল এক্সপেরিমেন্ট) হলো নীতি, ভূগোল বা পরিস্থিতি থেকে উদ্ভূত, গবেষকের নকশা থেকে নয়, এমন একটি অবস্থা যেখানে কিছু মানুষ একটি কর্মসূচির সংস্পর্শে আসে আর তুলনীয় অন্যরা আসে না, যেন কেউ না চালিয়েই একটি পরীক্ষা চালানো হয়েছে। একটি জন্মতারিখ-সীমায় কার্যকর হওয়া নীতি-পরিবর্তন, প্রায় অভিন্ন পরিবারগুলোকে ভিন্ন এখতিয়ারে রাখা একটি সীমানা, বা অতিরিক্ত আবেদনের একটি স্থান বরাদ্দ করা লটারি এমন প্রাকৃতিক পরীক্ষা যা RDD, IV বা DiD তখন বিশ্লেষণ করতে পারে। Wikipedia: Natural experiment।

হথর্ন প্রভাব (হথর্ন এফেক্ট) নাম দেয় সেই ঝুঁকির যে মানুষ কেবল জানে যে তাদের পর্যবেক্ষণ করা হচ্ছে বলেই কর্মসূচির প্রকৃত বিষয়বস্তু নির্বিশেষে আচরণ বদলায়, যা নিয়ন্ত্রণ-গোষ্ঠী সমান তীব্রতায় পর্যবেক্ষিত না হলে অনুমিত প্রভাব ফুলিয়ে দিতে পারে — মাপার কাজ নিজেই চিকিৎসার অংশ হয়ে উঠতে পারে। Wikipedia: Hawthorne effect।

পরিসংখ্যানগত সামর্থ্য (স্ট্যাটিস্টিক্যাল পাওয়ার) হলো একটি মূল্যায়ন সত্যিকার প্রভাব থাকলে একটি নির্দিষ্ট আকারের সেই প্রভাব শনাক্ত করবে তার সম্ভাবনা, মূলত নির্ভর করে নমুনার আকার, কাঙ্ক্ষিত প্রভাবের আকার এবং গোষ্ঠীর ভেতরে ফলাফল কতটা ভিন্ন তার ওপর। একটি অপর্যাপ্ত-সামর্থ্যের মূল্যায়ন যা "কোনো উল্লেখযোগ্য প্রভাব নেই" পায় তা প্রায়ই দেখায়নি যে কর্মসূচি কিছুই করে না; এটি দেখিয়েছে মূল্যায়নটি কোনো দিকেই বলার জন্য খুব ছোট ছিল, একটি পার্থক্য যা নেতারা রায়ে পৌঁছানোর চাপে প্রায়ই মিস করেন। Wikipedia: Power (statistics)।

সেরা অনুশীলন

1. কর্মসূচি চালুর পরে নয়, আগেই মূল্যায়ন-নকশা স্থির করুন। একটি দৈবচয়িত মূল্যায়ন, পার্থক্যের-পার্থক্যের উপযোগী ধাপে ধাপে বাস্তবায়ন, বা রিগ্রেশন ডিসকন্টিনিউইটি ডিজাইনের উপযোগী যোগ্যতা-সীমা, সবই শুরু থেকে গড়া ইতিমধ্যে তাৎক্ষণিকভাবে সরবরাহ শুরু হওয়ার পর পরিবর্তন করার চেয়ে অনেক সহজ।
2. প্রতিটি মূল্যায়ন-সংক্ষিপ্তসারে বিকল্প-পরিস্থিতি স্পষ্টভাবে বলুন। এক বাক্যে লিখুন অংশগ্রহণকারীদের কীসের বিপরীতে তুলনা করছেন — কোনো কর্মসূচি নয়, আগের কর্মসূচি, ভিন্ন হস্তক্ষেপ — কারণ অকথিত বিকল্প-পরিস্থিতি সেই জায়গা যেখানে তীক্ষ্ণতম মূল্যায়ন-বিতর্ক সাধারণত লুকিয়ে থাকে।
3. সরল আগে-পরের তুলনাকে প্রাথমিক অনুমান ধরুন, কখনও ফলাফল নয়। আপনার কর্মসূচির সঙ্গে সম্পর্কহীন বহু কারণে ফলাফল সরে — অর্থনৈতিক চক্র, ঋতুগত প্রভাব, একই সময়ে আসা অন্যান্য নীতি-পরিবর্তন — এবং আগে-পরের নকশা আপনার কর্মসূচির অবদান তাদের থেকে আলাদা করতে পারে না।
4. আপনার সবচেয়ে পরিচিত পদ্ধতি নয়, যে নিয়ম কর্মসূচিটি আসলে বরাদ্দ করেছে তার সঙ্গে পদ্ধতি মেলান। লটারিতে রেশন করা কর্মসূচি একটি দৈবচয়িত মূল্যায়নের যুক্তি দাবি করে এমনকি আপনি কখনও একে পরীক্ষা না বললেও; স্কোর-সীমায় বরাদ্দ করা কর্মসূচি রিগ্রেশন ডিসকন্টিনিউইটি ডিজাইন দাবি করে; কিছু এলাকায় অন্যদের আগে চালু হওয়া কর্মসূচি পার্থক্যের-পার্থক্য দাবি করে।
5. ফল দেখার আগে ফলাফল-মাপ ও বিশ্লেষণ-পরিকল্পনা পূর্ব-নিবন্ধন করুন। কোনটি নড়েছে দেখার পর কোন ফলাফল "সাফল্য" গণ্য হবে তা স্থির করা মিথ্যা-ধনাত্মক ফলের একটি সুপ্রমাণিত পথ, এবং পূর্ব-নিবন্ধন তার বিরুদ্ধে মানসম্মত প্রতিরক্ষা।
6. সুবিধার জন্য নয়, কর্মসূচির ব্যয় যথার্থ করতে পারে এমন ক্ষুদ্রতম প্রভাব-আকারের জন্য মূল্যায়নের সামর্থ্য নির্ধারণ করুন। নীতি-প্রাসঙ্গিক প্রভাব শনাক্ত করতে অতিরিক্ত ছোট মূল্যায়ন একটি অতথ্যপূর্ণ "কোনো উল্লেখযোগ্য পার্থক্য নেই" ফল উৎপন্ন করবে যা ব্যর্থতার প্রমাণ বলে ভুল পড়া হয়।
7. কেবল শিরোনাম প্রভাব নয়, চিকিৎসা-গোষ্ঠীর পাশাপাশি তুলনা-গোষ্ঠীর বৈশিষ্ট্যও প্রতিবেদন করুন। একটি বিশ্বাসযোগ্য মূল্যায়ন একজন সন্দিহান পাঠককে যাচাই করতে দেয় যে চিকিৎসার আগে দুই গোষ্ঠী একই রকম ছিল; যে মূল্যায়ন এটি লুকায় সে পাঠককে ভারসাম্য বিশ্বাসের ওপর নিতে বাধ্য করে।
8. মূল্যায়ন সরবরাহ-দল থেকে স্বাধীন উৎস থেকে কমিশন করুন, বা না পারলে বিশ্লেষণে ফায়ারওয়াল দিন। কর্মসূচির সাফল্যে স্বার্থ আছে এমন দলের কর্মসূচির পক্ষে অস্পষ্ট প্রমাণের ব্যাখ্যা করার কাঠামোগত প্রণোদনা থাকে, প্রায়ই অচেতন।
9. প্রতিটি প্রতিবেদনে পরিসংখ্যানগত তাৎপর্য ব্যবহারিক ও রাজকোষীয় তাৎপর্য থেকে আলাদা করুন। নিখুঁতভাবে অনুমিত ক্ষুদ্র প্রভাব এবং অনিখুঁতভাবে অনুমিত বড় প্রভাব ভিন্ন সিদ্ধান্তের দাবিদার ভিন্ন ফলাফল, এবং দুটিকে "তাৎপর্যপূর্ণ" বা "তাৎপর্যপূর্ণ নয়"-তে ধসিয়ে দিলে সেই পার্থক্য মুছে যায় যা একটি অর্থায়ন-সিদ্ধান্ত আসলে দরকার।
10. মূল্যায়নের জন্য নকশা-পর্যায়ে কর্মসূচি-ব্যয়ের একটি নির্দিষ্ট অংশ বাজেট করুন, যা বাকি থাকে সেটা নয়। জনমূল্যের জন্য গুরুত্বপূর্ণ হওয়ার মতো বড় কর্মসূচি সাধারণত একটি বিশ্বাসযোগ্য প্রভাব-মূল্যায়নে অর্থায়ন করার মতোও বড়, এবং মূল্যায়নকে ঐচ্ছিক ধরাই দুর্বল প্রমাণকে নিয়মিত করার উপায়।
11. শূন্য ও নেতিবাচক ফল ইতিবাচকগুলোর সমান দৃশ্যমানতায় প্রকাশ করুন। যে কমিশনিং পরিবেশ কেবল সফল মূল্যায়ন প্রচার করে তা প্রকাশিত প্রমাণ-ভিত্তিতেই একটি নির্বাচন-পক্ষপাত তৈরি করে, সবার পরবর্তী "কী কাজ করে" বিচারকে আশাবাদের দিকে ঠেলে।
12. প্রতিটি সম্পন্ন মূল্যায়ন কেবল নিজের সংরক্ষণাগারে নয়, আপনার খাতের রক্ষিত বৃহত্তর প্রমাণ-ভিত্তিতে খাওয়ান। একটি একক মূল্যায়ন, যত ভালো নকশা করাই হোক, একটি উপাত্ত-বিন্দু; অনেকের মধ্যে পদ্ধতিগত সংশ্লেষণই একটি কর্মসূচি-ফলাফলকে স্থানান্তরযোগ্য জ্ঞানে রূপ দেয় (দেখুন বিষয় 2.6 — প্রমাণ সংশ্লেষণ ও কী কাজ করে)।

আপনার দলের সঙ্গে আলোচনার প্রশ্ন

এই কর্মসূচিকে আমরা আসলে কোন বিকল্প-পরিস্থিতির বিপরীতে তুলনা করছি, এবং আমরা কি তা জোরে বলেছি? প্রতিটি প্রভাব-দাবি একটি তুলনা বোঝায়, কিন্তু দলগুলো প্রায়ই তা অকথিত রাখে, "এটি কাজ করেছে" নীরবে "কিছু না করার চেয়ে ভালো", "আগে আমরা যা করতাম তার চেয়ে ভালো" এবং "যে সেরা বিকল্পে অর্থায়ন করতে পারতাম তার চেয়ে ভালো"-র মধ্যে পিছলে যেতে দেয়। আপনার মূল্যায়ন-প্রধানকে বলুন সরল ভাষায় এক বাক্যে বিকল্প-পরিস্থিতি বলতে, তারপর পরীক্ষা করুন আপনার হাতের প্রমাণ সেই নির্দিষ্ট তুলনা সম্পর্কে দাবি সমর্থন করে কি না। সৎ বিকল্প-পরিস্থিতি যদি "অন্যথায় কী ঘটত আমরা জানি না" হয়, বর্তমান প্রভাব-দাবিকে ফলাফল নয়, অনুমান ধরুন, এবং আলোচনা করুন সেই ফাঁক বন্ধ করতে কী লাগবে।

যাঁরা বা যে স্থানগুলো এই কর্মসূচি নিয়েছে তারা কি এমন পদ্ধতিগত উপায়ে যারা নেয়নি তাদের থেকে ভিন্ন হতে পারে যা ফলাফলকেও প্রভাবিত করবে? এটি নির্বাচন-পক্ষপাতের প্রশ্ন, এবং উত্তর স্পষ্টতই "না" মনে হলেও — বিশেষ করে তখন — এটি জিজ্ঞেস করার যোগ্য। অনুপ্রেরণা, পূর্ব পরিস্থিতি, স্থানীয় সামর্থ্য এবং কর্মী-সুপারিশের প্যাটার্ন পার্থক্যের সাধারণ লুকানো উৎস যা এমনকি বড়, সতর্ক-দেখানো নমুনাতেও বিভ্রান্তিকর প্রভাব-অনুমান উৎপন্ন করে। দল যদি বর্ণনা করতে না পারে অংশগ্রহণকারীরা কীভাবে কর্মসূচিতে এল, তারা এটি বাদ দিতে পারে না, এবং সেই ফাঁক ছোট নমুনার আকারের চেয়ে আপনাকে বেশি চিন্তিত করা উচিত।

আমাদের মূল্যায়ন-নকশা কি কর্মসূচিতে গাঁথা ছিল, নাকি পরে জোড়া, এবং তাতে আমাদের কী মূল্য দিতে হয়েছে? একটি দৈবচয়িত মূল্যায়ন, ধাপে ধাপে বাস্তবায়ন বা স্কোরযুক্ত যোগ্যতা-সীমা সবই চালুর আগে পরিকল্পনা করলে যেকোনো প্রশাসনিক উপাত্ত টিকে থাকলে তা থেকে পুনর্নির্মাণের চেয়ে অনেক সস্তা ও বিশ্বাসযোগ্য। জিজ্ঞেস করুন কর্মসূচির নকশা-পর্যায়ে কোন মূল্যায়ন-নকশা বিকল্প বিবেচিত হয়েছিল, এবং কিছু না হলে সেটিকে কেবল এই কর্মসূচির সীমাবদ্ধতা নয়, পরবর্তী কর্মসূচির আগে বন্ধ করার প্রক্রিয়া-ফাঁক ধরুন। আলোচনা করুন পরবর্তী প্রধান কর্মসূচি একটি বিশ্বাসযোগ্য কার্য-কারণ অনুমান সমর্থন করতে প্রথম দিন থেকে কোন উপাত্ত থাকতে হবে।

আমাদের নমুনা কি জানার মতো প্রভাব শনাক্ত করার জন্য যথেষ্ট বড়, এবং অপর্যাপ্ত-সামর্থ্যের "কোনো প্রভাব নেই" ফল দেখলে কি আমরা চিনতে পারব? যে মূল্যায়ন কোনো পরিসংখ্যানগতভাবে উল্লেখযোগ্য প্রভাব প্রতিবেদন করে না সে কখনও সঠিকভাবে বলছে কর্মসূচি কাজ করে না, আবার কখনও কেবল বলছে মূল্যায়নটি সত্যিই-থাকা একটি প্রভাব দেখার জন্য খুব ছোট ছিল। আপনার বিশ্লেষকদের বলুন মূল্যায়নটি শনাক্ত করার জন্য যে ন্যূনতম প্রভাব-আকারের সামর্থ্য নির্ধারিত হয়েছিল তা বলতে, এবং কর্মসূচির ব্যয় আসলে যথার্থ করবে এমন প্রভাব-আকারের সঙ্গে তুলনা করতে। সেই দুই সংখ্যা অনেক দূরে হলে, "কোনো প্রভাব নেই" ফল দোষসূচক না হয়ে অতথ্যপূর্ণ হতে পারে, এবং দলকে নীরবতাকে ব্যর্থতা পড়া হতে না দিয়ে তা স্পষ্ট বলা উচিত।

এই মূল্যায়ন ইতিবাচক এলে পেশাগতভাবে বা সুনামগতভাবে কে লাভবান হয়, এবং তা কি কতটা স্বাধীন যাচাই দরকার তা বদলে দেয়? এটি অসততার অভিযোগ নয়; এটি এই স্বীকৃতি যে যাঁরা কর্মসূচি নকশা বা সরবরাহ করেছেন তাঁরা কাঠামোগতভাবে অস্পষ্ট ফল উদারভাবে ব্যাখ্যা করার দিকে বেশি ঝুঁকেন, প্রায়ই না জেনেই। আলোচনা করুন মূল্যায়নটি সরবরাহ-দল থেকে স্বাধীন কেউ কমিশন, বিশ্লেষণ বা পর্যালোচনা করেছিল কি না, এবং না হলে এই মাপের কর্মসূচির জন্য সমানুপাতিক ফায়ারওয়াল কেমন দেখাবে। লক্ষ্য এমন একটি ফল যা আপনার সবচেয়ে সন্দিহান অর্থদাতাও বিশ্বাস করবেন, কেবল আপনার নিজের দল রক্ষা করতে স্বচ্ছন্দ এমন একটি নয়।

এই মূল্যায়নের ফল দৃঢ় হলে আমরা আসলে কী ভিন্নভাবে করব, এবং আমরা কি তা করতে প্রস্তুত? যে মূল্যায়ন কমিশন করা হয়েছে কিন্তু কখনও সিদ্ধান্ত বদলানোর উদ্দেশ্য ছিল না তা যথাযথ পরিশ্রমের সাজে ডুবে যাওয়া ব্যয়, এবং ফল আসার পরে নয়, আগেই সেই ঝুঁকির নাম বলা মূল্যবান। আগেই আলোচনা করুন একটি শক্তিশালী ইতিবাচক ফল কী যথার্থ করবে (বড় করা, এবং কতটা) এবং একটি শূন্য বা নেতিবাচক ফল কী চালু করবে (পুনর্নকশা, বা বাতিল, এবং কোন সময়সীমায়)। ফল দেখার আগে ঘরে কেউ এর উত্তর দিতে না পারলে, মূল্যায়নটি সিদ্ধান্ত-কার্যের বদলে বৈধতা-কার্য সেবা করছে হতে পারে, এবং তা নিয়ে সৎ হওয়া মূল্যবান (দেখুন বিষয় 2.1 — জনমূল্য স্কোরকার্ড ও ফলাফল কাঠামো)।

বাস্তবে: একটি জনমূল্যের উদাহরণ

কাল্পনিক দৃষ্টান্ত। একটি মাঝারি আকারের, অনামিত দেশের কর্মসংস্থান সেবা মন্ত্রণালয় দীর্ঘমেয়াদি বেকার চাকরিপ্রার্থীদের জন্য একটি নিবিড় কোচিং সেবার এক বছরের পরীক্ষামূলক কর্মসূচি চালাল, বিদ্যমান মানসম্মত সেবার পাশাপাশি। কর্মসূচির শেষে একটি অভ্যন্তরীণ প্রতিবেদন নিবিড় কোচিং পাওয়া গোষ্ঠীকে একই সময়ে বেকারত্ব ছাড়া অন্য সবার সঙ্গে তুলনা করল: কোচিং-পাওয়া গোষ্ঠীর ছয় মাসের মধ্যে চাকরিতে স্থান-পাওয়ার হার 38%, বাকি কেসলোডের 24%-এর বিপরীতে। মন্ত্রীদের বলা হলো কর্মসূচি "কাজ করেছে" এবং জাতীয়ভাবে চালু করার জন্য একটি ব্যবসায়িক যুক্তি এগিয়ে গেল।

অর্থায়ন অনুমোদনের আগে অর্থ কমিটি একটি সরল প্রশ্ন করল: চাকরিপ্রার্থীরা প্রথমেই কোচিং-গোষ্ঠীতে কীভাবে এল? উত্তরটি অনেক বেশি গুরুত্বপূর্ণ প্রমাণিত হলো। কেসওয়ার্কাররা যে চাকরিপ্রার্থীদের "সবচেয়ে বেশি উপকৃত হবে" বিচার করেছিলেন তাঁদের কোচিং কর্মসূচিতে সুপারিশ করেছিলেন, একটি সদুদ্দেশ্য ট্রায়াজ সিদ্ধান্ত যা কার্যত শুরু থেকেই চিকিৎসায় একটি বেশি কাজের-জন্য-প্রস্তুত গোষ্ঠী নির্বাচন করেছিল। 38% বনাম 24% তুলনা ঠিক এই বিষয়ের সতর্ক করা নির্বাচন-পক্ষপাত দ্বারা দূষিত ছিল: এটি সম্পূর্ণ সম্ভব ছিল যে কোচিং-পাওয়া গোষ্ঠী কোনো কোচিং ছাড়াই বাকি কেসলোডের চেয়ে ভালো করত।

সেই তুলনায় চালু করা বা প্রত্যাখ্যান না করে মন্ত্রণালয়ের মূল্যায়ন-ইউনিট একটি লটারি ব্যবহার করে দ্বিতীয় পর্যায়ের প্রস্তাব দিল। কোচিং সেবার চাহিদা ইতিমধ্যে উপলব্ধ স্থানের চেয়ে বেশি ছিল, তাই ইউনিট সমান-যোগ্য আবেদনকারীদের মধ্যে দৈবভাবে স্থান বরাদ্দ করল এবং লটারি-বিজয়ী ও লটারি-পরাজিতদের মধ্যে চাকরিতে স্থান-পাওয়ার হার তুলনা করল, যে কাউকে সেবা আটকে না রেখে দৈবচয়িত-মূল্যায়ন যুক্তির প্রয়োগ যিনি অন্যথায় তা পেতেন না। বারো মাস পরে লটারি-তুলনা একটি ছোট কিন্তু প্রকৃত প্রভাব দেখাল: ছয় মাসের স্থান-পাওয়ায় 9-শতাংশ-পয়েন্টের উন্নতি, মূল তুলনা যে 14-পয়েন্ট ব্যবধান ইঙ্গিত করেছিল তা নয়। মন্ত্রণালয় লটারি-ভিত্তিক অনুমান, তার নিজস্ব ব্যয়-উপাত্তসহ, ব্যবহার করে একটি সীমিত-সম্পদের কিন্তু বড় করা বাস্তবায়নের জন্য একটি প্রতিরক্ষাযোগ্য ব্যয়-কার্যকারিতা যুক্তি গড়ল (দেখুন বিষয় 2.2 — সামাজিক ব্যয়-সুবিধা ও ব্যয়-কার্যকারিতা বিশ্লেষণ), ত্রুটিপূর্ণ প্রাথমিক তুলনা যে বড়, সরবরাহের অযোগ্য সম্প্রসারণ যথার্থ করত তার বদলে।

চারটি খাতভিত্তিক দৃষ্টিকোণ

স্থানীয় সরকার

স্থানীয় কর্তৃপক্ষ সাধারণত কয়েকটি খুব বড় নয়, অনেক ছোট ও মাঝারি কর্মসূচি চালায়, যা উদ্দেশ্য-নির্মিত দৈবচয়িত মূল্যায়নকে কর্মসূচির আকারের তুলনায় ব্যয়বহুল করে এবং স্থানীয় মূল্যায়নকারীদের এমন আধা-পরীক্ষামূলক পদ্ধতির দিকে ঠেলে যা ইতিমধ্যে সংগৃহীত প্রশাসনিক উপাত্ত পুনর্ব্যবহার করে — ভিন্ন সময়ে পরিবর্তন গ্রহণ করা সেবা-এলাকা জুড়ে পার্থক্যের-পার্থক্য, বা স্থানীয় যোগ্যতা-সীমার চারপাশে রিগ্রেশন ডিসকন্টিনিউইটি ডিজাইন। অন্যত্র যে সীমানা ও এখতিয়ারের পার্থক্য বিরক্তিকর হতো তা প্রায়ই স্থানীয় মূল্যায়নকারীর সেরা প্রাকৃতিক পরীক্ষা, কারণ পাশাপাশি দুটি ওয়ার্ড বা জেলা অধিকাংশ অন্য দিকে একই রকম থেকে নীতিতে ভিন্ন হতে পারে।

জাতীয় সরকার

জাতীয় সরকারগুলোর উদ্দেশ্য-নির্মিত দৈবচয়িত মূল্যায়নে অর্থায়ন করার মাপ আছে এবং কর, সুবিধা, স্বাস্থ্য ও শিক্ষা নথি জুড়ে প্রায়ই সংযুক্ত প্রশাসনিক উপাত্ত-ভান্ডার আছে বিশ্বাসযোগ্য আধা-পরীক্ষামূলক নকশা কম প্রান্তিক ব্যয়ে চালাতে। এই মাপই সেই জায়গা যেখানে "কী কাজ করে" মূল্যায়ন টাস্ক ফোর্স ও কেন্দ্রীভূত মূল্যায়ন-নির্দেশনা, যেমন একটি রাজকোষ বিভাগের মানসম্মত মূল্যায়ন-পুস্তিকা, বসতে চায়, কারণ কেবল একটি জাতীয় সরকার স্থায়ী মূল্যায়ন-অবকাঠামো এবং বহু বিভাগ জুড়ে একটি সাধারণ পদ্ধতিগত মান রক্ষার স্থির ব্যয় যথার্থ করতে পারে।

সামাজিক খাত ও অলাভজনক

অলাভজনক ও বেসরকারি সংস্থার খুব কমই সেই নমুনার আকার বা বাজেট থাকে যা একটি সুসামর্থ্যের দৈবচয়িত মূল্যায়ন দাবি করে, এবং তাদের কর্মসূচি প্রায়ই সম্মুখসারির কর্মীরা যা দেখেন তার জবাবে অভিযোজিতভাবে বদলায়, যা একটি স্থিতিশীল, সুসংজ্ঞায়িত চিকিৎসা অনুমান করা যেকোনো নকশাকে জটিল করে। একটি একাডেমিক গবেষণা-দল বা বিশেষজ্ঞ মূল্যায়ন মধ্যস্থতাকারীর সঙ্গে অংশীদারিত্ব, আন্তর্জাতিক উন্নয়নে দৈবচয়িত-মূল্যায়ন আন্দোলনের চারপাশে বেড়ে ওঠা ধরনের, প্রায়ই একটি কঠোর কার্য-কারণ অনুমানের একমাত্র বাস্তবসম্মত পথ, এবং অর্থদাতারা ক্রমবর্ধমানভাবে বহু-বছরের অনুদান অঙ্গীকারের আগে ঠিক এই ধরনের বাইরের অংশীদারিত্ব চান।

বহুপাক্ষিক ও আন্তর্জাতিক

বহুপাক্ষিক সংস্থা ভিন্ন উপাত্ত-ব্যবস্থা, প্রশাসনিক সামর্থ্য ও নৈতিক পর্যালোচনা-রীতির বহু দেশ জুড়ে কর্মসূচিতে অর্থায়ন করে, যা মানসম্মত কার্য-কারণ পদ্ধতি সমানভাবে প্রয়োগ কঠিন করে কিন্তু স্বাভাবিক আন্তঃদেশীয় বৈচিত্র্যও তৈরি করে যা নিজেই একটি প্রাকৃতিক পরীক্ষা হয়ে উঠতে পারে যখন একটি নীতি কিছু সদস্য রাষ্ট্রে অন্যদের আগে গৃহীত হয়। উন্নয়ন অর্থনীতিতে দৈবচয়িত মূল্যায়ন এই মাপে বিশেষভাবে প্রভাবশালী হয়েছে, আন্তর্জাতিক উন্নয়ন অর্থায়ন কীভাবে বরাদ্দ হবে তা গড়া প্রমাণ উৎপন্ন করে, কিন্তু সেগুলো বাহ্যিক বৈধতা-ব্যর্থতার একটি নথিবদ্ধ ঝুঁকিও বহন করে: যে দেশ ও প্রেক্ষাপটে গবেষণা হয়েছে সেখানে টেকা ফল স্বয়ংক্রিয়ভাবে ভিন্ন প্রেক্ষাপটে স্থানান্তরিত হয় না, বহুপাক্ষিক কর্মসূচি-নকশা প্রায়ই যে সতর্কতা চাপা দেয়।

সাধারণ ব্যর্থতার ধরন

সরল আগে-পরের তুলনা। একটি কর্মসূচি কেবল শুরুর আগের ফলাফল ও পরের ফলাফল তুলনা করে বিচার করা হয়, কোনো তুলনা-গোষ্ঠী ছাড়াই, তাই ইতিমধ্যে চলমান যেকোনো প্রবণতা — অর্থনৈতিক পুনরুদ্ধার, জনতাত্ত্বিক বদল, একটি পৃথক নীতি-পরিবর্তন — কর্মসূচির ঘাড়ে চাপে। মূল্য হলো কর্মসূচির প্রভাব ও একই সময়ে ঘটা বাকি সবকিছু আসলে আলাদা করতে পারে না এমন একটি নকশার ওপর গড়া আত্মবিশ্বাসী কার্য-কারণ গল্প।

কর্মসূচি-প্রভাব ভেবে নেওয়া নির্বাচন-পক্ষপাত। যাঁরা নাম লিখিয়েছেন, বা সফল হবেন মনে হওয়ায় সুপারিশে এসেছেন, সেই অংশগ্রহণকারীদের বাকি সবার বিপরীতে তুলনা করা হয়, এমন একটি প্রভাব-অনুমান উৎপন্ন করে যা আসলে কর্মসূচিটি কাদের আকর্ষণ করেছে তার মাপ, তাদের ওপর কী করেছে নয়। মূল্য হলো একটি বড় করা কর্মসূচি যা কম স্ব-নির্বাচিত জনগোষ্ঠীর কাছে পৌঁছালে কম কার্যকর, কখনও অনেক কম, দেখায়।

অপর্যাপ্ত-সামর্থ্যের মূল্যায়ন শূন্য ফল হিসেবে প্রতিবেদিত। একটি ছোট পরীক্ষামূলক কর্মসূচি "কোনো পরিসংখ্যানগতভাবে উল্লেখযোগ্য প্রভাব নেই" পায় এবং কর্মসূচি কাজ করে না তার প্রমাণ হিসেবে পড়া হয়, যখন নমুনা আসলে গুরুত্বপূর্ণ আকারের প্রভাব শনাক্ত করার জন্য খুব ছোট ছিল। মূল্য দুই দিকেই চলে: একটি প্রকৃতপক্ষে কার্যকর কর্মসূচি এমন প্রমাণের ভিত্তিতে বাতিল হতে পারে যা কখনও দেখাতে সক্ষম ছিল না যে এটি কাজ করেছে, বা মূল সংক্ষিপ্তসার সঠিকভাবে সামর্থ্যযুক্ত হলে প্রয়োজন না হওয়া বড় পরীক্ষায় অর্থায়নে সম্পদ সরে যায়।

স্থানীয় অনুমান তার প্রেক্ষাপটের বাইরে প্রসারিত করা। একটি রিগ্রেশন ডিসকন্টিনিউইটি ডিজাইন সঠিকভাবে যোগ্যতা-সীমার কাছের এককগুলোর প্রভাব অনুমান করে, এবং একটি ইনস্ট্রুমেন্টাল-ভ্যারিয়েবল অনুমান সঠিকভাবে সেই এককগুলোর প্রভাব অনুমান করে যাদের চিকিৎসা-অবস্থা যন্ত্রটি আসলে সরিয়েছে, কিন্তু উভয় ফল তারপর সমগ্র জনগোষ্ঠীতে প্রয়োগ করা হয় যেন অনুমানটি সর্বত্র টেকে। মূল্য হলো কেবল স্থানীয়ভাবে সত্য ছিল এমন একটি সংখ্যার ভিত্তিতে বড় করা নীতি।

নাট্যাভিনয় হিসেবে মূল্যায়ন। প্রমাণ-ভিত্তিক সিদ্ধান্ত-গ্রহণের চেহারা তৈরি করতে একটি মূল্যায়ন কমিশন করা হয়, কিন্তু সিদ্ধান্ত কার্যত ইতিমধ্যে নেওয়া, এবং কোনো সম্ভাব্য ফল তা বদলাত না। মূল্য হলো অপচয়িত মূল্যায়ন-বাজেট এবং, আরও ক্ষয়কারীভাবে, কর্মীরা ফল কখনও ফলাফল বদলায় না লক্ষ করলে মূল্যায়নের প্রতিই আস্থার ধীর ক্ষয়।

পরিপক্বতা মডেল

চেকলিস্ট

• প্রতিটি প্রধান কর্মসূচি-মূল্যায়নের বিকল্প-পরিস্থিতি এক সরল-ভাষার বাক্যে বলুন।
• নিশ্চিত করুন অংশগ্রহণকারীরা চিকিৎসা-গোষ্ঠীতে কীভাবে এল, এবং সেই প্রক্রিয়া নিজেই ফলাফলের পার্থক্য ব্যাখ্যা করতে পারে কি না মূল্যায়ন করুন।
• সরবরাহ শুরুর আগে যেখানেই সম্ভব প্রকৃত বরাদ্দ-নিয়মের সঙ্গে মেলাতে মূল্যায়ন-পদ্ধতি (দৈবচয়িত মূল্যায়ন, পার্থক্যের-পার্থক্য, রিগ্রেশন ডিসকন্টিনিউইটি ডিজাইন, ইনস্ট্রুমেন্টাল ভ্যারিয়েবলস, বা প্রাকৃতিক পরীক্ষা) বাছুন।
• কর্মসূচির ব্যয় যথার্থ করবে এমন ক্ষুদ্রতম প্রভাব-আকার শনাক্ত করতে প্রয়োজনীয় পরিসংখ্যানগত সামর্থ্য গণনা করুন।
• ফল দেখার আগে ফলাফল-মাপ ও বিশ্লেষণ-পরিকল্পনা পূর্ব-নিবন্ধন করুন।
• শিরোনাম প্রভাবের পাশাপাশি চিকিৎসা ও তুলনা-গোষ্ঠীর তুলনীয়তা প্রতিবেদন করুন।
• সরবরাহ-দল থেকে স্বাধীন একটি কার্যের মাধ্যমে মূল্যায়ন কমিশন বা পর্যালোচনা করুন।
• সিদ্ধান্ত-গ্রহণকারীদের প্রতিটি প্রতিবেদনে পরিসংখ্যানগত তাৎপর্য রাজকোষীয় ও ব্যবহারিক তাৎপর্য থেকে আলাদা করুন।
• নকশা-পর্যায়ে কর্মসূচি-ব্যয়ের একটি নির্দিষ্ট অংশ মূল্যায়নের জন্য বাজেট করুন।
• শূন্য ও নেতিবাচক ফল ইতিবাচকগুলোকে দেওয়া সমান দৃশ্যমানতায় প্রকাশ করুন।
• পরীক্ষা করুন একটি ইতিবাচক স্থানীয় অনুমান (রিগ্রেশন ডিসকন্টিনিউইটি ডিজাইন বা ইনস্ট্রুমেন্টাল ভ্যারিয়েবলস থেকে) তা আসলে যে জনগোষ্ঠী ঢাকে তার বাইরে প্রসারিত করা হচ্ছে কি না।
• সম্পন্ন মূল্যায়ন কেবল নিজের সংরক্ষণাগারে নয়, আপনার খাতের রক্ষিত বৃহত্তর প্রমাণ-ভিত্তিতে পাঠান।

মূল উৎস

এই বিষয়ের পদ্ধতিগত কেন্দ্র Joshua D. Angrist ও Jörn-Steffen Pischke-র সঙ্গে সম্পর্কিত প্রয়োগিক-অর্থমিতি ঐতিহ্য এবং Donald Rubin-এর আনুষ্ঠানিক সম্ভাব্য-ফলাফল কাঠামোর ওপর নির্ভর করে। সরকারি নীতি ও উন্নয়ন অর্থনীতিতে দৈবচয়িত-মূল্যায়ন আন্দোলন, Abdul Latif Jameel Poverty Action Lab (J-PAL) ও তার একাডেমিক নেটওয়ার্কের সঙ্গে সম্পর্কিত, খাতভিত্তিক দৃষ্টিকোণে উল্লিখিত প্রয়োগিক চর্চার বেশির ভাগ জোগায়। সরকারি মূল্যায়ন-মান যুক্তরাজ্যের Treasury-র Magenta Book নির্দেশনার ওপর, এবং প্রমাণ-সংশ্লেষণ চর্চা সামাজিক নীতিতে পদ্ধতিগত পর্যালোচনার জন্য Campbell Collaboration-এর মানের ওপর নির্ভর করে (দেখুন বিষয় 2.6 — প্রমাণ সংশ্লেষণ ও কী কাজ করে)।

তথ্যসূত্র

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network