سرکاری شعبے کی اقتصادی پیمائش اور پروگرام کا جائزہ

عوامی قدر میں یہ کیوں اہم ہے

ہر سال عوامی ادارے نتائج کے موازنے کی بنیاد پر پروگراموں کی تجدید، توسیع یا منسوخی کرتے ہیں: روزگار کے پروگرام کے شرکاء کو غیر شرکاء سے جلد کام ملا؛ تدریسی اسکیم کے طلبہ نے غیر پڑھائے گئے طلبہ سے زیادہ اسکور کیے۔ ہر موازنہ بطور وضاحت سچا اور بطور دلیل خطرناک ہے، کیونکہ کوئی بھی اکیلا یہ نہیں بتاتا کہ آیا پروگرام نے فرق پیدا کیا۔ جو لوگ روزگار کے پروگرام میں نام لکھواتے ہیں وہ اکثر ان سے زیادہ پرعزم ہوتے ہیں جو نہیں لکھواتے، اور تدریس کے لیے چنے گئے طلبہ اکثر اس لیے چنے جاتے ہیں کہ استاد پہلے ہی توقع رکھتا ہے کہ وہ اچھا جواب دیں گے۔ «علاج پانے والا گروہ بہتر رہا» اور «علاج نے انہیں بہتر بنایا» کے درمیان خلا بالکل وہی خلا ہے جسے سببی استنباط پاٹنے کے لیے موجود ہے۔

یہ علمی نزاکت نہیں۔ جس مالیاتی کمیٹی سے پروگرام کی فنڈنگ کی تجدید کے لیے کہا جاتا ہے اس سے مضمر طور پر سببیت کے دعوے پر عوامی رقم خرچ کرنے کی اجازت مانگی جاتی ہے، چاہے کمرے میں کوئی یہ لفظ استعمال کرے یا نہ کرے۔ موضوع 2.1 نے نتائج کا فریم ورک دیا جو بیان کرتا ہے کہ پروگرام کا مقصد کیا بدلنا ہے (دیکھیں موضوع 2.1 — عوامی قدر کا اسکور کارڈ اور نتائج کے فریم ورک)؛ یہ موضوع وہ طریقے دیتا ہے جو جانچتے ہیں کہ آیا اس نے واقعی بدلا، اور کتنا۔ لاگت و منفعت اور لاگت کی افادیت کا تجزیہ (دیکھیں موضوع 2.2 — سماجی لاگت و منفعت اور لاگت کی افادیت کا تجزیہ) اور سماجی منافع برائے سرمایہ کاری (دیکھیں موضوع 2.3 — سماجی منافع برائے سرمایہ کاری اور اثر کی پیمائش) دونوں کو کام کرنے کے لیے قابلِ دفاع اثر کا حجم درکار ہے؛ یہ موضوع وہ جگہ ہے جہاں سے وہ اثر کا حجم آتا ہے، یا جہاں آپ سیکھتے ہیں کہ جو عدد آپ کے پاس پہلے سے ہے وہ ڈالے جانے والے بوجھ کو سہار نہیں سکتا۔

داؤ صرف مالیاتی نہیں۔ جو حکومت کسی ناکارگر پروگرام کو اس لیے بڑھاتی ہے کہ ناقص جائزے نے اسے کارگر دکھایا، اس نے رقم ضائع کی اور، اکثر اس سے بدتر، ایک حقیقی کارگر متبادل کو بے دخل کر دیا جسے کبھی موقع نہ ملا؛ جو حکومت کارگر پروگرام اس لیے منسوخ کرتی ہے کہ سادہ لوح موازنے نے اسے بے فائدہ دکھایا، اس نے وہ قدر تباہ کی جسے بہتر ڈیزائن شدہ جائزہ بچا لیتا۔ سببی شناخت کو درست کرنا، اور یہ جاننا کہ کب آپ اسے درست نہیں کر سکتے، خود عوامی قدر کی مہارت ہے، کسی ماہر کی ضمنی دلچسپی نہیں۔

بنیادی تصورات

سببی استنباط (causal inference) شماریات کی وہ شاخ ہے جو قائم کرنے سے متعلق ہے کہ آیا، اور کتنا، ایک متغیر کی تبدیلی دوسرے میں تبدیلی پیدا کرتی ہے، جیسا کہ صرف دونوں کے ساتھ ساتھ حرکت کرنے سے الگ ہے۔ یہ تصوراتی بنیاد فراہم کرتی ہے — متبادل منظر کا استدلال، علاج اور کنٹرول کی زبان، سببی دعوے کے مخصوص خطرات کی فہرست — جس پر اس موضوع کا ہر طریقہ انحصار کرتا ہے۔ ویکیپیڈیا: سببی استنباط۔

متبادل منظر (the counterfactual) وہ نتیجہ ہے جو کوئی شخص یا اکائی تجربہ کرتی اگر اسے پروگرام نہ ملتا، اور یہ ہر سببی طریقے کی کوشش کا مرکزی، ناقابلِ مشاہدہ مقدار ہے: آپ دیکھ سکتے ہیں کہ شریک کے ساتھ کیا ہوا، مگر کبھی نہیں کہ اسی شخص کے ساتھ بغیر مدد کیا ہوتا۔ نیچے کا ہر طریقہ اس گم شدہ مشاہدے کا معتبر نائب تعمیر کرنے کی مختلف حکمتِ عملی ہے۔ روبن کا سببی نمونہ، جو بنیادی طور پر ماہرِ شماریات ڈونلڈ روبن نے تیار کیا، اسے «ممکنہ نتائج» کے فریم ورک کے طور پر باضابطہ بناتا ہے: ہر اکائی کا علاج کے تحت ایک ممکنہ نتیجہ اور کنٹرول کے تحت ایک ہوتا ہے، اور سببی اثر دونوں کا فرق ہے، جن میں سے صرف ایک کبھی دیکھا جاتا ہے۔ ویکیپیڈیا: روبن کا سببی نمونہ۔

ملانے والا عنصر (confounding) تب ہوتا ہے جب کوئی تیسرا عنصر اس بات کو بھی متاثر کرتا ہے کہ اکائی کو پروگرام ملتا ہے یا نہیں اور اس نتیجے کو بھی جسے پروگرام بدلنا چاہتا ہے، جس سے یوں لگتا ہے کہ پروگرام نے وہ اثر پیدا کیا جو دراصل ملانے والے عنصر نے پیدا کیا۔ عزم، پیشگی صلاحیت، مقامی معاشی حالات اور گھرانے کی دولت عوامی پروگرام کے جائزے میں بار بار آنے والے ملانے والے عوامل ہیں، کیونکہ وہ معمول کے طور پر دونوں پر اثر ڈالتے ہیں کہ کون خدمت لیتا ہے اور اس شخص یا جگہ کا بعد میں کیا حال ہوتا ہے۔ ویکیپیڈیا: ملانے والا عنصر۔

انتخابی تعصب (selection bias) ملانے والے عنصر کی وہ مخصوص صورت ہے جو اس سے پیدا ہوتی ہے کہ شرکاء علاج کے گروہ میں آئے کیسے — خود انتخاب، عملے کی سفارش، یا اہلیت کے قواعد — اس طرح کہ علاج پانے والے اور نہ پانے والے گروہ پروگرام کے انہیں چھونے سے پہلے ہی منظم طور پر مختلف ہوں۔ روزگار کا پروگرام جس میں صرف سب سے پرعزم کام ڈھونڈنے والے نام لکھوائیں مؤثر نظر آئے گا چاہے وہ کچھ نہ کرے، کیونکہ موازنہ گروہ کبھی اس کا منصفانہ نائب نہیں تھا جو شرکاء بغیر مدد کرتے۔ ویکیپیڈیا: انتخابی تعصب۔

ہم رشتگی سے سببیت لازم نہیں آتی وہ عمومی انتباہ ہے جسے یہ موضوع عملی بناتا ہے: دو متغیرات کا ساتھ ساتھ حرکت کرنا اس کے مطابق ہے کہ ایک دوسرے کا سبب بنے، الٹا ہو، مشترکہ سبب ہو، یا اتفاق ہو، اور صرف نمونہ ان میں فرق نہیں کر سکتا۔ آئس کریم کی فروخت اور ڈوبنے سے اموات دونوں ہر گرمیوں میں بڑھتی ہیں بغیر اس کے کہ کوئی دوسرے کا سبب ہو، کیونکہ گرم موسم دونوں کو چلاتا ہے؛ عوامی پروگرام کا جائزہ اسی جال کی زیادہ لطیف صورتوں سے بھرا ہے۔ ویکیپیڈیا: ہم رشتگی سے سببیت لازم نہیں آتی۔

بے ترتیب کنٹرولڈ ٹرائل (RCT)، جسے پالیسی کے جائزے کے ادب میں بے ترتیب جائزہ کہا جاتا ہے، اہل اکائیوں کو بے ترتیب طور پر علاج کے گروہ میں مختص کرتا ہے جسے پروگرام ملتا ہے اور کنٹرول گروہ میں جسے نہیں ملتا، تاکہ اوسطاً دونوں گروہ صرف اس میں مختلف ہوں کہ انہیں علاج ملا یا نہیں۔ بے ترتیبی طاقتور ہے کیونکہ وہ ملانے والے عوامل سے مجموعی طور پر نمٹتی ہے: وہ ان عوامل کو بھی متوازن کرتی ہے جو آپ ناپ سکتے ہیں اور ان کو بھی جو نہیں، انہیں پہلے سے نام دیے بغیر۔ ویکیپیڈیا: بے ترتیب کنٹرولڈ ٹرائل۔

فرقوں کا فرق (Difference-in-differences، DiD) علاج پانے والے گروہ کے نتائج میں وقت کے ساتھ تبدیلی کا اسی مدت میں ان موازنہ گروہ کی تبدیلی سے موازنہ کرتا ہے جسے پروگرام نہیں ملا، یہ فرض کر کے کہ پروگرام کے بغیر دونوں گروہ متوازی رجحانات پر چلتے۔ یہ وہ بنیادی طریقہ ہے جب پروگرام ایک دائرۂ اختیار تک دوسرے سے پہلے پہنچا اور بے ترتیبی کبھی آپشن نہیں تھی، کیونکہ یہ مخصوص ٹرائل کے بجائے معمول کے مطابق جمع شدہ انتظامی ڈیٹا استعمال کر سکتا ہے۔ ویکیپیڈیا: فرقوں کا فرق۔

ریگریشن ڈسکنٹنیوٹی ڈیزائن (RDD) پروگرام کے اس قاعدے سے فائدہ اٹھاتا ہے جو علاج کو کسی ناپے گئے اسکور کے مقررہ حد عبور کرنے پر تفویض کرتا ہے — فائدہ ٹھیک آمدنی کی حد پر شروع ہونا، پاس مارک سے ذرا نیچے اسکور کرنے والے طلبہ کو اصلاحی کلاس دی جانا — اور ان اکائیوں کے نتائج کا موازنہ کرتا ہے جو حد سے ذرا اوپر اور ذرا نیچے ہیں، جو دوسری طرح ایک جیسی ہیں۔ چونکہ حد کے گرد تنگ پٹی میں اکائی کا کس طرف گرنا عملاً من مانا ہے، موازنہ مقامی بے ترتیب تجربے کے قریب ہوتا ہے بغیر اس کے کہ کسی نے کچھ بے ترتیب کیا ہو۔ ویکیپیڈیا: ریگریشن ڈسکنٹنیوٹی ڈیزائن۔

آلاتی متغیرات کا تخمینہ (Instrumental variables، IV) تیسرے متغیر، ایک «آلے»، کو استعمال کرتا ہے جو پروگرام لینے کو متاثر کرتا ہے مگر اس لینے کے علاوہ نتیجے پر کوئی براہِ راست اثر نہیں رکھتا، تاکہ علاج-نتیجے کے رشتے کا وہ حصہ الگ کیا جائے جسے ملانے والا عنصر ورنہ آلودہ کرتا۔ عوامی پالیسی کا کلاسیکی آلہ سہولت تک فاصلہ، یا قرعہ اندازی سے مختص جگہ ہے، جو نتیجے کا آزادانہ سبب بنے بغیر شرکت کو بدلتی ہے؛ طریقے کی زیادہ تر دشواری اس دفاع میں ہے کہ آلہ نتیجے کو صرف پروگرام کے ذریعے متاثر کرتا ہے۔ ویکیپیڈیا: آلاتی متغیرات کا تخمینہ۔

قدرتی تجربہ (natural experiment) ایسی صورتِ حال ہے، جو محقق کے ڈیزائن کے بجائے پالیسی، جغرافیہ یا حالات سے پیدا ہو، جس میں کچھ لوگ پروگرام کے سامنے آتے ہیں اور موازنہ پذیر دیگر نہیں، گویا تجربہ کسی کے چلائے بغیر چل گیا ہو۔ تاریخِ پیدائش کی حد پر نافذ ہونے والی پالیسی کی تبدیلی، ایسی حد جو تقریباً ایک جیسے گھرانوں کو مختلف دائرۂ اختیار میں ڈالے، یا زیادہ طلب والی جگہ کی قرعہ اندازی سے راشن بندی قدرتی تجربے ہیں جنہیں RDD، IV یا DiD پھر تجزیہ کر سکتے ہیں۔ ویکیپیڈیا: قدرتی تجربہ۔

ہاتھورن اثر (Hawthorne effect) اس خطرے کا نام ہے کہ لوگ محض اس لیے رویہ بدل دیں کہ انہیں معلوم ہے کہ ان کا مشاہدہ ہو رہا ہے، پروگرام کے اصل مواد سے آزاد، جو تخمینہ شدہ اثر کو بڑھا سکتا ہے اگر کنٹرول گروہ کا برابر شدت سے مشاہدہ نہ ہو — ناپنے کا عمل خود علاج کا حصہ بن سکتا ہے۔ ویکیپیڈیا: ہاتھورن اثر۔

شماریاتی طاقت (statistical power) اس کا امکان ہے کہ جائزہ کسی دیے گئے حجم کا حقیقی اثر، اگر موجود ہو، پکڑ لے گا، جو بنیادی طور پر نمونے کے حجم، مطلوب اثر کے حجم اور گروہوں کے اندر نتائج کے تغیر پر منحصر ہے۔ کم طاقت والا جائزہ جو «کوئی معنی خیز اثر نہیں» پاتا اکثر یہ نہیں دکھا چکا ہوتا کہ پروگرام کچھ نہیں کرتا؛ اس نے دکھایا ہوتا ہے کہ جائزہ کسی بھی طرف بتانے کے لیے بہت چھوٹا تھا، ایک فرق جسے قائدین فیصلہ دینے کے دباؤ میں اکثر چھوڑ دیتے ہیں۔ ویکیپیڈیا: طاقت (شماریات)۔

بہترین طریقے

1. جائزے کا ڈیزائن پروگرام شروع ہونے سے پہلے طے کریں، بعد میں نہیں۔ بے ترتیب جائزہ، فرقوں کے فرق کے لیے موزوں مرحلہ وار آغاز، یا ریگریشن ڈسکنٹنیوٹی ڈیزائن کے لیے موزوں اہلیت کی حد، سب کو شروع سے شامل کرنا اس سے کہیں آسان ہے کہ ڈیلیوری ایڈہاک شروع ہونے کے بعد اضافی لگایا جائے۔
2. ہر جائزے کی مختصر دستاویز میں متبادل منظر صراحت سے بیان کریں۔ ایک جملے میں لکھیں کہ آپ شرکاء کا موازنہ کس سے کر رہے ہیں — کوئی پروگرام نہیں، پچھلا پروگرام، مختلف مداخلت — کیونکہ غیر بیان کردہ متبادل منظر وہ جگہ ہے جہاں جائزے کے سب سے تیز تنازعات عموماً چھپے نکلتے ہیں۔
3. سادہ پہلے-اور-بعد کے موازنے کو ابتدائی مفروضہ سمجھیں، کبھی نتیجہ نہیں۔ نتائج آپ کے پروگرام سے غیر متعلق بہت سی وجوہات سے بہتے ہیں — معاشی چکر، موسمی اثرات، ایک ہی وقت میں آنے والی دیگر پالیسی تبدیلیاں — اور پہلے-اور-بعد کا ڈیزائن آپ کے پروگرام کا حصہ ان سے الگ نہیں کر سکتا۔
4. طریقہ اس قاعدے سے ملائیں جس نے دراصل پروگرام تفویض کیا، اس طریقے سے نہیں جو آپ کو سب سے زیادہ مانوس ہو۔ قرعہ اندازی سے راشن بند پروگرام بے ترتیب جائزے کی منطق مانگتا ہے چاہے آپ اسے ٹرائل نہ کہیں؛ اسکور کی حد پر تفویض شدہ پروگرام ریگریشن ڈسکنٹنیوٹی ڈیزائن مانگتا ہے؛ کچھ علاقوں میں دوسروں سے پہلے پھیلنے والا پروگرام فرقوں کا فرق مانگتا ہے۔
5. نتائج دیکھنے سے پہلے نتائج کے پیمانے اور تجزیے کا منصوبہ پہلے سے رجسٹر کریں۔ یہ طے کرنا کہ «کامیابی» کون سا نتیجہ ہے یہ دیکھنے کے بعد کہ کون سا ہلا، جھوٹے مثبتوں کا اچھی طرح دستاویز شدہ راستہ ہے، اور پیشگی رجسٹریشن اس کے خلاف معیاری دفاع ہے۔
6. جائزے کی طاقت اس سب سے چھوٹے اثر کے حجم کے لیے رکھیں جو پھر بھی پروگرام کی لاگت کو جائز ٹھہرائے، سہولت کے لیے نہیں۔ وہ جائزہ جو پالیسی کے لحاظ سے اہم اثر پکڑنے کے لیے بہت چھوٹا ہو «کوئی معنی خیز فرق نہیں» کا غیر معلوماتی نتیجہ پیدا کرے گا جسے ناکامی کا ثبوت سمجھا جاتا ہے۔
7. صرف نمایاں اثر نہیں، موازنہ گروہ کی خصوصیات بھی علاج گروہ کی خصوصیات کے ساتھ رپورٹ کریں۔ معتبر جائزہ شکی قاری کو جانچنے دیتا ہے کہ علاج سے پہلے دونوں گروہ ایک جیسے تھے؛ وہ جائزہ جو اسے چھپاتا ہے قاری کو توازن ایمان پر ماننے پر مجبور کرتا ہے۔
8. جائزہ ڈیلیوری ٹیم سے آزاد ذریعے سے کمیشن کریں، یا اگر ممکن نہ ہو تو تجزیے کو الگ کریں۔ پروگرام کی کامیابی میں مفاد رکھنے والی ٹیم کے پاس مبہم شواہد کی تشریح پروگرام کے حق میں کرنے کی ساختی ترغیب ہوتی ہے، اکثر لاشعوری۔
9. ہر رپورٹ میں شماریاتی معنویت کو عملی اور مالیاتی معنویت سے الگ کریں۔ درستگی سے ناپا گیا چھوٹا اثر اور غیر درستگی سے ناپا گیا بڑا اثر مختلف نتائج ہیں جو مختلف فیصلے مانگتے ہیں، اور دونوں کو «معنی خیز» یا «غیر معنی خیز» میں سمیٹنا وہ فرق مٹاتا ہے جو فنڈنگ کے فیصلے کو دراصل درکار ہے۔
10. ڈیزائن کے مرحلے پر جائزے کا بجٹ پروگرام کی لاگت کے مقررہ حصے کے طور پر رکھیں، جو بچ جائے اس کے طور پر نہیں۔ عوامی قدر کے لیے اہم ہونے کے لیے کافی بڑا پروگرام عموماً معتبر اثر کے جائزے کو فنڈ کرنے کے لیے بھی کافی بڑا ہوتا ہے، اور جائزے کو اختیاری سمجھنا ہی وہ طریقہ ہے جس سے کمزور شواہد معمول بنتے ہیں۔
11. غیر نتیجہ خیز اور منفی نتائج اتنی ہی نمایاں طور پر شائع کریں جتنے مثبت۔ کمیشننگ کا ماحول جو صرف کامیاب جائزوں کی تشہیر کرتا ہے شائع شدہ شواہد کی بنیاد میں ہی انتخابی تعصب پیدا کرتا ہے، ہر ایک کے بعد کے «کیا کارآمد ہے» کے فیصلے کو خوش گمانی کی طرف مائل کرتا ہے۔
12. ہر مکمل جائزہ اس وسیع تر شواہد کی بنیاد میں شامل کریں جو آپ کا شعبہ برقرار رکھتا ہے، صرف اپنے آرکائیو میں نہیں۔ ایک واحد جائزہ، چاہے کتنا ہی اچھی طرح ڈیزائن شدہ ہو، ایک ڈیٹا نقطہ ہے؛ بہت سوں کی منظم ترکیب وہ ہے جو پروگرام کے نتیجے کو قابلِ منتقلی علم میں بدلتی ہے (دیکھیں موضوع 2.6 — شواہد کی ترکیب اور کیا کارآمد ہے)۔

اپنی ٹیم کے ساتھ بحث کے لیے سوالات

ہم اس پروگرام کا دراصل کس متبادل منظر سے موازنہ کر رہے ہیں، اور کیا ہم نے بلند آواز سے کہا ہے؟ ہر اثر کا دعویٰ ایک موازنہ مضمر رکھتا ہے، مگر ٹیمیں اسے اکثر مضمر چھوڑ دیتی ہیں، «یہ کارگر رہا» کو «کچھ نہ ہونے سے بہتر»، «پہلے جو کرتے تھے اس سے بہتر» اور «بہترین متبادل جسے ہم فنڈ کر سکتے تھے اس سے بہتر» کے درمیان خاموشی سے پھسلنے دیتی ہیں۔ اپنے جائزے کے سربراہ سے کہیں کہ متبادل منظر کو سادہ زبان میں ایک جملے میں بیان کرے، پھر جانچیں کہ آپ کے پاس شواہد اس مخصوص موازنے کے بارے میں دعوے کی دراصل تائید کرتے ہیں یا نہیں۔ اگر ایماندارانہ متبادل منظر یہ ہے کہ «ہمیں نہیں معلوم کہ ورنہ کیا ہوتا» تو موجودہ اثر کے دعوے کو نتیجے کے بجائے مفروضہ سمجھیں، اور بحث کریں کہ اس خلا کو بند کرنے میں کیا لگے گا۔

کیا جن لوگوں یا جگہوں نے یہ پروگرام لیا وہ ان سے ایسے طریقوں سے منظم طور پر مختلف ہو سکتے ہیں جو نتیجے کو بھی متاثر کرتے ہوں؟ یہ انتخابی تعصب کا سوال ہے، اور اسے پوچھنا قابلِ قدر ہے چاہے — خاص طور پر جب — جواب بظاہر واضح طور پر «نہیں» ہو۔ عزم، پیشگی حالات، مقامی صلاحیت اور عملے کی سفارش کے نمونے فرق کے عام پوشیدہ ذرائع ہیں جو بڑے، بظاہر محتاط نمونے کے باوجود گمراہ کن اثر کا تخمینہ پیدا کرتے ہیں۔ اگر ٹیم بیان نہ کر سکے کہ شرکاء پروگرام میں کیسے آئے تو وہ اسے رد نہیں کر سکتی، اور وہ خلا آپ کو چھوٹے نمونے کے حجم سے زیادہ فکر مند کرنا چاہیے۔

ہمارا جائزے کا ڈیزائن پروگرام میں شامل تھا، یا بعد میں چسپاں کیا گیا، اور اس نے ہمیں کیا قیمت چکائی؟ بے ترتیب جائزہ، مرحلہ وار آغاز، یا اسکور شدہ اہلیت کی حد سب لانچ سے پہلے منصوبہ بند ہوں تو اس سے کہیں سستے اور معتبر ہیں کہ جو بھی انتظامی ڈیٹا بچ گیا اس سے دوبارہ تعمیر کیے جائیں۔ پوچھیں کہ پروگرام کے ڈیزائن کے مرحلے پر جائزے کے کون سے ڈیزائن کے اختیارات پر غور ہوا، اور اگر کسی پر نہیں ہوا تو اسے اگلے پروگرام سے پہلے بند کرنے کی عمل کی خامی سمجھیں، صرف اس پروگرام کی حد نہیں۔ بحث کریں کہ اگلے بڑے پروگرام کے معتبر سببی تخمینے کی معاونت کے لیے پہلے دن سے کون سا ڈیٹا موجود ہونا چاہیے۔

کیا ہمارا نمونہ اتنا بڑا ہے کہ جاننے کے قابل اثر پکڑ سکے، اور کیا ہم کم طاقت والے «کوئی اثر نہیں» نتیجے کو پہچانیں گے اگر دیکھیں؟ جو جائزہ رپورٹ کرتا ہے کہ کوئی شماریاتی طور پر معنی خیز اثر نہیں کبھی کبھی درست بتا رہا ہوتا ہے کہ پروگرام کارگر نہیں، اور کبھی صرف یہ کہ جائزہ اتنا چھوٹا تھا کہ وہاں موجود حقیقی اثر نہ دیکھ سکا۔ اپنے تجزیہ کاروں سے کہیں کہ سب سے چھوٹا اثر کا حجم بتائیں جسے پکڑنے کے لیے جائزے کی طاقت رکھی گئی، اور اس کا موازنہ اس اثر کے حجم سے کریں جو پروگرام کی لاگت کو دراصل جائز ٹھہرائے گا۔ اگر یہ دونوں اعداد بہت دور ہوں تو «کوئی اثر نہیں» کا نتیجہ مذمتی کے بجائے غیر معلوماتی ہو سکتا ہے، اور ٹیم کو خاموشی کو ناکامی پڑھنے دینے کے بجائے صاف کہنا چاہیے۔

اگر یہ جائزہ مثبت آئے تو پیشہ ورانہ یا ساکھ کے اعتبار سے کسے فائدہ ہوتا ہے، اور کیا یہ بدل دیتا ہے کہ اسے کتنی آزاد جانچ چاہیے؟ یہ بددیانتی کا الزام نہیں؛ یہ اس کا اعتراف ہے کہ جن لوگوں نے پروگرام ڈیزائن کیا یا ڈیلیور کیا وہ مبہم نتائج کی فیاضانہ تشریح کرنے کے ساختی طور پر زیادہ امکان رکھتے ہیں، اکثر بغیر محسوس کیے کہ وہ ایسا کر رہے ہیں۔ بحث کریں کہ آیا جائزہ ڈیلیوری ٹیم سے آزاد کسی شخص نے کمیشن کیا، تجزیہ کیا یا نظرِ ثانی کی، اور اگر نہیں تو اس سائز کے پروگرام کے لیے متناسب علیحدگی کیسی ہوگی۔ مقصد ایسا نتیجہ ہے جس پر آپ کا سب سے شکی مالی معاون بھی بھروسا کرے، نہ صرف جس کا دفاع کرنے میں آپ کی اپنی ٹیم آرام دہ ہو۔

اگر اس جائزے کا نتیجہ مضبوط ہے تو ہم دراصل کیا مختلف کریں گے، اور کیا ہم ایسا کرنے کو تیار ہیں؟ وہ جائزہ جو کمیشن کیا گیا مگر کبھی فیصلہ بدلنے کا ارادہ نہ تھا ڈوبی ہوئی لاگت ہے جسے مناسب احتیاط کا لباس پہنایا گیا، اور نتائج آنے سے پہلے، بعد میں نہیں، اس خطرے کا نام لینا قابلِ قدر ہے۔ پہلے سے بحث کریں کہ مضبوط مثبت نتیجہ کیا جائز ٹھہرائے گا (توسیع، اور کتنی) اور غیر نتیجہ خیز یا منفی نتیجہ کیا متحرک کرے گا (ازسرِنو ڈیزائن، یا منسوخی، اور کس مدت پر)۔ اگر نتائج دیکھنے سے پہلے کمرے میں کوئی اس کا جواب نہ دے سکے تو ممکن ہے جائزہ فیصلے کے فعل کے بجائے جواز کا فعل انجام دے رہا ہو، اور اس کے بارے میں ایماندار ہونا قابلِ قدر ہے (دیکھیں موضوع 2.1 — عوامی قدر کا اسکور کارڈ اور نتائج کے فریم ورک)۔

عملی صورت: عوامی قدر کی ایک مثال

فرضی مثال۔ ایک درمیانے سائز کے، غیر نام زد ملک کی وزارتِ روزگار کی خدمات نے طویل مدتی بے روزگار کام ڈھونڈنے والوں کے لیے مرکوز کوچنگ کی خدمت کا ایک سالہ تجربہ چلایا، موجودہ معیاری خدمت کے ساتھ۔ تجربے کے اختتام پر، ایک اندرونی رپورٹ نے مرکوز کوچنگ پانے والے گروہ کا موازنہ ان سب سے کیا جو اسی مدت میں بے روزگاری سے نکلے: کوچنگ والے گروہ کی چھ ماہ کے اندر ملازمت دلانے کی شرح 38% تھی، جبکہ باقی کیس لوڈ کی 24%۔ وزراء کو بتایا گیا کہ پروگرام «کارگر رہا» اور ملک بھر میں پھیلانے کا کاروباری مقدمہ آگے بڑھا۔

فنڈنگ منظور کرنے سے پہلے، مالیاتی کمیٹی نے سیدھا سوال پوچھا: ڈھونڈنے والے پہلے ہی کوچنگ والے گروہ میں کیسے آئے تھے؟ جواب غیر معمولی طور پر اہم نکلا۔ کیس ورکرز نے ان ڈھونڈنے والوں کو کوچنگ کے تجربے میں بھیجا تھا جن کے بارے میں ان کا خیال تھا کہ انہیں «سب سے زیادہ فائدہ» ہوگا، ایک نیک نیت درجہ بندی کا فیصلہ جس نے عملاً شروع ہی سے علاج میں زیادہ کام کے لیے تیار گروہ منتخب کیا تھا۔ 38% بمقابلہ 24% کا موازنہ ٹھیک اسی انتخابی تعصب سے آلودہ تھا جس سے یہ موضوع خبردار کرتا ہے: یہ بالکل ممکن تھا کہ کوچنگ والا گروہ بغیر کوچنگ کے بھی باقی کیس لوڈ سے بہتر کارکردگی دکھاتا۔

اس موازنے پر توسیع منظور یا مسترد کرنے کے بجائے، وزارت کی جائزہ اکائی نے قرعہ اندازی کا استعمال کرتے ہوئے دوسرے مرحلے کی تجویز دی۔ کوچنگ کی خدمت کی طلب پہلے ہی دستیاب جگہوں سے زیادہ تھی، لہٰذا اکائی نے برابر اہل درخواست گزاروں میں جگہیں بے ترتیب طور پر مختص کیں اور قرعہ جیتنے والوں اور ہارنے والوں کے درمیان ملازمت دلانے کی شرحوں کا موازنہ کیا، جو بے ترتیب جائزے کی منطق کا اطلاق تھا بغیر خدمت اس سے روکے جسے ورنہ نہ ملتی۔ بارہ ماہ بعد، قرعہ اندازی کے موازنے نے چھوٹا مگر حقیقی اثر دکھایا: چھ ماہ کی ملازمت دلانے میں 9 فیصدی پوائنٹ کی بہتری، نہ کہ وہ 14 پوائنٹ کا فرق جو اصل موازنہ ظاہر کرتا۔ وزارت نے قرعہ اندازی پر مبنی تخمینہ، اپنے لاگت کے ڈیٹا کے ساتھ، لاگت کی افادیت کا قابلِ دفاع مقدمہ بنانے کے لیے استعمال کیا (دیکھیں موضوع 2.2 — سماجی لاگت و منفعت اور لاگت کی افادیت کا تجزیہ) ایک بڑھائے گئے مگر وسائل سے محدود پھیلاؤ کے لیے، نہ کہ اس بڑی، ناقابلِ ڈیلیوری توسیع کے لیے جو ناقص ابتدائی موازنے کا جواز بنتا۔

چار شعبہ جاتی زاویے

مقامی حکومت

مقامی اتھارٹیاں عموماً چند بہت بڑے پروگراموں کے بجائے بہت سے چھوٹے اور درمیانے سائز کے پروگرام چلاتی ہیں، جو مخصوص مقصد کے لیے بنائے گئے بے ترتیب جائزوں کو پروگرام کے سائز کے مقابل مہنگا بناتا ہے اور مقامی جائزہ کاروں کو نیم تجرباتی طریقوں کی طرف دھکیلتا ہے جو پہلے سے جمع ہو رہا انتظامی ڈیٹا دوبارہ استعمال کرتے ہیں — ان خدمتی علاقوں میں فرقوں کا فرق جنہوں نے تبدیلی مختلف اوقات میں اپنائی، یا مقامی اہلیت کی حد کے گرد ریگریشن ڈسکنٹنیوٹی ڈیزائن۔ حدود اور دائرۂ اختیار کے فرق جو کہیں اور پریشانی ہوتے مقامی جائزہ کار کا اکثر بہترین قدرتی تجربہ ہوتے ہیں، کیونکہ دو پڑوسی وارڈ یا اضلاع پالیسی میں مختلف ہو سکتے ہیں جبکہ زیادہ تر دوسرے معاملات میں ایک جیسے رہتے ہیں۔

قومی حکومت

قومی حکومتوں کے پاس مخصوص مقصد کے بے ترتیب جائزے فنڈ کرنے کا پیمانہ اور انتظامی ڈیٹا سیٹ ہوتے ہیں، اکثر ٹیکس، فوائد، صحت اور تعلیم کے ریکارڈ میں جڑے ہوئے، تاکہ کم حدی لاگت پر معتبر نیم تجرباتی ڈیزائن چلائے جا سکیں۔ یہ پیمانہ وہ جگہ بھی ہے جہاں «کیا کارآمد ہے» کے جائزے کی ٹاسک فورسز اور مرکزی جائزے کی رہنمائی، جیسے خزانے کے محکمے کی معیاری جائزہ ہینڈ بک، بیٹھتی ہیں، کیونکہ صرف قومی حکومت ہی کئی محکموں میں مستقل جائزہ بنیادی ڈھانچہ اور مشترکہ طریقہ جاتی معیار برقرار رکھنے کی مقررہ لاگت کا جواز دے سکتی ہے۔

سماجی شعبہ اور غیر منافع بخش ادارے

غیر منافع بخش اور غیر سرکاری تنظیموں کے پاس شاذ و نادر وہ نمونے کے حجم یا بجٹ ہوتے ہیں جو اچھی طاقت والے بے ترتیب جائزے کو درکار ہیں، اور ان کے پروگرام اکثر سامنے کے عملے کے مشاہدے کے جواب میں تدریجی طور پر بدلتے ہیں، جو ہر اس ڈیزائن کو پیچیدہ بناتا ہے جو مستحکم، واضح طور پر متعین علاج فرض کرتا ہو۔ علمی تحقیقی گروہ یا خصوصی جائزہ ثالث کے ساتھ شراکت، اس قسم کی جو بین الاقوامی ترقی میں بے ترتیب جائزوں کی تحریک کے گرد پروان چڑھی، اکثر سخت سببی تخمینے کا واحد حقیقت پسندانہ راستہ ہے، اور مالی معاونین کثیر سالہ گرانٹس سے پہلے ٹھیک اسی طرح کی بیرونی شراکت کا بڑھتی ہوئی تعداد میں تقاضا کرتے ہیں۔

کثیر فریقی اور بین الاقوامی ادارے

کثیر فریقی ادارے مختلف ڈیٹا نظاموں، انتظامی صلاحیت اور اخلاقی جائزے کے ضوابط والے بہت سے ملکوں میں پروگرام فنڈ کرتے ہیں، جو معیاری سببی طریقوں کو یکساں لاگو کرنا مشکل بناتا ہے مگر ملکوں کے درمیان قدرتی تغیر بھی پیدا کرتا ہے جو خود قدرتی تجربہ بن سکتا ہے جب پالیسی کچھ رکن ریاستوں میں دوسروں سے پہلے اپنائی جائے۔ ترقیاتی معاشیات میں بے ترتیب جائزے اس پیمانے پر خاص طور پر اثر انگیز رہے ہیں، ایسے شواہد پیدا کرتے ہوئے جنہوں نے بین الاقوامی ترقیاتی فنڈنگ کی تخصیص کو شکل دی، مگر وہ بیرونی صداقت کی ناکامی کا دستاویز شدہ خطرہ بھی رکھتے ہیں: جس ملک اور سیاق میں مطالعہ ہوا وہاں برقرار رہنے والا نتیجہ خود بخود مختلف سیاق میں منتقل نہیں ہوتا، ایک احتیاط جسے کثیر فریقی پروگرام ڈیزائن اکثر نظرانداز کر دیتا ہے۔

ناکامی کے عام طریقے

سادہ لوح پہلے-اور-بعد۔ پروگرام کا فیصلہ صرف شروع ہونے سے پہلے کے نتائج کا بعد کے نتائج سے موازنہ کر کے کیا جاتا ہے، بغیر کسی موازنہ گروہ کے، لہٰذا جو بھی رجحان پہلے سے جاری تھا — معاشی بحالی، آبادیاتی تبدیلی، الگ پالیسی تبدیلی — پروگرام سے غلط منسوب ہو جاتا ہے۔ لاگت ایسا پراعتماد سببی بیانیہ ہے جو ایسے ڈیزائن پر بنا ہے جو پروگرام کے اثر کو اسی وقت ہونے والی باقی ہر چیز سے الگ نہیں کر سکتا۔

پروگرام کے اثر کے طور پر انتخابی تعصب۔ جو شرکاء اپنی مرضی سے شامل ہوئے، یا اس لیے بھیجے گئے کہ کامیاب ہوتے نظر آتے تھے، ان کا موازنہ باقی سب سے کیا جاتا ہے، ایسا اثر کا تخمینہ پیدا کرتا ہے جو دراصل اس کی پیمائش ہے کہ پروگرام نے کسے کھینچا، نہ کہ اس نے ان کے ساتھ کیا کیا۔ لاگت ایسا بڑھایا گیا پروگرام ہے جو کم خود منتخب آبادی تک پہنچنے پر کم، کبھی بہت کم، مؤثر لگتا ہے۔

کم طاقت والا جائزہ جسے غیر نتیجہ خیز بتایا گیا۔ چھوٹا تجربہ «کوئی شماریاتی طور پر معنی خیز اثر نہیں» پاتا ہے اور اسے اس ثبوت کے طور پر پڑھا جاتا ہے کہ پروگرام کارگر نہیں، جبکہ نمونہ دراصل اتنے حجم کا اثر پکڑنے کے لیے بہت چھوٹا تھا جو اہم ہو۔ لاگت دونوں سمتوں میں چلتی ہے: حقیقی طور پر مؤثر پروگرام ایسے شواہد پر منسوخ ہو سکتا ہے جو اسے کارگر دکھانے کے قابل کبھی تھے ہی نہیں، یا وسائل بڑے ٹرائل کو فنڈ کرنے کی طرف جاتے ہیں جو ضروری نہ ہوتا اگر اصل مختصر دستاویز درست طاقت کے ساتھ ہوتی۔

مقامی تخمینے کو اس کے سیاق سے آگے بڑھانا۔ ریگریشن ڈسکنٹنیوٹی ڈیزائن درست طور پر اہلیت کی حد کے قریب اکائیوں کے لیے اثر کا تخمینہ لگاتا ہے، اور آلاتی متغیر کا تخمینہ درست طور پر ان اکائیوں کے لیے اثر کا تخمینہ لگاتا ہے جن کی علاج کی حیثیت آلے نے حقیقتاً بدلی، مگر دونوں نتائج پھر پوری آبادی پر یوں لاگو کیے جاتے ہیں گویا تخمینہ ہر جگہ برقرار ہو۔ لاگت ایسی پالیسی ہے جو اس عدد کی بنیاد پر بڑھائی گئی جو صرف مقامی طور پر سچا تھا۔

تماشے کے طور پر جائزہ۔ شواہد پر مبنی فیصلہ سازی کا تاثر پیدا کرنے کے لیے جائزہ کمیشن کیا جاتا ہے، مگر فیصلہ عملاً پہلے ہو چکا ہوتا ہے اور کوئی معقول نتیجہ اسے نہ بدلتا۔ لاگت ضائع شدہ جائزے کا بجٹ ہے اور، زیادہ ناگوار، جائزے ہی پر اعتماد کا سست کٹاؤ جب عملہ نوٹس کرتا ہے کہ نتائج کبھی انجام نہیں بدلتے۔

پختگی کا نمونہ

فہرستِ جانچ

• ہر بڑے پروگرام کے جائزے کے لیے متبادل منظر ایک سادہ زبان کے جملے میں بیان کریں۔
• تصدیق کریں کہ شرکاء علاج کے گروہ میں کیسے آئے، اور جانچیں کہ آیا یہ عمل خود نتیجے کے فرق کی وضاحت کر سکتا ہے۔
• جائزے کا طریقہ (بے ترتیب جائزہ، فرقوں کا فرق، ریگریشن ڈسکنٹنیوٹی ڈیزائن، آلاتی متغیرات، یا قدرتی تجربہ) حقیقی تفویض کے قاعدے سے ملانے کے لیے چنیں، جہاں ممکن ہو ڈیلیوری شروع ہونے سے پہلے۔
• پروگرام کی لاگت کو جائز ٹھہرانے والے سب سے چھوٹے اثر کے حجم کو پکڑنے کے لیے درکار شماریاتی طاقت شمار کریں۔
• نتائج دیکھنے سے پہلے نتائج کے پیمانے اور تجزیے کا منصوبہ پیشگی رجسٹر کریں۔
• نمایاں اثر کے ساتھ علاج اور موازنہ گروہوں کی موازنہ پذیری رپورٹ کریں۔
• جائزہ ڈیلیوری ٹیم سے آزاد فعل کے ذریعے کمیشن یا نظرِ ثانی کریں۔
• فیصلہ سازوں کی ہر رپورٹ میں شماریاتی معنویت کو مالیاتی اور عملی معنویت سے الگ کریں۔
• ڈیزائن کے مرحلے پر جائزے کا بجٹ پروگرام کی لاگت کے مقررہ حصے کے طور پر رکھیں۔
• غیر نتیجہ خیز اور منفی نتائج اتنی ہی نمایاں طور پر شائع کریں جتنی مثبت کو دی جاتی ہے۔
• جانچیں کہ آیا مثبت مقامی تخمینہ (ریگریشن ڈسکنٹنیوٹی ڈیزائن یا آلاتی متغیرات سے) اس آبادی سے آگے بڑھایا جا رہا ہے جسے وہ حقیقتاً احاطہ کرتا ہے۔
• مکمل جائزے اس وسیع تر شواہد کی بنیاد میں بھیجیں جو آپ کا شعبہ برقرار رکھتا ہے، صرف اپنے آرکائیو میں نہیں۔

بنیادی ماخذ

اس موضوع کا طریقہ جاتی مرکز جوشوا ڈی اینگرسٹ اور یورن-اسٹیفن پشکے سے وابستہ عملی اقتصادی پیمائش کی روایت، اور ڈونلڈ روبن کے باضابطہ کیے گئے ممکنہ نتائج کے فریم ورک پر مبنی ہے۔ عوامی پالیسی اور ترقیاتی معاشیات میں بے ترتیب جائزوں کی تحریک، جو عبدالطیف جمیل پاورٹی ایکشن لیب (J-PAL) اور اس کے علمی نیٹ ورک سے وابستہ ہے، شعبہ جاتی زاویوں میں حوالہ دی گئی زیادہ تر عملی مشق فراہم کرتی ہے۔ حکومتی جائزے کے معیار برطانوی خزانے کی میجنٹا بک رہنمائی سے ماخوذ ہیں، اور شواہد کی ترکیب کی مشق سماجی پالیسی میں منظم جائزے کے لیے کیمبل کولیبریشن کے معیاروں سے (دیکھیں موضوع 2.6 — شواہد کی ترکیب اور کیا کارآمد ہے)۔

حوالہ جات

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network