लोक क्षेत्र अर्थमिति और कार्यक्रम मूल्यांकन

यह लोक मूल्य में क्यों महत्वपूर्ण है

हर साल, लोक निकाय एक परिणाम तुलना की शक्ति पर कार्यक्रमों को नवीकृत, विस्तारित, या रद्द करते हैं: नौकरी कार्यक्रम में प्रतिभागियों को ग़ैर-प्रतिभागियों की तुलना में तेज़ी से काम मिला; ट्यूशन योजना में विद्यार्थियों ने उन विद्यार्थियों से अधिक अंक प्राप्त किए जिन्हें ट्यूशन नहीं दी गई। हर तुलना एक विवरण के रूप में सच है और एक तर्क के रूप में ख़तरनाक है, क्योंकि कोई भी, अपने आप में, यह नहीं बताता कि क्या कार्यक्रम ने अंतर का कारण बना। एक नौकरी कार्यक्रम में नामांकित लोग अक्सर उन लोगों से अधिक प्रेरित होते हैं जो नहीं करते, और ट्यूशन के लिए चुने गए विद्यार्थी अक्सर इसलिए चुने जाते हैं क्योंकि एक शिक्षक पहले से अपेक्षा रखता है कि वे अच्छी प्रतिक्रिया देंगे। 'तसलीम किए गए समूह ने बेहतर किया' और 'तसलीम ने उन्हें बेहतर किया' के बीच का अंतराल ठीक वह अंतराल है जिसे बंद करने के लिए कारणात्मक अनुमान मौजूद है।

यह एक शैक्षणिक बारीक़ी नहीं है। एक वित्त समिति से जब एक कार्यक्रम के वित्तपोषण को नवीकृत करने के लिए कहा जाता है, तो उससे परोक्ष रूप से एक कारण के दावे पर लोक धन ख़र्च करने को प्राधिकृत करने के लिए कहा जा रहा है, चाहे कमरे में कोई भी उस शब्द का उपयोग करे या नहीं। विषय 2.1 ने आपको वह परिणाम ढाँचा दिया जो बताता है कि एक कार्यक्रम क्या बदलने वाला है (विषय 2.1 — लोक मूल्य स्कोरकार्ड और परिणाम ढाँचे देखें); यह विषय आपको वे विधियाँ देता है जो परखती हैं कि क्या इसने वास्तव में इसे बदला, और कितना। लागत-लाभ और लागत-प्रभावशीलता विश्लेषण (विषय 2.2 — सामाजिक लागत-लाभ और लागत-प्रभावशीलता विश्लेषण देखें) और सामाजिक निवेश प्रतिफल (विषय 2.3 — सामाजिक निवेश प्रतिफल और प्रभाव मापन देखें) दोनों को काम करने के लिए एक बचाव-योग्य प्रभाव आकार चाहिए; यह विषय वह जगह है जहाँ से वह प्रभाव आकार आता है, या जहाँ आप सीखते हैं कि आपके पास पहले से मौजूद संख्या उस भार को नहीं उठा सकती जो इस पर रखा जा रहा है।

दाँव केवल वित्तीय नहीं हैं। एक सरकार जो एक अप्रभावी कार्यक्रम को बड़े पैमाने पर लागू करती है क्योंकि एक त्रुटिपूर्ण मूल्यांकन ने इसे प्रभावी दिखाया, उसने पैसा बर्बाद किया है और, अक्सर बदतर, एक वास्तव में प्रभावी विकल्प को विस्थापित किया है जिसे कभी मौक़ा नहीं मिला; एक सरकार जो एक प्रभावी कार्यक्रम रद्द करती है क्योंकि एक भोली तुलना ने इसे बेकार दिखाया, उसने ऐसा मूल्य नष्ट किया है जिसे एक बेहतर-डिज़ाइन किया गया मूल्यांकन बचाता। कारणात्मक पहचान को सही करना, और यह जानना कि आप इसे कब सही नहीं कर सकते, स्वयं एक लोक मूल्य क्षमता है, एक विशेषज्ञ की साइड रुचि नहीं।

मूल अवधारणाएँ

कारणात्मक अनुमान सांख्यिकी की वह शाखा है जो यह स्थापित करने से संबंधित है कि क्या, और कितना, एक चर का परिवर्तन दूसरे में परिवर्तन उत्पन्न करता है, इससे अलग कि दोनों चर बस साथ चलते हैं। यह वह वैचारिक नींव देता है — काउंटरफ़ैक्चुअल तर्क, तसलीम और नियंत्रण की भाषा, एक कारणात्मक दावे के लिए विशिष्ट ख़तरों की सूची — जिस पर इस विषय की हर विधि आधारित है। विकिपीडिया: कारणात्मक अनुमान।

काउंटरफ़ैक्चुअल वह परिणाम है जिसे एक व्यक्ति या इकाई ने अनुभव किया होता यदि उन्हें कार्यक्रम नहीं मिला होता, और यह वह केंद्रीय, अनवलोकनीय मात्रा है जिसे इस विषय की हर कारणात्मक विधि अनुमानित करने की कोशिश करती है: आप देख सकते हैं कि एक प्रतिभागी के साथ क्या हुआ, लेकिन कभी नहीं कि उसी व्यक्ति के साथ बिना सहायता के क्या हुआ होता। नीचे की हर विधि उस लापता अवलोकन के लिए एक विश्वसनीय स्थानापन्न बनाने की एक भिन्न रणनीति है। रुबिन कारणात्मक मॉडल, मुख्यतः सांख्यिकीविद् डोनाल्ड रुबिन द्वारा विकसित, इसे 'संभावित परिणाम' ढाँचे के रूप में औपचारिक बनाता है: हर इकाई का तसलीम के अंतर्गत एक संभावित परिणाम है और नियंत्रण के अंतर्गत एक, और कारणात्मक प्रभाव उनके बीच का अंतर है, जिनमें से केवल एक कभी अवलोकित किया जाता है। विकिपीडिया: रुबिन कारणात्मक मॉडल।

घोलक कारक तब होता है जब एक तीसरा कारक इसे प्रभावित करता है कि क्या एक इकाई एक कार्यक्रम प्राप्त करती है और वह परिणाम जिसे कार्यक्रम बदलने वाला है, दोनों को, ऐसा दिखाते हुए मानो कार्यक्रम ने एक प्रभाव उत्पन्न किया जो वास्तव में घोलक कारक ने उत्पन्न किया। प्रेरणा, पूर्व क्षमता, स्थानीय आर्थिक स्थितियाँ, और घरेलू संपत्ति लोक कार्यक्रम मूल्यांकन में बार-बार आने वाले घोलक कारक हैं, क्योंकि वे नियमित रूप से दोनों को प्रभावित करते हैं कि कौन एक सेवा लेता है और बाद में वह व्यक्ति या स्थान कैसा करता है। विकिपीडिया: घोलक कारक।

चयन पूर्वाग्रह घोलक कारक का वह विशिष्ट मामला है जो इससे उत्पन्न होता है कि प्रतिभागी बिल्कुल कैसे तसलीम समूह में आते हैं — स्व-चयन, स्टाफ़ रेफ़रल, या पात्रता नियम — इस तरह कि तसलीम और अ-तसलीम समूह कार्यक्रम के उन्हें छूने से पहले ही व्यवस्थित रूप से भिन्न होते हैं। एक नौकरी कार्यक्रम जिसके लिए केवल सबसे प्रेरित नौकरी-खोजने वाले साइन अप करते हैं वह प्रभावी दिखेगा भले ही यह कुछ नहीं करे, क्योंकि तुलना समूह कभी इसका उचित स्थानापन्न नहीं था कि प्रतिभागी बिना सहायता के क्या करते। विकिपीडिया: चयन पूर्वाग्रह।

सहसंबंध कारण का अर्थ नहीं देता वह सामान्य चेतावनी है जिसे यह विषय संचालित करता है: दो चर साथ चलना एक के दूसरे का कारण होने के अनुरूप है, विपरीत के, एक साझा सामान्य कारण के, या संयोग के, और केवल प्रतिमान इनके बीच अंतर नहीं कर सकता। आइसक्रीम बिक्री और डूबने से मृत्यु दोनों हर गर्मी में बढ़ते हैं बिना किसी के दूसरे का कारण बने, क्योंकि गर्म मौसम दोनों को चलाता है; लोक कार्यक्रम मूल्यांकन उसी जाल के अधिक सूक्ष्म संस्करणों से भरा है। विकिपीडिया: सहसंबंध कारण का अर्थ नहीं देता।

यादृच्छिक नियंत्रित परीक्षण (RCT), जिसे नीति-मूल्यांकन साहित्य में यादृच्छिक मूल्यांकन कहा जाता है, पात्र इकाइयों को यादृच्छिक रूप से एक तसलीम समूह को सौंपता है जो कार्यक्रम प्राप्त करता है और एक नियंत्रण समूह को जो नहीं, ताकि औसतन दोनों समूह केवल इसमें भिन्न हों कि उन्हें तसलीम मिला या नहीं। यादृच्छिकीकरण शक्तिशाली है क्योंकि यह घोलक कारकों को थोक में संभालता है: यह उन घोलक कारकों को भी संतुलित करता है जिन्हें आप माप सकते हैं और उन्हें भी जिन्हें आप नहीं माप सकते, बिना उन्हें पहले से नाम देने की आवश्यकता के। विकिपीडिया: यादृच्छिक नियंत्रित परीक्षण।

अंतर-में-अंतर (DiD) एक तसलीम समूह के लिए समय के साथ परिणामों में परिवर्तन की तुलना उसी अवधि में एक तुलना समूह के परिवर्तन से करता है जिसे कार्यक्रम नहीं मिला, यह मानते हुए कि, कार्यक्रम के बिना, दोनों समूह समानांतर प्रवृत्तियों का पालन करते। यह वह मुख्य विधि है जब एक कार्यक्रम एक क्षेत्राधिकार तक दूसरे से पहले पहुँचा और यादृच्छिकीकरण कभी एक विकल्प नहीं था, क्योंकि यह एक उद्देश्य-निर्मित परीक्षण के बजाय नियमित रूप से इकट्ठा किए गए प्रशासनिक डेटा का उपयोग कर सकती है। विकिपीडिया: अंतर-में-अंतर।

प्रतिगमन असांतत्य डिज़ाइन (RDD) एक कार्यक्रम नियम का उपयोग करता है जो एक मापे गए स्कोर के एक तय कट-ऑफ़ को पार करने के आधार पर तसलीम सौंपता है — एक लाभ जो ठीक एक आय सीमा पर शुरू होता है, एक उपचारात्मक कक्षा जो पास अंक से बिल्कुल नीचे स्कोर करने वाले विद्यार्थियों को सौंपी जाती है — और सीमा के ठीक ऊपर और नीचे की इकाइयों के परिणामों की तुलना करता है, जो अन्यथा समान हैं। क्योंकि एक इकाई सीमा के किस तरफ़ गिरती है यह इसके चारों ओर एक संकीर्ण बैंड में प्रभावी रूप से मनमाना है, तुलना बिना किसी के कुछ भी यादृच्छिक किए एक स्थानीय यादृच्छिक प्रयोग का अनुमान लगाती है। विकिपीडिया: प्रतिगमन असांतत्य डिज़ाइन।

यंत्रवत चर (IV) आकलन एक तीसरे चर, एक 'यंत्र', का उपयोग करता है जो एक कार्यक्रम के अपटेक को प्रभावित करता है लेकिन उस अपटेक के अलावा परिणाम पर कोई प्रत्यक्ष प्रभाव नहीं रखता, तसलीम-परिणाम संबंध के उस हिस्से को हटाने के लिए जिसे घोलक कारक अन्यथा दूषित कर देगा। एक शास्त्रीय लोक-नीति यंत्र एक सुविधा की दूरी है, या एक लॉटरी-आवंटित स्थान, जो परिणाम को स्वतंत्र रूप से कारण बनाए बिना भागीदारी को बदलता है; विधि की अधिकांश कठिनाई इस बचाव में है कि यंत्र परिणाम को केवल कार्यक्रम के माध्यम से प्रभावित करता है। विकिपीडिया: यंत्रवत चर आकलन।

एक प्राकृतिक प्रयोग एक ऐसी स्थिति है, जो शोधकर्ता के डिज़ाइन के बजाय नीति, भूगोल, या परिस्थिति से उत्पन्न होती है, जिसमें कुछ लोग एक कार्यक्रम के संपर्क में आते हैं और तुलनीय अन्य नहीं, मानो एक प्रयोग बिना किसी के इसे चलाए चलाया गया हो। एक जन्मतिथि कट-ऑफ़ पर प्रभावी होने वाला एक नीति परिवर्तन, एक सीमा जो लगभग समान घरों को अलग क्षेत्राधिकारों में रखती है, या एक अति-सदस्यता प्राप्त स्थान को राशन देने वाली एक लॉटरी प्राकृतिक प्रयोग हैं जिन्हें RDD, IV, या DiD फिर विश्लेषित कर सकते हैं। विकिपीडिया: प्राकृतिक प्रयोग।

हॉथॉर्न प्रभाव उस जोखिम को नाम देता है कि लोग अपना व्यवहार बदलते हैं बस इसलिए क्योंकि वे जानते हैं कि उन्हें देखा जा रहा है, कार्यक्रम की वास्तविक सामग्री से स्वतंत्र, जो एक अनुमानित प्रभाव को बढ़ा-चढ़ा सकता है यदि नियंत्रण समूह को समान तीव्रता से नहीं देखा जाता — मापने का कार्य स्वयं तसलीम का हिस्सा बन सकता है। विकिपीडिया: हॉथॉर्न प्रभाव।

सांख्यिकीय शक्ति वह संभावना है कि एक मूल्यांकन एक दिए गए आकार के वास्तविक प्रभाव का पता लगाएगा यदि एक मौजूद है, मुख्यतः नमूना आकार, माँगे गए प्रभाव आकार, और समूहों के भीतर परिणाम कितने भिन्न होते हैं इस पर निर्भर करते हुए। एक कम-शक्ति वाला मूल्यांकन जो 'कोई महत्वपूर्ण प्रभाव नहीं' पाता है, अक्सर यह नहीं दिखाया है कि कार्यक्रम कुछ नहीं करता; इसने दिखाया है कि मूल्यांकन किसी भी तरह बताने के लिए बहुत छोटा था, एक अंतर जिसे नेता एक फ़ैसले तक पहुँचने के दबाव में अक्सर चूक जाते हैं। विकिपीडिया: शक्ति (सांख्यिकी)।

सर्वोत्तम प्रथाएँ

1. मूल्यांकन डिज़ाइन को कार्यक्रम लॉन्च होने से पहले तय करें, बाद में नहीं। एक यादृच्छिक मूल्यांकन, अंतर-में-अंतर के अनुकूल एक चरणबद्ध रोल-आउट, या प्रतिगमन असांतत्य डिज़ाइन के अनुकूल एक पात्रता सीमा, ये सभी शुरू से बनाना तसलीम पहले से तदर्थ आधार पर शुरू होने के बाद फिर से फ़िट करने की तुलना में कहीं आसान है।
2. हर मूल्यांकन ब्रीफ़ में काउंटरफ़ैक्चुअल को स्पष्ट रूप से बताएँ। एक वाक्य में लिखें कि आप प्रतिभागियों की किसके विरुद्ध तुलना कर रहे हैं — बिल्कुल कोई कार्यक्रम नहीं, पिछला कार्यक्रम, एक भिन्न हस्तक्षेप — क्योंकि एक अकथित काउंटरफ़ैक्चुअल वह जगह है जहाँ सबसे तीखे मूल्यांकन विवाद आमतौर पर छिपे पाए जाते हैं।
3. एक सरल पहले-और-बाद तुलना को एक शुरुआती परिकल्पना मानें, कभी एक निष्कर्ष नहीं। परिणाम कई कारणों से बहते हैं जो आपके कार्यक्रम से असंबंधित हैं — आर्थिक चक्र, मौसमी प्रभाव, उसी समय पड़ने वाले अन्य नीति परिवर्तन — और एक पहले-और-बाद डिज़ाइन आपके कार्यक्रम के योगदान को उनसे अलग नहीं कर सकता।
4. विधि को उस नियम से मिलाएँ जिसने वास्तव में कार्यक्रम सौंपा, उस विधि से नहीं जिससे आप सबसे परिचित हैं। एक लॉटरी द्वारा राशन किया गया कार्यक्रम एक यादृच्छिक मूल्यांकन के तर्क की माँग करता है भले ही आप इसे कभी परीक्षण न कहें; एक स्कोर की गई सीमा द्वारा सौंपा गया कार्यक्रम प्रतिगमन असांतत्य डिज़ाइन की माँग करता है; एक कार्यक्रम जो कुछ क्षेत्रों में दूसरों से पहले रोल आउट हुआ वह अंतर-में-अंतर की माँग करता है।
5. परिणामों को देखने से पहले परिणाम मापों और विश्लेषण योजना को पूर्व-पंजीकृत करें। यह देखने के बाद तय करना कि कौन-सा परिणाम 'सफलता' गिना जाता है कि कौन-सा हिला, झूठे सकारात्मक की ओर एक अच्छी तरह दस्तावेज़ीकृत मार्ग है, और पूर्व-पंजीकरण इसके विरुद्ध मानक बचाव है।
6. मूल्यांकन को सबसे छोटे प्रभाव आकार के लिए शक्ति दें जो अभी भी कार्यक्रम की लागत को उचित ठहराएगा, सुविधा के लिए नहीं। एक नीति-प्रासंगिक प्रभाव का पता लगाने के लिए बहुत छोटा एक मूल्यांकन एक अनौपचारिक 'कोई महत्वपूर्ण अंतर नहीं' परिणाम उत्पन्न करेगा जिसे विफलता के प्रमाण के रूप में ग़लत पढ़ा जाता है।
7. तुलना समूह की विशेषताओं को तसलीम समूह के साथ रिपोर्ट करें, केवल शीर्षक प्रभाव नहीं। एक विश्वसनीय मूल्यांकन एक संशयवादी पाठक को यह जाँचने देता है कि तसलीम से पहले दोनों समूह समान थे; एक मूल्यांकन जो इसे छिपाता है वह पाठक को संतुलन विश्वास पर लेने के लिए मजबूर करता है।
8. मूल्यांकन को तसलीम टीम से स्वतंत्र एक स्रोत से कमीशन करें, या यदि आप नहीं कर सकते तो विश्लेषण को फ़ायरवॉल करें। एक कार्यक्रम की सफलता में हिस्सेदारी वाली एक टीम के पास एक संरचनात्मक प्रोत्साहन है, अक्सर अचेतन, अस्पष्ट साक्ष्य को कार्यक्रम के पक्ष में व्याख्यायित करने का।
9. हर रिपोर्ट में सांख्यिकीय महत्व को व्यावहारिक और राजकोषीय महत्व से अलग करें। एक सटीक रूप से अनुमानित छोटा प्रभाव और एक अशुद्ध रूप से अनुमानित बड़ा प्रभाव भिन्न निष्कर्ष हैं जो भिन्न निर्णयों की माँग करते हैं, और दोनों को 'महत्वपूर्ण' या 'महत्वपूर्ण नहीं' में समेटना उस अंतर को मिटा देता है जिसकी एक वित्तपोषण निर्णय को वास्तव में आवश्यकता है।
10. डिज़ाइन चरण में कार्यक्रम लागत के एक तय हिस्से के रूप में मूल्यांकन के लिए बजट बनाएँ, जो भी बचा हो उसके रूप में नहीं। लोक मूल्य के लिए मायने रखने के लिए पर्याप्त बड़ा एक कार्यक्रम आमतौर पर एक विश्वसनीय प्रभाव मूल्यांकन को वित्तपोषित करने के लिए पर्याप्त बड़ा होता है, और मूल्यांकन को विवेकाधीन मानना वह है जिससे कमज़ोर साक्ष्य नियमित बनता है।
11. शून्य और नकारात्मक परिणामों को सकारात्मक परिणामों जितनी ही दृश्यता के साथ प्रकाशित करें। एक कमीशनिंग वातावरण जो केवल सफल मूल्यांकनों का प्रचार करता है वह प्रकाशित साक्ष्य आधार में स्वयं एक चयन पूर्वाग्रह बनाता है, हर किसी के बाद के 'क्या काम करता है' निर्णय को आशावाद की ओर पक्षपाती करते हुए।
12. हर पूर्ण किए गए मूल्यांकन को अपने क्षेत्र द्वारा बनाए रखे गए व्यापक साक्ष्य आधार में खिलाएँ, केवल अपने ख़ुद के संग्रह में नहीं। एक अकेला मूल्यांकन, चाहे कितना भी अच्छी तरह डिज़ाइन किया गया हो, एक डेटा बिंदु है; कई में व्यवस्थित संश्लेषण वह है जो एक कार्यक्रम निष्कर्ष को स्थानांतरणीय ज्ञान में बदलता है (विषय 2.6 — साक्ष्य संश्लेषण और क्या कारगर है देखें)।

अपनी टीम के साथ चर्चा करने के लिए प्रश्न

काउंटरफ़ैक्चुअल क्या है जिसके विरुद्ध हम वास्तव में इस कार्यक्रम की तुलना कर रहे हैं, और क्या हमने इसे ज़ोर से कहा है? हर प्रभाव दावा एक तुलना का अर्थ रखता है, लेकिन टीमें अक्सर इसे अंतर्निहित छोड़ देती हैं, 'यह काम किया' को चुपचाप 'कुछ नहीं से बेहतर', 'हमने पहले जो किया उससे बेहतर', और 'सबसे अच्छे विकल्प से बेहतर जिसे हम वित्तपोषित कर सकते थे' के बीच खिसकने देती हैं। अपने मूल्यांकन प्रमुख से काउंटरफ़ैक्चुअल को सादी भाषा में एक अकेले वाक्य के रूप में बताने के लिए कहें, फिर जाँचें कि क्या आपके पास मौजूद साक्ष्य वास्तव में उस विशिष्ट तुलना के बारे में एक दावे का समर्थन करता है। यदि ईमानदार काउंटरफ़ैक्चुअल 'हम नहीं जानते कि अन्यथा क्या हुआ होता' है, तो वर्तमान प्रभाव दावे को एक परिकल्पना मानें, एक निष्कर्ष नहीं, और चर्चा करें कि उस अंतराल को बंद करने में क्या लगेगा।

क्या इस कार्यक्रम को अपनाने वाले लोग या स्थान उन तरीक़ों से व्यवस्थित रूप से भिन्न हो सकते हैं जो उन लोगों से भिन्न हैं जिन्होंने नहीं अपनाया, ऐसे तरीक़ों में जो परिणाम को भी प्रभावित करेंगे? यह चयन-पूर्वाग्रह प्रश्न है, और यह पूछने लायक़ है भले ही — विशेष रूप से जब — उत्तर स्पष्ट रूप से 'नहीं' लगे। प्रेरणा, पूर्व परिस्थितियाँ, स्थानीय क्षमता, और स्टाफ़ रेफ़रल प्रतिमान भिन्नता के सामान्य छिपे स्रोत हैं जो एक बड़े, सावधान-दिखने वाले नमूने के साथ भी एक भ्रामक प्रभाव अनुमान उत्पन्न करते हैं। यदि टीम यह वर्णन नहीं कर सकती कि प्रतिभागी कार्यक्रम में कैसे पहुँचे, तो वे इसे ख़ारिज नहीं कर सकते, और वह अंतराल आपको एक छोटे नमूना आकार से अधिक चिंतित करना चाहिए।

क्या हमारा मूल्यांकन डिज़ाइन कार्यक्रम में बनाया गया था, या बाद में जोड़ा गया, और इसने हमें क्या लागत दी? एक यादृच्छिक मूल्यांकन, एक चरणबद्ध रोल-आउट, या एक स्कोर की गई पात्रता सीमा, ये सभी लॉन्च से पहले योजनाबद्ध होने पर कहीं सस्ते और अधिक विश्वसनीय हैं बजाय जो भी प्रशासनिक डेटा बच गया उससे पुनर्निर्मित होने के। पूछें कि कार्यक्रम के डिज़ाइन चरण में कौन-से मूल्यांकन डिज़ाइन विकल्पों पर विचार किया गया था, और यदि कोई नहीं थे, तो इसे अगले कार्यक्रम से पहले बंद करने के लिए एक प्रक्रिया अंतराल मानें, केवल इस एक की सीमा नहीं। चर्चा करें कि अगले प्रमुख कार्यक्रम के लिए पहले दिन से कौन-सा डेटा मौजूद होना चाहिए ताकि एक विश्वसनीय कारणात्मक अनुमान का समर्थन हो सके।

क्या हमारा नमूना एक जानने लायक़ प्रभाव का पता लगाने के लिए पर्याप्त बड़ा है, और क्या हम एक कम-शक्ति वाले 'कोई प्रभाव नहीं' निष्कर्ष को पहचानेंगे यदि हम इसे देखें? एक मूल्यांकन जो कोई सांख्यिकीय रूप से महत्वपूर्ण प्रभाव नहीं बताता, कभी-कभी सही रूप से आपको बता रहा है कि कार्यक्रम काम नहीं करता, और कभी-कभी केवल यह बता रहा है कि मूल्यांकन एक ऐसे प्रभाव को देखने के लिए बहुत छोटा था जो वास्तव में वहाँ है। अपने विश्लेषकों से न्यूनतम प्रभाव आकार बताने के लिए कहें जिसका पता लगाने के लिए मूल्यांकन को शक्ति दी गई थी, और इसकी तुलना उस प्रभाव आकार से करें जो वास्तव में कार्यक्रम की लागत को उचित ठहराएगा। यदि वे दोनों संख्याएँ बहुत दूर हैं, तो 'कोई प्रभाव नहीं' निष्कर्ष निंदनीय के बजाय अनौपचारिक हो सकता है, और टीम को इसे स्पष्ट रूप से कहना चाहिए बजाय चुप्पी को विफलता के रूप में पढ़े जाने देने के।

यदि यह मूल्यांकन सकारात्मक वापस आता है तो पेशेवर या प्रतिष्ठा के रूप में किसे लाभ होता है, और क्या यह बदलता है कि इसे कितनी स्वतंत्र जाँच की आवश्यकता है? यह बेईमानी का आरोप नहीं है; यह एक मान्यता है कि जिन लोगों ने एक कार्यक्रम डिज़ाइन किया या वितरित किया वे संरचनात्मक रूप से अस्पष्ट परिणामों को उदारता से व्याख्यायित करने की अधिक संभावना रखते हैं, अक्सर बिना यह देखे कि वे ऐसा कर रहे हैं। चर्चा करें कि क्या मूल्यांकन तसलीम टीम से स्वतंत्र किसी के द्वारा कमीशन, विश्लेषित, या समीक्षित किया गया था, और यदि नहीं, तो इस आकार के एक कार्यक्रम के लिए एक आनुपातिक फ़ायरवॉल कैसा दिखेगा। लक्ष्य एक ऐसा परिणाम है जिस पर आपका सबसे संशयवादी वित्तपोषक भी भरोसा करेगा, केवल एक जिसका बचाव करने में आपकी अपनी टीम सहज है नहीं।

यदि इस मूल्यांकन का निष्कर्ष मज़बूत है, तो हम वास्तव में क्या अलग करेंगे, और क्या हम इसे करने के लिए तैयार हैं? एक मूल्यांकन जो कमीशन किया गया लेकिन कभी एक निर्णय बदलने का इरादा नहीं था, एक डूबी हुई लागत है जो सावधानी के रूप में सजी है, और परिणाम आने से पहले, बाद में नहीं, उस जोखिम का नाम लेना लायक़ है। पहले से चर्चा करें कि एक मज़बूत सकारात्मक निष्कर्ष क्या उचित ठहराएगा (स्केल-अप, और कितना) और एक शून्य या नकारात्मक निष्कर्ष क्या ट्रिगर करेगा (पुनर्डिज़ाइन, या रद्दीकरण, और किस समयसीमा पर)। यदि कमरे में कोई भी परिणाम देखने से पहले इसका उत्तर नहीं दे सकता, तो मूल्यांकन एक निर्णय कार्य के बजाय एक वैधता कार्य की सेवा कर सकता है, और इसके बारे में ईमानदार होना लायक़ है (विषय 2.1 — लोक मूल्य स्कोरकार्ड और परिणाम ढाँचे देखें)।

व्यवहार में: एक लोक मूल्य उदाहरण

काल्पनिक उदाहरण। एक मध्यम आकार के, अनाम देश के रोज़गार सेवा मंत्रालय ने मौजूदा मानक सेवा के साथ-साथ दीर्घकालिक बेरोज़गार नौकरी-खोजने वालों के लिए एक गहन कोचिंग सेवा का एक एक-वर्षीय पायलट चलाया। पायलट के अंत में, एक आंतरिक रिपोर्ट ने गहन कोचिंग प्राप्त करने वाले समूह की तुलना उसी अवधि के दौरान बेरोज़गारी छोड़ने वाले हर किसी से की: कोचिंग वाले समूह की छह महीनों के भीतर 38% नौकरी-नियुक्ति दर थी, बाक़ी केसलोड के लिए 24% के विरुद्ध। मंत्रियों को बताया गया कि कार्यक्रम 'काम करता है' और इसे राष्ट्रीय स्तर पर रोल आउट करने के लिए एक व्यवसाय मामला आगे बढ़ा।

वित्तपोषण को साइन ऑफ़ करने से पहले, वित्त समिति ने एक सीधा प्रश्न पूछा: नौकरी-खोजने वाले पहले स्थान पर कोचिंग वाले समूह में कैसे पहुँचे थे? उत्तर बेहद मायने रखने वाला निकला। केसवर्करों ने उन नौकरी-खोजने वालों को कोचिंग पायलट में रेफ़र किया था जिन्हें उन्होंने 'लाभ की सबसे अधिक संभावना' आँका था, एक अच्छे-इरादे वाला ट्राइएज निर्णय जिसने, प्रभावी रूप से, शुरू से ही एक अधिक काम-तैयार समूह को तसलीम में चुन लिया था। 38% बनाम 24% तुलना ठीक उसी चयन पूर्वाग्रह से दूषित थी जिसके बारे में यह विषय चेतावनी देता है: यह पूरी तरह संभव था कि कोचिंग वाला समूह बिना किसी कोचिंग के भी बाक़ी केसलोड से बेहतर प्रदर्शन करता।

उस तुलना पर रोल-आउट को स्वीकृत या अस्वीकृत करने के बजाय, मंत्रालय की मूल्यांकन इकाई ने एक लॉटरी का उपयोग करते हुए एक दूसरा चरण प्रस्तावित किया। कोचिंग सेवा की माँग पहले से उपलब्ध स्थानों से अधिक थी, इसलिए इकाई ने समान रूप से पात्र आवेदकों में यादृच्छिक रूप से स्थान आवंटित किए और लॉटरी विजेताओं और लॉटरी हारने वालों के बीच नौकरी-नियुक्ति दरों की तुलना की, यादृच्छिक-मूल्यांकन तर्क का एक अनुप्रयोग बिना उस सेवा को किसी से रोके जिसे अन्यथा नहीं मिलती। बारह महीने बाद, लॉटरी तुलना ने एक छोटा लेकिन वास्तविक प्रभाव दिखाया: छह-महीने की नियुक्ति में 9-प्रतिशत-बिंदु सुधार, वह 14-बिंदु अंतर नहीं जो मूल तुलना ने संकेत दिया था। मंत्रालय ने अपने ख़ुद के लागत डेटा के साथ, एक बड़े, अवितरण-योग्य विस्तार के बजाय जिसे त्रुटिपूर्ण प्रारंभिक तुलना उचित ठहराती, एक स्केल्ड लेकिन संसाधन-सीमित रोल-आउट के लिए एक बचाव-योग्य लागत-प्रभावशीलता मामला (विषय 2.2 — सामाजिक लागत-लाभ और लागत-प्रभावशीलता विश्लेषण देखें) बनाने के लिए लॉटरी-आधारित अनुमान का उपयोग किया।

चार क्षेत्रीय लेंस

स्थानीय सरकार

स्थानीय प्राधिकरण आमतौर पर कुछ बहुत बड़े कार्यक्रमों के बजाय कई छोटे और मध्यम आकार के कार्यक्रम चलाते हैं, जो उद्देश्य-निर्मित यादृच्छिक मूल्यांकनों को कार्यक्रम आकार के सापेक्ष महँगा बनाता है और स्थानीय मूल्यांकनकर्ताओं को अर्ध-प्रायोगिक विधियों की ओर धकेलता है जो पहले से इकट्ठा किए जा रहे प्रशासनिक डेटा का पुनः उपयोग करती हैं — सेवा क्षेत्रों में अंतर-में-अंतर जिन्होंने अलग-अलग समय पर एक परिवर्तन अपनाया, या एक स्थानीय पात्रता सीमा के इर्द-गिर्द प्रतिगमन असांतत्य डिज़ाइन। सीमा और क्षेत्राधिकार अंतर जो कहीं और एक उपद्रव होंगे वे अक्सर एक स्थानीय मूल्यांकनकर्ता का सबसे अच्छा प्राकृतिक प्रयोग होते हैं, क्योंकि दो पड़ोसी वार्ड या ज़िले नीति में भिन्न हो सकते हैं जबकि अधिकांश अन्य पहलुओं में समान रहते हैं।

राष्ट्रीय सरकार

राष्ट्रीय सरकारों के पास उद्देश्य-निर्मित यादृच्छिक मूल्यांकनों को वित्तपोषित करने का पैमाना और प्रशासनिक डेटासेट, अक्सर कर, लाभ, स्वास्थ्य, और शिक्षा रिकॉर्ड में लिंक किए गए, कम सीमांत लागत पर विश्वसनीय अर्ध-प्रायोगिक डिज़ाइन चलाने के लिए हैं। यह पैमाना भी वह जगह है जहाँ 'क्या काम करता है' मूल्यांकन कार्यबल और केंद्रीकृत मूल्यांकन मार्गदर्शन, जैसे एक ट्रेज़री विभाग की मानक मूल्यांकन पुस्तिका, बैठते हैं, क्योंकि केवल एक राष्ट्रीय सरकार कई विभागों में स्थायी मूल्यांकन बुनियादी ढाँचे और एक सामान्य पद्धतिगत मानक बनाए रखने की तय लागत को उचित ठहरा सकती है।

सामाजिक क्षेत्र और गैर-लाभकारी

गैर-लाभकारी संगठन और गैर-सरकारी संगठन शायद ही कभी उन नमूना आकारों या बजटों के पास होते हैं जिनकी एक अच्छी तरह से शक्ति वाले यादृच्छिक मूल्यांकन को आवश्यकता होती है, और उनके कार्यक्रम अक्सर फ़्रंटलाइन स्टाफ़ जो देखते हैं उसके जवाब में अनुकूली रूप से बदलते हैं, जो किसी भी डिज़ाइन को जटिल करता है जो एक स्थिर, अच्छी तरह परिभाषित तसलीम मानता है। एक शैक्षणिक शोध समूह या एक विशेषज्ञ मूल्यांकन मध्यस्थ के साथ साझेदारी, जिस प्रकार की अंतरराष्ट्रीय विकास में यादृच्छिक-मूल्यांकन आंदोलन के इर्द-गिर्द बढ़ी है, अक्सर एक कठोर कारणात्मक अनुमान का एकमात्र यथार्थवादी मार्ग है, और वित्तपोषक बहु-वर्षीय अनुदानों के प्रति प्रतिबद्ध होने से पहले तेज़ी से ठीक इसी प्रकार की बाहरी साझेदारी माँग रहे हैं।

बहुपक्षीय और अंतरराष्ट्रीय

बहुपक्षीय निकाय भिन्न डेटा प्रणालियों, प्रशासनिक क्षमता, और नैतिक समीक्षा मानदंडों वाले कई देशों में कार्यक्रम वित्तपोषित करते हैं, जो मानकीकृत कारणात्मक विधियों को समान रूप से लागू करना कठिन बनाता है लेकिन प्राकृतिक क्रॉस-कंट्री भिन्नता भी बनाता है जो स्वयं एक प्राकृतिक प्रयोग बन सकती है जब एक नीति कुछ सदस्य देशों में दूसरों से पहले अपनाई जाती है। विकास अर्थशास्त्र में यादृच्छिक मूल्यांकन इस पैमाने पर विशेष रूप से प्रभावशाली रहे हैं, ऐसा साक्ष्य उत्पन्न करते हुए जिसने आकार दिया कि अंतरराष्ट्रीय विकास वित्तपोषण कैसे आवंटित किया जाता है, लेकिन वे बाहरी वैधता विफलता का एक दस्तावेज़ीकृत जोखिम भी रखते हैं: एक परिणाम जो अध्ययन किए गए देश और संदर्भ में टिकता है वह स्वचालित रूप से एक भिन्न संदर्भ में स्थानांतरित नहीं होता, एक चेतावनी जिसे बहुपक्षीय कार्यक्रम डिज़ाइन अक्सर बहुत टाल देता है।

सामान्य विफलता प्रतिमान

भोला पहले-और-बाद। एक कार्यक्रम को केवल इसके शुरू होने से पहले के परिणामों की इसके बाद के परिणामों से तुलना करके आँका जाता है, बिल्कुल बिना किसी तुलना समूह के, इसलिए कोई भी पहले से चल रही प्रवृत्ति — आर्थिक सुधार, एक जनसांख्यिकीय बदलाव, एक अलग नीति परिवर्तन — कार्यक्रम को ग़लत रूप से श्रेय दी जाती है। लागत एक ऐसी आत्मविश्वासी कारणात्मक कहानी है जो एक ऐसे डिज़ाइन पर बनी है जो वास्तव में कार्यक्रम के प्रभाव को उसी समय हुई बाक़ी हर चीज़ से अलग नहीं कर सकता।

कार्यक्रम प्रभाव के रूप में ग़लत समझा गया चयन पूर्वाग्रह। वे प्रतिभागी जिन्होंने चुना, या जिन्हें रेफ़र किया गया क्योंकि वे सफल होने की संभावना रखते दिखे, उनकी तुलना बाक़ी सबसे की जाती है, एक प्रभाव अनुमान उत्पन्न करते हुए जो वास्तव में इसका माप है कि कार्यक्रम ने किसे आकर्षित किया न कि इसने उनके साथ क्या किया। लागत एक ऐसा बड़े पैमाने पर लागू कार्यक्रम है जो कम प्रभावी दिखता है, कभी-कभी बहुत कम, एक बार जब यह एक कम स्व-चयनित आबादी तक पहुँचता है।

एक शून्य निष्कर्ष के रूप में रिपोर्ट किया गया कम-शक्ति वाला मूल्यांकन। एक छोटा पायलट 'कोई सांख्यिकीय रूप से महत्वपूर्ण प्रभाव नहीं' पाता है और इसे इस प्रमाण के रूप में पढ़ा जाता है कि कार्यक्रम काम नहीं करता, जबकि नमूना वास्तव में उस आकार के एक प्रभाव का पता लगाने के लिए बहुत छोटा था जो मायने रखता। लागत दोनों दिशाओं में चलती है: एक वास्तव में प्रभावी कार्यक्रम को उस साक्ष्य की शक्ति पर रद्द किया जा सकता है जो कभी यह दिखाने में सक्षम नहीं था कि यह काम करता है, या संसाधन एक बड़े परीक्षण को वित्तपोषित करने के लिए आगे बढ़ते हैं जिसकी आवश्यकता नहीं होती यदि मूल ब्रीफ़ को सही ढंग से शक्ति दी गई होती।

एक स्थानीय अनुमान को इसके संदर्भ से परे विस्तारित करना। एक प्रतिगमन असांतत्य डिज़ाइन सही ढंग से पात्रता कट-ऑफ़ के निकट इकाइयों के लिए प्रभाव अनुमानित करता है, और एक यंत्रवत-चर अनुमान सही ढंग से उन इकाइयों के लिए प्रभाव अनुमानित करता है जिनकी तसलीम स्थिति यंत्र ने वास्तव में बदली, लेकिन दोनों निष्कर्ष फिर पूरी आबादी पर इस तरह लागू किए जाते हैं मानो अनुमान हर जगह टिकता हो। लागत एक ऐसी संख्या की शक्ति पर स्केल की गई नीति है जो केवल कभी स्थानीय रूप से सच थी।

नाटक के रूप में मूल्यांकन। एक मूल्यांकन साक्ष्य-आधारित निर्णय-निर्माण की उपस्थिति बनाने के लिए कमीशन किया जाता है, लेकिन निर्णय प्रभावी रूप से पहले ही लिया जा चुका है, और कोई भी प्रशंसनीय निष्कर्ष इसे नहीं बदलता। लागत एक बर्बाद मूल्यांकन बजट है और, अधिक क्षरणकारी रूप से, मूल्यांकन में ही विश्वास का एक धीमा क्षय एक बार जब स्टाफ़ नोटिस करता है कि परिणाम कभी परिणामों को बदलते नहीं दिखते।

परिपक्वता मॉडल

जाँच-सूची

• हर प्रमुख कार्यक्रम मूल्यांकन के लिए काउंटरफ़ैक्चुअल को एक सादी-भाषा वाक्य में बताएँ।
• पुष्टि करें कि प्रतिभागी तसलीम समूह में कैसे पहुँचे, और आँकें कि क्या वह प्रक्रिया स्वयं परिणाम अंतर की व्याख्या कर सकती है।
• मूल्यांकन विधि (यादृच्छिक मूल्यांकन, अंतर-में-अंतर, प्रतिगमन असांतत्य डिज़ाइन, यंत्रवत चर, या प्राकृतिक प्रयोग) को वास्तविक सौंपने के नियम से मिलाने के लिए चुनें, जहाँ भी संभव हो तसलीम शुरू होने से पहले।
• उस सबसे छोटे प्रभाव आकार का पता लगाने के लिए आवश्यक सांख्यिकीय शक्ति की गणना करें जो कार्यक्रम की लागत को उचित ठहराएगा।
• परिणाम देखे जाने से पहले परिणाम मापों और विश्लेषण योजना को पूर्व-पंजीकृत करें।
• शीर्षक प्रभाव के साथ तसलीम और तुलना समूहों की तुलनीयता रिपोर्ट करें।
• मूल्यांकन को तसलीम टीम से स्वतंत्र एक कार्य के माध्यम से कमीशन या समीक्षित करें।
• निर्णय-निर्माताओं को हर रिपोर्ट में सांख्यिकीय महत्व को राजकोषीय और व्यावहारिक महत्व से अलग करें।
• डिज़ाइन चरण में कार्यक्रम लागत के एक तय हिस्से के रूप में मूल्यांकन के लिए बजट बनाएँ।
• शून्य और नकारात्मक निष्कर्षों को सकारात्मक को दी गई समान दृश्यता के साथ प्रकाशित करें।
• जाँचें कि क्या एक सकारात्मक स्थानीय अनुमान (प्रतिगमन असांतत्य डिज़ाइन या यंत्रवत चर से) उस आबादी से परे विस्तारित किया जा रहा है जिसे यह वास्तव में कवर करता है।
• पूर्ण किए गए मूल्यांकनों को अपने क्षेत्र द्वारा बनाए रखे गए व्यापक साक्ष्य आधार में मार्गान्तरित करें, केवल अपने ख़ुद के संग्रह में नहीं।

प्रमुख स्रोत

इस विषय का पद्धतिगत मूल जोशुआ डी. एंग्रिस्ट और जॉर्न-स्टेफ़न पिश्के से संबद्ध लागू-अर्थमिति परंपरा पर, और डोनाल्ड रुबिन द्वारा औपचारिक बनाए गए संभावित-परिणाम ढाँचे पर आधारित है। लोक नीति और विकास अर्थशास्त्र में यादृच्छिक-मूल्यांकन आंदोलन, अब्दुल लतीफ़ जमील पॉवर्टी एक्शन लैब (J-PAL) और इसके शैक्षणिक नेटवर्क से संबद्ध, क्षेत्र लेंसों में संदर्भित अधिकांश लागू अभ्यास आपूर्ति करता है। सरकारी मूल्यांकन मानक UK ट्रेज़री के मैजेंटा बुक मार्गदर्शन पर आधारित हैं, और साक्ष्य-संश्लेषण अभ्यास कैंपबेल सहयोग के सामाजिक नीति में व्यवस्थित समीक्षा के मानकों पर आधारित है (विषय 2.6 — साक्ष्य संश्लेषण और क्या कारगर है देखें)।

संदर्भ

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network