साक्ष्य संश्लेषण और क्या कारगर है

यह लोक मूल्य में क्यों महत्वपूर्ण है

एक मंत्री, एक मेयर, या एक दान संस्था के कार्यक्रम निदेशक के पास शायद ही कभी कार्रवाई करने के लिए एक अकेले, स्वच्छ अध्ययन की विलासिता होती है। अधिक बार डेस्क पर तीन मूल्यांकन होते हैं जो असहमत हैं, एक साहित्य समीक्षा जो उन्हें चुनिंदा रूप से उद्धृत करती है, एक दबाव समूह जो उस एक परीक्षण को लहराता है जो इसके मामले के अनुकूल है, और एक शोध की गति के बजाय एक बजट चक्र द्वारा तय एक समयसीमा। साक्ष्य संश्लेषण इसलिए मौजूद है क्योंकि व्यक्तिगत अध्ययन शोरगुल वाले हैं: नमूना आकार छोटे हैं, संदर्भ भिन्न हैं, और कोई भी एक परिणाम एक तुक्का, एक स्थानीय फ़िट हो सकता है जो यात्रा नहीं करेगा, या एक वास्तविक प्रभाव। एक नेता को जिस प्रश्न का उत्तर चाहिए वह शायद ही कभी 'इस एक अध्ययन ने क्या पाया?' है बल्कि 'हर उस विश्वसनीय चीज़ में जिसे आज़माया गया है, अगर मैं यह यहाँ, अभी करूँ तो मुझे क्या अपेक्षा करनी चाहिए?' है।

लोक मूल्य सिद्धांत इसे एक तकनीकी बारीक़ी से अधिक बनाता है। सामूहिक संसाधनों के साथ वित्तपोषित एक कार्यक्रम एक मूल्य प्रस्ताव पर टिका है जिसे नागरिक, समुच्चय में, प्राधिकृत करेंगे (देखें कि वह प्रस्ताव कैसे बताया और ट्रैक किया जाता है इसके लिए विषय 2.1 — लोक मूल्य स्कोरकार्ड और परिणाम ढाँचे)। एक अकेले चुनिंदा अध्ययन पर, या बिल्कुल किसी साक्ष्य समीक्षा के बिना बना एक प्रस्ताव, वैधता पर एक सावधानीपूर्वक संश्लेषण पर बने प्रस्ताव से कमज़ोर दावा है — और परिचालन क्षमता के लिए एक कमज़ोर आधार, क्योंकि स्टाफ़ और बजट इसकी शक्ति पर प्रतिबद्ध होते हैं। 'क्या काम करता है' आंदोलन — स्वतंत्र निकायों का नेटवर्क जो नीति साक्ष्य की गुणवत्ता और ताक़त को दर देता है — सीधे इस समस्या से बढ़ा: बहुत सारे लोक निर्णय सबसे अच्छी तरह समर्थित अध्ययन के बजाय सबसे तेज़ आवाज़ वाले अध्ययन पर लिए जाते थे।

यह विषय जिस कठिन समस्या को संबोधित करता है वह यह है कि एक नेता क्या करता है जब संश्लेषण स्वयं अनिर्णायक, विवादित, या समय पर बस उपलब्ध नहीं है। साक्ष्य पदानुक्रम एक गंदे साक्ष्य आधार में व्यवस्था लाने के लिए बनाए गए थे, लेकिन लापरवाही से उपयोग किए जाने पर, 'साक्ष्य अभी पर्याप्त मज़बूत नहीं है' एक ऐसे निर्णय से बचने का एक स्थायी बहाना बन जाता है जिसके लिए वास्तविकता वास्तव में इंतज़ार नहीं करेगी। एक नेता जो समझता है कि संश्लेषण कैसे काम करता है, और इसकी सीमाएँ कहाँ हैं, वह वास्तविक अनिश्चितता को जो सावधानी की माँग करती है उससे अलग बता सकता है कि एक पदानुक्रम का उपयोग निष्क्रियता के लिए आवरण के रूप में किया जा रहा है।

यह विषय उन कारणात्मक-अनुमान विधियों का स्वाभाविक अनुक्रम है जिन पर एक संश्लेषण आधारित है (विषय 2.4 — लोक क्षेत्र अर्थमिति और कार्यक्रम मूल्यांकन देखें) और उन परिणाम ढाँचों के साथ बैठता है, उन्हें प्रतिस्थापित नहीं करता, जिनकी एक संश्लेषण अंततः सेवा करता है (विषय 2.1 — लोक मूल्य स्कोरकार्ड और परिणाम ढाँचे देखें)। एक नेता जो एक व्यवस्थित समीक्षा पढ़ सकता है, एक क्या-काम-करता-है दर को समझ सकता है, और अनुपस्थित बनाम नकारात्मक साक्ष्य के बारे में स्पष्ट रूप से तर्क कर सकता है, वह उससे बेहतर जीवंत निर्णय लेता है जो केवल 'अधिक साक्ष्य' की माँग कर सकता है या उसे सौंपा गया पहला अध्ययन स्वीकार कर सकता है।

मूल अवधारणाएँ

एक व्यवस्थित समीक्षा एक परिभाषित प्रश्न पर साक्ष्य का एक संश्लेषण है जो अध्ययनों को खोजने, आँकने, और संयोजित करने के लिए एक स्पष्ट, पूर्व-निर्दिष्ट, दोहराने-योग्य विधि का उपयोग करती है, एक कथात्मक साहित्य समीक्षा के विपरीत, जो लेखक के विवेक पर स्रोत चुनती है (व्यवस्थित समीक्षा देखें)। इसकी परिभाषित विशेषताएँ हैं: खोज शुरू होने से पहले लिखा गया एक पंजीकृत प्रोटोकॉल, एक खोज रणनीति जिसमें अप्रकाशित और ग्रे साहित्य शामिल है, स्पष्ट समावेशन मानदंड, और हर अध्ययन के पूर्वाग्रह जोखिम को आँकने के लिए एक मानक विधि। यही वह है जो एक व्यवस्थित समीक्षा को फ़ुटनोट वाले एक अच्छी तरह लिखे गए निबंध से अलग करता है: वही प्रोटोकॉल का पालन करने वाली एक अन्य टीम व्यापक रूप से वही साक्ष्य पाएगी और व्यापक रूप से एक समान निष्कर्ष तक पहुँचेगी।

मेटा-विश्लेषण वह सांख्यिकीय तकनीक है जो एक व्यवस्थित समीक्षा के साथ सबसे अधिक बार जोड़ी जाती है: यह कई स्वतंत्र अध्ययनों से मात्रात्मक प्रभाव आकारों को एक अकेले, अधिक सटीक अनुमान में एकत्रित करती है, आमतौर पर हर अध्ययन को इसके नमूना आकार और गुणवत्ता से भारित करते हुए (मेटा-विश्लेषण देखें)। एक मेटा-विश्लेषण केवल उतना ही अच्छा है जितने इसे खिलाने वाले अध्ययन; पाँच कमज़ोर अध्ययनों को एकत्रित करना एक संभावित रूप से पक्षपाती प्रभाव का अधिक सटीक अनुमान उत्पन्न करता है, एक विश्वसनीय नहीं। विश्लेषक इसलिए विषमांगता रिपोर्ट करते हैं — अध्ययन परिणाम संयोग जितना पूर्वानुमान लगाएगा उससे कितना भिन्न होते हैं — क्योंकि उच्च विषमांगता संकेत देती है कि अध्ययन वास्तव में एक ही चीज़ नहीं परख रहे थे, और एक अकेली एकत्रित संख्या ग़लत दिशा दे सकती है।

प्रकाशन पूर्वाग्रह सकारात्मक, महत्वपूर्ण परिणामों वाले अध्ययनों के प्रकाशित होने की प्रवृत्ति है जबकि शून्य या नकारात्मक परिणाम एक शोधकर्ता की फ़ाइल दराज में बैठे रहते हैं, एक हस्तक्षेप को साहित्य में इससे अधिक लगातार प्रभावी दिखाते हुए जितना यह वास्तव में है (प्रकाशन पूर्वाग्रह देखें)। एक कठोर समीक्षा परीक्षण रजिस्ट्रियों और अप्रकाशित मूल्यांकनों की खोज करके इसे सुधारती है, केवल जर्नल लेखों की नहीं। एक नेता जो केवल प्रकाशित पत्रों पर बना एक संश्लेषण पढ़ रहा है उसे पूछना चाहिए कि समीक्षकों ने उन अध्ययनों को खोजने के लिए क्या किया जो कभी प्रिंट में नहीं आए।

साक्ष्य का पदानुक्रम अध्ययन डिज़ाइनों को इसके अनुसार रैंक करता है कि वे घोलक कारक और पूर्वाग्रह को कितनी अच्छी तरह नियंत्रित करते हैं, आमतौर पर यादृच्छिक परीक्षणों के मेटा-विश्लेषण को शीर्ष पर रखते हुए, फिर व्यक्तिगत यादृच्छिक नियंत्रित परीक्षण, फिर अर्ध-प्रायोगिक और अवलोकनात्मक डिज़ाइन, और नीचे विशेषज्ञ राय (साक्ष्य का पदानुक्रम देखें)। एक यादृच्छिक नियंत्रित परीक्षण प्रतिभागियों को संयोग से एक हस्तक्षेप या एक तुलना समूह को सौंपता है, एक कारणात्मक प्रभाव को इसके चारों ओर चल रही हर चीज़ से अलग करने का सबसे शक्तिशाली अकेला उपकरण (यादृच्छिक नियंत्रित परीक्षण देखें; ऐसे डिज़ाइन कैसे बनाए और विश्लेषित किए जाते हैं इसके लिए विषय 2.4 — लोक क्षेत्र अर्थमिति और कार्यक्रम मूल्यांकन देखें)। पदानुक्रम एक वास्तव में उपयोगी अंगूठे का नियम है, लेकिन एक अंगूठे का नियम है, क़ानून नहीं: एक दुर्लभ या धीमी-गति वाली नीति का एक अच्छी तरह संचालित अवलोकनात्मक अध्ययन एक ख़राब ढंग से संचालित, कम-शक्ति वाले परीक्षण से आगे रैंक कर सकता है, और एक नेता जो इसे एक पूर्ण रैंकिंग मानता है वह कभी-कभी अधिक प्रतिष्ठित डिज़ाइन के लिए अधिक प्रासंगिक साक्ष्य को छोड़ देगा।

GRADE दृष्टिकोण — ग्रेडिंग ऑफ़ रिकमेंडेशंस, असेसमेंट, डेवलपमेंट एंड इवैल्युएशंस — एक दूसरे, अलग निर्णय को औपचारिक बनाता है जो अकेला पदानुक्रम नहीं लेता: यह साक्ष्य की निश्चितता को और, स्वतंत्र रूप से, इस पर कार्य करने की सिफ़ारिश की ताक़त को, दोनों को दर देता है, क्योंकि मज़बूत साक्ष्य हमेशा एक मज़बूत सिफ़ारिश को उचित नहीं ठहराता, और कमज़ोर साक्ष्य हमेशा एक गंभीर, अत्यावश्यक हानि के विरुद्ध निष्क्रियता को उचित नहीं ठहराता (GRADE दृष्टिकोण देखें)। यह अलगाव एक समय-दबाव वाले निर्णय-निर्माता के लिए इस विषय का सबसे उपयोगी अकेला विचार है: यह एक नेता को ईमानदारी से यह कहने देता है, 'यहाँ साक्ष्य मध्यम है, और दाँव और इंतज़ार की लागत को देखते हुए, मैं सिफ़ारिश करता हूँ कि हम आगे बढ़ें' — एक बचाव-योग्य, दस्तावेज़ीकृत निर्णय, बिल्कुल निश्चितता की प्रतीक्षा करने और साक्ष्य को पूरी तरह अनदेखा करने के बीच एक झूठी पसंद के बजाय।

एक अंतर जो जीवंत नीति बहस में लगातार दोहराता है वह साक्ष्य की अनुपस्थिति और अनुपस्थिति का साक्ष्य के बीच है: एक हस्तक्षेप के प्रभाव पर अध्ययनों की कमी ('प्रभाव का कोई साक्ष्य नहीं') उस दावे के समान नहीं है जो एक अच्छी तरह से शक्ति वाले अध्ययनों के समूह ने सकारात्मक रूप से कोई प्रभाव नहीं पाया ('कोई प्रभाव नहीं होने का साक्ष्य') (अनुपस्थिति का साक्ष्य देखें)। एक नया स्थानीय कार्यक्रम जिसका अभी तक कोई मूल्यांकन नहीं हुआ वह बस परखा नहीं गया है; एक अच्छी तरह अध्ययन किया गया राष्ट्रीय कार्यक्रम जो बार-बार पाया गया कि कोई परिणाम नहीं हिलाता, उसे परखा गया है और काम न करना दिखाया गया है। दोनों को घोलना उन सबसे परिणामी त्रुटियों में से एक है जो एक लोक नेता कर सकता है: एक अपरीक्षित लेकिन आशाजनक पायलट को इस तरह मारना मानो यह विफल हो गया हो, या बार-बार अस्वीकृत एक कार्यक्रम को वित्तपोषित करना जारी रखना मानो अभी तक किसी ने पर्याप्त बारीक़ी से नहीं देखा है।

साक्ष्य-आधारित नीति व्यापक आंदोलन और मानक-निर्धारक दावा है कि लोक निर्णयों को केवल विचारधारा, क़िस्से, या अंतर्ज्ञान के बजाय कठोरता से स्थापित साक्ष्य पर आधारित होना चाहिए (साक्ष्य-आधारित नीति देखें)। इसके आलोचक, और तेज़ी से इसके अपने समर्थक, 'साक्ष्य-सूचित नीति' पसंद करते हैं, जो यह स्वीकार करता है कि साक्ष्य कई इनपुटों में से एक है — मूल्य, जनादेश, लागत, और वैधता प्रश्न जिन्हें यह पुस्तक आधारभूत मानती है — न कि एक यांत्रिक निर्णय नियम जिसे साक्ष्य अकेला तय कर सकता है।

इस आंदोलन से क्या-काम-करता-है केंद्र या समाशोधन गृह प्रतिमान बढ़ा: एक स्वतंत्र निकाय जो एक नीति क्षेत्र में हस्तक्षेपों के लिए साक्ष्य की व्यवस्थित रूप से समीक्षा करता है और सुलभ, तुलनीय दरें प्रकाशित करता है, बजाय हर स्थानीय कमीशनकर्ता को अपनी ख़ुद की समीक्षा चलाने के लिए छोड़ने के। कोक्रेन ने 1993 से स्वास्थ्य देखभाल में इस मॉडल का बीड़ा उठाया, व्यवस्थित समीक्षा पद्धति की एक जीवंत पुस्तिका बनाए रखते हुए जो चिकित्सा से बहुत आगे उपयोग की जाती है (कोक्रेन (संस्था) देखें)। कैंपबेल सहयोग ने वही पद्धति सामाजिक नीति, आपराधिक न्याय, शिक्षा, और अंतरराष्ट्रीय विकास तक विस्तारित की (कैंपबेल सहयोग देखें)। राष्ट्रीय समाशोधन गृहों ने अनुसरण किया: संयुक्त राज्य का व्हाट वर्क्स क्लियरिंगहाउस, 2002 से इसके इंस्टीट्यूट ऑफ़ एजुकेशन साइंसेज़ द्वारा चलाया गया, स्पष्ट डिज़ाइन मानकों के विरुद्ध शिक्षा शोध की समीक्षा करता है (व्हाट वर्क्स क्लियरिंगहाउस देखें); इंग्लैंड का एजुकेशन एंडोमेंट फ़ाउंडेशन एक व्यापक रूप से उपयोग की जाने वाली टीचिंग एंड लर्निंग टूलकिट प्रकाशित करता है जो लागत, साक्ष्य ताक़त, और सामान्य प्रभाव पर कक्षा हस्तक्षेपों को एक तुलनीय प्रारूप में दर देती है (एजुकेशन एंडोमेंट फ़ाउंडेशन देखें)। अपराध कमी, शीघ्र हस्तक्षेप, बेघरी, और अच्छी तरह उम्र बढ़ने के लिए समकक्ष केंद्र मौजूद हैं — उसी विधि पर बना एक छोटा अंतरराष्ट्रीय परिवार: व्यवस्थित समीक्षा, पारदर्शी दर, और एक व्यवसायी-सामना करने वाला सारांश जिसे पढ़ने के लिए किसी पद्धतिविद् की आवश्यकता नहीं है।

सर्वोत्तम प्रथाएँ

1. अकेले अध्ययन से पहले संश्लेषण माँगें। जब एक चौंकाने वाला परिणाम आपकी डेस्क पर आता है, तो पहले पूछें कि क्या उस हस्तक्षेप के लिए एक व्यवस्थित समीक्षा या क्या-काम-करता-है दर पहले से मौजूद है, यह नहीं कि क्या अध्ययन अलगाव में विश्वसनीय दिखता है।
2. किसी भी टूलकिट दर के साथ-साथ अंतर्निहित समीक्षा पढ़ें, इसके बजाय नहीं। एक एक-पंक्ति की दर या एक पैडलॉक आइकन एक निर्णय को संक्षेप में बताता है; यह इसका स्थानापन्न नहीं है कि यह किस साक्ष्य पर टिका है और यह आपके संदर्भ पर कितना सीधे लागू होता है।
3. साक्ष्य की गुणवत्ता को अपनी सिफ़ारिश की ताक़त से स्पष्ट रूप से अलग करें। अनौपचारिक रूप से भी GRADE तर्क उधार लें: बताएँ कि साक्ष्य कितना निश्चित है, फिर अलग से बताएँ कि वह निश्चितता, दाँव और लागत के साथ मिलकर, अभी कार्य करने को कितनी दृढ़ता से उचित ठहराती है।
4. तय करने से पहले नाम लें कि क्या आप 'अभी तक कोई साक्ष्य नहीं' या 'कोई प्रभाव नहीं होने का साक्ष्य' का सामना कर रहे हैं। इस अंतर को हर साक्ष्य ब्रीफ़ में लिखित रूप में रखें, क्योंकि दोनों स्थितियाँ लगभग विपरीत प्रतिक्रियाओं की माँग करती हैं — सावधान पायलटिंग बनाम रोकना या पुनर्डिज़ाइन करना।
5. यह मान लेने से पहले कि प्रभाव स्थानांतरित होगा, समीक्षा के संदर्भ और अपने संदर्भ के बीच मिलान जाँचें। कहीं और चलाए गए अध्ययनों से एक एकत्रित प्रभाव आकार एक औसत है, वादा नहीं; पूछें कि मूल रूप से प्रभाव को किसने संचालित किया और क्या वे संचालक यहाँ मौजूद हैं।
6. जब एक पूर्ण व्यवस्थित समीक्षा आपकी समयसीमा में फ़िट नहीं होगी तो एक तेज़ साक्ष्य आकलन कमीशन करें। मौजूदा साहित्य की एक संरचित, समय-सीमित समीक्षा — दिन या सप्ताह, महीने नहीं — नई प्राथमिक शोध और बिल्कुल कोई समीक्षा नहीं के बीच एक वैध मध्य मार्ग है।
7. परिणाम की परवाह किए बिना अपने ख़ुद के मूल्यांकन प्रकाशित करें। शून्य और नकारात्मक निष्कर्ष अगले संश्लेषण के लिए सकारात्मक जितने ही मूल्यवान हैं; उन्हें रोकना उस प्रकाशन पूर्वाग्रह को बदतर बनाता है जो आपके क्षेत्र में हर भावी समीक्षा को कमज़ोर करता है।
8. अपने डोमेन में एक क्या-काम-करता-है केंद्र या समाशोधन गृह के साथ इसकी आवश्यकता से पहले एक स्थायी संबंध बनाएँ। एक जीवंत संकट के दौरान पहली बार एक संश्लेषण निकाय की टूलकिट में ठंडी खोज करना पहले से यह जानने से कहीं धीमा है कि यह क्या कवर करता है और एक अंतराल के बारे में किससे पूछना है।
9. परिणाम आने से पहले, बाद में नहीं, अपनी साक्ष्य सीमा तय करें। पहले से सहमत हों कि साक्ष्य का कौन-सा स्तर स्केलिंग, आगे पायलटिंग, या रोकने को उचित ठहराएगा, ताकि पहले से लिए गए एक निर्णय में फ़िट होने के लिए अस्पष्ट निष्कर्षों की पुनर्व्याख्या करने के प्रलोभन को कम किया जा सके।
10. एक ऐसे अध्ययन की खोज को समय-सीमित करें जो सभी संदेह हटा देगा। एक पूर्ण, असंदिग्ध साक्ष्य आधार का इंतज़ार करना स्वयं एक निर्णय है, आमतौर पर जो भी आप पहले से करते हैं उसे करते रहना; एक ऐसी समयसीमा तय करें जो विलंब की लागत का उतना ही सम्मान करे जितना कमज़ोर साक्ष्य पर कार्य करने की लागत का।
11. संश्लेषण को मूल्य प्रस्ताव के लिए एक इनपुट मानें, इसके प्रतिस्थापन के रूप में नहीं। एक बार लागत, वितरणात्मक प्रभाव, और वैधता को इसके साथ तौले जाने पर सबसे अच्छी तरह समर्थित हस्तक्षेप स्वचालित रूप से सही विकल्प नहीं है (विषय 2.1 — लोक मूल्य स्कोरकार्ड और परिणाम ढाँचे देखें)।
12. दस्तावेज़ीकृत करें कि आपने किस साक्ष्य पर विचार किया, और आपने इसे जैसा भारित किया वैसा क्यों किया। समीक्षित अध्ययनों और अंतिम निर्णय के पीछे के तर्क का एक लिखित रिकॉर्ड निर्णय की वैधता और अगले समीक्षक की इससे सीखने की क्षमता दोनों की रक्षा करता है।

अपनी टीम के साथ चर्चा करने के लिए प्रश्न

हमने आख़िरी बार कब एक जीवंत निर्णय बदला क्योंकि एक व्यवस्थित समीक्षा या क्या-काम-करता-है दर ने उसका खंडन किया जिसे हमने पहले से करने की योजना बनाई थी? यदि ईमानदार उत्तर 'कभी नहीं' है, तो यह बैठने लायक़ है, क्योंकि यह सुझाव देता है कि साक्ष्य समीक्षा एक वास्तविक जाँच के बजाय एक पुष्टिकरण अभ्यास के रूप में कार्य कर सकती है। एक हालिया निर्णय पर चर्चा करें जहाँ साक्ष्य आधार मिश्रित था और इसमें गुज़रें कि क्या इसने वास्तव में विकल्प को आकार दिया या मुख्यतः पहले से पहुँचे एक निष्कर्ष का समर्थन करने के लिए इकट्ठा किया गया था। विचार करें कि इसके वास्तविक प्रभाव के लिए, प्रतीकात्मक भार के बजाय, निर्णय-निर्माताओं तक साक्ष्य कैसे और कब पहुँचता है इसमें क्या बदलने की आवश्यकता होगी।

क्या हम कहीं 'प्रभाव का कोई साक्ष्य नहीं' को मानो यह 'कोई प्रभाव नहीं होने का साक्ष्य' हो, या इसके विपरीत मान रहे हैं? अपने वर्तमान कार्यक्रम पोर्टफ़ोलियो से गुज़रें और किसी भी कार्यक्रम की पहचान करें जिसे आपने चुपचाप कम प्राथमिकता दी है क्योंकि 'साक्ष्य वहाँ नहीं है', और जाँचें कि क्या इसका अर्थ वास्तव में अपरीक्षित है या वास्तव में अस्वीकृत। दूसरी दिशा में भी वही करें: कोई भी कार्यक्रम जिसे आप वित्तपोषित करते रहते हैं क्योंकि 'किसी ने नहीं दिखाया कि यह काम नहीं करता', जबकि वास्तव में किसी ने देखा ही नहीं है। चर्चा करें कि दो या तीन सबसे परिणामी उदाहरणों को सुधारने में क्या लगेगा, और उस सुधार का स्वामी किसे होना चाहिए।

यदि एक निर्णय को शुक्रवार तक साक्ष्य की आवश्यकता होती, तो क्या हमारे पास वास्तव में एक तेज़ साक्ष्य आकलन प्रक्रिया है, या क्या हम दबाव में एक तात्कालिक बनाएँगे? समय दबाव काल्पनिक नहीं है; यह सामान्य स्थिति है जिसके अंतर्गत अधिकांश वास्तविक साक्ष्य-आधारित निर्णय लिए जाते हैं। चर्चा करें कि क्या आपकी संस्था के पास एक स्थायी विधि है — एक नामित टीम, एक टेम्पलेट, पहले जाँचने के लिए क्या-काम-करता-है केंद्रों की एक छोटी सूची — या क्या हर अत्यावश्यक अनुरोध एक ख़ाली पृष्ठ से शुरू होता है। यदि बाद वाला, चर्चा करें कि एक न्यूनतम व्यवहार्य तेज़-आकलन प्रक्रिया कैसी दिखेगी और इसका स्वामी कौन होगा।

हम वास्तव में किसका साक्ष्य पदानुक्रम उपयोग कर रहे हैं, और क्या यह इस निर्णय के दाँव और उलटफेर-योग्यता के अनुकूल है? भिन्न डोमेन अपने साक्ष्य मानक भिन्न रूप से लागू करते हैं, और अपरिवर्तनीय, उच्च-दांव निर्णयों के लिए अंशांकित एक पदानुक्रम हमेशा एक सस्ते, प्रतिवर्तनीय, आसानी से निगरानी किए गए पायलट के लिए सही बार नहीं है। चर्चा करें कि क्या आपकी संस्था दाँव की परवाह किए बिना एक साक्ष्य मानक समान रूप से लागू करती है, और क्या यह आपको बुरे निर्णयों से बचाता है या बस अच्छे को धीमा करता है। एक टीम के रूप में सहमत हों कि आपके एजेंडे पर अगले तीन निर्णयों के लिए किस मानक की आवश्यकता होनी चाहिए, यह जानने से पहले कि साक्ष्य क्या कहता है।

हमने ठोस रूप से क्या किया है ताकि अपने ख़ुद के मूल्यांकनों को एक फ़ाइल दराज में ग़ायब होने से रोका जा सके? आपकी संस्था द्वारा बैठा हुआ हर अप्रकाशित शून्य परिणाम एक अंतराल है जिसे किसी अन्य संस्था को कठिन तरीक़े से फिर से खोजना होगा। अपने ट्रैक रिकॉर्ड की ईमानदारी से चर्चा करें: आपके अंतिम 10 मूल्यांकनों में से कितने बाहरी रूप से साझा किए गए, और जो नहीं थे उनके साथ क्या हुआ। एक ठोस, संसाधित प्रतिबद्धता पर सहमत हों — एक प्रकाशन नीति, एक साझा रजिस्ट्री — अधिक पारदर्शी होने की एक सामान्य आकांक्षा के बजाय।

क्या हम 'हमें अधिक साक्ष्य चाहिए' वाक्यांश को ईमानदारी से उपयोग कर रहे हैं, या एक ऐसे निर्णय से बचने के तरीक़े के रूप में जो हम नहीं लेना चाहते? यह इस विषय का सबसे असहज प्रश्न है, और यह सीधे पूछे जाने लायक़ है। एक विशिष्ट निर्णय की पहचान करें जो वर्तमान में साक्ष्य के आधार पर रुका हुआ है और स्पष्ट रूप से चर्चा करें कि वास्तव में आपका मन क्या बदलेगा, और क्या जिस साक्ष्य का आप इंतज़ार कर रहे हैं वह वास्तव में समय पर पहुँचने वाला है। यदि नहीं, तो चर्चा करें कि निरंतर इंतज़ार के बजाय वास्तविक अनिश्चितता के अंतर्गत एक ईमानदार निर्णय कैसा दिखेगा, और इसे लेने का प्राधिकार किसके पास है।

व्यवहार में: एक लोक मूल्य उदाहरण

एक क्षेत्रीय रोज़गार एजेंसी, श्रम-बाज़ार कार्यक्रमों के लिए ज़िम्मेदार एक राष्ट्रीय सरकारी विभाग का हिस्सा, एक बजट चक्र के भीतर यह तय करने के दबाव में थी कि क्या एक नौकरी-प्रशिक्षण पायलट को तीन ज़िलों से पूरे क्षेत्र तक स्केल किया जाए। पायलट ने सब्सिडी प्राप्त कार्य नियुक्तियों को संरचित मेंटरिंग के साथ जोड़ा, और एजेंसी के अपने यादृच्छिक परीक्षण ने तीन पायलट ज़िलों में 12 महीनों में निरंतर रोज़गार में एक मामूली लेकिन सांख्यिकीय रूप से महत्वपूर्ण वृद्धि पाई। एक प्रतिद्वंद्वी साक्ष्य स्रोत ने तस्वीर जटिल कर दी: पिछले साल प्रकाशित एक व्यवस्थित समीक्षा, कई देशों में नौ समान कार्यक्रमों को एकत्रित करते हुए, ने लगभग शून्य औसत प्रभाव पाया, अध्ययनों के बीच व्यापक भिन्नता के साथ और कोई स्पष्ट प्रतिमान नहीं जो बताए कि कौन-से कार्यक्रम काम करते हैं।

एजेंसी की साक्ष्य इकाई के पास दोनों निष्कर्षों को मेल-मिलाप करने के लिए बजट प्रस्तुति की समयसीमा से पहले छह सप्ताह थे। एक कनिष्ठ विश्लेषक की पहली प्रवृत्ति एकत्रित समीक्षा को केवल इसलिए अधिक आधिकारिक मानने की थी क्योंकि इसने अधिक अध्ययनों को जोड़ा, और पायलट को समाप्त करने की सिफ़ारिश करने की। इकाई के प्रमुख साक्ष्य सलाहकार ने विरोध किया: वास्तव में भिन्न कार्यक्रमों में एक लगभग-शून्य एकत्रित औसत यह मज़बूत साक्ष्य नहीं था कि यह विशिष्ट, अच्छी तरह लागू किया गया स्थानीय कार्यक्रम विफल होगा — यह साक्ष्य था कि नौकरी-प्रशिक्षण कार्यक्रम सामान्यतः गुणवत्ता और फ़िट में विषम हैं, जो पहले से ज्ञात था। समीक्षा में रिपोर्ट की गई उच्च विषमांगता स्वयं एकत्रित औसत से अधिक महत्वपूर्ण निष्कर्ष थी।

सलाहकार ने एक द्विआधारी चुनाव के बजाय एक मध्य मार्ग प्रस्तावित किया। उसने क्षेत्र के आधे हिस्से तक एक चरणबद्ध स्केल-अप की सिफ़ारिश की, विस्तार ज़िलों को यादृच्छिक रूप से चुना गया ताकि रोल-आउट स्वयं आगे साक्ष्य उत्पन्न करे बजाय केवल एक धारणा के विरुद्ध ख़र्च करने के (एक चरणबद्ध रोल-आउट को एक आगे के मूल्यांकन के रूप में कैसे डिज़ाइन किया जा सकता है इसके लिए विषय 2.4 — लोक क्षेत्र अर्थमिति और कार्यक्रम मूल्यांकन देखें)। उसने मूल परीक्षण को पूर्ण रूप से प्रकाशित करने की भी सिफ़ारिश की, विधियाँ और कच्चा डेटा शामिल, ताकि इसे अगली व्यवस्थित समीक्षा द्वारा उठाया जा सके बजाय एक आंतरिक रिपोर्ट में बैठे रहने के जिसे एजेंसी के बाहर कोई कभी नहीं देखेगा।

विभाग के नेतृत्व ने चरणबद्ध दृष्टिकोण को स्वीकृत किया, इसे व्यवसाय मामले में स्पष्ट रूप से फ़्रेम करते हुए (विषय 2.5 — व्यवसाय मामले और धन के बदले मूल्य देखें) एक ऐसे निर्णय के रूप में जो मध्यम-निश्चितता साक्ष्य के अंतर्गत लिया गया था जिसमें 18 महीनों के भीतर अनिश्चितता को हल करने के लिए एक अंतर्निर्मित तंत्र था, इस निर्णय के रूप में नहीं कि साक्ष्य निर्णायक था। 18 महीनों बाद, विस्तार ज़िलों ने मूल पायलट के निकट एक प्रभाव दिखाया, और विभाग ने दोनों में से किसी एक स्रोत की तुलना में एक मज़बूत साक्ष्य आधार के साथ आगे स्केल किया — और यह दिखाने वाला एक स्पष्ट काग़ज़ी निशान कि उसने इंतज़ार करने के बजाय कार्य करने का चुनाव क्यों किया था।

यह परिदृश्य उदाहरणात्मक और काल्पनिक है; यह किसी वास्तविक विभाग के कार्यक्रम या मूल्यांकन का वर्णन नहीं करता।

चार क्षेत्रीय लेंस

स्थानीय सरकार

एक स्थानीय प्राधिकरण के पास शायद ही कभी अपनी ख़ुद की व्यवस्थित समीक्षा कमीशन करने के लिए बजट या केसलोड होता है, इसलिए इसका व्यावहारिक कौशल राष्ट्रीय और अंतरराष्ट्रीय संश्लेषण साक्ष्य को वास्तविक समय दबाव के अंतर्गत एक विशिष्ट स्थानीय संदर्भ में अनुवादित करना है — यह जाँचना कि क्या एक टूलकिट-दर वाले हस्तक्षेप का साक्ष्य आधार इसकी अपनी आबादी, सेवा प्रणाली, और वित्तपोषण स्तर से मिलता-जुलता है इससे पहले यह मान लेने के कि दर किया गया प्रभाव स्थानांतरित होगा। स्थानीय नेता इस विषय की चेतावनी वाली दोनों त्रुटियों की लागत के भी सबसे निकट हैं: एक ऐसे हस्तक्षेप पर कार्य करना जो एक संश्लेषण पहले ही काम न करना दिखा चुका है, और एक वास्तव में आशाजनक लेकिन कम-मूल्यांकित स्थानीय नवाचार को अस्वीकार करना क्योंकि किसी क्या-काम-करता-है केंद्र ने अभी तक इसे दर नहीं दी है।

राष्ट्रीय सरकार

राष्ट्रीय सरकार वह जगह है जहाँ अधिकांश क्या-काम-करता-है केंद्र और औपचारिक साक्ष्य-पदानुक्रम मार्गदर्शन बैठते हैं, राष्ट्रीय विभागों को संश्लेषण बुनियादी ढाँचे की निकटता देते हुए लेकिन एक साक्ष्य पदानुक्रम को एक निर्णय सहायता के बजाय एक नौकरशाही द्वार मानने का सबसे बड़ा जोखिम भी। विशिष्ट राष्ट्रीय कार्य उस बुनियादी ढाँचे को कमीशन और बनाए रखना है — एक समाशोधन गृह को वित्तपोषित करना, इसके साक्ष्य मानक तय करना, और यह सुनिश्चित करना कि इसकी दरें वास्तव में व्यवसाय मामले लिखने वाले अधिकारियों तक पहुँचें (विषय 2.5 — व्यवसाय मामले और धन के बदले मूल्य देखें), बजाय एक अच्छी तरह से माने जाने वाली वेबसाइट के रूप में मौजूद रहने के जिसे नीति टीमें समयसीमा के दबाव में शायद ही कभी परामर्श करती हैं।

सामाजिक क्षेत्र और गैर-लाभकारी

गैर-लाभकारी संगठनों और दान संस्थाओं में आमतौर पर बड़े पैमाने पर कठोर मूल्यांकन चलाने के संसाधनों की कमी होती है, जो उन्हें बाहरी संश्लेषण निकायों पर और तेज़ी से उन वित्तपोषकों पर भारी निर्भर बनाता है जो अनुदान की शर्त के रूप में एक दर की गई साक्ष्य श्रेणी के साथ संरेखण की माँग करते हैं। यह एक विशिष्ट जोखिम बनाता है: वित्तीय दबाव में संस्थाएँ यह बढ़ा-चढ़ाकर बताने के लिए ललचा सकती हैं कि उनका कार्यक्रम एक अनुकूल दर पर कितनी अच्छी तरह मैप करता है — एक प्रकार का साक्ष्य-धुलाई — या, इसके विपरीत, छोटी लेकिन वास्तव में प्रभावी स्थानीय दान संस्थाएँ वित्तपोषण से बाहर धकेली जा सकती हैं क्योंकि वे कभी उस साक्ष्य को उत्पन्न करने के लिए पर्याप्त बड़ी नहीं रही हैं जिसे एक राष्ट्रीय समाशोधन गृह उच्च दर देता है (इस दबाव के पीछे के वित्तपोषण ढाँचों के लिए विषय 3.8 — सामाजिक क्षेत्र और गैर-लाभकारी प्रबंधन देखें)।

बहुपक्षीय और अंतरराष्ट्रीय

बहुपक्षीय और अंतरराष्ट्रीय निकाय सामान्यीकरण-योग्यता समस्या का अपने सबसे तीव्र रूप में सामना करते हैं: एक देश की स्वास्थ्य प्रणाली, कृषि क्षेत्र, या श्रम बाज़ार में सिद्ध एक हस्तक्षेप नियमित रूप से एक बहुत भिन्न आर्थिक और संस्थागत संदर्भ के लिए प्रस्तावित किया जाता है, और संश्लेषण साहित्य इस असमर्थित स्थानांतरण को घटना के बाद चिह्नित करने में इससे पहले चिह्नित करने से बेहतर है। इस अंतराल को बंद करने के लिए बनाए गए शोध नेटवर्क, जैसे अब्दुल लतीफ़ जमील पॉवर्टी एक्शन लैब, ने विकास नीति को एकल-देश अवधारणा प्रमाण के बजाय संदर्भ-विशिष्ट प्रतिकृति की ओर धकेला है, लेकिन वैश्विक रूप से तुलनीय साक्ष्य और संदर्भ-निर्भर प्रभावों के बीच तनाव इस पैमाने पर संश्लेषण की एक परिभाषित विशेषता बना हुआ है।

सामान्य विफलता प्रतिमान

निष्क्रियता के बहाने के रूप में साक्ष्य पदानुक्रम। एक कठिन, विवादित निर्णय का सामना कर रही एक टीम अनिश्चित काल तक टालने के कारण के रूप में 'अपर्याप्त साक्ष्य' या 'अभी तक कोई यादृच्छिक परीक्षण नहीं' का हवाला देती है, जबकि विलंब का ईमानदार कारण राजनीतिक असुविधा या जवाबदेही से बचने की इच्छा है। यह संस्था को अवसर की ही क़ीमत देता है, और यह साक्ष्य आधार को एक वास्तविक-दुनिया परीक्षण की क़ीमत देता है जो अनिश्चितता को हल कर सकता था, अगले निर्णय-निर्माता को ठीक उसी अंतराल का सामना कराते हुए छोड़ते हुए।

साक्ष्य की अनुपस्थिति को अनुपस्थिति के साक्ष्य के साथ घोलना। एक आशाजनक लेकिन अपरीक्षित स्थानीय नवाचार को इस तरह मारा जाता है मानो इसे आज़माया गया हो और विफल हुआ हो, जबकि बार-बार अस्वीकृत एक राष्ट्रीय कार्यक्रम को वित्तपोषित किया जाता रहता है क्योंकि किसी ने साक्ष्य को एक अंतराल के बजाय एक नकारात्मक निष्कर्ष के रूप में फ़्रेम नहीं किया है। दोनों त्रुटियाँ महँगी हैं: एक आशाजनक विकल्पों को पहले से बंद कर देती है, दूसरी उन कार्यक्रमों की रक्षा करती है जिन्हें एक स्पष्ट-दृष्टि संश्लेषण वर्षों पहले सेवानिवृत्त कर देता।

एक टूलकिट दर को पूरा विश्लेषण मानना। एक निर्णय-निर्माता एक अकेला पैडलॉक आइकन या स्टार दर पढ़ता है और वहीं रुक जाता है, बिना यह जाँचे कि क्या अंतर्निहित अध्ययन उनके संदर्भ, आबादी, या पैमाने से मेल खाते हैं। दरें जानबूझकर पहुँच के लिए संकुचित की जाती हैं; अंतर्निहित समीक्षा के बिना उपयोग की जाने पर, वे ऐसे आत्मविश्वासी निर्णय उत्पन्न कर सकती हैं जो दर की सरलता जितने साक्ष्य आधार से कहीं पतले पर बने हैं।

शीर्षक एकत्रित परिणाम के पक्ष में विषमांगता को अनदेखा करना। एक मेटा-विश्लेषण का अकेला औसत प्रभाव आकार एक ब्रीफ़िंग में उद्धृत किया जाता है जबकि इसे उत्पन्न करने वाले अध्ययनों के बीच व्यापक भिन्नता — अक्सर अधिक सूचनात्मक निष्कर्ष — गिरा दी जाती है। यह झूठी सटीकता उत्पन्न करता है: एक निर्णय-निर्माता इस तरह कार्य करता है मानो हर कार्यान्वयन एक ही तरह व्यवहार करता हो, जबकि कार्यान्वयन गुणवत्ता और संदर्भ हस्तक्षेप जितना ही काम कर रहे होते हैं।

प्रकाशन पूर्वाग्रह को चुपचाप साक्ष्य आधार को आकार देने देना। एक संस्था एक हस्तक्षेप का आकलन करते समय केवल प्रकाशित शैक्षणिक साहित्य पढ़ती है, अप्रकाशित नकारात्मक परीक्षणों और आंतरिक मूल्यांकनों को छोड़ते हुए जो कभी एक जर्नल में नहीं आए। परिणामी 'क्या काम करता है' की तस्वीर व्यवस्थित रूप से सकारात्मक की ओर तिरछी होती है, और इस पर बने निर्णय बिना किसी के इसे जानबूझकर चुने उस तिरछेपन को विरासत में लेते हैं।

परिपक्वता मॉडल

जाँच-सूची

• एक अकेले अध्ययन पर निर्भर होने से पहले व्यवस्थित समीक्षा या क्या-काम-करता-है दर की जाँच की गई।
• केवल सारांश दर या आइकन नहीं, अंतर्निहित साक्ष्य समीक्षा पढ़ी गई।
• साक्ष्य की गुणवत्ता और सिफ़ारिश की ताक़त दो अलग निर्णयों के रूप में बताई गई।
• लिखित ब्रीफ़ में 'प्रभाव का कोई साक्ष्य नहीं' बनाम 'कोई प्रभाव नहीं होने का साक्ष्य' स्पष्ट रूप से अलग किया गया।
• समीक्षित अध्ययनों और हाथ में मौजूद निर्णय (आबादी, पैमाना, सेवा प्रणाली) के बीच संदर्भ मिलान जाँचा गया।
• जब एक पूर्ण समीक्षा समयसीमा में फ़िट नहीं होगी तो तेज़ साक्ष्य आकलन प्रक्रिया उपलब्ध है और उपयोग की जाती है।
• परिणामों की समीक्षा से पहले निर्णय के लिए साक्ष्य सीमा पर सहमति व्यक्त की गई।
• परिणाम चाहे जो भी हो, इस संस्था के अपने मूल्यांकन को प्रकाशित करने की योजना मौजूद है।
• दबाव में शून्य से बनाने के बजाय, एक प्रासंगिक क्या-काम-करता-है केंद्र या समाशोधन गृह के साथ स्थायी संबंध स्थापित किया गया।
• अंतिम निर्णय के पीछे का तर्क दस्तावेज़ीकृत किया गया, विचार किए गए और अस्वीकृत किए गए साक्ष्य सहित।
• केवल साक्ष्य ताक़त नहीं, बल्कि मूल्य प्रस्ताव और वैधता विचारों के विरुद्ध निर्णय समीक्षित किया गया।

प्रमुख स्रोत

• द कोक्रेन हैंडबुक फ़ॉर सिस्टमैटिक रिव्यूज़ ऑफ़ इंटरवेंशंस, कोक्रेन द्वारा बनाए रखा गया, उस आधारभूत पद्धति के लिए जिस पर क्षेत्रों में व्यवस्थित समीक्षा अभ्यास बना है।
• सामाजिक, व्यावहारिक, और अपराधशास्त्रीय नीति के लिए व्यवस्थित समीक्षाओं और साक्ष्य संश्लेषण पर कैंपबेल सहयोग का मार्गदर्शन, स्वास्थ्य से परे लोक नीति क्षेत्रों में उस पद्धति के प्रत्यक्ष विस्तार के लिए।
• व्हाट वर्क्स क्लियरिंगहाउस की स्टैंडर्ड्स हैंडबुक (इंस्टीट्यूट ऑफ़ एजुकेशन साइंसेज़, संयुक्त राज्य), इस बात के एक कार्यशील उदाहरण के लिए कि एक राष्ट्रीय समाशोधन गृह कैसे स्पष्ट अध्ययन-डिज़ाइन मानक तय करता है और उनके विरुद्ध साक्ष्य को दर देता है।
• एजुकेशन एंडोमेंट फ़ाउंडेशन की टीचिंग एंड लर्निंग टूलकिट, एकत्रित साक्ष्य को तुलनीय लागत, प्रभाव, और साक्ष्य-ताक़त दरों में अनुवादित करने के एक व्यावहारिक, व्यवसायी-सामना करने वाले उदाहरण के लिए।
• आर्थिक सहयोग और विकास संगठन (OECD) का साक्ष्य-सूचित नीति-निर्माण के लिए क्षमता निर्माण पर कार्य, इस बात के एक क्रॉस-कंट्री विवरण के लिए कि सरकारें साक्ष्य उपयोग के माँग और आपूर्ति पक्षों को कैसे संगठित करती हैं।
• कॉलेज ऑफ़ पॉलिसिंग का व्हाट वर्क्स सेंटर फ़ॉर क्राइम रिडक्शन और इसकी क्राइम रिडक्शन टूलकिट, स्वास्थ्य और शिक्षा के बाहर लागू समाशोधन-गृह प्रतिमान के एक और कार्यशील उदाहरण के लिए।

संदर्भ

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction