विषय 2.1
लोक मूल्य स्कोरकार्ड और परिणाम ढाँचे
रणनीतिक त्रिभुज पर बनी एक रणनीति इरादों की एक कहानी बनी रहती है जब तक कोई संस्था सार्वजनिक रूप से यह मापने के लिए प्रतिबद्ध नहीं होती कि उसने वास्तव में वैधता, मूल्य, और क्षमता बनाई या नहीं — और लोक मूल्य स्कोरकार्ड, तर्क मॉडल, और परिणाम-आधारित जवाबदेही वे अनुशासित तरीक़े हैं जो उस प्रतिबद्धता को टिकाऊ बनाते हैं।
यह लोक मूल्य में क्यों महत्वपूर्ण है
अधिकांश लोक और सामाजिक-क्षेत्र नेता एक रणनीति दस्तावेज़ बना सकते हैं जो परिणामों के बारे में धाराप्रवाह बात करता है। बहुत कम, एक साल बाद, वह साक्ष्य बना सकते हैं जो दिखाता है कि क्या वे परिणाम वास्तव में हिले। दोनों के बीच का अंतराल आमतौर पर डेटा की कमी नहीं है — अधिकांश संस्थाएँ इसकी विशाल मात्रा इकट्ठा करती हैं — बल्कि एक अनुशासित संरचना की कमी है जो कच्ची गतिविधि गणनाओं को उत्पन्न मूल्य के बारे में एक बचाव-योग्य दावे में बदलती है। विषय 1.2 — रणनीतिक त्रिभुज: वैधता, मूल्य और क्षमता ने वैधता और समर्थन, मूल्य प्रस्ताव, और परिचालन क्षमता को उन तीन भुजाओं के रूप में तय किया जिन्हें एक संस्था की रणनीति को एक साथ संतुष्ट करना चाहिए (विषय 1.2 — रणनीतिक त्रिभुज: वैधता, मूल्य और क्षमता देखें)। यह विषय उन उपकरणों के बारे में है जो उन तीन भुजाओं को केवल दावा किए जाने के बजाय मापने योग्य बनाते हैं।
दाँव तात्कालिक और आवर्ती हैं। एक वित्तपोषक या विधानमंडल अगले बजट दौर में पूछता है, 'हमें इस पैसे के लिए क्या मिला' — और केवल आउटपुट गणनाओं (खुले क्लिनिक, संसाधित मामले, चलाए गए प्रशिक्षण सत्र) वाली एक संस्था के पास इसके नीचे के परिणाम प्रश्न का कोई उत्तर नहीं है। एक कार्यक्रम टीम मानती है कि वह सफल हो रही है क्योंकि गतिविधि अधिक और व्यस्त है, बिना गतिविधि को उस दुनिया में परिवर्तन से अलग किए जिसे गतिविधि का कारण बनना था। एक बोर्ड एक प्रेरक कथा की शक्ति पर एक नई पहल को स्वीकृत करता है, फिर एक साल बाद इसे जारी रखने, बढ़ाने, या रोकने का निर्णय लेने के लिए कोई सहमत आधार नहीं होता। इनमें से हर एक रणनीतिक परिणामों वाली एक माप विफलता है, तकनीकी असुविधा नहीं।
इस विषय के उपकरण — मार्क मूर का लोक मूल्य स्कोरकार्ड, तर्क मॉडल, और परिणाम-आधारित जवाबदेही और इसके संबंधी — एक लोक या सामाजिक-क्षेत्र संस्था के सामने आने वाली हर माप समस्या को हल नहीं करते। बाद के विषय कठिन, अधिक तकनीकी परतों को कवर करते हैं: लागत-लाभ और लागत-प्रभावशीलता विश्लेषण के माध्यम से परिणामों का मुद्रीकरण (विषय 2.2 — सामाजिक लागत-लाभ और लागत-प्रभावशीलता विश्लेषण देखें), सामाजिक निवेश प्रतिफल के माध्यम से मुद्रीकरण का विरोध करने वाले परिणामों का मूल्यांकन (विषय 2.3 — सामाजिक निवेश प्रतिफल और प्रभाव मापन देखें), और औपचारिक कार्यक्रम मूल्यांकन के माध्यम से यह स्थापित करना कि एक कार्यक्रम ने वास्तव में एक अवलोकित परिवर्तन का कारण बनाया (विषय 2.4 — लोक क्षेत्र अर्थमिति और कार्यक्रम मूल्यांकन देखें)। यह विषय जो आपूर्ति करता है वह इन तीनों के नीचे की परत है: एक साझा शब्दावली और यह बताने के लिए कुछ टिकाऊ ढाँचे, उस तकनीकी कार्य के शुरू होने से पहले, कि एक संस्था वास्तव में क्या बदलने की कोशिश कर रही है, किसके लिए, और इसे कैसे पता चलेगा।
मूल अवधारणाएँ
लोक मूल्य स्कोरकार्ड मार्क एच. मूर का प्रस्ताव है कि रणनीतिक त्रिभुज की हर भुजा को उसके अपने संकेतकों के समूह से ट्रैक किया जाए, बजाय उन वित्तीय और परिचालनात्मक मापों में डिफ़ॉल्ट होने के जिन्हें एक निजी-क्षेत्र संतुलित स्कोरकार्ड उपयोग करेगा। मूर ने संतुलित स्कोरकार्ड को अनुकूलित किया — रॉबर्ट कैप्लान और डेविड नॉर्टन का एक व्यवसाय को वित्तीय, ग्राहक, आंतरिक-प्रक्रिया, और सीखने के परिप्रेक्ष्यों में ट्रैक करने का उपकरण — क्योंकि एक अकेली वित्तीय निचली रेखा उस संस्था का प्रतिनिधित्व नहीं कर सकती जिसका अस्तित्व का केंद्रीय दावा यह है कि यह ऐसा मूल्य बनाती है जिसे कोई बाज़ार क़ीमत नहीं पकड़ती। लोक मूल्य स्कोरकार्ड इसके बजाय एक संस्था से त्रिभुज को प्रतिबिंबित करने वाले तीन शीर्षकों के अंतर्गत माप निर्दिष्ट करने के लिए कहता है: एक वैधता-और-समर्थन खाता (क्या प्राधिकार वातावरण संतुष्ट है — वित्तपोषक, निगरानीकर्ता, जनता), एक लोक-मूल्य खाता (क्या मूल्य प्रस्ताव साकार हो रहा है — नागरिकों और ग्राहकों के लिए परिणाम), और एक परिचालन-क्षमता खाता (क्या संस्था वितरण को बनाए रखने और सुधारने में सक्षम है — स्टाफ़, प्रणालियाँ, वित्त, साझेदारियाँ)। अनुशासन किसी एक खाते को पूरे के लिए खड़ा होने देने से इनकार करने में है; एक संस्था जो केवल वित्तीय दक्षता, या केवल ग्राहक संतुष्टि की रिपोर्ट करती है, उसने त्रिभुज के विरुद्ध बिल्कुल रिपोर्ट नहीं की है।
तर्क मॉडल स्कोरकार्ड के मूल्य खाते को उसकी आंतरिक संरचना देते हैं। एक तर्क मॉडल उस कारणात्मक शृंखला को बिछाता है जिसे चलाने का एक कार्यक्रम दावा करता है: इनपुट (प्रतिबद्ध धन, स्टाफ़, और अन्य संसाधन), गतिविधियाँ (संस्था उनके साथ क्या करती है), आउटपुट (उन गतिविधियों के तत्काल, गणना-योग्य उत्पाद — वितरित सत्र, जारी परमिट, दौरा किए गए घर), परिणाम (ज्ञान, व्यवहार, स्थिति, या दर्जे में परिवर्तन जिन्हें आउटपुट लाने वाले हैं, आमतौर पर महीनों या कुछ वर्षों में), और प्रभाव (दीर्घकालिक, अक्सर आबादी-स्तर परिवर्तन जिसमें परिणामों को योगदान देना है, आमतौर पर अन्य अभिकर्ताओं के साथ साझा और किसी एक कार्यक्रम को श्रेय देना कठिन)। आउटपुट और परिणाम के बीच का अंतर इस विषय में सबसे अधिक परिणामी है: एक आउटपुट कुछ ऐसा है जो संस्था ने किया; एक परिणाम कुछ ऐसा है जो इसके परिणामस्वरूप किसी अन्य के लिए बदला। एक प्रशिक्षण कार्यक्रम का आउटपुट प्रशिक्षित लोगों की संख्या है; इसका परिणाम यह है कि वे लोग फिर क्या कर सकते हैं, या उनकी परिस्थितियाँ कैसे बदलती हैं, जो वे पहले नहीं कर सकते थे।
परिवर्तन सिद्धांत निकट से संबंधित अनुशासन है जो एक तर्क मॉडल के पीछे की धारणाओं को अंतर्निहित के बजाय स्पष्ट बनाता है — संस्था क्यों मानती है कि गतिविधि A वास्तव में परिणाम B उत्पन्न करेगी, और किन परिस्थितियों में वह कारणात्मक दावा विफल हो सकता है। एक परिवर्तन सिद्धांत केवल एक अधिक विस्तृत तर्क मॉडल नहीं है; यह 'यदि... तो... क्योंकि' तर्क और प्रासंगिक धारणाओं को आगे लाता है जिन्हें एक तर्क मॉडल का बक्से-और-तीर आरेख अकथित छोड़ता है। विषय 2.3 सामाजिक क्षेत्र में प्रभाव मापन के लिए परिवर्तन सिद्धांत को शुरुआती बिंदु के रूप में अधिक गहराई से उपयोग करता है (विषय 2.3 — सामाजिक निवेश प्रतिफल और प्रभाव मापन देखें); यहाँ, यह मुख्यतः उस अनुशासन के रूप में मायने रखता है जो एक तर्क मॉडल को इस बारे में ईमानदार रखता है कि यह वास्तव में क्या दावा करता है, इससे अलग कि यह केवल क्या आशा करता है कि हो जाएगा।
परिणाम-आधारित जवाबदेही (RBA) परिणाम-आधारित ढाँचों के एक परिवार का सबसे प्रसिद्ध सदस्य है जिसका उपयोग सरकारों और सामाजिक क्षेत्र में आबादी-स्तर परिणामों को विशिष्ट कार्यक्रमों के प्रदर्शन से जोड़ने के लिए किया जाता है। मार्क फ़्रीडमैन द्वारा विकसित और उनकी पुस्तक ट्राईइंग हार्ड इज़ नॉट गुड इनफ़ में तय किया गया, RBA दो अलग प्रकार की जवाबदेही को अलग करता है जिन्हें संस्थाएँ नियमित रूप से घोल देती हैं। जनसंख्या जवाबदेही पूछती है कि एक पूरा समुदाय या क्षेत्राधिकार भलाई की एक स्थिति पर कैसा कर रहा है — बाल ग़रीबी, सामुदायिक सुरक्षा, शैक्षिक उपलब्धि — कुछ शीर्षक संकेतकों का उपयोग करते हुए जिन्हें कोई एक अकेली एजेंसी न तो रखती है और न ही पूरी तरह नियंत्रित करती है। प्रदर्शन जवाबदेही पूछती है कि एक विशिष्ट कार्यक्रम या एजेंसी कितना अच्छा कर रही है, फ़्रीडमैन के ढाँचे द्वारा अलग करने पर ज़ोर दिए गए तीन प्रकार के प्रदर्शन संकेतक का उपयोग करते हुए: कितना किया गया (प्रयास — आउटपुट गणना), यह कितनी अच्छी तरह किया गया (गुणवत्ता), और क्या कोई बेहतर स्थिति में है (प्रभाव — परिणाम)। RBA की व्यावहारिक विधि, जिसे कभी-कभी 'वक्र मोड़ें' विश्लेषण कहा जाता है, एक चुने गए संकेतक से पीछे की ओर काम करती है — यह पूछते हुए कि डेटा कौन-सी कहानी बताता है, उस कहानी का कारण क्या है, इसे बदलने में भूमिका वाले साझेदार कौन हैं, क्या काम करेगा, और संस्था क्या करने का प्रस्ताव रखती है — एक तर्क मॉडल और एक परिवर्तन सिद्धांत जिसे अलग से औपचारिक बनाते हैं उस तर्क का एक संरचित संस्करण। RBA परिणाम-आधारित प्रबंधन के एक व्यापक प्रतिमान का एक उदाहरण है, जो अंतरराष्ट्रीय विकास और लोक प्रशासन में उपयोग किए जाने वाले निगरानी और मूल्यांकन की नियमित प्रथा से निकट संबंधित है, जिसे राष्ट्रीय सरकारों, परोपकारी वित्तपोषकों, और बहुपक्षीय निकायों द्वारा विभिन्न रूपों में ख़र्च को केवल आउटपुट के बजाय परिणामों से जोड़ने के लिए एक साझा अनुशासन के रूप में बढ़ावा दिया जाता है।
आउटपुट, परिणाम, और स्कोरकार्ड साथ में। इन ढाँचों के तीन के बजाय एक विषय में होने का कारण यह है कि वे एक संस्था के योजना और रिपोर्टिंग चक्र में अलग बिंदुओं पर एक ही अंतर्निहित प्रश्न का उत्तर देते हैं। तर्क मॉडल डिज़ाइन समय पर बनाया जाता है, कारणात्मक दावे को बताने के लिए। परिणाम-आधारित जवाबदेही और तुलनीय ढाँचे रिपोर्टिंग समय पर लागू किए जाते हैं, प्रयास और प्रभाव के बीच के अंतर के बारे में प्रदर्शन मापों को ईमानदार रखने के लिए। लोक मूल्य स्कोरकार्ड दोनों के ऊपर बैठता है, स्थायी संरचना के रूप में जो सुनिश्चित करती है कि परिणाम साक्ष्य — चाहे इसे कैसे भी उत्पन्न किया गया हो — वास्तव में उन वैधता और क्षमता वार्तालापों तक पहुँचे जहाँ बजट और जनादेश निर्णय लिए जाते हैं, केवल एक कार्यक्रम टीम की अपनी रिपोर्टिंग के भीतर रहने के बजाय। साथ में, ये तीन ढाँचे वही हैं जो लोक मूल्य को एक संस्था के अपने बारे में किए गए दावे से एक ऐसे दावे में बदल देते हैं जिसका वह साक्ष्य के साथ बचाव कर सकती है।
सर्वोत्तम प्रथाएँ
- संकेतकों से पहले, बाद में नहीं, तर्क मॉडल बनाएँ। यह सहमत होने से पहले कि आप किसका कारण होने का दावा कर रहे हैं, क्या मापना है यह चुनना जो भी गिनना आसान है उसकी सूची उत्पन्न करता है; पहले इनपुट-से-प्रभाव शृंखला बनाएँ, फिर ऐसे माप चुनें जो इसकी हर कड़ी को परखें।
- तीनों स्कोरकार्ड खातों के विरुद्ध साथ में रिपोर्ट करें, एक बार में एक नहीं। बिना परिणाम साक्ष्य वाला एक वैधता अद्यतन, या बिना यह बताए कि इसे बनाए रखने में क्या लागत आई एक परिणाम रिपोर्ट, प्रत्येक केवल उस कहानी का हिस्सा बताते हैं जिसकी एक वित्तपोषक या निगरानीकर्ता को एक वास्तविक निर्णय लेने के लिए आवश्यकता है।
- हर प्रदर्शन रिपोर्ट में प्रयास, गुणवत्ता, और प्रभाव को स्पष्ट रूप से अलग करें। एक औपचारिक RBA कार्यान्वयन के बाहर भी फ़्रीडमैन के तीन-तरफ़ा विभाजन को उधार लें; एक रिपोर्ट जो 'वितरित सत्र' को 'बेहतर हुए जीवन' के साथ बिना उन्हें अलग किए मिलाती है वह हमेशा जो भी बढ़ा-चढ़ाकर बताना आसान है उसमें डिफ़ॉल्ट होगी।
- कुछ शीर्षक जनसंख्या संकेतक चुनें और उन्हें वर्षों तक रखें, तिमाहियों तक नहीं। आबादी-स्तर की स्थितियाँ धीरे-धीरे बदलती हैं और कई अभिकर्ताओं से प्रभावित होती हैं; हर रिपोर्टिंग चक्र में शीर्षक माप बदलना यह बताना असंभव बना देता है कि वक्र वास्तव में मुड़ रहा है या नहीं।
- ज़ोर से नाम लें कि संस्था क्या नियंत्रित नहीं करती। एक तर्क मॉडल जो यह अर्थ देता है कि एक अकेला कार्यक्रम पूरी तरह एक आबादी-स्तर परिणाम का कारण है, वह ठीक उसी संशयवाद को आमंत्रित करता है जो वैधता को कमज़ोर करता है जब परिणाम समय पर नहीं हिलता; शुरू से अन्य योगदान करने वाले कारकों को बताएँ।
- बजट दौर से पहले, बाद में नहीं, परिणाम ढाँचा प्रकाशित करें। पहले से लिए गए बजट निर्णय को उचित ठहराने के लिए उत्पन्न एक परिणाम ढाँचा पश्च-तर्कसंगतता जैसा पढ़ा जाता है; दौर से पहले प्रकाशित एक यह साक्ष्य है कि एक वास्तविक निर्णय इसके विरुद्ध परखा जा रहा है।
- स्कोरकार्ड और तर्क मॉडल को जीवंत दस्तावेज़ रखें, संदर्भ बदलने पर पुनः देखे गए, वार्षिक कलाकृतियाँ नहीं। एक नीति वातावरण के लिए बनाया गया तर्क मॉडल एक निर्धारित समीक्षा से बहुत पहले चुपचाप वास्तविकता से मेल खाना बंद कर सकता है — एक नया क़ानून, एक जनसांख्यिकीय बदलाव, एक वित्तपोषण परिवर्तन; दोनों को तसलीम टीमों के स्वामित्व में मानें, एक केंद्रीय कार्यालय के लिए एक अनुपालन अभ्यास नहीं।
- प्रदर्शन-खाता मापों को उन लोगों के निकट रखें जो उन पर कार्रवाई कर सकते हैं। एक कार्यक्रम टीम सीधे गुणवत्ता और प्रयास मापों को सुधार सकती है; उन्हें आबादी-स्तर के परिणाम लक्ष्य सौंपें जिन्हें वे अकेले नहीं हिला सकते, और माप दिशा के बजाय निराशा का स्रोत बन जाता है।
- एक छूटे परिणाम लक्ष्य को छिपाने के लिए एक फ़ैसला नहीं, बल्कि क्यों पूछने के लिए एक संकेत मानें। दोष सौंपने से पहले यह पूछने की 'वक्र मोड़ें' आदत कि प्रवृत्ति का कारण क्या है, परिणाम रिपोर्टिंग को उपयोगी रखती है; एक संस्कृति जो छूटे लक्ष्यों को दंडित करती है वह स्टाफ़ को परिणाम के बजाय संख्या की रक्षा करना सिखाती है।
- परिवर्तन सिद्धांत में धारणाओं को मिथ्याकरण-योग्य बनाएँ। इतनी अस्पष्ट रूप से लिखी गई धारणा कि कोई साक्ष्य कभी इसका खंडन नहीं कर सकता, तर्क मॉडल में कठोरता नहीं जोड़ रही है; धारणाओं को इतना विशिष्ट रूप से लिखें कि भविष्य का एक मूल्यांकन उन्हें ग़लत साबित कर सके।
अपनी टीम के साथ चर्चा करने के लिए प्रश्न
क्या हम वर्तमान में अपने सबसे महत्वपूर्ण कार्यक्रम के लिए एक आउटपुट को एक परिणाम से अलग कर सकते हैं — और क्या हमारा अपना स्टाफ़ उन दो शब्दों का सही उपयोग करता है? कई संस्थाएँ प्रतिस्थापन को नोटिस किए बिना परिणामों की भाषा का उपयोग करते हुए गतिविधि गणनाओं की रिपोर्ट करती हैं, जो चुपचाप उस अंतर को क्षीण करता है जिसे यह विषय आधारभूत मानता है। इस प्रश्न का उपयोग एक वास्तविक वर्तमान रिपोर्ट निकालने और यह जाँचने के लिए करें, पंक्ति दर पंक्ति, कौन-सी संख्याएँ बताती हैं कि संस्था ने क्या किया बनाम किसी अन्य के लिए क्या बदला। चर्चा करें कि भाषा कहाँ बह गई है, और क्या वह बहाव कार्यक्रम के तर्क के बारे में वास्तविक भ्रम को दर्शाता है या बस यह कि परिणाम डेटा प्राप्त करना आउटपुट डेटा से कठिन है। यदि ईमानदार उत्तर बाद वाला है, तो यह स्वयं एक ऐसा निष्कर्ष है जो दर्ज करने लायक़ है, परिणामों के रूप में सजी आउटपुट भाषा का उपयोग जारी रखने का कारण नहीं।
हमारी वर्तमान रिपोर्टिंग कहाँ प्रयास, गुणवत्ता, और प्रभाव को एक अकेली संख्या में समेटती है, और वह संख्या वास्तव में एक पाठक को क्या बताती है? फ़्रीडमैन का तीन-तरफ़ा विभाजन इसलिए मौजूद है क्योंकि संस्थाएँ नियमित रूप से प्रयास की रिपोर्टिंग में डिफ़ॉल्ट होती हैं — तीनों में सबसे आसान गिनना — जबकि यह अर्थ देती हैं कि उन्होंने प्रभाव की रिपोर्ट की है। इस प्रश्न का उपयोग एक प्रमुख मापक की पहचान करने के लिए करें जिसे संस्था वर्तमान में रिपोर्ट करती है और समूह के रूप में पता लगाएँ कि यह वास्तव में तीनों में से किसे मापता है। चर्चा करें कि उस मापक के लिए तीनों को अलग-अलग रिपोर्ट करने में क्या लगेगा, और क्या ऐसा करने से बदलेगा कि संस्था को उन लोगों द्वारा कैसे माना जाता है जो वर्तमान में केवल मिश्रित संख्या देखते हैं।
यदि हमारा शीर्षक जनसंख्या परिणाम दो और रिपोर्टिंग चक्रों तक नहीं हिलता, तो हम क्या अलग करेंगे, और क्या नहीं बदलेंगे? यह प्रश्न परखता है कि क्या संस्था वास्तव में अपने परिणाम ढाँचे का उपयोग संचालित करने के लिए कर रही है, या इसे केवल एक रिपोर्टिंग दायित्व के रूप में उत्पन्न कर रही है। इसका उपयोग यह अलग करने के लिए करें कि वर्तमान रणनीति के कौन-से हिस्से परिणाम डेटा पर आकस्मिक हैं और कौन-से डेटा जो भी दिखाए उससे परे तय हैं। ईमानदारी से चर्चा करें कि क्या वर्तमान कार्यक्रम का कोई हिस्सा अपरिवर्तित बच जाएगा भले ही साक्ष्य दृढ़ता से इसके विरुद्ध हो जाए, क्योंकि वह वह हिस्सा है जो वास्तव में ढाँचे द्वारा प्रबंधित नहीं किया जा रहा है।
क्या हमारा लोक मूल्य स्कोरकार्ड, यदि हमारे पास एक है, त्रिभुज की तीनों भुजाओं की रिपोर्ट करता है, या क्या यह चुपचाप केवल एक भुजा के लिए एक स्कोरकार्ड बन गया है? एक परिणाम ढाँचे का वास्तविक तीन-भुजा महत्वाकांक्षा के साथ शुरू होना और रिपोर्टिंग दबाव के अंतर्गत एक केवल-परिणाम या केवल-वित्त दस्तावेज़ में बह जाना सामान्य है। इस प्रश्न का उपयोग अंतिम दो या तीन औपचारिक रिपोर्टों को इस विषय द्वारा वर्णित तीन-खाता संरचना के विरुद्ध लेखा-परीक्षित करने के लिए करें। चर्चा करें कि समय के दबाव में कौन-सी भुजा पहले छूटती है, और यह इस बारे में क्या कहता है कि संस्था अंतर्निहित रूप से किस भुजा को वैकल्पिक मानती है।
इस संस्था के बाहर किसे हमारे तर्क मॉडल से सहमत होने की आवश्यकता होगी ताकि यह विश्वसनीय हो, और क्या हमने वास्तव में उनसे पूछा है? पूरी तरह उस कार्यक्रम टीम द्वारा बनाया गया एक तर्क मॉडल जिसने हस्तक्षेप डिज़ाइन किया, चुपचाप आशावादी धारणाओं को एनकोड कर सकता है जिन्हें कमरे के बाहर कोई भी चुनौती देने की स्थिति में नहीं है। इस प्रश्न का उपयोग यह पहचानने के लिए करें कि किन बाहरी अभिकर्ताओं — वित्तपोषक, तसलीम साझेदार, वे लोग जिनकी कार्यक्रम सेवा करता है — का इस बात में दांव है कि क्या कारणात्मक शृंखला सही है, और क्या उनमें से किसी ने वास्तव में इसकी समीक्षा की है। चर्चा करें कि पिछली बार जब उस समीक्षा में एक बाहरी दृष्टिकोण को आमंत्रित किया गया था तो क्या बदला, यदि कुछ भी।
जनसंख्या और प्रदर्शन संकेतकों का सबसे छोटा समूह क्या होगा जिसकी हम रिपोर्ट कर सकते हैं जो फिर भी एक बाहरी व्यक्ति को यह आँकने देगा कि क्या यह संस्था लोक मूल्य बना रही है? माप प्रणालियाँ समय के साथ संकेतकों को उनके सेवानिवृत्त करने से कहीं अधिक तेज़ी से जमा करती हैं, जब तक ढाँचा किसी के लिए वास्तव में एक निर्णय में उपयोग करने के लिए बहुत बड़ा नहीं हो जाता। इस प्रश्न का उपयोग, एक अभ्यास के रूप में, वर्तमान संकेतक समूह को आधा करने का प्रयास करने के लिए करें बिना जनसंख्या-जवाबदेही और प्रदर्शन-जवाबदेही प्रश्नों का उत्तर देने की क्षमता खोए जिन्हें यह विषय वर्णित करता है। चर्चा करें कि वह अभ्यास किस प्रतिरोध को सामने लाता है, क्योंकि एक विशिष्ट संकेतक को काटने का प्रतिरोध अक्सर इसका संकेत है कि संस्था वास्तव में किसके लिए जवाबदेह ठहराई जा रही है, चाहे यह इसकी बताई गई रणनीति से मेल खाता हो या नहीं।
व्यवहार में: एक लोक मूल्य उदाहरण
पारिवारिक-सहायता दान संस्थाओं का एक क्षेत्रीय नेटवर्क — काल्पनिक, किसी वास्तविक संस्था की रिपोर्ट के बजाय एक प्रतिमान का उदाहरण — ने कम-आय वाले पड़ोसों में नए माता-पिता के लिए घर-दौरा कार्यक्रम चलाने में एक दशक बिताया था। वित्तपोषकों को इसकी वार्षिक रिपोर्टें विस्तृत और, आउटपुट मापों के अनुसार, प्रभावशाली थीं: हर साल पूर्ण किए गए हज़ारों घर दौरे, पालन-पोषण कार्यशालाओं में उच्च उपस्थिति, भाग लेने वाले परिवारों से मज़बूत संतुष्टि स्कोर। उस रिकॉर्ड की शक्ति पर, नेटवर्क लगातार बढ़ा था, हर लगभग दो साल में नई स्थानीय शाखाएँ जोड़ते हुए।
एक नए राष्ट्रीय वित्तपोषक ने, नेटवर्क की पहुँच को दोगुना करने के लिए पर्याप्त बड़ा एक बहु-वर्षीय अनुदान पर विचार करते हुए, एक प्रश्न पूछा जो नेटवर्क के अपने बोर्ड ने कभी औपचारिक रूप से प्रबंधन के सामने नहीं रखा था: कौन-सा साक्ष्य दिखाता है कि घर दौरे प्राप्त करने वाले परिवारों के बच्चे वास्तव में बाद में तुलनीय बच्चों की तुलना में बेहतर कर रहे थे जिनके परिवारों को नहीं मिला। नेटवर्क के नेतृत्व ने, प्रश्न से गुज़रते हुए, महसूस किया कि इसकी रिपोर्टिंग ने कभी प्रयास को प्रभाव से अलग नहीं किया था। दौरा गणनाएँ और संतुष्टि स्कोर वास्तविक साक्ष्य थे कि कार्यक्रम वितरित किया जा रहा था और अच्छी तरह प्राप्त किया जा रहा था; न ही कोई साक्ष्य था कि इसने एक बच्चे के विकासात्मक परिणामों को बदला, जो नेटवर्क के अपने मिशन वक्तव्य में, और अंतर्निहित रूप से, हर अनुदान आवेदन में एनकोड किया गया दावा था जो इसने कभी लिखा था।
नेटवर्क ने शून्य से एक तर्क मॉडल बनाया, उन परिणामों से शुरू करते हुए जो वह वास्तव में चाहता था — बेहतर शीघ्र बाल विकास संकेतक, प्रमाणित बाल उपेक्षा के कम उदाहरण, मज़बूत माता-पिता आत्मविश्वास — और उन गतिविधियों और आउटपुट तक पीछे की ओर काम किया जिन पर हर एक निर्भर करने वाला था, बीच की धारणाओं को स्पष्ट रूप से नाम देते हुए। इसने एक सरलीकृत परिणाम-आधारित जवाबदेही संरचना अपनाई: पड़ोस स्तर पर ट्रैक किए गए और स्थानीय स्कूलों और स्वास्थ्य सेवाओं के साथ साझा किए गए जनसंख्या संकेतक, इसकी अपनी टीमें सीधे जिन पर कार्रवाई कर सकती थीं उन प्रदर्शन संकेतकों के साथ — दौरा आवृत्ति, कार्यशाला पूर्णता, और तीन और बारह महीनों में स्टाफ़-आँकी गई पालन-पोषण आत्मविश्वास। पहले रिपोर्टिंग चक्र में एक पड़ोस में पाँच परिणाम संकेतकों में से दो जैसी आशा थी वैसे नहीं हिले। परिणाम को दबाने के बजाय, नेटवर्क ने जाँच के लिए अपनी ख़ुद की 'वक्र मोड़ें' प्रक्रिया का उपयोग किया, पाया कि स्थानीय स्वास्थ्य-दौरा स्टाफ़िंग में एक बदलाव ने रेफ़रल मार्गों को बाधित किया था, और अपने मूल मॉडल के बजाय अपनी साझेदारी व्यवस्थाओं को समायोजित किया। वित्तपोषक ने अनुदान नवीकृत और विस्तारित किया, विश्वास के कारण के रूप में रिपोर्टिंग की ईमानदारी का हवाला देते हुए, किसी कमी की अनुपस्थिति का नहीं।
चार क्षेत्रीय लेंस
स्थानीय सरकार
एक स्थानीय प्राधिकरण का परिणाम ढाँचा आमतौर पर राष्ट्रीय रूप से परिभाषित संकेतकों के एक व्यापक समूह के भीतर बैठता है जिसे उसने नहीं चुना लेकिन जिसके विरुद्ध उसे रिपोर्ट करना चाहिए, साथ ही स्थानीय रूप से चुने गए माप जो अपनी परिषद की प्राथमिकताओं को प्रतिबिंबित करते हैं। इस दोहरी संरचना का अर्थ है कि एक स्थानीय स्कोरकार्ड को अक्सर भिन्न प्रश्नों वाले दो दर्शकों में मेल-मिलाप करना पड़ता है — एक राष्ट्रीय निरीक्षक जो एक मानक संकेतक समूह के अनुपालन के बारे में पूछता है, और स्थानीय निवासी जो एक विशिष्ट, दृश्यमान स्थानीय स्थिति के बारे में पूछते हैं, जैसे कि एक विशेष सड़क या सेवा। स्थानीय-सरकार पैमाने पर तर्क मॉडल आमतौर पर एक अकेली सेवा (एक पुनर्चक्रण संग्रह परिवर्तन, एक पुस्तकालय पुनर्डिज़ाइन) के लिए बनाना सबसे आसान होता है और सामुदायिक सामंजस्य जैसे क्रॉस-कटिंग परिणामों के लिए विश्वसनीय रूप से बनाना सबसे कठिन, जहाँ परिषद के नियंत्रण से बाहर के कई अभिकर्ता भी योगदान करते हैं।
राष्ट्रीय सरकार
राष्ट्रीय परिणाम ढाँचे उस पैमाने पर संचालित होते हैं जहाँ परिणाम-आधारित जवाबदेही से जनसंख्या-जवाबदेही और प्रदर्शन-जवाबदेही का अंतर वैकल्पिक के बजाय आवश्यक हो जाता है: एक राष्ट्रीय स्वास्थ्य या शिक्षा संकेतक सैकड़ों कार्यक्रमों से प्रभावित होता है, जिनमें से कोई एक विभाग केवल कुछ को सीधे वित्तपोषित करता है, इसलिए एक अकेले मंत्रालय का एक राष्ट्रीय प्रवृत्ति के लिए एकमात्र श्रेय या एकमात्र दोष का दावा करना शायद ही कभी बचाव-योग्य है। राष्ट्रीय सरकारें बड़े, केंद्रीय रूप से अनिवार्य परिणाम ढाँचों का सबसे सामान्य स्रोत भी हैं जिन्हें शृंखला में नीचे की तसलीम संस्थाओं को अपनाना चाहिए, जो आवर्ती जोखिम बनाता है कि ढाँचा किसी एक कार्यक्रम की तसलीम को वास्तव में संचालित करने के बजाय विभागों में समुच्चय और तुलना के लिए डिज़ाइन किया गया है।
सामाजिक क्षेत्र और गैर-लाभकारी
गैर-लाभकारी संगठन और गैर-सरकारी संगठन (NGOs) अधिक बार एक प्राधिकर्ता द्वारा सौंपे गए ढाँचे को अपनाने के बजाय पहले सिद्धांतों से अपने ख़ुद के तर्क मॉडल और परिवर्तन सिद्धांत बनाते हैं, क्योंकि उनके वित्तपोषक अक्सर वे होते हैं जो एक मानक टेम्पलेट आपूर्ति करने के बजाय कारणात्मक मामला माँगते हैं। यह सामाजिक-क्षेत्र संस्थाओं को अपने वास्तविक कार्यक्रम तर्क के अनुरूप एक परिणाम ढाँचा डिज़ाइन करने की अधिक स्वतंत्रता देता है, लेकिन वित्तपोषक-संचालित माप थकान के प्रति अधिक जोखिम भी, जहाँ हर अनुदान अपनी ख़ुद की रिपोर्टिंग आवश्यकताएँ रखता है और एक संस्था उसी अंतर्निहित काम के लिए कई समानांतर परिणाम ढाँचे बनाए रखते हुए समाप्त होती है। परिणाम-आधारित जवाबदेही का जनसंख्या-बनाम-प्रदर्शन विभाजन यहाँ विशेष रूप से उपयोगी है, क्योंकि यह एक गैर-लाभकारी संगठन को स्पष्ट रूप से एक वित्तपोषक को यह बताने की भाषा देता है कि इसे अपने ख़ुद के प्रदर्शन मापों के लिए जवाबदेह ठहराया जा सकता है लेकिन अकेले, एक जनसंख्या संकेतक के लिए नहीं जिसे कई अन्य अभिकर्ता भी प्रभावित करते हैं।
बहुपक्षीय और अंतरराष्ट्रीय
बहुपक्षीय निकाय उस पैमाने पर परिणाम-आधारित प्रबंधन संचालित करते हैं जहाँ तर्क मॉडल की धारणाएँ एक साथ दर्जनों राष्ट्रीय संदर्भों में यात्रा करती हैं, इसलिए एक हस्तक्षेप तर्क जो एक देश में टिकता है वह किसी अन्य में मौन रूप से विफल हो सकता है बिना शीर्षक वैश्विक संकेतक के यह उजागर किए कि कौन-सा संदर्भ समस्या है। इस सेटिंग में परिणाम ढाँचे अक्सर कई दानदाता सरकारों को एक साथ संतुष्ट करने के लिए बनाए जाते हैं, प्रत्येक की अपनी रिपोर्टिंग प्राथमिकताओं के साथ, जो स्थानीय विशिष्टता की क़ीमत पर मानकीकृत संकेतक समूहों (अंतरराष्ट्रीय परिणाम-आधारित प्रबंधन मार्गदर्शन के माध्यम से बढ़ावा दिए जाने वाले प्रकार के) की ओर धकेलता है। एक आउटपुट जिसे एक कार्यान्वयन साझेदार तेज़ी से रिपोर्ट कर सकता है — दिए गए प्रशिक्षण, आपूर्ति किए गए क्लिनिक — और एक परिणाम जो केवल वर्षों बाद एक राष्ट्रीय सर्वेक्षण में दिखाई देता है, के बीच का अंतराल यहाँ अपने सबसे चौड़े पर है, जो मान लेने के बजाय अनुमानित कारणात्मक शृंखला को स्पष्ट रूप से बताने के अनुशासन को विशेष रूप से महत्वपूर्ण बनाता है।
सामान्य विफलता प्रतिमान
परिणाम के रूप में प्रच्छन्न आउटपुट। एक संस्था परिणाम भाषा का उपयोग करते हुए गतिविधि गणनाओं की रिपोर्ट करती है — 'बेहतर सामुदायिक सुरक्षा' जब वास्तविक माप गश्त की गई है — या तो वास्तविक घोल से या क्योंकि परिणाम डेटा इकट्ठा करना कठिन और धीमा है। लागत तब सामने आती है जब एक बाहरी समीक्षक सीधे परिणाम साक्ष्य माँगता है और दावे के पीछे केवल आउटपुट पाता है, जो एक मामूली, ईमानदारी से रिपोर्ट किए गए परिणाम की तुलना में संस्था की विश्वसनीयता को अधिक नुक़सान पहुँचाता है।
संकेतक प्रसार। एक स्कोरकार्ड या तर्क मॉडल मापों को उनके सेवानिवृत्त करने से अधिक तेज़ी से जमा करता है, हर नए हितधारक अनुरोध द्वारा एक मौजूदा को बदलने के बजाय एक और पंक्ति जोड़ने से प्रेरित। अंतिम परिणाम एक ऐसा ढाँचा है जो किसी भी प्रबंधक के लिए वास्तव में एक निर्णय में उपयोग करने के लिए बहुत बड़ा है, जो चुपचाप संस्था को अनौपचारिक निर्णय पर वापस लाता है जबकि आधिकारिक ढाँचा एक ऐसी रिपोर्टिंग कलाकृति बन जाता है जिससे कोई सलाह नहीं लेता।
लक्ष्य अपहरण। एक प्रदर्शन माप, एक बार वित्तपोषण या पुरस्कार से जुड़ जाने पर, वह चीज़ बन जाती है जिसे स्टाफ़ सीधे अनुकूलित करता है बजाय उस परिणाम के जिसके लिए यह प्रतिनिधि माना गया था — वह प्रतिमान जिसे गुडहार्ट का नियम वर्णित करता है, जहाँ एक लक्ष्य के रूप में उपयोग किया गया माप एक विश्वसनीय माप होना बंद कर देता है। विशेष रूप से लोक क्षेत्र में इस गतिशीलता का इस विषय का घर, गुणवत्ता व्यवस्थाएँ इसे कैसे पकड़ने और सीमित करने की कोशिश करती हैं सहित, कहीं और है (विषय 3.11 — गुणवत्ता, सुरक्षा, और प्रदर्शन प्रबंधन देखें); यहाँ यह प्रयास, गुणवत्ता, और प्रभाव मापों को अलग रखने और व्यवहार को विकृत करने से पहले लक्ष्यों को पुनः देखने के कारण के रूप में मायने रखता है।
श्रेय अति-विस्तार। एक कार्यक्रम की रिपोर्टिंग एक आबादी-स्तर परिणाम के लिए एकमात्र कारणात्मक ज़िम्मेदारी का अर्थ देती है जिसे कई अन्य अभिकर्ता भी प्रभावित करते हैं, या तो लापरवाह भाषा से या वास्तविक विश्वास से। जब परिणाम हिलने में विफल होता है — अक्सर कार्यक्रम के नियंत्रण से बाहर के कारणों से — संस्था अपने वास्तविक योगदान के अनुपात से बाहर दोष सोखती है, जो फिर भविष्य के चक्रों में कमियों की ईमानदार रिपोर्टिंग को हतोत्साहित करता है।
बिना फ़ीडबैक के ढाँचा। एक संस्था एक वास्तव में अच्छी तरह डिज़ाइन किया गया तर्क मॉडल और परिणाम ढाँचा बनाती है, फिर इसे वास्तविक परिणामों के विरुद्ध कभी पुनः नहीं देखती, इसलिए यह एक जीवंत प्रबंधन उपकरण के बजाय एक तय दस्तावेज़ में कठोर हो जाता है। इसके नीचे की रणनीति उन मूल धारणाओं पर चलती रहती है वर्षों बाद तक जब साक्ष्य ने उन्हें संशोधित करने को उचित ठहराया होता, उस अनुकूलनशीलता की क़ीमत पर जिसे ढाँचे को सक्षम करना था।
परिपक्वता मॉडल
| उप-आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वयन |
|---|---|---|---|---|---|
| प्रमुख कार्यक्रमों के लिए तर्क मॉडल मौजूद हैं | कारणात्मक तर्क कार्यक्रम स्टाफ़ द्वारा अनौपचारिक रूप से समझा गया, लिखा नहीं गया | कुछ कार्यक्रमों के पास एक लिखित तर्क मॉडल है, असंगत गहराई का | हर प्रमुख कार्यक्रम के पास एक सामान्य टेम्पलेट पर बनाया गया तर्क मॉडल है | तर्क मॉडल एक तय चक्र पर वास्तविक साक्ष्य के विरुद्ध समीक्षित और संशोधित | तर्क मॉडल तसलीम साझेदारों और वित्तपोषकों के साथ साझा और संयुक्त रूप से संशोधित |
| आउटपुट और परिणाम अलग-अलग रिपोर्ट किए जाते हैं | रिपोर्टिंग प्रयास, गुणवत्ता, और प्रभाव को अकेली शीर्षक संख्याओं में मिलाती है | कुछ रिपोर्टें उन्हें अलग करती हैं, लेकिन टीमों में असंगत रूप से | मानक रिपोर्टिंग प्रारूप प्रयास/गुणवत्ता/प्रभाव विभाजन को लागू करता है | परिणाम कमियाँ एक परिभाषित 'क्यों' जाँच ट्रिगर करती हैं, केवल एक नोट नहीं | प्रभाव डेटा सार्वजनिक रूप से साझा और साझेदारों के साथ संयुक्त रूप से संसाधन निर्धारित करने के लिए उपयोग किया जाता है |
| लोक मूल्य स्कोरकार्ड तीनों भुजाओं को कवर करता है | कोई औपचारिक स्कोरकार्ड नहीं; रिपोर्टिंग तदर्थ और आमतौर पर केवल-आउटपुट है | एक स्कोरकार्ड मौजूद है लेकिन एक भुजा (अक्सर क्षमता) पतली या अनुपस्थित है | तीनों भुजाएँ एक तय चक्र पर साथ में रिपोर्ट की जाती हैं | स्कोरकार्ड परिणाम सीधे बजट और जनादेश निर्णयों को खिलाते हैं | स्कोरकार्ड प्राधिकर्ताओं और नागरिकों के साथ सह-विकसित, संदर्भ बदलने पर अद्यतन |
| जनसंख्या संकेतक प्रदर्शन संकेतकों से अलग किए जाते हैं | अलग नहीं किया गया; दोनों उद्देश्यों के लिए संख्याओं का एक मिश्रित समूह उपयोग किया जाता है | अंतर कुछ स्टाफ़ द्वारा समझा गया, संगत रूप से लागू नहीं | कार्यक्रम प्रदर्शन मापों के साथ एक परिभाषित, बनाए रखा गया जनसंख्या संकेतक समूह | ज़िम्मेदारी सौंपे जाने से पहले जनसंख्या प्रवृत्तियों का कारण के लिए विश्लेषण किया जाता है | जनसंख्या संकेतक एजेंसियों और साझेदारों में सह-स्वामित्व, संयुक्त रूप से संसाधित |
जाँच-सूची
- हर प्रमुख कार्यक्रम के संकेतकों को अंतिम रूप देने से पहले उसके लिए एक तर्क मॉडल (इनपुट, गतिविधियाँ, आउटपुट, परिणाम, प्रभाव) बनाएँ।
- परिवर्तन सिद्धांत की कारणात्मक धारणाओं को इतना विशिष्ट रूप से लिखें कि साक्ष्य उनका खंडन कर सके।
- एक औपचारिक परिणाम-आधारित जवाबदेही कार्यान्वयन के बाहर भी हर प्रदर्शन रिपोर्ट में प्रयास, गुणवत्ता, और प्रभाव मापों को अलग करें।
- लोक मूल्य स्कोरकार्ड बनाएँ या अद्यतन करें ताकि तीनों भुजाएँ — वैधता, मूल्य, क्षमता — साथ में रिपोर्ट की जाएँ, अलग-अलग नहीं।
- जनसंख्या-स्तर के शीर्षक संकेतकों का एक छोटा, स्थिर समूह चुनें और कई रिपोर्टिंग चक्रों में उन्हें बनाए रखने के लिए प्रतिबद्ध हों।
- वर्तमान रिपोर्टों में उस भाषा की जाँच करें जो परिणाम शब्दों का उपयोग करके एक आउटपुट का वर्णन करती है, और इसे सुधारें।
- अगले बजट या वित्तपोषण दौर से पहले परिणाम ढाँचा प्रकाशित करें, इसके बाद के रूप में नहीं।
- किसी भी आबादी-स्तर के दावे के लिए स्पष्ट रूप से नाम दें जो संस्था अकेले नियंत्रित नहीं करती जिसकी वह रिपोर्ट करती है।
- वास्तविक साक्ष्य के विरुद्ध तर्क मॉडल को पुनः देखने के लिए एक तय चक्र निर्धारित करें, केवल एक निर्धारित औपचारिक मूल्यांकन पर नहीं।
- तर्क मॉडल की धारणाओं की समीक्षा करने के लिए कम से कम एक बाहरी हितधारक की पहचान करें इससे पहले कि इसे अंतिम रूप दिया जाए।
- उन मापों को सेवानिवृत्त करने के अवसरों के लिए वर्तमान संकेतक समूह का लेखा-परीक्षण करें जिनका कोई भी वास्तविक निर्णय में उपयोग नहीं करता।
- पहले से सहमत हों कि यदि एक शीर्षक परिणाम दो रिपोर्टिंग चक्रों तक हिलने में विफल रहता है तो संस्था क्या अलग करेगी।
प्रमुख स्रोत
- मार्क एच. मूर, क्रिएटिंग पब्लिक वैल्यू: स्ट्रैटेजिक मैनेजमेंट इन गवर्नमेंट (1995) और रिकग्नाइज़िंग पब्लिक वैल्यू (2013) — लोक मूल्य स्कोरकार्ड के लिए मूल ग्रंथ, संतुलित स्कोरकार्ड परंपरा को रणनीतिक त्रिभुज की तीन भुजाओं के लिए अनुकूलित करते हुए।
- मार्क फ़्रीडमैन, ट्राईइंग हार्ड इज़ नॉट गुड इनफ़: हाउ टू प्रोड्यूस मेज़रेबल इम्प्रूवमेंट्स फ़ॉर कस्टमर्स एंड कम्युनिटीज़ — परिणाम-आधारित जवाबदेही के लिए मूल ग्रंथ, जनसंख्या-जवाबदेही/प्रदर्शन-जवाबदेही अंतर और 'वक्र मोड़ें' विश्लेषण सहित।
- रॉबर्ट कैप्लान और डेविड नॉर्टन का संतुलित स्कोरकार्ड साहित्य — निजी-क्षेत्र स्रोत जिसे मूर ने लोक मूल्य संदर्भ के लिए अनुकूलित किया।
- परिणाम-आधारित प्रबंधन और मूल्यांकन शब्दावली पर OECD मार्गदर्शन, विकास और लोक-प्रशासन अभ्यास में परिणाम और प्रभाव भाषा को मानकीकृत करने के लिए उपयोग किया गया।
- विकास संचालन के लिए परिणाम ढाँचों और परिवर्तन सिद्धांतों पर विश्व बैंक स्वतंत्र मूल्यांकन समूह मार्गदर्शन।
- राज्य और सामुदायिक स्तर पर परिणाम-आधारित जवाबदेही लागू करने का वर्मोंट एजेंसी ऑफ़ ह्यूमन सर्विसेज़ का सार्वजनिक विवरण — जीवंत सरकारी उपयोग में ढाँचे का एक उदाहरण।
संदर्भ
- Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
- Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
- Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
- Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
- Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
- Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
- Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
- Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
- Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
- Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf