सरकार में एआई और कलनविधि-आधारित निर्णय-प्रक्रिया

लोक मूल्य में इसका महत्व क्यों है

लोक निकायों ने हमेशा ध्यान का राशनिंग किया है: कोई भी केसवर्कर हर आवेदक का व्यक्तिगत रूप से साक्षात्कार नहीं ले सकता, कोई सीमा शुल्क अधिकारी हर कंटेनर का निरीक्षण नहीं कर सकता, कोई धोखाधड़ी टीम हर दावे की समीक्षा नहीं कर सकती। कृत्रिम बुद्धिमत्ता (एआई) — ऐसी प्रणालियाँ बनाने का व्यापक क्षेत्र जो सामान्यतः मानव निर्णय की आवश्यकता वाले कार्य करती हैं — और कलनविधि-आधारित एवं स्वचालित निर्णय-प्रक्रिया (एडीएम) की संकीर्ण प्रथा, इस ध्यान का राशनिंग कहीं अधिक निरंतरता और कहीं बड़े पैमाने पर करने का वादा करती है, ऐसे मामलों को स्कोर, चिह्नित या सीधे तय करते हुए जिनकी पूरी समीक्षा कोई मानव टीम कभी नहीं कर पाती। विषय 5.1 उस डिजिटल सेवा-वितरण पैटर्न को कवर करता है जिसके भीतर यह क्षमता बैठती है (देखें विषय 5.1 — डिजिटल सरकार और डिजिटल परिवर्तन); यह विषय इस बारे में है कि जब कोई मॉडल — न कि कोई नामित अधिकारी — निर्णय का कुछ या पूरा हिस्सा ले रहा हो, तो क्या होता है।

यह वादा वास्तविक है: एक अच्छी तरह बनाया गया मॉडल ऐसे धोखाधड़ी पैटर्न पकड़ सकता है जो किसी केसवर्कर को अदृश्य हों, लाखों दावों में पात्रता नियमों को पूर्ण निरंतरता से लागू कर सकता है, और उन मामलों के लिए दुर्लभ विशेषज्ञ समय मुक्त कर सकता है जिन्हें वास्तव में निर्णय की आवश्यकता है। जोखिम भी उतना ही वास्तविक है और उस संगठन के भीतर से देखना कठिन है जिसने प्रणाली बनाई। ऐतिहासिक डेटा पर प्रशिक्षित मॉडल उसी भेदभाव को दोहरा और बढ़ा सकता है जिसे ठीक करने के लिए लोक निकाय का अस्तित्व है; एक जटिल मॉडल इतना अपारदर्शी हो सकता है कि न तो नागरिक और न ही उस पर निर्भर अधिकारी यह बता सके कि उसने जो तय किया वह क्यों तय किया; और एक ऐसा निर्णय जिसे कोई कलनविधि भारी मात्रा में सूचित करती है, प्रक्रियागत रूप से फिर भी किसी को भी नागरिक को कारण देने या उसका पक्ष सुनने में असमर्थ छोड़ सकता है। इसमें से कुछ भी काल्पनिक नहीं है: कई क्षेत्राधिकारों में नियामकों, अदालतों, और लोकपाल-समकक्ष निकायों ने पहले ही ऐसी लोक-क्षेत्र जोखिम-स्कोरिंग और धोखाधड़ी-पहचान प्रणालियाँ पाई हैं जो पड़ोस, आप्रवासन इतिहास, या पारिवारिक संरचना के आधार पर असमान रूप से लोगों को चिह्नित करती थीं, हर मामले में इसलिए क्योंकि जिस पैटर्न ने मॉडल को सटीक बनाया वह संयोगवश किसी संरक्षित या संवेदनशील विशेषता का भी पता लगाता था।

लोक मूल्य का दांव इसलिए दक्षता बनाम निष्पक्षता का एक बार तय किया जाने वाला व्यापार नहीं है, बल्कि निरंतर बनाए रखा जाने वाला एक डिज़ाइन अनुशासन है। किसी मानव अधिकारी द्वारा लाभ से इनकार किए गए नागरिक उस अधिकारी से पूछ सकते हैं कि क्यों, और किसी अन्य मानव से अपील कर सकते हैं जिसके पास उत्तर बदलने की हैसियत और शक्ति हो — यह वही जवाबदेही तंत्र है जिसे विषय 3.4 वर्णित करता है (देखें विषय 3.4 — जवाबदेही, पारदर्शिता, और वैधता)। किसी मॉडल द्वारा लाभ से इनकार किए गए नागरिक को भी स्पष्टीकरण का वही अधिकार और उसे पलटने वाले किसी मानव तक वही मार्ग चाहिए, वरना लोक निकाय ने चुपचाप एक उचित-प्रक्रिया गारंटी को बाहर कर दिया है जिसे उसने औपचारिक रूप से कभी वापस नहीं लिया। इसे सही करना ही वह चीज़ है जो किसी लोक निकाय को निरंतरता और पैमाने में कलनविधि-आधारित निर्णय-प्रक्रिया के वास्तविक लाभ को हासिल करने देती है, बिना "कलनविधि ने तय किया" वाक्यांश को जवाबदेही समाप्त करने वाला बनाए, बल्कि उसे शुरू करने वाला बनाकर।

मूल अवधारणाएँ

स्वचालित निर्णय-प्रक्रिया (एडीएम) डेटा, सॉफ़्टवेयर, और कलनविधियों का उपयोग है ताकि निर्णय अलग-अलग स्तर की मानव निगरानी के साथ लिए जाएँ या उन्हें महत्वपूर्ण रूप से सूचित किया जाए, जो एक स्पेक्ट्रम में फैला है — एक ऐसी प्रणाली से जो केवल किसी मानव के लिए जानकारी सामने लाती है, से लेकर एक ऐसी प्रणाली तक जो बिना किसी मानव भागीदारी के तय करती और कार्य करती है (देखें स्वचालित निर्णय-प्रक्रिया)। कोई प्रणाली इस स्पेक्ट्रम पर कहाँ बैठती है — निर्णय-सहायता, निर्णय-संवर्धन, या पूर्ण स्वचालन — यह तय करता है कि कौन-सी जवाबदेही और उचित-प्रक्रिया संबंधी बाध्यताएँ लागू होती हैं, यही कारण है कि नियामक तेज़ी से प्रणालियों को अंतर्निहित प्रौद्योगिकी के बजाय इस स्पेक्ट्रम पर उनकी स्थिति के अनुसार वर्गीकृत करने लगे हैं।

मानव-पाश-में (ह्यूमन-इन-द-लूप) एक ऐसी व्यवस्था का वर्णन करता है जिसमें कोई व्यक्ति किसी कलनविधि के परिणाम के प्रभावी होने से पहले उसकी समीक्षा या अनुमोदन करता है, जो मानव-पाश-पर (जहाँ कोई व्यक्ति निगरानी करता है और हस्तक्षेप कर सकता है) या बिना किसी समीक्षा के पूर्णतः स्वचालित प्रसंस्करण से अलग है (देखें ह्यूमन-इन-द-लूप)। एक वास्तविक मानव-पाश-में नियंत्रण के लिए आवश्यक है कि समीक्षक के पास प्रणाली से वास्तव में असहमत होने का समय, जानकारी, और हैसियत हो; जो समीक्षक लगभग हर कलनविधि-आधारित सिफ़ारिश को इसलिए स्वीकृत करता है क्योंकि असहमत होने में सहमत होने से अधिक समय या अधिक व्यक्तिगत जोखिम लगता है, वह निगरानी नहीं कर रहा, भले ही प्रक्रिया चार्ट में मानव कदम दिखाई दे। इस पैटर्न को अक्सर स्वचालन पूर्वाग्रह कहा जाता है, और यह इस विषय के विषय की सबसे सामान्य और सबसे कम दिखाई देने वाली विफलताओं में से एक है।

कलनविधि-आधारित पूर्वाग्रह (एल्गोरिदमिक बायस) किसी कंप्यूटरीकृत प्रणाली की व्यवस्थित, दोहराई जाने वाली प्रवृत्ति है जो अनुचित परिणाम उत्पन्न करती है — उदाहरण के लिए, एक समूह को दूसरे पर उन तरीकों से तरजीह देना जिनका न तो प्रणाली के डिज़ाइनरों ने इरादा किया था और न ही अक्सर उन्हें इसका पता चला (देखें कलनविधि-आधारित पूर्वाग्रह)। लोक प्रशासन में प्रमुख स्रोत प्रशिक्षण-डेटा पूर्वाग्रह है: ऐतिहासिक प्रवर्तन, ऋण, या केसवर्क रिकॉर्ड पर प्रशिक्षित मॉडल उन रिकॉर्ड में मौजूद पैटर्न सीखता है, जिसमें अतीत में किसे जाँचा गया, स्वीकृत किया गया, या चिह्नित किया गया, इसमें पका हुआ कोई भी ऐतिहासिक अति-निगरानी, अल्प-सेवा, या भेदभावपूर्ण व्यवहार शामिल है। कोई मॉडल यह परिणाम तब भी दोहरा सकता है जब कोई संवेदनशील विशेषता — नस्ल, विकलांगता, आप्रवासन स्थिति — डेटा से स्पष्ट रूप से बाहर रखी गई हो, क्योंकि कोई सहसंबद्ध प्रॉक्सी (पिनकोड, उपनाम, शिफ़्ट पैटर्न, लाभ इतिहास) वही संकेत किसी और नाम से वहन करती है; नामित चर को उसकी प्रॉक्सी का परीक्षण किए बिना हटा देना एक सामान्य तरीका है जिससे कोई लोक निकाय यह मान लेता है कि उसने पूर्वाग्रह की समस्या हल कर दी है जबकि वास्तव में उसने बिल्कुल हल नहीं की है।

मशीन लर्निंग में निष्पक्षता (फ़ेयरनेस) तकनीकी और प्रक्रियागत दृष्टिकोणों के उस परिवार को संदर्भित करती है जो स्वचालित निर्णयों में कलनविधि-आधारित पूर्वाग्रह को मापने और सुधारने के लिए है (देखें निष्पक्षता (मशीन लर्निंग))। इस क्षेत्र की एक वास्तव में कठिन विशेषता — जो कोई सुलझाई जा सकने वाली तकनीकी फुटनोट नहीं है — यह है कि निष्पक्षता की कई सहज रूप से उचित परिभाषाएँ — समूहों में समान स्वीकृति दर, समूहों में समान त्रुटि दर, और प्रत्येक समूह के भीतर समान रूप से कैलिब्रेटेड सटीकता — जब भी अंतर्निहित समूहों की डेटा में अलग-अलग आधार दरें हों, गणितीय रूप से असंगत होती हैं। कोई लोक निकाय एक साथ हर परिभाषा को संतुष्ट नहीं कर सकता; वह केवल यह चुन सकता है, स्पष्ट रूप से और उन कारणों के साथ जिनका बचाव करने को वह तैयार हो, कि हाथ में लिए गए निर्णय को किस परिभाषा के लिए अनुकूलित होना चाहिए — जो एक तकनीकी निर्णय के भेस में एक नीतिगत निर्णय है।

व्याख्येयता और ब्लैक बॉक्स समस्या। कोई मॉडल ब्लैक बॉक्स होता है जब उसकी आंतरिक कार्यप्रणाली को केवल उसके इनपुट और आउटपुट से जाँचा या समझा नहीं जा सकता — यह कई उच्च-प्रदर्शन मशीन-लर्निंग मॉडलों के लिए सत्य है, जिनकी सटीकता अक्सर ठीक उसी जटिलता से आती है जो उन्हें व्याख्या करना कठिन बनाती है। व्याख्येय कृत्रिम बुद्धिमत्ता, या एक्सएआई, उन विधियों का क्षेत्र है जो किसी मॉडल के तर्क को जाँचने योग्य बनाती हैं, जो परिणामी निर्णयों के लिए स्वाभाविक रूप से व्याख्येय मॉडल प्रकार चुनने से लेकर ऐसे उत्तर-निर्मित स्पष्टीकरण उत्पन्न करने तक फैली हैं जो यह उजागर करने के बजाय कि किसी जटिल मॉडल ने वास्तव में क्या किया, केवल उसका अनुमान लगाते हैं। यह अंतर उतना ही कानूनी रूप से मायने रखता है जितना तकनीकी रूप से: एक अनुमानित स्पष्टीकरण जो प्रशंसनीय लगता है लेकिन मॉडल के वास्तविक तर्क को प्रतिबिंबित नहीं करता, पारदर्शिता जाँच-सूची को संतुष्ट कर सकता है जबकि उस नागरिक को असफल कर देता है जो अपने विरुद्ध निर्णय के वास्तविक आधार को चुनौती देने के लिए उस पर निर्भर है।

व्याख्या का अधिकार वह विवादित कानूनी सिद्धांत है कि किसी महत्वपूर्ण स्वचालित निर्णय के अधीन व्यक्ति शामिल तर्क का सार्थक स्पष्टीकरण पाने का हक़दार है, जो यूरोपीय संघ के सामान्य डेटा संरक्षण विनियमन से सबसे निकटता से जुड़ा है, जो पूर्णतः स्वचालित प्रसंस्करण पर आधारित उन निर्णयों को प्रतिबंधित करता है जो क़ानूनी या समान रूप से महत्वपूर्ण प्रभाव उत्पन्न करते हैं और विषय को मानव हस्तक्षेप पाने तथा निर्णय को चुनौती देने के अधिकार देता है (देखें व्याख्या का अधिकार और सामान्य डेटा संरक्षण विनियमन)। कानूनी विद्वान इस बात पर असहमत हैं कि व्यवहार में यह अधिकार वास्तव में कितना मज़बूत है, और यूरोपीय संघ के बाहर के क्षेत्राधिकारों में बड़े पैमाने पर समकक्ष सांविधिक अधिकार का अभाव है, यही कारण है कि किसी लोक निकाय को 'हम प्रासंगिक डेटा संरक्षण क़ानून का पालन करते हैं' को 'हम इस निर्णय को प्रभावित व्यक्ति को समझा सकते हैं' के समान नहीं मानना चाहिए — दोनों दावे संबंधित हैं पर एक जैसे नहीं, और केवल दूसरा ही वह है जिसकी उचित प्रक्रिया वास्तव में माँग करती है।

उचित प्रक्रिया और प्राकृतिक न्याय। प्रशासनिक कानून में, उचित प्रक्रिया — वह सिद्धांत, जो संयुक्त राज्य के संवैधानिक कानून में सबसे अधिक विकसित हुआ पर तुलनीय रूप में कई कानूनी प्रणालियों में गूँजता है, कि राज्य को किसी व्यक्ति को किसी अधिकार या हक़ से वंचित करने से पहले निष्पक्ष प्रक्रियाओं का पालन करना चाहिए — और प्राकृतिक न्याय — कॉमनवेल्थ प्रशासनिक-कानून परंपरा जिसमें निष्पक्ष सुनवाई और निर्णयकर्ता में पूर्वाग्रह से मुक्ति आवश्यक है — दोनों ही एक ऐसी धारणा पर टिके हैं जो कंप्यूटरों के अस्तित्व में आने से पहले लिखी गई थी: कि किसी निर्णय का एक पहचान योग्य निर्णयकर्ता होता है जो कारण दे सकता है, जिसे अयोग्य ठहराने वाले पूर्वाग्रह से मुक्त दिखाया जा सकता है, और जिससे पुनर्विचार माँगा जा सकता है। कोई कलनविधि इन तीनों धारणाओं को एक साथ तनावग्रस्त कर देती है — कारण तकनीकी रूप से अनुपलब्ध हो सकते हैं, प्रश्नगत 'पूर्वाग्रह' व्यक्तिगत के बजाय सांख्यिकीय है, और उसी मॉडल द्वारा पुनर्विचार वही उत्तर देता है — यही कारण है कि कलनविधि-आधारित निर्णयों के लिए उचित प्रक्रिया को स्पष्ट रूप से इंजीनियर करना होगा, न कि मानव निर्णयकर्ताओं के लिए बनाई गई प्रक्रियाओं से विरासत में लेना होगा।

एआई का जोखिम-आधारित विनियमन। सभी एआई को एक समान रूप से विनियमित करने के बजाय, एक उभरता हुआ नियामक पैटर्न — जो यूरोपीय संघ के कृत्रिम बुद्धिमत्ता अधिनियम में सबसे पूर्ण रूप से विकसित है — अनुप्रयोग के दांव के अनुसार बाध्यताओं को स्तरीकृत करता है, उपयोगों के एक संकीर्ण समूह को पूरी तरह प्रतिबंधित करता है, 'उच्च-जोखिम' उपयोगों (जिनमें स्पष्ट रूप से लोक-क्षेत्र पात्रता निर्धारण, कानून-प्रवर्तन जोखिम आकलन, और आप्रवासन निर्णय शामिल हैं) पर सबसे भारी अनुपालन बाध्यताएँ लगाता है, निम्न-जोखिम उपयोगों के लिए पारदर्शिता प्रकटीकरण की माँग करता है, और न्यूनतम-जोखिम उपयोगों को बड़े पैमाने पर अविनियमित छोड़ देता है (देखें कृत्रिम बुद्धिमत्ता अधिनियम)। किसी दिए गए क्षेत्राधिकार में नियामक पैटर्न जो भी हो, अंतर्निहित विचार — कि शासन-संबंधी बाध्यताओं को प्रौद्योगिकी की परिष्कृतता के बजाय निर्णय के दांव के अनुसार बढ़ना चाहिए — यूरोपीय संघ की विशिष्ट व्यवस्था का पालन करने की प्रत्यक्ष कानूनी बाध्यता के बिना भी एक उपयोगी डिज़ाइन सिद्धांत है।

श्रेष्ठ व्यवहार

1. मॉडल चुनने से पहले, न कि बाद में, हर प्रणाली को निर्णय के दांव के अनुसार वर्गीकृत करें। एक ऐसी प्रणाली जो किसी मामले को मानव समीक्षा के लिए चिह्नित करती है, उस प्रणाली से अलग बाध्यता रखती है जो सीधे किसी लाभ से इनकार कर देती है; तय करें कि कोई उपयोग-मामला किस स्तर पर बैठता है, यूरोपीय संघ के एआई अधिनियम की जोखिम श्रेणियों जैसे किसी ढाँचे को संदर्भ बिंदु के रूप में उपयोग करते हुए, निर्माण से पहले, न कि तैनाती के बाद अंतर उजागर होने पर।
2. लोगों को सरल भाषा में बताएँ जब उनके बारे में किसी निर्णय में कोई कलनविधि शामिल हो। नियम और शर्तों में दबी एक सामान्य गोपनीयता सूचना यह पूरा नहीं करती; सूचना में बताया जाना चाहिए कि प्रणाली क्या करती है, वह किस डेटा का उपयोग करती है, और यदि व्यक्ति उसके परिणाम से असहमत हो तो क्या होता है।
3. ऐसा मानव-पाश-में नियंत्रण बनाएँ जिसे कोई समीक्षक वास्तव में प्रयोग कर सके, और मापें कि क्या वे करते हैं। ओवरराइड दर, प्रति मामला औसत खर्च किया गया समय, और क्या मॉडल से असहमत होने वाले समीक्षकों को कोई ऐसी बाधा झेलनी पड़ती है जो सहमत होने वालों को नहीं झेलनी पड़ती — इसे ट्रैक करें; यदि ओवरराइड दर लगभग शून्य है, तो समीक्षा बहुत संभवतः केवल दिखावटी है।
4. वास्तविक परिणामों का उपयोग करके असमान प्रभाव का परीक्षण करें, न कि डेवलपरों के इरादों का। तैनाती से पहले और उसके बाद एक निश्चित आवर्ती अंतराल पर, मॉडल के परिणामों को संरक्षित और संवेदनशील विशेषताओं के अनुसार विभाजित करके मापें, जिसमें पिनकोड या लाभ इतिहास जैसे संभावित प्रॉक्सी भी शामिल हों, क्योंकि जो मॉडल कभी किसी संरक्षित चर का सीधे उपयोग नहीं करता वह भी स्पष्ट रूप से असमान परिणाम उत्पन्न कर सकता है।
5. हर प्रभावित व्यक्ति को किसी ऐसे मानव तक मार्ग दें जिसके पास कलनविधि के निर्णय को पलटने की शक्ति हो, न कि केवल उसे समझाने की। एक अपील चैनल जो पलटे जाने की वास्तविक संभावना के बिना केवल मॉडल के तर्क को दोहराता है, व्याख्या के अधिकार के शब्दों को पूरा करता है जबकि उसके उद्देश्य को विफल कर देता है।
6. क़ानूनी रूप से महत्वपूर्ण निर्णयों के लिए मामूली रूप से अधिक सटीक ब्लैक-बॉक्स मॉडल की तुलना में व्याख्येय मॉडल को प्राथमिकता दें। जहाँ व्याख्येय मॉडल और जटिल मॉडल के बीच सटीकता का अंतर छोटा है, वहाँ व्याख्येयता से मिलने वाला लाभ आमतौर पर नागरिक, अपील अधिकारी, और लेखा-परीक्षक के लिए संगठन को मिलने वाली मामूली सटीकता से कहीं अधिक मूल्यवान होता है।
7. हर प्रणाली के उद्देश्य, प्रशिक्षण डेटा, ज्ञात सीमाओं, और आशयित उपयोग को एक स्थायी रिकॉर्ड में दर्ज करें, और जब भी इनमें से कुछ बदले तो उसे अद्यतन करें। एक उद्देश्य के लिए तैनात किया गया मॉडल जिसे चुपचाप किसी अन्य उद्देश्य के लिए पुनः उपयोग में लाया गया — उदाहरण के लिए, धोखाधड़ी जाँच को सामान्य पात्रता ट्राइएज तक विस्तारित करना — आमतौर पर अपने मूल सत्यापन और पूर्वाग्रह परीक्षण को पीछे छोड़ चुका होता है।
8. उच्च-दांव वाले मॉडल के लिए प्रशिक्षण और परिचालन डेटा को एक शासित, उद्देश्य-सीमित पाइपलाइन के भीतर रखें। एक प्रशासनिक उद्देश्य के लिए एकत्र किए गए डेटासेट का किसी असंबद्ध उद्देश्य के मॉडल को प्रशिक्षित करने के लिए पुनः उपयोग करना उतनी ही बड़ी डेटा-शासन विफलता है जितनी कि मॉडलिंग विफलता (देखें विषय 5.4 — लोक क्षेत्र डेटा, अंतरसंचालनीयता और खुला डेटा)।
9. कलनविधि-आधारित लेखा-परीक्षा को ऐसे फ़ंक्शन के अधीन रखें जो प्रणाली बनाने या संचालित करने वाली टीम को रिपोर्ट नहीं करता। प्रणाली के अपने डेवलपरों द्वारा की गई लेखा-परीक्षा अलग समस्याएँ पाती है, और उनकी संख्या भी कम, बनिस्बत किसी वास्तव में स्वतंत्र समीक्षक द्वारा की गई लेखा-परीक्षा के जिसके पास प्रतिकूल निष्कर्ष प्रकाशित करने की हैसियत हो (देखें विषय 3.4 — जवाबदेही, पारदर्शिता, और वैधता)।
10. वास्तविक निर्णयों के लिए किसी प्रणाली को चालू करने से पहले एक शैडो अवधि चलाएँ। प्रणाली के लागू होने से पहले एक निश्चित अवधि के लिए मॉडल की सिफ़ारिशों की तुलना उन्हीं मामलों पर वास्तविक मानव निर्णयों से करें, ताकि किसी भी व्यवस्थित विचलन का पता किसी नागरिक के प्रभावित होने से पहले चल सके।
11. बिना किसी मानव समीक्षा के पूर्ण स्वचालन को केवल सबसे कम गंभीर और सबसे अधिक प्रतिवर्तनीय निर्णयों के लिए आरक्षित रखें। कोई निर्णय जितना अधिक गंभीर और कम प्रतिवर्तनीय हो — किसी लाभ की समाप्ति, आपराधिक जाँच को ट्रिगर करने वाला धोखाधड़ी संदर्भ, प्रवेश से इनकार — मॉडल की मापी गई सटीकता चाहे जो भी हो, किसी मानव को वास्तव में पाश में रखने का तर्क उतना ही मज़बूत होता है।
12. किसी निश्चित समय-सारणी पर, न कि केवल किसी समस्या की सूचना मिलने पर, पुनः प्रशिक्षण, पुनः सत्यापन, और पूर्वाग्रह के लिए पुनः परीक्षण करें। किसी मॉडल के सटीकता और निष्पक्षता गुण चुपचाप बहक सकते हैं क्योंकि जनसंख्या और वह दुनिया बदलती है जिस पर उसे प्रशिक्षित किया गया था, और कोई लोक निकाय जो केवल शिकायत मिलने के बाद जाँच करता है, उसने बहाव को उतने समय तक चलने दिया है जितना समय शिकायत को सामने आने में लगा।

अपनी टीम के साथ चर्चा करने योग्य प्रश्न

हमारे संगठन में कहाँ कोई कलनविधि वर्तमान में किसी ऐसे निर्णय को लेती है या भारी मात्रा में सूचित करती है जो किसी व्यक्ति के अधिकारों, हक़ों, या स्वतंत्रता को प्रभावित करता है, और क्या हर प्रभावित व्यक्ति वास्तव में यह पता लगा सकता है कि ऐसा हुआ? कई संगठन, जब वे वास्तव में अपनी प्रणालियों की सूची बनाते हैं, तो पाते हैं कि कलनविधि-आधारित स्कोरिंग या ट्राइएज किसी भी एक टीम की समझ से कहीं अधिक निर्णय-बिंदुओं में घुस चुका है, जिसे अक्सर मूलतः एक कम-दांव वाले दक्षता उपकरण के रूप में शुरू किया गया था। इस प्रश्न का उपयोग ईमानदारी से यह सूची बनाने के लिए करें, जिसमें किसी विक्रेता से ख़रीदी गई प्रणालियाँ भी शामिल हों न कि केवल आंतरिक रूप से बनाई गई, क्योंकि ख़रीद प्रक्रिया यह अस्पष्ट कर सकती है कि कोई ख़रीदा गया उपकरण वास्तव में कितना तय कर रहा है। चर्चा करें कि क्या आपकी वर्तमान सूचना प्रथाएँ किसी प्रभावित नागरिक को बिना विशेषज्ञ ज्ञान के यह पता लगाने देंगी कि उसके मामले में कोई मॉडल शामिल था।

यदि कोई नागरिक कल हमारे किसी स्वचालित निर्णय को औपचारिक रूप से चुनौती दे, तो क्या हम उसे कोई वास्तविक, विशिष्ट कारण दे पाएँगे, या केवल प्रक्रिया का वर्णन? एक प्रक्रिया विवरण — 'प्रणाली ने आपकी आय, परिवार का आकार, और भुगतान इतिहास पर विचार किया' — इस बात की व्याख्या के समान नहीं है कि उन इनपुटों ने इस विशेष व्यक्ति के लिए यह विशेष परिणाम क्यों उत्पन्न किया। इस प्रश्न का उपयोग किसी एक चालू प्रणाली को चुनने और टीम के रूप में वह स्पष्टीकरण लिखने की कोशिश करने के लिए करें जो किसी वास्तविक नागरिक को अपील करने पर मिलेगा। यदि यह अभ्यास कठिन साबित हो, तो वह कठिनाई ही निष्कर्ष है।

क्या हमें पता है कि हमारा प्रशिक्षण डेटा पूर्वाग्रह के किसी ऐतिहासिक पैटर्न को दोहराता है, और क्या हमने इसका परीक्षण अपने इरादों के बजाय वास्तविक परिणामों के विरुद्ध किया है? किसी डेटासेट से किसी संरक्षित विशेषता को बाहर रखना उसके प्रभाव को बाहर रखने के समान नहीं है, क्योंकि सहसंबद्ध प्रॉक्सी वही संकेत किसी अलग नाम से वहन कर सकती हैं। इस प्रश्न का उपयोग यह पहचानने के लिए करें कि आपकी किन प्रणालियों का परीक्षण वास्तविक तैनाती-पश्चात परिणामों का उपयोग करके, प्रासंगिक विशेषताओं के अनुसार विभाजित करके, असमान प्रभाव के लिए किया गया है, न कि केवल इनपुट डेटा में किसी संरक्षित चर की उपस्थिति के लिए। चर्चा करें कि यदि यह अभी तक नहीं किया गया हो तो आपकी सबसे अधिक दांव वाली प्रणाली पर वह परिणाम-आधारित परीक्षण चलाने के लिए क्या आवश्यक होगा।

क्या हमारी मानव-पाश-में समीक्षा एक वास्तविक जाँच है, या एक रबर स्टैंप जिसे हमने इतनी बारीकी से नहीं मापा कि नोटिस कर सकें? समय के दबाव में, पूरी जानकारी के बिना, या असहमत होने में सहमत होने से अधिक बाधा झेलने वाला कोई मानव समीक्षक कलनविधि की सिफ़ारिश को उसकी गुणवत्ता चाहे जो भी हो, स्वीकृत करने की ओर झुकेगा। इस प्रश्न का उपयोग कम से कम एक प्रणाली के लिए अपनी वास्तविक ओवरराइड दर पता लगाने के लिए करें, और चर्चा करें कि वह संख्या आपको इस बारे में क्या बताती है कि क्या समीक्षा एक नियंत्रण के रूप में काम कर रही है या एक अनुपालन औपचारिकता के रूप में।

जब कोई हमारी कलनविधि द्वारा लिए गए या भारी मात्रा में सूचित किए गए निर्णय के विरुद्ध अपील करना चाहता है, तो प्रक्रियागत रूप से वास्तव में क्या होता है — और क्या उसे पलटने की वास्तविक शक्ति रखने वाला कोई मानव कभी उस अपील को देखता है? कई अपील प्रक्रियाएँ किसी नागरिक को मॉडल के तर्क के विवरण से होकर वापस भेज देती हैं बिना कभी किसी ऐसे व्यक्ति तक पहुँचे जो गुण-दोष के आधार पर परिणाम को पलट सके। इस प्रश्न का उपयोग किसी वास्तविक या यथार्थवादी मामले के लिए एक अपील को शुरू से अंत तक ट्रेस करने और उस सटीक बिंदु की पहचान करने के लिए करें, यदि कोई हो, जहाँ उत्तर बदलने का वास्तविक अधिकार रखने वाला कोई मानव शामिल होता है।

यदि हमारा कोई मॉडल तैनाती के बाद बिगड़ता या बहकता है तो जोखिम की जिम्मेदारी किसकी है, और किसी नागरिक या पत्रकार के हमें बताने से पहले हमें यह वास्तव में कैसे पता चलेगा? किसी मॉडल के निष्पक्षता और सटीकता गुण लॉन्च के समय स्थिर नहीं होते; वे जनसंख्या, अर्थव्यवस्था, या सन्निकट नीति में बदलाव के साथ बदल सकते हैं, अक्सर उस टीम के लिए अदृश्य रूप से जिसने प्रणाली बनाई थी। इस प्रश्न का उपयोग यह पहचानने के लिए करें कि तैनाती-पश्चात निगरानी के लिए कौन जवाबदेह है, किस अंतराल पर, और विशेष रूप से क्या किसी पुनः प्रशिक्षण या रोक को ट्रिगर करेगा। यदि ईमानदार उत्तर 'कोई विशेष रूप से इसे नहीं देख रहा' है, तो इसे इस चर्चा से निकलने वाला सबसे तात्कालिक निष्कर्ष मानें।

व्यवहार में: एक लोक मूल्य उदाहरण

एक काल्पनिक राष्ट्रीय सामाजिक-बीमा एजेंसी ने यह प्राथमिकता तय करने के लिए एक जोखिम-स्कोरिंग मॉडल बनाया कि उसकी धोखाधड़ी-जाँच टीम को कौन-से बेरोज़गारी-लाभ दावों की सबसे पहले समीक्षा करनी चाहिए, यह उन वर्षों के बैकलॉग के बाद हुआ जिसमें वास्तविक धोखाधड़ी महीनों तक बिना जाँचे रही जबकि ईमानदार दावेदार असंबद्ध प्रसंस्करण देरी में प्रतीक्षा करते रहे। मॉडल को पाँच वर्षों की बंद जाँच फ़ाइलों पर प्रशिक्षित किया गया, यह सीखते हुए कि किन दावा विशेषताओं ने ऐतिहासिक रूप से किसी पुष्ट धोखाधड़ी निष्कर्ष से पहले उपस्थिति दिखाई, और इसने परीक्षण में अच्छा प्रदर्शन किया: जिन दावों को इसने उच्च जोखिम के रूप में स्कोर किया वे यादृच्छिक नमूने की तुलना में कहीं अधिक दर पर पुष्ट धोखाधड़ी निकले, और एजेंसी का नेतृत्व, वर्षों में पहली बार अपने बैकलॉग को गिरते देखकर, इस रोलआउट को एक निर्विवाद सफलता मानने लगा।

अठारह महीने बाद, एक आंतरिक लोकपाल-समकक्ष कार्यालय ने कुछ ऐसा नोटिस किया जिसे धोखाधड़ी टीम के अपने प्रदर्शन डैशबोर्ड ने सामने नहीं लाया था: डाक ज़िलों की एक छोटी संख्या में रहने वाले दावेदार, जो असमान रूप से कम-आय वाले और असमान रूप से हाल के प्रवासी थे, अन्यत्र समान दावेदारों की तुलना में लगभग तीन गुना दर पर जाँच के लिए चिह्नित किए जा रहे थे, और उनके चिह्नित दावों का कहीं अधिक अनुपात बिना किसी धोखाधड़ी पाए बंद कर दिया गया था। यह पैटर्न प्रशिक्षण डेटा तक वापस जाता था: ऐतिहासिक जाँच फ़ाइलें उन वर्षों को दर्शाती थीं जिनमें फ़ील्ड जाँचकर्ताओं ने, अपनी स्वयं की अनौपचारिक अंतर्दृष्टियों से काम करते हुए, ठीक उन्हीं ज़िलों में मैनुअल स्पॉट-चेक केंद्रित किए थे, इसलिए मॉडल ने वहाँ रहने को धोखाधड़ी का संकेतक मानना सीख लिया था, जबकि वास्तव में यह केवल अतीत में अधिक बार जाँचे जाने का संकेतक था। डाक ज़िला कभी मॉडल का इनपुट नहीं रहा था; उसकी आवश्यकता भी नहीं थी, क्योंकि परिवार संरचना, नियोक्ता क्षेत्र, और भुगतान-विधि क्षेत्र उसके साथ इतनी निकटता से सहसंबद्ध थे कि प्रॉक्सी के रूप में वही संकेत वहन कर सकें।

एजेंसी की जाँच ने इस पैटर्न के वास्तविक होने की पुष्टि की, और एक दूसरी, अधिक शांत समस्या की भी पुष्टि की: वे मानव समीक्षक जिन्हें किसी मामले के आगे बढ़ने से पहले पूर्ण जाँच के लिए स्वीकृत करना था, भारी बहुमत मामलों में मॉडल की शीर्ष-स्कोर सिफ़ारिशों को स्वीकृत कर रहे थे, प्रति मामला औसत समीक्षा समय दो मिनट से भी कम था — किसी सांख्यिकीय स्कोर पर सार्थक रूप से पुनर्विचार करने के लिए पर्याप्त के आसपास भी नहीं, जिसका अर्थ था कि नेतृत्व ने जिस मानव-पाश-में नियंत्रण को एक सुरक्षा उपाय बताया था, वह वास्तव में उस असमानता को नहीं पकड़ रहा था जिसे पकड़ने के लिए वह अस्तित्व में था। एजेंसी की प्रतिक्रिया ने इस विषय के कई श्रेष्ठ व्यवहारों को एक साथ जोड़ा: उसने ऐतिहासिक अति-निगरानी पैटर्न को सुधार कर मॉडल को पुनः प्रशिक्षित किया, समीक्षा समय बढ़ाया और समीक्षकों को यह अधिकार दिया कि जब उनका अपना निर्णय स्कोर से असहमत हो तो वे बिना आगे भेजे किसी चिह्नित मामले को बंद कर सकें, और चिह्नित होने वाले किसी भी व्यक्ति के लिए एक सरल-भाषा सूचना और एक नामित केस अधिकारी तक वास्तविक अपील मार्ग बनाया। प्रति समीक्षक घंटे जाँच उपज कुछ कम हो गई, लेकिन पहले अति-चिह्नित ज़िलों के चिह्नित दावों में पुष्ट-धोखाधड़ी दर बढ़कर बाक़ी केसलोड से मेल खाने लगी, जिसे एजेंसी की अपनी लेखा-परीक्षा ने सफलता का वास्तविक मापदंड माना — चिह्नित दावों की मात्रा नहीं, बल्कि यह कि क्या चिह्नित करना वास्तविक धोखाधड़ी पर आधारित था न कि उस ऐतिहासिक पैटर्न पर जिसे मॉडल ने दोहराना सीख लिया था।

चार क्षेत्रीय दृष्टिकोण

स्थानीय सरकार

स्थानीय प्राधिकरण तेज़ी से उन निर्णयों के लिए कलनविधि-आधारित उपकरण तैनात कर रहे हैं जिनके निवासियों के लिए सबसे तात्कालिक और व्यक्तिगत दांव हैं — आवास-आवंटन प्राथमिकता, बाल-कल्याण जोखिम स्कोरिंग, और परिषद-कर या लाभ धोखाधड़ी ट्राइएज — अक्सर बिना इन प्रणालियों को स्वयं बनाने, सत्यापित करने, या लेखा-परीक्षण करने की आंतरिक डेटा-विज्ञान क्षमता के, जिससे कई विक्रेता-आपूर्ति मॉडलों पर निर्भर रह जाते हैं जिनके प्रशिक्षण डेटा और सत्यापन का प्राधिकरण पूरी तरह निरीक्षण नहीं कर सकता। यह एक विशेष ख़रीद अनुशासन बनाता है: कोई कलनविधि-आधारित प्रणाली नियुक्त करने वाले स्थानीय प्राधिकरण को एक संविदागत शर्त के रूप में वही व्याख्येयता, पूर्वाग्रह-परीक्षण, और लेखा-परीक्षा पहुँच माँगनी चाहिए जो वह किसी आंतरिक निर्माण से माँगता — क्योंकि किसी निवासी के उचित-प्रक्रिया अधिकार इसलिए कम नहीं हो जाते कि प्राधिकरण ने प्रणाली बनाई नहीं बल्कि ख़रीदी। स्थानीय सरकार की निवासियों से निकटता का यह भी अर्थ है कि कोई कलनविधि-आधारित चूक औपचारिक शिकायत बनने से पहले समुदाय में व्यक्तिगत रूप से ज्ञात होने की अधिक संभावना रखती है, जो हल्की, शीघ्र स्थानीय समीक्षा के पक्ष में तर्क देता है।

राष्ट्रीय सरकार

राष्ट्रीय एजेंसियाँ इस विषय के दायरे की सबसे बड़े-पैमाने की प्रणालियाँ संचालित करती हैं — कर धोखाधड़ी पहचान, आप्रवासन जोखिम आकलन, राष्ट्रीय लाभ पात्रता — जहाँ एक छोटी सी त्रुटि दर भी प्रभावित लोगों की बहुत बड़ी निरपेक्ष संख्या में बदल जाती है, और जहाँ एजेंसी के पास आमतौर पर वास्तविक सुरक्षा उपाय बनाने की सबसे गहरी तकनीकी और कानूनी क्षमता होती है। राष्ट्रीय सरकारें आमतौर पर वह स्तर भी होती हैं जहाँ जोखिम-आधारित एआई विनियमन, जहाँ यह मौजूद है, लिखा और लागू किया जाता है, जो राष्ट्रीय एजेंसियों को सबसे स्पष्ट औपचारिक बाध्यताएँ और सबसे बड़ा जोखिम देता है जब कोई लेखा-परीक्षा या अदालत पाती है कि किसी स्वचालित प्रणाली ने बड़े पैमाने पर भेदभावपूर्ण या असमीक्षणीय परिणाम उत्पन्न किए हैं। उचित-प्रक्रिया के दांव यहाँ एक अन्य अर्थ में भी सबसे ऊँचे हैं: कोई आप्रवासन या कानून-प्रवर्तन जोखिम स्कोर हक़ के साथ-साथ स्वतंत्रता को भी प्रभावित कर सकता है, जो ठीक वहीं सबसे रूढ़िवादी स्वचालन मुद्रा — सबसे कम पूर्ण स्वचालन और सबसे वास्तविक मानव समीक्षा — के पक्ष में तर्क देता है जहाँ मामलों की संख्या के कारण स्वचालन का तकनीकी तर्क अक्सर सबसे मज़बूत होता है।

सामाजिक क्षेत्र और गैर-लाभकारी संगठन

गैर-लाभकारी संगठन और गैर-सरकारी संगठन (एनजीओ) सहायता वितरण को ट्राइएज करने, पात्रता के लिए लाभार्थियों की स्क्रीनिंग करने, या ठीक इस विषय द्वारा कवर किए गए क्षेत्रों में केसवर्क को प्राथमिकता देने के लिए तेज़ी से कलनविधि-आधारित उपकरणों का उपयोग कर रहे हैं, अक्सर वास्तविक संसाधन बाधाओं के तहत जो स्वचालन के लिए दक्षता तर्क को वास्तव में सम्मोहक बनाती हैं। हालाँकि जवाबदेही संरचना सरकार से स्पष्ट रूप से भिन्न है: किसी गैर-लाभकारी संगठन के लाभार्थियों के पास शायद ही कभी वह सांविधिक अपील अधिकार होता है जो किसी नागरिक के पास किसी राज्य एजेंसी के विरुद्ध होता है, और संगठन का प्राथमिक जवाबदेही संबंध अक्सर उन लोगों की बजाय जिनके बारे में कलनविधि निर्णय लेती है, उसके दानदाताओं तक जाता है — जो ठीक वही जवाबदेही अंतराल है जिसे विषय 3.8 — सामाजिक क्षेत्र और गैर-लाभकारी प्रबंधन — इस क्षेत्र के लिए सामान्यतः वर्णित करता है। कलनविधि-आधारित ट्राइएज अपनाने वाले किसी गैर-लाभकारी संगठन को इसलिए इस विषय में वर्णित स्पष्टीकरण और अपील अधिकारों को एक स्वैच्छिक मानक के रूप में बनाना चाहिए, इसलिए नहीं कि कोई नियामक इसकी माँग करता है, बल्कि इसलिए कि संगठन जिन लोगों की सेवा करता है उनके पास इसका कोई अन्य मार्ग नहीं है।

बहुपक्षीय और अंतर्राष्ट्रीय

बहुपक्षीय निकाय और अंतर्राष्ट्रीय मानवीय एजेंसियाँ सीमाओं और कानूनी प्रणालियों के आर-पार कलनविधि-आधारित लक्ष्यीकरण और जोखिम-स्कोरिंग उपकरण लागू करती हैं, अक्सर संकट की स्थितियों में जहाँ स्वचालन का गति-लाभ सबसे तीव्र होता है और उपलब्ध डेटा सबसे कम विश्वसनीय होता है — अधूरा पंजीकरण डेटा, एक संकट के लिए एकत्र किया गया और दूसरे के लिए पुनः उपयोग में लाया गया डेटा, और ऐसी आबादी जिसकी किसी स्कोरिंग निर्णय को चुनौती देने की क्षमता सीमित है जो यह तय करता है कि उन्हें सहायता मिलेगी या नहीं। कोई एकल राष्ट्रीय उचित-प्रक्रिया क़ानून या व्याख्या-के-अधिकार व्यवस्था किसी बहुपक्षीय निकाय के परिचालनों में समान रूप से लागू नहीं होती, इसलिए इस विषय में वर्णित सुरक्षा उपायों को किसी प्रवर्तनीय बाहरी कानूनी ढाँचे से विरासत में लेने के बजाय संगठन के अपने परिचालन मानकों में बनाना होगा, जो बहुपक्षीय निकायों के लिए सामान्यतः विषय 3.4 द्वारा पहचाने गए प्रतिनिधित्व और जवाबदेही अंतराल को प्रतिध्वनित करता है (देखें विषय 3.4 — जवाबदेही, पारदर्शिता, और वैधता)। यहाँ दांव भी गंभीर हैं, क्योंकि कोई कलनविधि-आधारित निर्णय भोजन, आश्रय, या शरण-प्रसंस्करण तक पहुँच तय कर सकता है, उन लोगों के लिए जिनके पास इस विषय में किसी भी समूह की तुलना में किसी ग़लत परिणाम को अपील करने की सबसे कम व्यावहारिक क्षमता है।

सामान्य विफलता पैटर्न

प्रॉक्सी भेदभाव। कोई मॉडल किसी संरक्षित विशेषता को सीधे बाहर रखता है लेकिन किसी सहसंबद्ध चर — पिनकोड, उपनाम, रोज़गार क्षेत्र, लाभ इतिहास — से समतुल्य संकेत सीख लेता है, उसी भेदभावपूर्ण पैटर्न को दोहराते हुए जिसे रोकने के लिए बहिष्करण किया गया था। इसकी लागत एक झूठा सुरक्षा भाव है: संगठन सच में कह सकता है कि संरक्षित चर का कभी उपयोग नहीं किया गया, जबकि परिणाम उतना ही असमान बना रहता है जितना कि उसका उपयोग किया गया होता।

मानव समीक्षा में स्वचालन पूर्वाग्रह। कोई मानव समीक्षक, जो औपचारिक रूप से किसी कलनविधि की सिफ़ारिश जाँचने के लिए बाध्य है, भारी बहुमत मामलों में उसे स्वीकृत कर देता है क्योंकि असहमत होने में सहमत होने से अधिक समय, अधिक तर्क, या अधिक व्यक्तिगत जोखिम लगता है। इसकी लागत यह है कि जिस नियंत्रण को संगठन त्रुटियाँ पकड़ता हुआ मानता है, वह व्यवहार में उन्हें रबर-स्टैंप कर रहा होता है, और यह आमतौर पर तभी दिखाई देता है जब कोई प्रक्रिया के अस्तित्व पर भरोसा करने के बजाय सीधे ओवरराइड दर मापता है।

व्याख्येयता की नाटकबाज़ी। कोई संगठन किसी स्वचालित निर्णय के लिए ऐसा स्पष्टीकरण देता है जो विशिष्ट और संतोषजनक लगता है लेकिन बाद में किसी ऐसी विधि द्वारा उत्पन्न किया गया है जो मॉडल के वास्तविक तर्क को उजागर करने के बजाय केवल उसका अनुमान लगाती है। इसकी लागत तब सामने आती है जब स्पष्टीकरण को वास्तविक जाँच के तहत परखा जाता है — कोई अपील, कोई लेखा-परीक्षा, कोई कानूनी चुनौती — और पता चलता है कि यह इस बात से मेल नहीं खाता कि प्रणाली ने वास्तव में वह विशेष परिणाम क्यों उत्पन्न किया।

फ़ीडबैक लूप के माध्यम से दोहराया गया ऐतिहासिक पूर्वाग्रह। पिछले निर्णयों के परिणामों पर प्रशिक्षित कोई मॉडल — किन पड़ोसों की जाँच की गई, किन आवेदनों को स्वीकृत किया गया — उस अति-निगरानी या अल्प-सेवा के पैटर्न को सीखता और फिर स्थायी करता है जिसने उन पिछले निर्णयों को आकार दिया, और यह जो हर नया दौर निर्णयों का उत्पन्न करता है वह अगले संस्करण के लिए प्रशिक्षण डेटा बन जाता है, पैटर्न को सुधारने के बजाय गहरा करते हुए। यह अंतर्राष्ट्रीय स्तर पर कई लोक-क्षेत्र क्षेत्रों में दस्तावेज़ीकृत किया जा चुका है, जिसमें जोखिम-आधारित पुलिसिंग और कल्याण-धोखाधड़ी स्क्रीनिंग शामिल हैं, और अंतर्निहित तंत्र उन दस्तावेज़ीकृत मामलों में इतना सुसंगत है कि इसे किसी भी ऐतिहासिक प्रवर्तन या केसवर्क डेटा पर प्रशिक्षित प्रणाली में, क्षेत्राधिकार चाहे जो भी हो, एक सामान्य जोखिम माना जा सकता है।

जवाबदेही अंतराल, या "कई हाथ" समस्या। जब कोई निर्णय किसी विक्रेता के मॉडल, किसी एजेंसी के डेटा, किसी नीति टीम की सीमा-निर्धारण, और किसी केसवर्कर के नाममात्र हस्ताक्षर से होकर गुज़रता है, तो किसी ग़लत परिणाम की ज़िम्मेदारी संगठन के लिए स्वयं भी वास्तव में अस्पष्ट रह सकती है, जिसमें हर पक्ष त्रुटि का स्रोत किसी अन्य की ओर इंगित कर सके। इसकी लागत केवल यह नहीं है कि प्रभावित नागरिक को स्पष्ट उत्तर नहीं मिल पाता, बल्कि यह भी है कि संगठन वास्तविक कारण को विश्वसनीय रूप से ठीक नहीं कर पाता, क्योंकि संपूर्ण निर्णय के लिए कोई एकल जवाबदेह मालिक मौजूद नहीं होता (देखें विषय 3.4 — जवाबदेही, पारदर्शिता, और वैधता)।

परिपक्वता मॉडल

जाँच-सूची

• किसी व्यक्ति के अधिकारों या हक़ों को प्रभावित करने वाला निर्णय लेने या महत्वपूर्ण रूप से सूचित करने वाली हर प्रणाली की एक संपूर्ण सूची बनाएँ, जिसमें विक्रेता-आपूर्ति उपकरण भी शामिल हों।
• उस सूची में हर प्रणाली को उसके द्वारा सूचित किए जाने वाले निर्णय के दांव के अनुसार, किसी परिभाषित जोखिम स्तर का उपयोग करके वर्गीकृत करें।
• पुष्टि करें कि हर प्रभावित व्यक्ति को एक सरल-भाषा सूचना मिलती है कि उसके मामले में कोई कलनविधि शामिल थी।
• वह विशिष्ट, मामला-स्तरीय स्पष्टीकरण तैयार करें जो किसी वास्तविक नागरिक को अपील पर मिलेगा, और परीक्षण करें कि क्या यह वास्तव में उसे संतुष्ट करेगा।
• हर उच्च-दांव प्रणाली का असमान प्रभाव के लिए वास्तविक तैनाती-पश्चात परिणामों का उपयोग करके परीक्षण करें, प्रासंगिक विशेषताओं के अनुसार विभाजित करके, न कि केवल बहिष्कृत इनपुट चरों की जाँच करके।
• हर मानव-पाश-में नियंत्रण के लिए ओवरराइड दर और औसत समीक्षा समय मापें, और लगभग-शून्य ओवरराइड दर को एक निष्कर्ष मानें।
• पुष्टि करें कि निर्णय पलटने का वास्तविक अधिकार रखने वाला कोई नामित मानव हर अपील की समीक्षा करता है।
• कलनविधि-आधारित लेखा-परीक्षा को प्रणाली बनाने या संचालित करने वाली टीम से स्वतंत्र किसी फ़ंक्शन के अधीन रखें।
• पुष्टि करें कि हर प्रणाली के लिए प्रशिक्षण और परिचालन डेटा एक शासित, उद्देश्य-सीमित पाइपलाइन के भीतर रहता है।
• किसी शिकायत के समीक्षा ट्रिगर करने की प्रतीक्षा करने के बजाय, हर तैनात मॉडल के लिए एक निश्चित पुनः-प्रशिक्षण और पुनः-सत्यापन समय-सारणी तय करें।
• पहचानें कि आपकी किन प्रणालियों में सबसे गंभीर और सबसे कम प्रतिवर्तनीय निर्णयों के लिए वर्तमान में कोई पूर्ण-स्वचालन सुरक्षा उपाय नहीं है, और उसे पहले ठीक करें।
• अपनी टीम के साथ ऊपर दिए गए छह चर्चा प्रश्न चलाएँ और दर्ज करें कि कहाँ ईमानदार उत्तर आधिकारिक उत्तर से भिन्न है।

मुख्य स्रोत

• OECD एआई सिद्धांत (2019, 2024 में अद्यतन) — विश्वसनीय एआई के लिए पहला अंतर-सरकारी मानक, जो समावेशी विकास, मानवाधिकार, पारदर्शिता, मज़बूती, और जवाबदेही को कवर करता है।
• यूरोपीय संघ कृत्रिम बुद्धिमत्ता अधिनियम (विनियमन (EU) 2024/1689) — एआई के लिए पहला व्यापक जोखिम-स्तरीकृत कानूनी ढाँचा, जो स्पष्ट रूप से लोक-क्षेत्र पात्रता, कानून-प्रवर्तन, और आप्रवासन उपयोगों को संबोधित करता है।
• US सरकारी जवाबदेही कार्यालय, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — लोक क्षेत्र में एआई जवाबदेही के लिए एक शासन, डेटा, प्रदर्शन, और निगरानी ढाँचा।
• डेनियल कीट्स सिट्रॉन की 'तकनीकी उचित प्रक्रिया' पर विद्वत्तापूर्ण रचना, जो तर्क देती है कि स्वचालित प्रणालियों को मानव के बजाय कलनविधि-आधारित निर्णय-प्रक्रिया के लिए विशेष रूप से बनाई गई प्रक्रियागत सुरक्षा उपायों की आवश्यकता है।
• कैथी ओ'नील, वर्जीनिया यूबैंक्स, और फ्रैंक पास्क्वाले की लोक-सम्मुख विद्वत्तापूर्ण रचना, जो कलनविधि-आधारित पूर्वाग्रह, स्वचालित कल्याण प्रशासन, और अपारदर्शी स्कोरिंग प्रणालियों पर केंद्रित है, जिसे इस विषय की प्रशिक्षण-डेटा पूर्वाग्रह और ब्लैक-बॉक्स समस्या की चर्चा में उद्धृत किया गया है।

संदर्भ

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp