কৃত্রিম বুদ্ধিমত্তা ও সরকারে অ্যালগরিদমভিত্তিক সিদ্ধান্ত গ্রহণ

কেন এটি জনমূল্যে গুরুত্বপূর্ণ

সরকারি সংস্থা সবসময় মনোযোগ রেশন করেছে: একজন কেসওয়ার্কার ব্যক্তিগতভাবে প্রতিটি আবেদনকারীর সাক্ষাৎকার নিতে পারেন না, একজন শুল্ক কর্মকর্তা প্রতিটি কন্টেইনার পরিদর্শন করতে পারেন না, একটি প্রতারণা-দল প্রতিটি দাবি পর্যালোচনা করতে পারে না। কৃত্রিম বুদ্ধিমত্তা (AI) — সাধারণত মানবিক বিচার দাবি করে এমন কাজ সম্পাদনকারী ব্যবস্থা গড়ার বিস্তৃত ক্ষেত্র — এবং অ্যালগরিদমভিত্তিক ও স্বয়ংক্রিয় সিদ্ধান্ত গ্রহণ (ADM)-এর সংকীর্ণতর চর্চা সেই মনোযোগ আরও সংগতভাবে এবং অনেক বড় মাপে রেশন করার প্রতিশ্রুতি দেয়, এমন ক্ষেত্রে স্কোর, চিহ্নিত বা সরাসরি সিদ্ধান্ত দিয়ে যা একটি মানব দল কখনও পুরোপুরি পর্যালোচনা করতে পারত না। বিষয় 5.1 এই সামর্থ্য যে ডিজিটাল সেবা-সরবরাহ প্যাটার্নের ভেতরে বসে তা ঢাকে (দেখুন বিষয় 5.1 — ডিজিটাল সরকার ও ডিজিটাল রূপান্তর); এই বিষয় সেই বিষয়ে যখন একজন নামকরা কর্মকর্তার বদলে একটি মডেল সিদ্ধান্তের কিছু বা সবটা নিচ্ছে তখন কী ঘটে।

প্রতিশ্রুতি প্রকৃত: একটি ভালো-গড়া মডেল এমন প্রতারণা-প্যাটার্ন ধরতে পারে যা একজন কেসওয়ার্কারের কাছে অদৃশ্য, দশ লক্ষ দাবি জুড়ে নিখুঁত সংগতিতে যোগ্যতার নিয়ম প্রয়োগ করতে পারে, এবং যে মামলাগুলো সত্যিই বিচার দাবি করে সেগুলোর জন্য দুষ্প্রাপ্য বিশেষজ্ঞ সময় মুক্ত করতে পারে। ঝুঁকিও সমান প্রকৃত এবং ব্যবস্থাটি গড়া প্রতিষ্ঠানের ভেতর থেকে দেখা আরও কঠিন। ঐতিহাসিক উপাত্তে প্রশিক্ষিত একটি মডেল ঠিক সেই বৈষম্য পুনরুৎপাদন ও বিবর্ধিত করতে পারে যা সংশোধন করতে একটি সরকারি সংস্থা বিদ্যমান; একটি জটিল মডেল এতটা অস্বচ্ছ হতে পারে যে নাগরিক বা এর ওপর নির্ভরশীল কর্মকর্তা কেউই বলতে পারেন না এটি কেন যা সিদ্ধান্ত নিয়েছে তা নিয়েছে; এবং একটি অ্যালগরিদম দ্বারা ব্যাপকভাবে অবহিত সিদ্ধান্ত তবু প্রক্রিয়াগতভাবে কাউকে নাগরিককে কারণ দিতে বা তাঁর মামলা শুনতে অক্ষম রেখে যেতে পারে। এর কোনোটিই অনুমানমূলক নয়: নিয়ন্ত্রক, আদালত এবং ন্যায়পাল-সমতুল্য সংস্থা একাধিক এখতিয়ারে ইতিমধ্যে এমন সরকারি-খাতের ঝুঁকি-স্কোরিং ও প্রতারণা-শনাক্তকরণ ব্যবস্থা পেয়েছে যা পাড়া, অভিবাসন ইতিহাস বা পারিবারিক কাঠামো অনুযায়ী অসমানুপাতিকভাবে মানুষকে চিহ্নিত করেছে, প্রতিটি ক্ষেত্রে কারণ মডেলকে নির্ভুল করা প্যাটার্ন একটি সুরক্ষিত বা সংবেদনশীল বৈশিষ্ট্যও অনুসরণ করত।

জনমূল্যের বাজি তাই একবার ভারসাম্য করার বিনিময় হিসেবে দক্ষতা বনাম ন্যায্যতা নয়, বরং ক্রমাগত টিকিয়ে রাখার একটি নকশা-শৃঙ্খলা। একজন মানব কর্মকর্তা দ্বারা একটি সুবিধা প্রত্যাখ্যাত নাগরিক সেই কর্মকর্তাকে কেন জিজ্ঞেস করতে পারেন, এবং উত্তর বদলানোর মর্যাদা ও ক্ষমতাসম্পন্ন অন্য একজন মানুষের কাছে আপিল করতে পারেন — বিষয় 3.4 যে জবাবদিহি-যন্ত্র বর্ণনা করে (দেখুন বিষয় 3.4 — জবাবদিহি, স্বচ্ছতা ও বৈধতা)। একটি মডেল দ্বারা একটি সুবিধা প্রত্যাখ্যাত নাগরিকের একই ব্যাখ্যার অধিকার এবং সেটি উল্টাতে পারেন এমন একজন মানুষের কাছে একই পথ দরকার, নয়তো সরকারি সংস্থা নীরবে একটি ন্যায্য-প্রক্রিয়ার নিশ্চয়তা রপ্তানি করেছে যা এটি আনুষ্ঠানিকভাবে কখনও প্রত্যাহার করেনি। এটি সঠিকভাবে করাই একটি সরকারি সংস্থাকে সংগতি ও মাপে অ্যালগরিদমভিত্তিক সিদ্ধান্ত গ্রহণের প্রকৃত লাভ ধরতে দেয়, "অ্যালগরিদম সিদ্ধান্ত নিয়েছে" কে জবাবদিহি শুরু করার বদলে শেষ করা একটি বাক্যে রূপান্তরিত না করে।

মূল ধারণা

স্বয়ংক্রিয় সিদ্ধান্ত গ্রহণ (ADM) হলো মানব তত্ত্বাবধানের বিভিন্ন মাত্রায় সিদ্ধান্ত নিতে বা বস্তুগতভাবে অবহিত করতে উপাত্ত, সফটওয়্যার ও অ্যালগরিদমের ব্যবহার, একটি বর্ণালী জুড়ে যা কেবল একজন মানুষের জন্য তথ্য তুলে ধরা একটি ব্যবস্থা থেকে মানুষের সম্পূর্ণ সম্পৃক্ততা ছাড়া সিদ্ধান্ত নেওয়া ও কাজ করা একটি ব্যবস্থা পর্যন্ত বিস্তৃত (দেখুন স্বয়ংক্রিয় সিদ্ধান্ত গ্রহণ)। একটি ব্যবস্থা সেই বর্ণালীতে কোথায় বসে — সিদ্ধান্ত সমর্থন, সিদ্ধান্ত বর্ধন, বা পূর্ণ স্বয়ংক্রিয়করণ — কোন জবাবদিহি ও ন্যায্য-প্রক্রিয়ার বাধ্যবাধকতা প্রযোজ্য তা নির্ধারণ করে, যে কারণে নিয়ন্ত্রকেরা ক্রমবর্ধমানভাবে অন্তর্নিহিত প্রযুক্তি নয়, এতে অবস্থান অনুযায়ী ব্যবস্থা শ্রেণিবদ্ধ করে।

হিউম্যান-ইন-দ্য-লুপ এমন একটি ব্যবস্থা বর্ণনা করে যেখানে একজন ব্যক্তি একটি অ্যালগরিদমের আউটপুট কার্যকর হওয়ার আগে পর্যালোচনা বা অনুমোদন করেন, হিউম্যান-অন-দ্য-লুপ (একজন ব্যক্তি পর্যবেক্ষণ করেন এবং হস্তক্ষেপ করতে পারেন) বা কোনো পর্যালোচনা ছাড়া সম্পূর্ণ স্বয়ংক্রিয় প্রক্রিয়াকরণ থেকে ভিন্ন (দেখুন হিউম্যান-ইন-দ্য-লুপ)। একটি প্রকৃত হিউম্যান-ইন-দ্য-লুপ নিয়ন্ত্রণে পর্যালোচকের ব্যবস্থার সঙ্গে আসলে দ্বিমত করার সময়, তথ্য ও মর্যাদা থাকা দরকার; যে পর্যালোচক প্রায় প্রতিটি অ্যালগরিদমিক সুপারিশ অনুমোদন করেন কারণ দ্বিমত করা সম্মত হওয়ার চেয়ে বেশি সময় নেয় বা বেশি ব্যক্তিগত ঝুঁকি বহন করে তিনি তত্ত্বাবধান প্রয়োগ করছেন না, যদিও প্রক্রিয়া-চার্টে একটি মানব ধাপ দেখায়। এই প্যাটার্ন, প্রায়ই স্বয়ংক্রিয়করণ পক্ষপাত (অটোমেশন বায়াস) বলা হয়, এই বিষয়ের সবচেয়ে সাধারণ ও সবচেয়ে কম-দৃশ্যমান ব্যর্থতাগুলোর একটি।

অ্যালগরিদমিক পক্ষপাত হলো একটি কম্পিউটারাইজড ব্যবস্থার অন্যায্য ফল তৈরির পদ্ধতিগত, পুনরাবৃত্তিযোগ্য প্রবণতা — উদাহরণস্বরূপ, ব্যবস্থার নকশাকারীরা যা উদ্দেশ্য করেননি বা, প্রায়ই, লক্ষও করেননি এমন উপায়ে একটি গোষ্ঠীকে অন্যটির ওপর সুবিধা দেওয়া (দেখুন অ্যালগরিদমিক পক্ষপাত)। সরকারি প্রশাসনে প্রধান উৎস প্রশিক্ষণ-উপাত্ত পক্ষপাত: ঐতিহাসিক প্রয়োগ, ঋণ বা কেসওয়ার্ক রেকর্ডে প্রশিক্ষিত একটি মডেল সেই রেকর্ডের প্যাটার্ন শেখে, অতীতে কে তদন্ত, অনুমোদিত বা চিহ্নিত হয়েছিল তাতে গাঁথা যেকোনো ঐতিহাসিক অতিরিক্ত-পুলিশিং, কম-সেবা বা বৈষম্যমূলক চর্চাসহ। একটি মডেল এই ফল পুনরুৎপাদন করতে পারে এমনকি যখন একটি সংবেদনশীল বৈশিষ্ট্য — জাতি, প্রতিবন্ধিতা, অভিবাসন অবস্থা — স্পষ্টভাবে উপাত্ত থেকে বাদ দেওয়া হয়, কারণ একটি সম্পর্কিত প্রক্সি (ডাকঘর কোড, পদবি, শিফট প্যাটার্ন, সুবিধা ইতিহাস) একই সংকেত অন্য নামে বহন করে; এর প্রক্সিগুলো পরীক্ষা না করে নামকরা চলক সরানো একটি সরকারি সংস্থা বিশ্বাস করার একটি সাধারণ উপায় যে এটি এমন পক্ষপাত সমস্যা ঠিক করেছে যা আদৌ ঠিক করেনি।

যন্ত্র শিক্ষণে ন্যায্যতা স্বয়ংক্রিয় সিদ্ধান্তে অ্যালগরিদমিক পক্ষপাত পরিমাপ ও সংশোধনের কারিগরি ও প্রক্রিয়াগত পদ্ধতির পরিবার বোঝায় (দেখুন ন্যায্যতা (যন্ত্র শিক্ষণ))। এই ক্ষেত্রের একটি প্রকৃত কঠিন বৈশিষ্ট্য, একটি সমাধানযোগ্য কারিগরি পাদটীকা নয়, হলো ন্যায্যতার বেশ কয়েকটি সহজাতভাবে যুক্তিসংগত সংজ্ঞা — গোষ্ঠী জুড়ে সমান অনুমোদন হার, গোষ্ঠী জুড়ে সমান ত্রুটি হার, এবং প্রতিটি গোষ্ঠীর ভেতরে সমানভাবে ক্যালিব্রেটেড নির্ভুলতা — গাণিতিকভাবে অসামঞ্জস্যপূর্ণ যখনই অন্তর্নিহিত গোষ্ঠীগুলোর উপাত্তে ভিন্ন ভিত্তি-হার থাকে। একটি সরকারি সংস্থা সব সংজ্ঞা একসঙ্গে পূরণ করতে পারে না; এটি কেবল স্পষ্টভাবে, রক্ষা করতে ইচ্ছুক যুক্তিসহ, বেছে নিতে পারে হাতের সিদ্ধান্তের কোন সংজ্ঞার জন্য অপ্টিমাইজ করা উচিত, যা একটি নীতি-বিচার যা কারিগরি বিচারের ছদ্মবেশে।

ব্যাখ্যাযোগ্যতা ও ব্ল্যাক বক্স সমস্যা। একটি মডেল ব্ল্যাক বক্স যখন এর অভ্যন্তরীণ কার্যপ্রক্রিয়া কেবল এর ইনপুট ও আউটপুট থেকে পরিদর্শন বা বোঝা যায় না — অনেক উচ্চ-কার্যসম্পাদনকারী যন্ত্র-শিক্ষণ মডেলের ক্ষেত্রে সত্য, যাদের নির্ভুলতা প্রায়ই ঠিক সেই জটিলতা থেকে আসে যা তাদের ব্যাখ্যা করা কঠিন করে। ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তা, বা XAI, হলো একটি মডেলের যুক্তি পরিদর্শনযোগ্য করার পদ্ধতির ক্ষেত্র, পরিণামবাহী সিদ্ধান্তের জন্য সহজাতভাবে ব্যাখ্যাযোগ্য মডেল ধরন বেছে নেওয়া থেকে একটি জটিল মডেল আসলে কী করেছিল তা প্রকাশ নয়, আনুমানিক করা পরবর্তী-পর্যায়ের ব্যাখ্যা তৈরি পর্যন্ত। পার্থক্যটি আইনগতভাবে কারিগরির মতোই গুরুত্বপূর্ণ: একটি আনুমানিক ব্যাখ্যা যা যুক্তিসংগত শোনায় কিন্তু মডেলের প্রকৃত যুক্তি প্রতিফলিত করে না তা একটি স্বচ্ছতা চেকলিস্ট পূরণ করতে পারে আর সেই নাগরিককে ব্যর্থ করতে পারে যিনি তাঁর বিরুদ্ধে একটি সিদ্ধান্তের প্রকৃত ভিত্তি চ্যালেঞ্জ করতে এর ওপর নির্ভর করেন।

ব্যাখ্যার অধিকার হলো বিতর্কিত আইনি নীতি যে একটি উল্লেখযোগ্য স্বয়ংক্রিয় সিদ্ধান্তের অধীন ব্যক্তি জড়িত যুক্তির একটি অর্থপূর্ণ ব্যাখ্যার অধিকারী, ইউরোপীয় ইউনিয়নের General Data Protection Regulation-এর সঙ্গে সবচেয়ে ঘনিষ্ঠভাবে যুক্ত, যা আইনি বা অনুরূপ উল্লেখযোগ্য প্রভাব তৈরি করা কেবল স্বয়ংক্রিয় প্রক্রিয়াকরণের ভিত্তিতে সিদ্ধান্ত সীমিত করে এবং বিষয়কে মানবিক হস্তক্ষেপ পাওয়ার এবং সিদ্ধান্ত চ্যালেঞ্জ করার অধিকার দেয় (দেখুন ব্যাখ্যার অধিকার এবং General Data Protection Regulation)। আইনবিদেরা বিতর্ক করেন বাস্তবে এই অধিকার আসলে কতটা শক্তিশালী, এবং ইউরোপীয় ইউনিয়নের বাইরের এখতিয়ারগুলোতে মূলত একটি সমতুল্য বিধিবদ্ধ অধিকার নেই, যে কারণে একটি সরকারি সংস্থার "আমরা প্রাসঙ্গিক উপাত্ত সুরক্ষা আইন মেনে চলি"-কে "আমরা এই সিদ্ধান্ত যাঁকে প্রভাবিত করে তাঁকে ব্যাখ্যা করতে পারি"-র সমতুল্য মনে করা উচিত নয় — দুটি দাবি সম্পর্কিত কিন্তু এক নয়, এবং কেবল দ্বিতীয়টি ন্যায্য প্রক্রিয়া আসলে যা দাবি করে।

ন্যায্য প্রক্রিয়া (ডিউ প্রসেস) ও প্রাকৃতিক ন্যায়। প্রশাসনিক আইনে, ডিউ প্রসেস — নীতি, মার্কিন সাংবিধানিক আইনে সবচেয়ে বিকশিত কিন্তু অনেক আইনি ব্যবস্থায় তুলনীয় রূপে প্রতিধ্বনিত, যে রাষ্ট্রকে একজন ব্যক্তিকে একটি অধিকার বা স্বত্ব থেকে বঞ্চিত করার আগে ন্যায্য প্রক্রিয়া অনুসরণ করতে হবে — এবং প্রাকৃতিক ন্যায় — কমনওয়েলথ প্রশাসনিক-আইন ঐতিহ্য যা একটি ন্যায্য শুনানি এবং সিদ্ধান্ত-গ্রহণকারীর পক্ষপাত-মুক্ততা দাবি করে — উভয়ই কম্পিউটারের অস্তিত্বের আগে লেখা একটি অনুমানের ওপর দাঁড়ায়: যে একটি সিদ্ধান্তের একজন শনাক্তযোগ্য সিদ্ধান্ত-গ্রহণকারী আছেন যিনি কারণ দিতে পারেন, যাঁকে একটি অযোগ্যতাসূচক পক্ষপাত-মুক্ত দেখানো যায়, এবং যাঁকে পুনর্বিবেচনা করতে বলা যায়। একটি অ্যালগরিদম একসঙ্গে তিনটি অনুমানকেই চাপে ফেলে — কারণ কারিগরিভাবে অনুপলব্ধ হতে পারে, প্রশ্নযুক্ত "পক্ষপাত" ব্যক্তিগত নয়, পরিসংখ্যানগত, এবং একই মডেলের পুনর্বিবেচনা একই উত্তর দেয় — যে কারণে অ্যালগরিদমিক সিদ্ধান্তের জন্য ন্যায্য প্রক্রিয়া স্পষ্টভাবে প্রকৌশল করতে হবে, মানব সিদ্ধান্ত-গ্রহণকারীদের জন্য গড়া প্রক্রিয়া থেকে উত্তরাধিকারসূত্রে নয়।

AI-এর ঝুঁকি-ভিত্তিক নিয়ন্ত্রণ। সব AI সমানভাবে নিয়ন্ত্রণ করার বদলে, একটি উদীয়মান নিয়ন্ত্রক প্যাটার্ন — ইউরোপীয় ইউনিয়নের Artificial Intelligence Act-এ সবচেয়ে পূর্ণরূপে বিকশিত — প্রয়োগের বাজি অনুযায়ী বাধ্যবাধকতা স্তরবদ্ধ করে, ব্যবহারের একটি সংকীর্ণ সেট সম্পূর্ণরূপে নিষিদ্ধ করে, "উচ্চ-ঝুঁকি" ব্যবহারে (যার মধ্যে স্পষ্টভাবে সরকারি-খাতের যোগ্যতা নির্ধারণ, আইন-প্রয়োগ ঝুঁকি মূল্যায়ন এবং অভিবাসন সিদ্ধান্ত অন্তর্ভুক্ত) সবচেয়ে ভারী সম্মতি বাধ্যবাধকতা আরোপ করে, নিম্ন-ঝুঁকি ব্যবহারে স্বচ্ছতা প্রকাশ দাবি করে, এবং ন্যূনতম-ঝুঁকি ব্যবহার মূলত অনিয়ন্ত্রিত রেখে যায় (দেখুন Artificial Intelligence Act)। একটি নির্দিষ্ট এখতিয়ারে নিয়ন্ত্রক প্যাটার্ন যাই হোক, অন্তর্নিহিত ধারণা — যে শাসন বাধ্যবাধকতা প্রযুক্তির পরিশীলনের নয়, সিদ্ধান্তের বাজির সঙ্গে মাপা উচিত — EU-এর নির্দিষ্ট ব্যবস্থা অনুসরণের সরাসরি আইনি বাধ্যবাধকতা ছাড়াও একটি উপযোগী নকশা-নীতি।

সেরা অনুশীলন

1. মডেল বাছার পরে নয়, আগে সিদ্ধান্তের বাজি অনুযায়ী প্রতিটি ব্যবস্থা শ্রেণিবদ্ধ করুন। যে ব্যবস্থা মানব পর্যালোচনার জন্য একটি ক্ষেত্র চিহ্নিত করে তা একটি সুবিধা সম্পূর্ণ প্রত্যাখ্যান করার চেয়ে ভিন্ন বাধ্যবাধকতা বহন করে; একটি ব্যবহার-ক্ষেত্র কোন স্তরে বসে তা স্থির করুন, EU AI Act-এর ঝুঁকি শ্রেণির মতো একটি কাঠামো তথ্যসূত্র বিন্দু হিসেবে ব্যবহার করে, গড়ার আগে, প্রয়োগ ব্যবধান প্রকাশ করার পরে নয়।
2. একটি অ্যালগরিদম তাদের সম্পর্কে একটি সিদ্ধান্তে জড়িত থাকলে মানুষকে সরল ভাষায় বলুন। শর্তাবলীতে পুঁতে রাখা একটি সাধারণ গোপনীয়তা বিজ্ঞপ্তি এটি পূরণ করে না; বিজ্ঞপ্তিতে বলা উচিত ব্যবস্থাটি কী করে, কোন উপাত্ত ব্যবহার করে, এবং ব্যক্তি এর আউটপুটের সঙ্গে দ্বিমত করলে কী ঘটে।
3. একটি হিউম্যান-ইন-দ্য-লুপ নিয়ন্ত্রণ গড়ুন যা পর্যালোচক আসলে প্রয়োগ করতে পারেন, এবং তাঁরা করেন কি না মাপুন। ওভাররাইড হার, প্রতি ক্ষেত্রে গড় ব্যয়িত সময়, এবং দ্বিমতকারী পর্যালোচকেরা সম্মতির তুলনায় কোনো অতিরিক্ত ঘর্ষণের মুখোমুখি হন কি না ট্র্যাক করুন — ওভাররাইড হার শূন্যের কাছাকাছি হলে, পর্যালোচনা সম্ভবত শোভাবর্ধক।
4. ডেভেলপারদের অভিপ্রায় নয়, বাস্তব ফল দিয়ে বিভিন্ন প্রভাব (ডিসপ্যারেট ইম্প্যাক্ট) পরীক্ষা করুন। মোতায়েনের আগে এবং পরে একটি নির্দিষ্ট ছন্দে, সুরক্ষিত ও সংবেদনশীল বৈশিষ্ট্য অনুযায়ী বিভাজিত মডেলের ফল মাপুন, ডাকঘর কোড বা সুবিধা ইতিহাসের মতো সম্ভাব্য প্রক্সির মাধ্যমেও, কারণ যে মডেল কখনও সরাসরি একটি সুরক্ষিত চলক ব্যবহার করে না সে-ও একটি তীক্ষ্ণভাবে অসম ফল তৈরি করতে পারে।
5. প্রতিটি প্রভাবিত ব্যক্তিকে এমন একজন মানুষের কাছে একটি পথ দিন যাঁর অ্যালগরিদমের সিদ্ধান্ত কেবল ব্যাখ্যা নয়, উল্টে দেওয়ার ক্ষমতা আছে। একটি আপিল চ্যানেল যা প্রকৃত বাতিলের সম্ভাবনা ছাড়াই মডেলের যুক্তি পুনর্বিবৃত করে তা ব্যাখ্যার অধিকারের অক্ষর পূরণ করে এবং এর উদ্দেশ্য ব্যর্থ করে।
6. আইনত পরিণামবাহী সিদ্ধান্তের জন্য সামান্য বেশি নির্ভুল ব্ল্যাক-বক্স মডেলের চেয়ে ব্যাখ্যাযোগ্য মডেলকে অগ্রাধিকার দিন। যেখানে একটি ব্যাখ্যাযোগ্য মডেল ও একটি জটিল মডেলের নির্ভুলতার ব্যবধান ছোট, ব্যাখ্যাযোগ্যতার লাভ সাধারণত নাগরিক, আপিল কর্মকর্তা ও নিরীক্ষকের কাছে প্রান্তিক নির্ভুলতা প্রতিষ্ঠানের কাছে যত মূল্যবান তার চেয়ে অনেক বেশি মূল্যবান।
7. প্রতিটি ব্যবস্থার উদ্দেশ্য, প্রশিক্ষণ-উপাত্ত, পরিচিত সীমাবদ্ধতা ও উদ্দিষ্ট ব্যবহার একটি স্থায়ী রেকর্ডে নথিবদ্ধ করুন, এবং এর কোনোটি বদলালে হালনাগাদ করুন। একটি উদ্দেশ্যে মোতায়েন করা এবং নীরবে অন্যটিতে পুনরায় ব্যবহৃত একটি মডেল — উদাহরণস্বরূপ, প্রতারণা স্ক্রিনিং সাধারণ যোগ্যতা ট্রায়াজে প্রসারিত — সাধারণত তার মূল বৈধতা ও পক্ষপাত পরীক্ষা পেছনে ফেলে এসেছে।
8. একটি উচ্চ-বাজির মডেলের প্রশিক্ষণ ও পরিচালনাগত উপাত্ত একটি শাসিত, উদ্দেশ্য-সীমিত পাইপলাইনের ভেতরে রাখুন। একটি প্রশাসনিক উদ্দেশ্যে সংগৃহীত উপাত্ত-সেট একটি সম্পর্কহীন উদ্দেশ্যের জন্য একটি মডেল প্রশিক্ষণে পুনর্ব্যবহার করা মডেলিং ব্যর্থতার মতোই একটি উপাত্ত-শাসন ব্যর্থতা (দেখুন বিষয় 5.4 — সরকারি খাতের উপাত্ত, আন্তঃপরিচালনযোগ্যতা ও উন্মুক্ত উপাত্ত)।
9. অ্যালগরিদমিক নিরীক্ষা এমন একটি কার্যের অধীনে রাখুন যা ব্যবস্থাটি যে দল গড়েছে বা পরিচালনা করে তাদের কাছে প্রতিবেদন করে না। ব্যবস্থার নিজস্ব ডেভেলপারদের পরিচালিত নিরীক্ষা একটি প্রকৃত স্বাধীন পর্যালোচকের চেয়ে ভিন্ন ও কম সমস্যা খুঁজে পায় যাঁর একটি বিরূপ ফলাফল প্রকাশের মর্যাদা আছে (দেখুন বিষয় 3.4 — জবাবদিহি, স্বচ্ছতা ও বৈধতা)।
10. একটি ব্যবস্থা বাস্তব সিদ্ধান্তের জন্য চালু করার আগে একটি শ্যাডো সময়কাল চালান। একটি সংজ্ঞায়িত সময়কালের জন্য একই ক্ষেত্রে মডেলের সুপারিশ প্রকৃত মানব সিদ্ধান্তের বিপরীতে তুলনা করুন এটি কাজ শুরু করার আগে, যাতে কোনো নাগরিক প্রভাবিত হওয়ার আগে কোনো পদ্ধতিগত বিচ্যুতি প্রকাশ পায়।
11. কোনো মানব পর্যালোচনা ছাড়া পূর্ণ স্বয়ংক্রিয়করণ কেবল সবচেয়ে কম পরিণামবাহী এবং সবচেয়ে প্রত্যাবর্তনযোগ্য সিদ্ধান্তের জন্য সংরক্ষণ করুন। একটি সিদ্ধান্ত যত গুরুতর এবং কম প্রত্যাবর্তনযোগ্য — একটি সুবিধা বন্ধ করা, একটি প্রতারণা-রেফারাল যা একটি ফৌজদারি তদন্ত ট্রিগার করে, প্রবেশ অস্বীকার — একজন মানুষকে প্রকৃতপক্ষে লুপে রাখার যুক্তি তত শক্তিশালী, মডেলের পরিমাপিত নির্ভুলতা যাই হোক।
12. কেবল সমস্যা প্রতিবেদিত হলে নয়, একটি নির্দিষ্ট সময়সূচিতে পুনঃপ্রশিক্ষণ, পুনঃযাচাই ও পক্ষপাতের জন্য পুনঃপরীক্ষা করুন। একটি মডেলের নির্ভুলতা ও ন্যায্যতার বৈশিষ্ট্য নীরবে সরতে পারে যেহেতু যে জনগোষ্ঠী ও বিশ্বে এটি প্রশিক্ষিত তা বদলায়, এবং যে সরকারি সংস্থা কেবল অভিযোগের পরে তদন্ত করে সে ইতিমধ্যে অভিযোগ প্রকাশ পেতে যতদিন লেগেছিল ততদিন সরণ চলতে দিয়েছে।

আপনার দলের সঙ্গে আলোচনার প্রশ্ন

আমাদের প্রতিষ্ঠানের কোথায় একটি অ্যালগরিদম বর্তমানে একজন ব্যক্তির অধিকার, স্বত্ব বা স্বাধীনতা প্রভাবিত করা একটি সিদ্ধান্ত নেয় বা ব্যাপকভাবে অবহিত করে, এবং প্রভাবিত প্রতিটি ব্যক্তি কি আসলে জানতে পারতেন যে তা ঘটেছে? অনেক প্রতিষ্ঠান, যখন সত্যিই তাদের ব্যবস্থার তালিকা করে, আবিষ্কার করে যে অ্যালগরিদমিক স্কোরিং বা ট্রায়াজ কোনো একক দল বুঝেছিল তার চেয়ে বেশি সিদ্ধান্ত-বিন্দুতে ঢুকে পড়েছে, প্রায়ই মূলত একটি নিম্ন-বাজির দক্ষতা হাতিয়ার হিসেবে চালু করা। সেই তালিকা সততার সঙ্গে গড়তে এই প্রশ্ন ব্যবহার করুন, অভ্যন্তরীণভাবে না গড়ে বিক্রেতার কাছ থেকে সংগ্রহ করা ব্যবস্থাসহ, কারণ ক্রয় অস্পষ্ট করতে পারে একটি কেনা হাতিয়ার আসলে কতটা সিদ্ধান্ত নিচ্ছে। আলোচনা করুন আপনার বর্তমান বিজ্ঞপ্তি চর্চা একজন প্রভাবিত নাগরিককে বিশেষজ্ঞ জ্ঞান ছাড়াই আবিষ্কার করতে দিত কি না যে তাঁর মামলায় একটি মডেল জড়িত ছিল।

একজন নাগরিক আগামীকাল আমাদের একটি স্বয়ংক্রিয় সিদ্ধান্ত আনুষ্ঠানিকভাবে চ্যালেঞ্জ করলে, আমরা কি তাঁকে একটি প্রকৃত, নির্দিষ্ট কারণ দিতে পারতাম, নাকি কেবল প্রক্রিয়ার বিবরণ? একটি প্রক্রিয়া বিবরণ — "ব্যবস্থা আপনার আয়, পরিবারের আকার ও পরিশোধ ইতিহাস বিবেচনা করেছে" — সেই ইনপুটগুলো কেন এই নির্দিষ্ট ব্যক্তির জন্য এই নির্দিষ্ট ফল তৈরি করেছে তার ব্যাখ্যার সমান নয়। একটি জীবন্ত ব্যবস্থা বেছে নিতে এবং দল হিসেবে একজন প্রকৃত নাগরিক আপিল করলে যে ব্যাখ্যা পেতেন তা লিখতে চেষ্টা করতে এই প্রশ্ন ব্যবহার করুন। অনুশীলনটি কঠিন হলে, সেই কঠিনতাই ফলাফল।

আমরা কি জানি আমাদের প্রশিক্ষণ-উপাত্ত একটি ঐতিহাসিক পক্ষপাত-প্যাটার্ন পুনরুৎপাদন করে কি না, এবং আমরা কি এটি আমাদের অভিপ্রায়ের বিপরীতে নয়, প্রকৃত ফলের বিপরীতে পরীক্ষা করেছি? একটি উপাত্ত-সেট থেকে একটি সুরক্ষিত বৈশিষ্ট্য বাদ দেওয়া এর প্রভাব বাদ দেওয়ার সমান নয়, কারণ সম্পর্কিত প্রক্সি ভিন্ন নামে একই সংকেত বহন করতে পারে। আপনার কোন ব্যবস্থাগুলো কেবল ইনপুট উপাত্তে একটি সুরক্ষিত চলকের উপস্থিতির জন্য নয়, প্রাসঙ্গিক বৈশিষ্ট্য অনুযায়ী বিভাজিত প্রকৃত মোতায়েন-পরবর্তী ফল ব্যবহার করে বিভিন্ন প্রভাবের জন্য পরীক্ষিত হয়েছে তা চিহ্নিত করতে এই প্রশ্ন ব্যবহার করুন। আপনার সর্বোচ্চ-বাজির ব্যবস্থায় এই ফল-ভিত্তিক পরীক্ষা চালাতে কী লাগবে, যদি ইতিমধ্যে করা না হয়ে থাকে, আলোচনা করুন।

আমাদের হিউম্যান-ইন-দ্য-লুপ পর্যালোচনা কি একটি প্রকৃত যাচাই, নাকি একটি রাবার স্ট্যাম্প যা আমরা লক্ষ করার মতো যথেষ্ট ঘনিষ্ঠভাবে মাপিনি? সময়ের চাপে, পূর্ণ প্রেক্ষাপট ছাড়া, বা সম্মতির চেয়ে দ্বিমতে বেশি ঘর্ষণের মুখোমুখি একজন মানব পর্যালোচক এর মান নির্বিশেষে অ্যালগরিদমের সুপারিশ অনুমোদনের দিকে ঝুঁকবেন। অন্তত একটি ব্যবস্থার জন্য আপনার প্রকৃত ওভাররাইড হার খুঁজে বের করতে এই প্রশ্ন ব্যবহার করুন, এবং আলোচনা করুন সেই সংখ্যা আপনাকে বলে কি না পর্যালোচনা একটি নিয়ন্ত্রণ হিসেবে কাজ করছে নাকি একটি সম্মতি আনুষ্ঠানিকতা হিসেবে।

আমাদের অ্যালগরিদম যে সিদ্ধান্ত নিয়েছে বা ব্যাপকভাবে অবহিত করেছে তা আপিল করতে চাইলে প্রক্রিয়াগতভাবে আসলে কী ঘটে — এবং এটি উল্টাতে প্রকৃত ক্ষমতাসম্পন্ন একজন মানুষ কি কখনও আপিলটি দেখেন? অনেক আপিল প্রক্রিয়া একজন নাগরিককে এমন একজন ব্যক্তির কাছে না পৌঁছিয়ে মডেলের যুক্তির বিবরণের মধ্য দিয়ে ফেরত পাঠায় যিনি গুণাগুণের ভিত্তিতে ফল উল্টাতে পারেন। একটি প্রকৃত বা বাস্তবসম্মত ক্ষেত্রের জন্য একটি আপিল, শুরু থেকে শেষ পর্যন্ত, অনুসরণ করতে এবং সেই সঠিক বিন্দু চিহ্নিত করতে এই প্রশ্ন ব্যবহার করুন, থাকলে, যেখানে উত্তর বদলানোর প্রকৃত কর্তৃত্বসম্পন্ন একজন মানুষ জড়িত।

আমাদের একটি মডেল মোতায়েনের পরে অবনতি বা সরণ ঘটলে ঝুঁকির মালিক কে, এবং একজন নাগরিক বা সাংবাদিক আমাদের বলার আগে আমরা আসলে কীভাবে জানতাম? একটি মডেলের ন্যায্যতা ও নির্ভুলতার বৈশিষ্ট্য চালুর সময় স্থির নয়; জনগোষ্ঠী, অর্থনীতি বা সংলগ্ন নীতি বদলালে তা সরতে পারে, প্রায়ই ব্যবস্থাটি গড়া দলের কাছে অদৃশ্যভাবে। মোতায়েন-পরবর্তী পর্যবেক্ষণের জন্য কে দায়বদ্ধ, কোন ছন্দে, এবং ঠিক কী একটি পুনঃপ্রশিক্ষণ বা বিরতি ট্রিগার করবে তা চিহ্নিত করতে এই প্রশ্ন ব্যবহার করুন। সৎ উত্তর যদি "কেউ নির্দিষ্টভাবে এটি দেখছে না" হয়, এটিকে এই আলোচনা তৈরি করতে পারে এমন সবচেয়ে জরুরি ফলাফল হিসেবে দেখুন।

বাস্তবে: একটি জনমূল্যের উদাহরণ

একটি কাল্পনিক জাতীয় সামাজিক-বিমা সংস্থা বছরের পর বছরের ব্যাকলগের পর, যেখানে প্রকৃত প্রতারণা মাসের পর মাস অতদন্তিত বসে থাকত যখন সৎ দাবিদাররা সম্পর্কহীন প্রক্রিয়াকরণ বিলম্বে অপেক্ষা করতেন, কোন বেকারত্ব-সুবিধার দাবিগুলো এর প্রতারণা-তদন্ত দল প্রথমে পর্যালোচনা করবে তা অগ্রাধিকার দিতে একটি ঝুঁকি-স্কোরিং মডেল গড়ল। মডেলটি পাঁচ বছরের বন্ধ তদন্ত ফাইলে প্রশিক্ষিত হয়েছিল, কোন দাবির বৈশিষ্ট্য ঐতিহাসিকভাবে একটি নিশ্চিত প্রতারণা-সিদ্ধান্তের আগে এসেছিল তা শিখে, এবং এটি পরীক্ষায় ভালো কাজ করেছিল: যে দাবিগুলোকে এটি উচ্চ-ঝুঁকি স্কোর করেছিল সেগুলো একটি দৈবচয়িত নমুনার চেয়ে অনেক উচ্চতর হারে প্রতারণা নিশ্চিত হয়েছিল, এবং সংস্থার নেতৃত্ব, বছরের পর বছরে প্রথমবার এর ব্যাকলগ কমতে দেখে, রোলআউটকে একটি দ্ব্যর্থহীন সাফল্য হিসেবে দেখল।

আঠারো মাস পর, একটি অভ্যন্তরীণ ন্যায়পাল-সমতুল্য কার্যালয় এমন কিছু লক্ষ করল যা প্রতারণা-দলের নিজস্ব কার্যসম্পাদন ড্যাশবোর্ড সামনে আনেনি: অল্প কয়েকটি ডাক জেলায় বসবাসকারী দাবিদাররা, অসমানুপাতিকভাবে নিম্ন-আয়ের এবং অসমানুপাতিকভাবে সাম্প্রতিক অভিবাসী, অন্যত্র একই রকম দাবিদারদের তুলনায় প্রায় তিনগুণ হারে তদন্তের জন্য চিহ্নিত হচ্ছিলেন, এবং তাঁদের চিহ্নিত দাবির একটি অনেক বেশি অংশ কোনো প্রতারণা না পেয়েই বন্ধ হচ্ছিল। প্যাটার্নটি প্রশিক্ষণ-উপাত্তে পৌঁছাল: ঐতিহাসিক তদন্ত ফাইল এমন বছরগুলো প্রতিফলিত করেছিল যখন মাঠ তদন্তকারীরা, নিজস্ব অনানুষ্ঠানিক হিউরিস্টিক থেকে কাজ করে, হাতে-করা স্পট-চেক ঠিক সেই জেলাগুলোতে কেন্দ্রীভূত করেছিলেন, তাই মডেল সেখানে বসবাসকে প্রতারণার পূর্বাভাসক হিসেবে দেখতে শিখেছিল, যখন এটি আসলে কেবল অতীতে বেশি পরীক্ষিত হওয়ার পূর্বাভাসক ছিল। ডাক জেলা কখনও মডেলের ইনপুট ছিল না; এর দরকার ছিল না, কারণ পরিবারের গঠন, নিয়োগকর্তার খাত এবং পরিশোধ-পদ্ধতির ক্ষেত্রগুলো প্রক্সি হিসেবে একই সংকেত বহন করার মতো যথেষ্ট ঘনিষ্ঠভাবে এর সঙ্গে সম্পর্কিত ছিল।

সংস্থার তদন্ত নিশ্চিত করল প্যাটার্নটি প্রকৃত, এবং একটি দ্বিতীয়, শান্ততর সমস্যাও নিশ্চিত করল: মানব পর্যালোচকেরা যাঁদের একটি ক্ষেত্র এগোনোর আগে পূর্ণ তদন্তের জন্য অনুমোদন করার কথা ছিল তাঁরা মডেলের সর্বোচ্চ-স্কোর সুপারিশ বিপুল সংখ্যাগরিষ্ঠ ক্ষেত্রে অনুমোদন করছিলেন, গড় পর্যালোচনা সময় প্রতি ক্ষেত্রে দুই মিনিটেরও কম — একটি পরিসংখ্যানগত স্কোর অর্থপূর্ণভাবে দ্বিতীয়-অনুমান করার জন্য কাছাকাছিও যথেষ্ট নয়, যার অর্থ নেতৃত্ব যে হিউম্যান-ইন-দ্য-লুপ নিয়ন্ত্রণকে সুরক্ষা হিসেবে নির্দেশ করেছিল তা যে বৈষম্য ধরতে বিদ্যমান ছিল তা আসলে ধরছিল না। সংস্থার সাড়া এই বিষয়ের কয়েকটি সেরা অনুশীলন একসঙ্গে মিলিয়েছিল: এটি ঐতিহাসিক অতিরিক্ত-পুলিশিং প্যাটার্ন সংশোধন করে মডেল পুনঃপ্রশিক্ষণ দিল, পর্যালোচনার সময় দীর্ঘ করল এবং পর্যালোচকদের নিজস্ব বিচার স্কোরের সঙ্গে দ্বিমত করলে বৃদ্ধি ছাড়াই একটি চিহ্নিত ক্ষেত্র বন্ধ করার কর্তৃত্ব দিল, এবং যাঁর দাবি চিহ্নিত হয়েছিল তাঁদের প্রত্যেকের জন্য একটি সরল-ভাষার বিজ্ঞপ্তি ও একজন নামকরা কেস কর্মকর্তার কাছে একটি প্রকৃত আপিল পথ গড়ল। প্রতি পর্যালোচক-ঘণ্টায় তদন্ত ফলন কিছুটা পড়ল, কিন্তু আগে অতিরিক্ত-চিহ্নিত জেলাগুলোর চিহ্নিত দাবির নিশ্চিত-প্রতারণা হার বাকি কেসলোডের সঙ্গে মেলাতে বেড়ে গেল, যা সংস্থার নিজস্ব নিরীক্ষা সাফল্যের প্রকৃত পরিমাপ হিসেবে দেখল — চিহ্নিত দাবির পরিমাণ নয়, চিহ্নিত করা মডেলটি পুনরুৎপাদন করতে শেখা একটি ঐতিহাসিক প্যাটার্ন নয়, প্রকৃত প্রতারণা অনুসরণ করেছে কি না।

চারটি খাতভিত্তিক দৃষ্টিকোণ

স্থানীয় সরকার

স্থানীয় কর্তৃপক্ষ ক্রমবর্ধমানভাবে বাসিন্দাদের জন্য সবচেয়ে তাৎক্ষণিক ও ব্যক্তিগত বাজির সিদ্ধান্তের জন্য অ্যালগরিদমিক হাতিয়ার মোতায়েন করে — আবাসন-বণ্টন অগ্রাধিকার, শিশু-কল্যাণ ঝুঁকি স্কোরিং, এবং কাউন্সিল-কর বা সুবিধা প্রতারণা ট্রায়াজ — প্রায়ই এই ব্যবস্থা নিজে গড়তে, যাচাই করতে বা নিরীক্ষা করতে অভ্যন্তরীণ উপাত্ত-বিজ্ঞান সামর্থ্য ছাড়া, অনেককে বিক্রেতা-সরবরাহিত মডেলের ওপর নির্ভর করতে ফেলে যার প্রশিক্ষণ-উপাত্ত ও বৈধতা কর্তৃপক্ষ পুরোপুরি পরিদর্শন করতে পারে না। এটি একটি বিশেষ ক্রয় শৃঙ্খলা তৈরি করে: একটি অ্যালগরিদমিক ব্যবস্থা কমিশনকারী একটি স্থানীয় কর্তৃপক্ষের চুক্তিগত শর্ত হিসেবে অভ্যন্তরীণ নির্মাণে যে ব্যাখ্যাযোগ্যতা, পক্ষপাত-পরীক্ষা ও নিরীক্ষা প্রবেশাধিকার দাবি করত তাই দাবি করা উচিত, কারণ একজন বাসিন্দার ন্যায্য-প্রক্রিয়ার অধিকার কমে না কারণ কর্তৃপক্ষ ব্যবস্থাটি গড়ার বদলে কিনেছে। বাসিন্দাদের সঙ্গে স্থানীয় সরকারের নৈকট্যের অর্থ একটি আনুষ্ঠানিক অভিযোগ হওয়ার আগে একটি অ্যালগরিদমিক ভুল সম্প্রদায়ে ব্যক্তিগতভাবে পরিচিত হওয়ার সম্ভাবনা বেশি, যা হালকা, প্রাথমিক স্থানীয় পর্যালোচনার পক্ষে যুক্তি দেয়।

জাতীয় সরকার

জাতীয় সংস্থা এই বিষয়ের পরিধির বৃহত্তম মাপের ব্যবস্থা পরিচালনা করে — কর প্রতারণা শনাক্তকরণ, অভিবাসন ঝুঁকি মূল্যায়ন, জাতীয় সুবিধা যোগ্যতা — যেখানে একটি ছোট ত্রুটি হারও প্রভাবিত মানুষের একটি অত্যন্ত বড় পরম সংখ্যায় অনুবাদ করে, এবং যেখানে সংস্থার সাধারণত প্রকৃত সুরক্ষা গড়ার সবচেয়ে গভীর কারিগরি ও আইনি সামর্থ্য আছে। জাতীয় সরকারগুলোও সাধারণত সেই স্তর যেখানে ঝুঁকি-ভিত্তিক AI নিয়ন্ত্রণ, যেখানে বিদ্যমান, লেখা ও প্রয়োগ করা হয়, জাতীয় সংস্থাগুলোকে সবচেয়ে স্পষ্ট আনুষ্ঠানিক বাধ্যবাধকতা এবং একটি নিরীক্ষা বা আদালত একটি স্বয়ংক্রিয় ব্যবস্থা মাপে বৈষম্যমূলক বা পর্যালোচনার অযোগ্য ফল তৈরি করেছে পেলে সবচেয়ে বেশি ঝুঁকি দিয়ে। ন্যায্য-প্রক্রিয়ার বাজি এখানে আরেক অর্থেও সর্বোচ্চ: একটি অভিবাসন বা আইন-প্রয়োগ ঝুঁকি-স্কোর স্বত্বের পাশাপাশি স্বাধীনতাও প্রভাবিত করতে পারে, যা সবচেয়ে রক্ষণশীল স্বয়ংক্রিয়করণ অবস্থানের পক্ষে যুক্তি দেয় — সবচেয়ে কম পূর্ণ স্বয়ংক্রিয়করণ এবং সবচেয়ে প্রকৃত মানব পর্যালোচনা — ঠিক যেখানে স্বয়ংক্রিয়করণের কারিগরি যুক্তি ক্ষেত্র-পরিমাণের কারণে প্রায়ই সবচেয়ে শক্তিশালী।

সামাজিক খাত ও অলাভজনক

অলাভজনক ও বেসরকারি সংস্থা (NGO) ক্রমবর্ধমানভাবে ত্রাণ বিতরণ ট্রায়াজ করতে, সুবিধাভোগীদের যোগ্যতার জন্য স্ক্রিন করতে, বা ঠিক এই বিষয় যা ঢাকে সেই ক্ষেত্রগুলোতে কেসওয়ার্ক অগ্রাধিকার দিতে অ্যালগরিদমিক হাতিয়ার ব্যবহার করে, প্রায়ই প্রকৃত সম্পদ-সীমাবদ্ধতার অধীনে যা স্বয়ংক্রিয়করণের দক্ষতা-যুক্তিকে সত্যিই বাধ্যতামূলক করে। জবাবদিহি কাঠামো, তবু, সরকার থেকে উল্লেখযোগ্যভাবে ভিন্ন: একটি অলাভজনক সংস্থার সুবিধাভোগীদের খুব কমই একটি রাষ্ট্রীয় সংস্থার বিরুদ্ধে একজন নাগরিকের বিধিবদ্ধ আপিল অধিকার আছে, এবং সংস্থার প্রাথমিক জবাবদিহি সম্পর্ক প্রায়ই অ্যালগরিদম যাঁদের সম্পর্কে সিদ্ধান্ত নেয় তাঁদের কাছে নয়, তার অর্থদাতাদের কাছে চলে, যা ঠিক সেই জবাবদিহি ব্যবধান যা বিষয় 3.8 — সামাজিক খাত ও অলাভজনক প্রতিষ্ঠান ব্যবস্থাপনা সাধারণভাবে খাতটির জন্য বর্ণনা করে। একটি অলাভজনক সংস্থা যে অ্যালগরিদমিক ট্রায়াজ গ্রহণ করে তাই এই বিষয় যে ব্যাখ্যা ও আপিল অধিকার বর্ণনা করে তা একটি স্বেচ্ছাসেবী মান হিসেবে গড়া উচিত, কোনো নিয়ন্ত্রক দাবি করে বলে নয়, বরং সংস্থাটি যাদের সেবা দেয় তাদের কাছে একটির আর কোনো পথ নেই বলে।

বহুপাক্ষিক ও আন্তর্জাতিক

বহুপাক্ষিক সংস্থা ও আন্তর্জাতিক মানবিক সংস্থা সীমানা ও আইনি ব্যবস্থা জুড়ে অ্যালগরিদমিক লক্ষ্য-নির্ধারণ এবং ঝুঁকি-স্কোরিং হাতিয়ার প্রয়োগ করে, প্রায়ই সংকট পরিবেশে যেখানে স্বয়ংক্রিয়করণের গতি-সুবিধা সবচেয়ে তীব্র এবং উপলব্ধ উপাত্ত সবচেয়ে কম নির্ভরযোগ্য — অসম্পূর্ণ নিবন্ধন উপাত্ত, একটি সংকটের জন্য সংগৃহীত এবং অন্যটির জন্য পুনর্ব্যবহৃত উপাত্ত, এবং ত্রাণ পাবে কি না নির্ধারণ করা একটি স্কোরিং সিদ্ধান্ত চ্যালেঞ্জ করার সীমিত সামর্থ্যের জনগোষ্ঠী। কোনো একক জাতীয় ন্যায্য-প্রক্রিয়া আইন বা ব্যাখ্যার-অধিকার ব্যবস্থা একটি বহুপাক্ষিক সংস্থার কার্যক্রম জুড়ে অভিন্নভাবে প্রযোজ্য নয়, তাই এই বিষয় যে সুরক্ষা বর্ণনা করে তা একটি প্রয়োগযোগ্য বাহ্যিক আইনি কাঠামো থেকে উত্তরাধিকারসূত্রে নয়, সংস্থার নিজস্ব পরিচালনাগত মানে গড়তে হবে, বিষয় 3.4 যে প্রতিনিধিত্বমূলক ও জবাবদিহি ব্যবধান বহুপাক্ষিক সংস্থাগুলোর জন্য সাধারণভাবে চিহ্নিত করে তার প্রতিধ্বনি করে (দেখুন বিষয় 3.4 — জবাবদিহি, স্বচ্ছতা ও বৈধতা)। এখানে বাজিও গুরুতর, কারণ একটি অ্যালগরিদমিক সিদ্ধান্ত এই বিষয়ের যেকোনো গোষ্ঠীর মধ্যে একটি ভুল ফল আপিল করার সবচেয়ে কম ব্যবহারিক সামর্থ্যের মানুষের জন্য খাদ্য, আশ্রয় বা আশ্রয়-প্রক্রিয়াকরণে প্রবেশাধিকার নির্ধারণ করতে পারে।

সাধারণ ব্যর্থতার ধরন

প্রক্সি বৈষম্য। একটি মডেল একটি সুরক্ষিত বৈশিষ্ট্য সরাসরি বাদ দেয় কিন্তু একটি সম্পর্কিত চলক থেকে — ডাকঘর কোড, পদবি, চাকরির খাত, সুবিধা ইতিহাস — একটি সমতুল্য সংকেত শেখে, ঠিক যে বৈষম্যমূলক প্যাটার্ন বাদ দেওয়া ঠেকাতে চেয়েছিল তা পুনরুৎপাদন করে। ক্ষতি একটি মিথ্যা নিরাপত্তাবোধ: প্রতিষ্ঠান সত্যভাবে বলতে পারে সুরক্ষিত চলক কখনও ব্যবহৃত হয়নি, যখন ফল এমন অসম থাকে যেন তা হয়েছিল।

মানব পর্যালোচনায় স্বয়ংক্রিয়করণ পক্ষপাত। একজন মানব পর্যালোচক, আনুষ্ঠানিকভাবে একটি অ্যালগরিদমের সুপারিশ যাচাই করতে প্রয়োজনীয়, বিপুল সংখ্যাগরিষ্ঠ ক্ষেত্রে তা অনুমোদন করেন কারণ দ্বিমত করতে সম্মতির চেয়ে বেশি সময়, বেশি যুক্তি, বা বেশি ব্যক্তিগত ঝুঁকি লাগে। ক্ষতি হলো যে নিয়ন্ত্রণকে প্রতিষ্ঠান বিশ্বাস করে ত্রুটি ধরছে তা বাস্তবে সেগুলোতে রাবার-স্ট্যাম্প দিচ্ছে, এবং এটি সাধারণত কেবল তখনই দৃশ্যমান হয় যখন কেউ প্রক্রিয়া আছে বলে বিশ্বাস না করে ওভাররাইড হার সরাসরি মাপে।

ব্যাখ্যাযোগ্যতার নাটক। একটি প্রতিষ্ঠান একটি স্বয়ংক্রিয় সিদ্ধান্তের জন্য একটি ব্যাখ্যা দেয় যা নির্দিষ্ট ও সন্তোষজনক শোনায় কিন্তু পরে এমন একটি পদ্ধতিতে তৈরি যা মডেলের প্রকৃত যুক্তি প্রকাশ নয়, আনুমানিক করে। ক্ষতি তখন প্রকাশ পায় যখন ব্যাখ্যা প্রকৃত যাচাইয়ের অধীনে পরীক্ষিত হয় — একটি আপিল, একটি নিরীক্ষা, একটি আইনি চ্যালেঞ্জ — এবং দেখা যায় ব্যবস্থা কেন সেই নির্দিষ্ট আউটপুট তৈরি করেছে তার সঙ্গে এটি মেলে না।

ফিডব্যাক চক্রের মাধ্যমে পুনরুৎপাদিত ঐতিহাসিক পক্ষপাত। অতীত সিদ্ধান্তের ফলে প্রশিক্ষিত একটি মডেল — কোন পাড়া তদন্ত হয়েছিল, কোন আবেদন অনুমোদিত হয়েছিল — সেই অতীত সিদ্ধান্ত আকার দেওয়া অতিরিক্ত-যাচাই বা কম-সেবার যেকোনো প্যাটার্ন শেখে এবং তারপর স্থায়ী করে, এবং এটি যে প্রতিটি নতুন দফা সিদ্ধান্ত তৈরি করে তা পরবর্তী সংস্করণের প্রশিক্ষণ-উপাত্ত হয়ে ওঠে, প্যাটার্ন সংশোধনের বদলে গভীর করে। এটি আন্তর্জাতিকভাবে একাধিক সরকারি-খাত ক্ষেত্রে নথিভুক্ত হয়েছে, ঝুঁকি-ভিত্তিক পুলিশিং ও কল্যাণ-প্রতারণা স্ক্রিনিংসহ, এবং অন্তর্নিহিত প্রক্রিয়া সেই নথিভুক্ত ক্ষেত্রগুলো জুড়ে এতটা সংগত যে ঐতিহাসিক প্রয়োগ বা কেসওয়ার্ক উপাত্তে প্রশিক্ষিত যেকোনো ব্যবস্থায়, এখতিয়ার নির্বিশেষে, একটি সাধারণ ঝুঁকি হিসেবে দেখা যায়।

জবাবদিহি ব্যবধান, বা "অনেক হাত" সমস্যা। যখন একটি সিদ্ধান্ত একটি বিক্রেতার মডেল, একটি সংস্থার উপাত্ত, একটি নীতি দলের সীমা-নির্ধারণ এবং একজন কেসওয়ার্কারের নামমাত্র অনুমোদনের মধ্য দিয়ে চলে, একটি ভুল ফলের দায়িত্ব এমনকি প্রতিষ্ঠানের কাছেও সত্যিই অস্পষ্ট হয়ে যেতে পারে, প্রতিটি পক্ষ অন্যকে ত্রুটির উৎস হিসেবে নির্দেশ করতে পারে। ক্ষতি কেবল প্রভাবিত নাগরিক একটি স্পষ্ট উত্তর পান না তা নয়, প্রতিষ্ঠান নির্ভরযোগ্যভাবে প্রকৃত কারণ ঠিক করতে পারে না, কারণ সিদ্ধান্তের সামগ্রিক কোনো একক দায়বদ্ধ মালিক নেই (দেখুন বিষয় 3.4 — জবাবদিহি, স্বচ্ছতা ও বৈধতা)।

পরিপক্বতা মডেল

চেকলিস্ট

• একজন ব্যক্তির অধিকার বা স্বত্ব প্রভাবিত একটি সিদ্ধান্ত নেয় বা বস্তুগতভাবে অবহিত করে এমন প্রতিটি ব্যবস্থার, বিক্রেতা-সরবরাহিত হাতিয়ারসহ, একটি সম্পূর্ণ তালিকা গড়ুন।
• সেই তালিকার প্রতিটি ব্যবস্থা এটি যে সিদ্ধান্ত অবহিত করে তার বাজি অনুযায়ী একটি সংজ্ঞায়িত ঝুঁকি স্তর ব্যবহার করে শ্রেণিবদ্ধ করুন।
• নিশ্চিত করুন প্রতিটি প্রভাবিত ব্যক্তি তাঁর মামলায় একটি অ্যালগরিদম জড়িত ছিল বলে একটি সরল-ভাষার বিজ্ঞপ্তি পান।
• একজন প্রকৃত নাগরিক আপিলে যে নির্দিষ্ট, ক্ষেত্র-স্তরের ব্যাখ্যা পেতেন তা খসড়া করুন, এবং তা আসলে তাঁকে সন্তুষ্ট করত কি না পরীক্ষা করুন।
• প্রতিটি উচ্চ-বাজির ব্যবস্থা কেবল বাদ দেওয়া ইনপুট চলক যাচাই করে নয়, প্রাসঙ্গিক বৈশিষ্ট্য অনুযায়ী বিভাজিত প্রকৃত মোতায়েন-পরবর্তী ফল ব্যবহার করে বিভিন্ন প্রভাবের জন্য পরীক্ষা করুন।
• প্রতিটি হিউম্যান-ইন-দ্য-লুপ নিয়ন্ত্রণের জন্য ওভাররাইড হার ও গড় পর্যালোচনা সময় মাপুন, এবং শূন্যের কাছাকাছি ওভাররাইড হারকে একটি ফলাফল হিসেবে দেখুন।
• নিশ্চিত করুন সিদ্ধান্ত উল্টানোর প্রকৃত কর্তৃত্বসম্পন্ন একজন নামকরা মানুষ প্রতিটি আপিল পর্যালোচনা করেন।
• অ্যালগরিদমিক নিরীক্ষা ব্যবস্থাটি যে দল গড়েছে বা পরিচালনা করে তাদের থেকে স্বাধীন একটি কার্যের অধীনে রাখুন।
• নিশ্চিত করুন প্রতিটি ব্যবস্থার প্রশিক্ষণ ও পরিচালনাগত উপাত্ত একটি শাসিত, উদ্দেশ্য-সীমিত পাইপলাইনের ভেতরে থাকে।
• প্রতিটি মোতায়েন করা মডেলের জন্য একটি নির্দিষ্ট পুনঃপ্রশিক্ষণ ও পুনঃযাচাই সময়সূচি স্থির করুন, পর্যালোচনা ট্রিগার করতে অভিযোগের অপেক্ষার বদলে।
• আপনার কোন ব্যবস্থায় বর্তমানে সবচেয়ে গুরুতর ও কম প্রত্যাবর্তনযোগ্য সিদ্ধান্তের জন্য পূর্ণ স্বয়ংক্রিয়করণ সুরক্ষা নেই তা চিহ্নিত করুন, এবং প্রথমে তা সংশোধন করুন।
• উপরের ছয়টি আলোচনা-প্রশ্ন আপনার দলের সঙ্গে চালান, এবং রেকর্ড করুন যেখানে সৎ উত্তর সরকারি উত্তর থেকে ভিন্ন।

মূল উৎস

• OECD AI Principles (2019, updated 2024) — বিশ্বাসযোগ্য AI-র জন্য প্রথম আন্তঃসরকার মান, অন্তর্ভুক্তিমূলক প্রবৃদ্ধি, মানবাধিকার, স্বচ্ছতা, দৃঢ়তা ও জবাবদিহি ঢাকে।
• European Union Artificial Intelligence Act (Regulation (EU) 2024/1689) — AI-র জন্য প্রথম ব্যাপক ঝুঁকি-স্তরবদ্ধ আইনি কাঠামো, স্পষ্টভাবে সরকারি-খাতের যোগ্যতা, আইন-প্রয়োগ ও অভিবাসন ব্যবহার সম্বোধন করে।
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — সরকারি খাতে AI জবাবদিহির জন্য একটি শাসন, উপাত্ত, কার্যসম্পাদন ও পর্যবেক্ষণ কাঠামো।
• Danielle Keats Citron's scholarship on "technological due process," যুক্তি দেয় যে স্বয়ংক্রিয় ব্যবস্থার জন্য মানব নয়, অ্যালগরিদমিক সিদ্ধান্ত গ্রহণের জন্য বিশেষভাবে নির্মিত প্রক্রিয়াগত সুরক্ষা দরকার।
• Cathy O'Neil, Virginia Eubanks, and Frank Pasquale's public-facing scholarship on algorithmic bias, automated welfare administration, and opaque scoring systems, প্রশিক্ষণ-উপাত্ত পক্ষপাত এবং ব্ল্যাক-বক্স সমস্যার এই বিষয়ের আলোচনা জুড়ে উদ্ধৃত।

তথ্যসূত্র

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp