الذكاء الاصطناعي واتّخاذ القرار الخوارزمي في الحكومة

هذا لماذا يهم في القيمة العامة

جزّأت الهيئات العامة دائمًا الانتباه: لا يستطيع موظف حالات مقابلة كل مقدِّم طلب شخصيًا، ولا يستطيع ضابط جمارك تفتيش كل حاوية، ولا يستطيع فريق احتيال مراجعة كل مطالبة. يَعِد الذكاء الاصطناعي (AI) — المجال العريض لبناء أنظمة تؤدّي مهامًا تتطلب عادة حكمًا بشريًا — والممارسة الأضيق لاتّخاذ القرار الخوارزمي والآلي (ADM) بتجزئة ذلك الانتباه بمزيد من الاتساق وبمقياس أكبر بكثير، مُسجِّلة أو مُشيرة أو مُقرِّرة مباشرة قضايا لن يستطيع فريق بشري مراجعتها بالكامل أبدًا. يغطّي الموضوع 5.1 أنماط تسليم الخدمة الرقمية التي تقع هذه القدرة ضمنها (انظر الموضوع 5.1 — الحكومة الرقمية والتحوّل الرقمي)؛ هذا الموضوع عن ما يحدث بمجرد أن يقوم نموذج، بدلًا من موظف مُسمًّى، ببعض أو كل القرار.

الوعد حقيقي: يستطيع نموذج جيد البناء اكتشاف أنماط احتيال غير مرئية لموظف حالات، وتطبيق قواعد أهلية باتساق مثالي عبر مليون مطالبة، وتحرير وقت خبير نادر للحالات التي تحتاج فعلًا حكمًا. المخاطرة حقيقية بالمثل وأصعب رؤية من داخل المنظمة التي بنت النظام. يمكن لنموذج مُدرَّب على بيانات تاريخية أن يعيد إنتاج ويُضخِّم التمييز نفسه الذي توجد هيئة عامة لتصحيحه؛ ويمكن لنموذج معقّد أن يكون معتمًا بحيث لا يستطيع لا المواطن ولا الموظف المعتمِد عليه ذكر لماذا قرَّر ما قرَّره؛ وقرار يُستَنير خوارزم بثقله يمكن مع ذلك، إجرائيًا، ألا يترك أحدًا قادرًا على إعطاء المواطن سببًا أو سماع قضيته. لا شيء من هذا افتراضي: وجدت جهات تنظيمية ومحاكم وهيئات معادِلة لأمين مظالم عبر ولايات قضائية متعدِّدة بالفعل أنظمة تسجيل مخاطرة واكتشاف احتيال في القطاع العام أشارت بشكل غير متناسب إلى أشخاص بحسب الحيّ، أو تاريخ الهجرة، أو بنية الأسرة، في كل حالة لأن النمط الذي جعل النموذج دقيقًا صادف أنه يتتبّع خاصية محمية أو حسّاسة.

مصلحة القيمة العامة إذن ليست الكفاءة مقابل الإنصاف مقايضة تُوازَن مرة واحدة، بل انضباط تصميم يجب استدامته باستمرار. يستطيع مواطن حُرِم منفعة من موظف بشري سؤال ذلك الموظف لماذا، ويستطيع الاستئناف لدى شخص آخر بمكانة وسلطة لتغيير الإجابة — آلية المساءلة التي يصفها الموضوع 3.4 (انظر الموضوع 3.4 — المساءلة والشفافية والشرعية). يحتاج مواطن حُرِم منفعة من نموذج الحقّ نفسه في تفسير والمسار نفسه إلى إنسان يستطيع نقض القرار، وإلا تكون هيئة عامة قد صدّرت بصمت ضمانة إجراء واجب لم تسحبها رسميًا أبدًا. إصابة هذا هو ما يتيح لهيئة عامة التقاط مكاسب اتّخاذ القرار الخوارزمي الحقيقية في الاتساق والمقياس دون تحويل "الخوارزم قرَّر" إلى عبارة تُنهي المساءلة بدلًا من أن تبدأها.

المفاهيم الأساسية

اتّخاذ القرار الآلي (ADM) استخدام بيانات وبرمجيات وخوارزميات لاتّخاذ قرارات أو الاستنارة بها جوهريًا بدرجات متفاوتة من الإشراف البشري، يمتدّ عبر طيف من نظام يُظهِر فقط معلومات لإنسان إلى نظام يقرِّر ويتصرّف دون أي تدخّل بشري على الإطلاق (ويكيبيديا: اتّخاذ القرار الآلي). أين يقع نظام على ذلك الطيف — دعم قرار، تعزيز قرار، أو أتمتة كاملة — يحدّد أي التزامات مساءلة وإجراء واجب تُطبَّق، وهذا لماذا تصنّف جهات تنظيمية بازدياد الأنظمة بحسب موقعها عليه لا التقنية الأساسية.

يصف الإنسان في الحلقة ترتيبًا يراجع فيه شخص ناتج خوارزم أو يوافق عليه قبل أن يسري، بخلاف الإنسان على الحلقة (يراقب شخص ويستطيع التدخّل) أو معالجة مؤتمَتة كليًا بلا مراجعة على الإطلاق (ويكيبيديا: الإنسان في الحلقة). يتطلب ضبط "إنسان في الحلقة" حقيقي أن يملك المُراجِع الوقت والمعلومات والمكانة لمخالفة النظام فعلًا؛ مُراجِع يوافق على تقريبًا كل توصية خوارزمية لأن المخالفة تستغرق وقتًا أطول أو تحمل مخاطرة شخصية أكبر من الموافقة لا يمارس إشرافًا، حتى لو أظهر مخطّط العملية خطوة بشرية. هذا النمط، يُسمَّى غالبًا تحيّز الأتمتة، من أشيع الإخفاقات وأقلّها مرئية في موضوع هذا الموضوع.

التحيّز الخوارزمي الميل المنهجي والقابل للتكرار لنظام محوسَب لإنتاج نتائج غير عادلة — مثلًا، تفضيل مجموعة على أخرى بطرق لم يقصدها مصمِّمو النظام ولم يلاحظوها، غالبًا (ويكيبيديا: التحيّز الخوارزمي). في الإدارة العامة، المصدر السائد تحيّز بيانات التدريب: نموذج مُدرَّب على سجلّات إنفاذ أو إقراض أو عمل حالات تاريخية يتعلّم الأنماط في تلك السجلّات، بما يشمل أي إفراط تاريخي في المراقبة، أو نقص خدمة، أو ممارسة تمييزية مُتضمَّنة في من حُقِّق معه أو وُوفِق عليه أو أُشير إليه في الماضي. يمكن لنموذج أن يعيد إنتاج هذه النتيجة حتى حين تُستبعَد صراحة خاصية حسّاسة — العرق، الإعاقة، وضع الهجرة — من البيانات، لأن بديلًا مُرتبِطًا (الرمز البريدي، اسم العائلة، نمط الدوام، تاريخ المنفعة) يحمل الإشارة نفسها باسم آخر؛ إزالة المتغيّر المُسمَّى دون اختبار بدائله طريقة شائعة تؤمن بها هيئة عامة أنها أصلحت مشكلة تحيّز لم تُصلَح على الإطلاق.

يشير الإنصاف في التعلّم الآلي إلى عائلة المناهج التقنية والإجرائية لقياس التحيّز الخوارزمي في قرارات آلية وتصحيحه (ويكيبيديا: الإنصاف (التعلّم الآلي)). سمة صعبة فعلًا لهذا المجال، لا حاشية تقنية قابلة للحلّ، أن عدة تعريفات معقولة حدسيًا للإنصاف — معدّلات موافقة متساوية عبر المجموعات، ومعدّلات خطأ متساوية عبر المجموعات، ودقّة مُعايَرة بالتساوي داخل كل مجموعة — غير متوافقة رياضيًا كلما كان للمجموعات الأساسية معدّلات أساس مختلفة في البيانات. لا تستطيع هيئة عامة إرضاء كل تعريف في آنٍ واحد؛ تستطيع فقط الاختيار، صراحة وبأسباب مستعدّة للدفاع عنها، أي تعريف يجب أن يُحسِّنه القرار المطروح، وهو حكم سياسة مُزيَّن كحكم تقني.

القابلية للتفسير ومشكلة الصندوق الأسود. يصبح نموذج صندوقًا أسود حين لا يمكن فحص آلياته الداخلية أو فهمها من مُدخَلاته ومُخرَجاته وحدها — صحيح لكثير من نماذج التعلّم الآلي عالية الأداء، التي تنبع دقّتها غالبًا تحديدًا من التعقيد الذي يجعلها صعبة التفسير. الذكاء الاصطناعي القابل للتفسير، أو XAI، مجال مناهج جعل منطق نموذج قابلًا للفحص، يمتدّ من اختيار أنواع نماذج قابلة للتفسير جوهريًا للقرارات ذات العواقب إلى توليد تفسيرات لاحقة تقرِّب، لا تكشف، ما فعله نموذج معقّد فعلًا. يهم التمييز قانونيًا بقدر ما يهم تقنيًا: تفسير تقريبي يبدو معقولًا لكن لا يعكس منطق النموذج الفعلي يمكن أن يُرضي قائمة تحقق شفافية بينما يخذل المواطن الذي يعتمد عليه لمنازعة الأساس الحقيقي لقرار ضدّه.

الحق في التفسير هو المبدأ القانوني المثير للجدل بأن شخصًا خاضعًا لقرار آلي مهمّ يستحقّ تفسيرًا ذا معنى للمنطق المتضمَّن، مرتبط أوثق باللائحة العامة لحماية البيانات للاتحاد الأوروبي، التي تقيّد قرارات مبنية فقط على معالجة آلية تُنتج آثارًا قانونية أو مماثلة الأهمية وتمنح الخاضع لها حقوقًا في الحصول على تدخّل بشري ومنازعة القرار (ويكيبيديا: الحق في التفسير واللائحة العامة لحماية البيانات). يتنازع باحثو قانون حول كم قوي هذا الحق فعلًا في الممارسة، وتفتقر ولايات قضائية خارج الاتحاد الأوروبي أساسًا إلى حقّ قانوني معادِل، وهذا لماذا يجب ألا تعامل هيئة عامة "نمتثل لقانون حماية بيانات ذي الصلة" معادِلًا لـ"نستطيع تفسير هذا القرار للشخص المتأثّر به" — الادعاءان مرتبطان لكن ليسا الشيء نفسه، والثاني فقط ما يتطلبه الإجراء الواجب فعلًا.

الإجراء الواجب والعدالة الطبيعية. في القانون الإداري، يستند الإجراء الواجب — المبدأ، الأكثر تطوّرًا في القانون الدستوري الأمريكي لكن مُردَّد بشكل مماثل عبر أنظمة قانونية كثيرة، بأن الدولة يجب أن تتبع إجراءات عادلة قبل حرمان شخص من حقّ أو استحقاق — والعدالة الطبيعية — تقليد القانون الإداري لدول الكومنولث الذي يتطلب جلسة استماع عادلة وحرية من تحيّز في صانع القرار — كلاهما إلى افتراض كُتِب قبل وجود الحواسيب: أن لقرار صانع قرار قابل للتحديد يستطيع إعطاء أسباب، ويمكن إظهاره خاليًا من تحيّز مُبطِل، ويمكن سؤاله إعادة النظر. يُجهِد خوارزم الافتراضات الثلاثة في آنٍ واحد — قد تكون الأسباب غير متاحة تقنيًا، و"التحيّز" المطروح إحصائي لا شخصي، وإعادة النظر من النموذج نفسه تُنتج الإجابة نفسها — وهذا لماذا يجب هندسة الإجراء الواجب للقرارات الخوارزمية صراحة بدلًا من وراثته من إجراءات بُنيت لصانعي قرار بشريين.

التنظيم القائم على المخاطرة للذكاء الاصطناعي. بدلًا من تنظيم كل الذكاء الاصطناعي موحَّدًا، نمط تنظيمي ناشئ — الأكثر تطوّرًا كليًا في قانون الذكاء الاصطناعي للاتحاد الأوروبي — يُرتِّب الالتزامات بمخاطر التطبيق، حاظرًا مجموعة ضيّقة من الاستخدامات كليًا، ومفروضًا أثقل التزامات الامتثال على استخدامات "عالية المخاطرة" (تشمل صراحة تحديد أهلية القطاع العام، وتقييم مخاطرة إنفاذ القانون، وقرارات الهجرة)، ومتطلِّبًا إفصاحات شفافية لاستخدامات أقلّ مخاطرة، وتاركًا استخدامات ذات مخاطرة دنيا غير مُنظَّمة أساسًا (ويكيبيديا: قانون الذكاء الاصطناعي). مهما كان النمط التنظيمي في ولاية قضائية معطاة، الفكرة الأساسية — أن التزامات الحوكمة يجب أن تتناسب مع مخاطر القرار، لا تطوّر التقنية — مبدأ تصميم مفيد حتى دون التزام قانوني مباشر باتّباع نظام الاتحاد الأوروبي المحدَّد.

أفضل الممارسات

1. صنِّف كل نظام بمخاطر القرار قبل اختيار النموذج، لا بعده. يحمل نظام يشير إلى حالة لمراجعة بشرية التزامًا مختلفًا عن واحد يحرم منفعة كليًا؛ قرِّر أي طبقة تقع فيها حالة استخدام، مستخدِمًا إطارًا كفئات مخاطرة قانون الاتحاد الأوروبي مرجعًا، قبل البناء لا بعد أن يكشف النشر الفجوة.
2. أخبِر الناس، بلغة بسيطة، حين يكون خوارزم معنيًا بقرار حولهم. إشعار خصوصية عام مدفون في الشروط والأحكام لا يُرضي هذا؛ يجب أن يذكر الإشعار ماذا يفعل النظام، وأي بيانات يستخدم، وماذا يحدث إن اختلف الشخص مع ناتجه.
3. ابنِ ضبط "إنسان في الحلقة" يستطيع مُراجِع ممارسته فعلًا، وقِس ما إذا كان يفعل. تتبّع معدّل النقض، ومتوسط الوقت المُنفَق لكل حالة، وما إذا كان مُراجِعون يخالفون النموذج يواجهون أي احتكاك لا تواجهه الموافقة — إذا كان معدّل النقض قريبًا من الصفر، المراجعة زخرفية على الأرجح جدًا.
4. اختبر الأثر المتفاوت باستخدام نتائج حقيقية، لا نوايا المُطوِّرين. قبل النشر وبوتيرة متكرِّرة ثابتة بعده، قِس نتائج النموذج مُفصَّلة بحسب خصائص محمية وحسّاسة، بما يشمل عبر بدائل مُرجَّحة كالرمز البريدي أو تاريخ المنفعة.
5. امنح كل شخص متأثِّر مسارًا إلى إنسان يملك سلطة نقض قرار الخوارزم، لا تفسيره فقط. قناة استئناف تُعيد ذكر منطق النموذج دون إمكانية حقيقية للنقض تُرضي نصّ الحقّ في تفسير بينما تهزم غرضه.
6. فضِّل نموذجًا قابلًا للتفسير على نموذج صندوق أسود أدقّ بهامش ضئيل للقرارات ذات العواقب القانونية. حيث فجوة الدقّة بين نموذج قابل للتفسير وآخر معقّد صغيرة، مكسب القابلية للتفسير عادة يستحقّ للمواطن ومسؤول الاستئناف والمُراجِع أكثر بكثير مما تستحقّه الدقّة الهامشية للمنظمة.
7. وثِّق غرض كل نظام وبيانات تدريبه وحدوده المعروفة واستخدامه المقصود في سجلّ دائم، وحدّثه حين يتغيّر أي منها. نموذج نُشِر لغرض واحد وأُعيد توظيفه بصمت لآخر — فحص احتيال وُسِّع إلى فرز أهلية عام، مثلًا — عادة ما يكون قد ترك تحقّقه واختبار تحيّزه الأصليين خلفه.
8. أبقِ بيانات التدريب والتشغيل لنموذج عالي المخاطر ضمن خط أنابيب محكوم ومحدود الغرض. إعادة استخدام مجموعة بيانات جُمِعت لغرض إداري واحد لتدريب نموذج لغرض غير ذي صلة فشل حوكمة بيانات بقدر ما هو فشل نمذجة (انظر الموضوع 5.4 — بيانات القطاع العام وقابلية التشغيل البيني والبيانات المفتوحة).
9. ضع المراجعة الخوارزمية تحت وظيفة لا تُبلِّغ الفريق الذي بنى النظام أو يُشغِّله. مراجعة يجريها مُطوِّرو النظام أنفسهم تجد مشكلات مختلفة، وأقلّ منها، من واحدة يجريها مُراجِع مستقلّ فعلًا بمكانة نشر اكتشاف سلبي (انظر الموضوع 3.4 — المساءلة والشفافية والشرعية).
10. شغّل فترة ظلّية قبل تشغيل نظام لقرارات حقيقية. قارِن توصيات النموذج مقابل قرارات بشرية فعلية على الحالات نفسها لفترة محدَّدة قبل أن يبدأ التصرّف، بحيث يظهر أي انحراف منهجي قبل أن يتأثّر مواطن به.
11. احتفظ بالأتمتة الكاملة، بلا مراجعة بشرية على الإطلاق، للقرارات الأقلّ عواقب والأكثر قابلية للعكس فقط. كلما كان قرار أشدّ خطورة وأقل قابلية للعكس — إنهاء منفعة، إحالة احتيال تُطلِق تحقيقًا جنائيًا، رفض دخول — كانت الحجة أقوى للإبقاء على إنسان في الحلقة فعلًا، بغضّ النظر عن دقّة النموذج المقيسة.
12. أعِد تدريب النموذج وتحقّق منه وأعد اختبار تحيّزه بجدول ثابت، لا فقط حين تُبلَّغ مشكلة. يمكن أن تنجرف خصائص دقّة نموذج وإنصافه بصمت مع تغيّر السكان والعالم الذي دُرِّب عليه.

أسئلة للنقاش مع فريقك

أين في منظمتنا يتّخذ خوارزم حاليًا أو يُستَنار بثقله بشدّة قرارًا يؤثّر في حقوق شخص أو استحقاقاته أو حريته، وهل يستطيع كل شخص متأثِّر اكتشاف حدوث ذلك فعلًا؟ تكتشف منظمات كثيرة، حين تجرد أنظمتها فعلًا، أن التسجيل أو الفرز الخوارزمي قد تسلّل إلى نقاط قرار أكثر مما أدرك أي فريق واحد. استخدم هذا السؤال لبناء ذلك الجرد بصدق، بما يشمل أنظمة اشتُريت من مورِّد لا بُنيت داخليًا. ناقش ما إذا كانت ممارسات إشعارك الحالية ستتيح لمواطن متأثِّر اكتشاف، دون معرفة متخصصة، أن نموذجًا كان معنيًا بقضيته.

لو تحدّى مواطن رسميًا أحد قراراتنا الآلية غدًا، هل نستطيع منحه سببًا حقيقيًا ومحدَّدًا، أم وصفًا للعملية فقط؟ وصف عملية — "نظر النظام في دخلك وحجم أسرتك وسجلّ دفعك" — ليس نفس تفسير لماذا أنتجت تلك المُدخَلات هذه النتيجة المحدَّدة لهذا الشخص المحدَّد. استخدم هذا السؤال لاختيار نظام حيّ واحد ومحاولة، كفريق، كتابة التفسير الذي سيتلقّاه مواطن حقيقي لو استأنف.

هل نعرف ما إذا كانت بيانات تدريبنا تعيد إنتاج نمط تحيّز تاريخي، وهل اختبرنا ذلك مقابل نتائج فعلية لا نوايانا؟ استبعاد خاصية محمية من مجموعة بيانات ليس نفس استبعاد أثرها، لأن بدائل مُرتبِطة يمكن أن تحمل الإشارة نفسها باسم مختلف. استخدم هذا السؤال لتحديد أي أنظمتك اختُبِرت لأثر متفاوت باستخدام نتائج حقيقية بعد النشر، مُفصَّلة بحسب خصائص ذات صلة.

هل مراجعتنا بـ"إنسان في الحلقة" فحص حقيقي، أم ختم مطاطي لم نقسه بدقّة كافية لملاحظته؟ مُراجِع بشري تحت ضغط وقت، بلا سياق كامل، أو يواجه احتكاكًا أكبر للمخالفة من الموافقة سيميل للموافقة على توصية الخوارزم بغضّ النظر عن جودتها. استخدم هذا السؤال لإيجاد معدّل النقض الفعلي لنظام واحد على الأقل.

ماذا يحدث فعلًا، إجرائيًا، حين يريد شخص استئناف قرار اتّخذه خوارزمنا أو استُنير بثقله بشدّة — وهل يرى إنسان بسلطة حقيقية لنقضه الاستئناف أبدًا؟ تُعيد عمليات استئناف كثيرة توجيه مواطن عبر وصف لمنطق النموذج دون الوصول أبدًا إلى شخص يستطيع نقض النتيجة على أساس الجدارة. استخدم هذا السؤال لتتبّع استئناف واحد، من البداية للنهاية، لحالة حقيقية أو واقعية.

من يملك المخاطرة إذا تدهور أحد نماذجنا أو انجرف بعد النشر، وكيف سنعرف فعلًا قبل أن يخبرنا مواطن أو صحفي؟ خصائص إنصاف نموذج ودقّته ليست ثابتة عند الإطلاق؛ يمكن أن تتحوّل مع تغيّر السكان أو الاقتصاد أو سياسة مجاورة، غالبًا بصمت للفريق الذي بنى النظام. استخدم هذا السؤال لتحديد من مسؤول عن المراقبة بعد النشر، وبأي وتيرة، وماذا سيُطلِق تحديدًا إعادة تدريب أو إيقافًا.

في الممارسة: مثال على القيمة العامة

بنت وكالة تأمين اجتماعي وطنية خيالية نموذج تسجيل مخاطرة لترتيب أولوية أي مطالبات إعانة بطالة يجب على فريق التحقيق في الاحتيال مراجعتها أولًا، بعد سنوات من تراكم يعني أن احتيالًا حقيقيًا جلس دون تحقيق لأشهر بينما انتظر مطالِبون صادقون تأخيرات معالجة غير ذات صلة. دُرِّب النموذج على خمس سنوات من ملفات تحقيق مُغلَقة، متعلّمًا أي خصائص مطالبة سبقت تاريخيًا اكتشاف احتيال مُؤكَّد، وأدّى جيدًا في الاختبار: أُكِّد احتيال المطالبات التي سجّلها عالية المخاطرة بمعدّل أعلى بكثير من عيّنة عشوائية.

بعد ثمانية عشر شهرًا، لاحظ مكتب معادِل لأمين مظالم داخلي شيئًا لم تظهره لوحة معلومات أداء فريق الاحتيال نفسها: كان يُشار إلى مطالِبين يعيشون في عدد صغير من المناطق البريدية، منخفضي الدخل بشكل غير متناسب ومهاجرين حديثين بشكل غير متناسب، للتحقيق بمعدّل يقارب ثلاثة أضعاف مطالِبين مماثلين بخلاف ذلك في مكان آخر، وأُغلِقت حصة أكبر بكثير من مطالباتهم المُشار إليها دون اكتشاف أي احتيال على الإطلاق. تتبّع النمط إلى بيانات التدريب: عكست ملفات التحقيق التاريخية سنوات ركّز فيها محقّقون ميدانيون، عاملين من اختصاراتهم الذهنية غير الرسمية الخاصة، فحوصات موضعية يدوية بالضبط في تلك المناطق، فتعلّم النموذج معاملة العيش هناك مُنبِئًا بالاحتيال، بينما كان في الحقيقة يُنبئ فقط بأنه فُحِص أكثر تكرارًا في الماضي.

أكّد تحقيق الوكالة أن النمط كان حقيقيًا، وأكّد أيضًا مشكلة ثانية وأهدأ: كان المُراجِعون البشريون الذين يُفترَض أن يوافقوا على حالة للتحقيق الكامل قد وافقوا على أعلى توصيات النموذج تسجيلًا في الأغلبية الساحقة من الحالات، بمتوسط وقت مراجعة أقلّ من دقيقتين لكل حالة — بعيد جدًا عن كافٍ للتشكيك بمعنى في درجة إحصائية. جمعت استجابة الوكالة عدة أفضل ممارسات لهذا الموضوع في آنٍ واحد: أعادت تدريب النموذج مع تصحيح نمط الإفراط التاريخي في المراقبة، وأطالت وقت المراجعة ومنحت المُراجِعين سلطة إغلاق حالة مُشار إليها دون تصعيد حين يختلف حكمهم الخاص مع الدرجة، وبنت إشعارًا بلغة بسيطة ومسار استئناف حقيقيًا إلى موظف حالة مُسمًّى لأي شخص أُشير إلى مطالبته.

أربعة منظورات قطاعية

الحكومة المحلية

تنشر الهيئات المحلية بازدياد أدوات خوارزمية للقرارات ذات العواقب الأكثر فورية وشخصية للسكان — أولوية تخصيص إسكان، وتسجيل مخاطرة رفاه الطفل، وفرز احتيال ضريبة مجلس أو منفعة — غالبًا بينما تفتقر إلى قدرة علم بيانات داخلية لبناء هذه الأنظمة أو التحقّق منها أو مراجعتها بنفسها. هذا يخلق انضباط مشتريات خاصًا: يجب أن تطلب هيئة محلية تُكلِّف بنظام خوارزمي، شرطًا تعاقديًا، القابلية للتفسير واختبار التحيّز ووصول المراجعة نفسها التي كانت ستتطلبها من بناء داخلي.

الحكومة الوطنية

تُشغِّل الوكالات الوطنية أكبر الأنظمة نطاقًا في مجال هذا الموضوع — اكتشاف احتيال ضريبي، تقييم مخاطرة هجرة، أهلية منفعة وطنية — حيث حتى معدّل خطأ صغير يُترجَم إلى عدد مطلق كبير جدًا من الأشخاص المتأثرين، وحيث تملك الوكالة عادة أعمق قدرة تقنية وقانونية لبناء ضمانات حقيقية. الحكومات الوطنية عادة أيضًا المستوى الذي يُكتَب ويُنفَذ فيه تنظيم ذكاء اصطناعي قائم على المخاطرة، حيث يوجد، مانحًا الوكالات الوطنية أوضح التزامات رسمية وأكبر تعرّض حين تجد مراجعة أو محكمة أن نظامًا آليًا أنتج نتائج تمييزية أو غير قابلة للمراجعة على نطاق واسع.

القطاع الاجتماعي وغير الربحي

تستخدم المنظمات غير الربحية وغير الحكومية بازدياد أدوات خوارزمية لفرز توزيع معونة، أو فحص أهلية مستفيدين، أو ترتيب أولوية عمل حالات بالضبط في المجالات التي يغطّيها هذا الموضوع، غالبًا تحت قيود موارد حقيقية تجعل حجة كفاءة الأتمتة مقنعة فعلًا. بنية المساءلة مختلفة جوهريًا مع ذلك عن الحكومة: نادرًا ما يملك مستفيدو منظمة غير ربحية حقوق استئناف قانونية يملكها مواطن ضد وكالة دولة، وتجري علاقة مساءلة المنظمة الأساسية غالبًا إلى ممولّيها لا إلى من يقرِّر الخوارزم بشأنهم.

المتعدد الأطراف والدولي

تُطبِّق الهيئات المتعددة الأطراف ووكالات إنسانية دولية أدوات استهداف وتسجيل مخاطرة خوارزمية عبر حدود وأنظمة قانونية، غالبًا في أوضاع أزمة حيث فائدة سرعة الأتمتة أحدّ ما تكون والبيانات المتاحة أقلّ موثوقية. لا ينطبق قانون إجراء واجب وطني واحد أو نظام حق في تفسير موحَّدًا عبر عمليات هيئة متعددة الأطراف، فيجب بناء الضمانات التي يصفها هذا الموضوع في معايير تشغيل المنظمة نفسها بدلًا من وراثتها من إطار قانوني خارجي قابل للإنفاذ.

أنماط الفشل الشائعة

التمييز بالبديل. يستبعد نموذج خاصية محمية مباشرة لكن يتعلّم إشارة معادِلة من متغيّر مُرتبِط — رمز بريدي، اسم عائلة، قطاع توظيف، تاريخ منفعة — مُعيدًا إنتاج نمط التمييز نفسه الذي قُصِد بالاستبعاد منعه. التكلفة إحساس زائف بالأمان: تستطيع المنظمة القول بصدق إن المتغيّر المحمي لم يُستخدَم أبدًا، بينما تبقى النتيجة غير عادلة بالقدر نفسه.

تحيّز الأتمتة في المراجعة البشرية. يوافق مُراجِع بشري، مطلوب منه رسميًا فحص توصية خوارزم، عليها في الأغلبية الساحقة من الحالات لأن المخالفة تستغرق وقتًا أكثر، وتبريرًا أكثر، أو مخاطرة شخصية أكثر من الموافقة. التكلفة أن ضابطًا تؤمن المنظمة أنه يكتشف أخطاء يختم عليها فعليًا بالمطاط.

مسرحية القابلية للتفسير. تقدّم منظمة تفسيرًا لقرار آلي يبدو محدَّدًا ومُرضيًا لكنه مُولَّد بعد الحقيقة بمنهج يقرِّب، لا يكشف، منطق النموذج الفعلي. تظهر التكلفة حين يُختبَر التفسير تحت تدقيق حقيقي — استئناف، مراجعة، تحدٍّ قانوني — ويتبيّن أنه لا يطابق لماذا أنتج النظام فعلًا ذلك الناتج المحدَّد.

تحيّز تاريخي يُعاد إنتاجه عبر حلقات تغذية راجعة. يتعلّم نموذج مُدرَّب على نتائج قرارات ماضية — أي أحياء حُقِّق فيها، أي طلبات وُوفِق عليها — نمط الإفراط في التدقيق أو نقص الخدمة الذي شكّل تلك القرارات الماضية ثم يديمه، وتصبح كل جولة قرارات جديدة تُنتجها بيانات تدريب للنسخة التالية، مُعمِّقة النمط بدلًا من تصحيحه.

فجوة المساءلة، أو مشكلة "الأيدي الكثيرة". حين يمرّ قرار عبر نموذج مورِّد، وبيانات وكالة، وضبط عتبة فريق سياسة، وتوقيع موظف حالات اسميًا، يمكن أن تصبح المسؤولية عن نتيجة خاطئة غير واضحة فعلًا حتى للمنظمة نفسها، مع قدرة كل طرف على الإشارة إلى آخر مصدر الخطأ.

نموذج النضج

قائمة التحقق

• ابنِ جردًا كاملًا لكل نظام يتّخذ أو يُستَنير بثقله جوهريًا قرارًا يؤثّر في حقوق شخص أو استحقاقاته، بما يشمل أدوات مورِّدين.
• صنِّف كل نظام في ذلك الجرد بمخاطر القرار الذي يُستَنير به، باستخدام طبقة مخاطرة محدَّدة.
• أكِّد أن كل شخص متأثِّر يتلقّى إشعارًا بلغة بسيطة بأن خوارزمًا كان معنيًا بقضيته.
• صِغ التفسير المحدَّد على مستوى الحالة الذي سيتلقّاه مواطن حقيقي عند الاستئناف، واختبر ما إذا كان سيُرضيه فعلًا.
• اختبر كل نظام عالي المخاطرة لأثر متفاوت باستخدام نتائج حقيقية بعد النشر، مُفصَّلة بحسب خصائص ذات صلة.
• قِس معدّل النقض ومتوسط وقت المراجعة لكل ضبط "إنسان في الحلقة"، وعامِل معدّل نقض قريبًا من الصفر اكتشافًا.
• أكِّد أن إنسانًا مُسمًّى، بسلطة حقيقية لنقض القرار، يراجع كل استئناف.
• ضع المراجعة الخوارزمية تحت وظيفة مستقلة عن الفريق الذي بنى النظام أو يُشغِّله.
• أكِّد أن بيانات التدريب والتشغيل لكل نظام تبقى ضمن خط أنابيب محكوم ومحدود الغرض.
• حدّد جدول إعادة تدريب وتحقّق ثابتًا لكل نموذج منشور، بدلًا من انتظار شكوى تُطلِق مراجعة.
• حدّد أي أنظمتك تفتقر حاليًا إلى ضمانة أتمتة كاملة للقرارات الأشدّ خطورة والأقلّ قابلية للعكس، وصحِّح ذلك أولًا.
• أجرِ أسئلة النقاش الست أعلاه مع فريقك وسجّل أين تختلف الإجابة الصادقة عن الرسمية.

المصادر الرئيسية

• مبادئ منظمة التعاون الاقتصادي والتنمية للذكاء الاصطناعي (2019، مُحدَّثة 2024) — أول معيار حكومي دولي للذكاء الاصطناعي الجدير بالثقة.
• قانون الذكاء الاصطناعي للاتحاد الأوروبي (اللائحة (EU) 2024/1689) — أول إطار قانوني شامل ومُرتَّب بالمخاطرة للذكاء الاصطناعي.
• مكتب المساءلة الحكومية الأمريكي، الذكاء الاصطناعي: إطار مساءلة للوكالات الفيدرالية وكيانات أخرى (GAO-21-519SP، 2021).
• بحث دانييل كيتس سيترون حول "الإجراء الواجب التقني"، مُحاجِجة بأن الأنظمة الآلية تتطلب ضمانات إجرائية مُصمَّمة خصيصًا لصنع قرار خوارزمي، لا بشري.
• بحث كاثي أونيل وفيرجينيا يوبانكس وفرانك باسكوالي الموجَّه للجمهور حول التحيّز الخوارزمي، وإدارة الرفاه الآلية، وأنظمة التسجيل المعتمة.

المراجع

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp