Искусственный интеллект и алгоритмическое принятие решений в государственном управлении

Почему это важно: общественная ценность и алгоритмические решения

Государственные органы всегда распределяли внимание по принципу дефицита: социальный работник не может лично побеседовать с каждым заявителем, таможенный инспектор не может досмотреть каждый контейнер, группа по борьбе с мошенничеством не может проверить каждое заявление. Искусственный интеллект (ИИ) — широкая область создания систем, выполняющих задачи, которые обычно требуют человеческого суждения, — и более узкая практика алгоритмического и автоматизированного принятия решений (automated decision-making, ADM) обещают распределять это внимание последовательнее и в гораздо большем масштабе, оценивая, помечая или напрямую решая дела, которые человеческая команда никогда не смогла бы проверить полностью. Цифровые паттерны предоставления услуг, внутри которых существует эта способность, рассмотрены в теме 5.1 (см. тему 5.1 — Цифровое государство и цифровая трансформация); эта тема посвящена тому, что происходит, когда решает — целиком или частично — модель, а не назначенное должностное лицо.

Обещание реально: хорошо построенная модель может выявлять схемы мошенничества, невидимые для социального работника, применять правила предоставления права с безупречной последовательностью к миллиону заявлений и высвобождать ограниченное время экспертов для дел, действительно требующих суждения. Риск не менее реален, и изнутри организации, создавшей систему, его труднее заметить. Модель, обученная на исторических данных, может воспроизводить и усиливать ту самую дискриминацию, которую государственный орган призван исправлять; сложная модель может быть настолько непрозрачной, что ни гражданин, ни полагающийся на неё чиновник не могут сказать, почему она решила именно так; а решение, на которое алгоритм сильно повлиял, может при этом, с процедурной точки зрения, оставить без ответа вопрос, кто способен назвать гражданину причину или выслушать его дело. Ничто из этого не гипотетично: регуляторы, суды и органы, аналогичные омбудсмену, в нескольких юрисдикциях уже обнаруживали государственные системы оценки риска и выявления мошенничества, которые непропорционально часто помечали людей по району проживания, миграционной истории или составу семьи, и в каждом случае закономерность, делавшая модель точной, одновременно отслеживала защищённую или чувствительную характеристику.

Поэтому на кону общественной ценности стоит не эффективность против справедливости как компромисс, который нужно уравновесить один раз, а дисциплина проектирования, которую необходимо поддерживать непрерывно. Гражданин, которому чиновник отказал в пособии, может спросить этого чиновника почему и может обжаловать решение перед другим человеком, обладающим статусом и полномочиями изменить ответ, — это механизм подотчётности, описанный в теме 3.4 (см. тему 3.4 — Подотчётность, прозрачность и легитимность). Гражданину, которому в пособии отказала модель, необходимо то же право на объяснение и тот же путь к человеку, способному отменить отказ, иначе государственный орган втихомолку вывел за рамки гарантию надлежащей правовой процедуры, которую формально никогда не отменял. Именно это позволяет государственному органу получить подлинные выгоды алгоритмического принятия решений в последовательности и масштабе, не превращая фразу «решил алгоритм» в слова, которыми подотчётность заканчивается, а не начинается.

Основные понятия

Автоматизированное принятие решений (automated decision-making, ADM) — использование данных, программного обеспечения и алгоритмов для принятия решений или существенного влияния на них при разной степени человеческого контроля: от системы, которая лишь выводит информацию для человека, до системы, которая решает и действует без какого-либо участия человека (см. automated decision-making). Положение системы на этом спектре — поддержка решения, расширение решения или полная автоматизация — определяет, какие обязательства по подотчётности и надлежащей правовой процедуре применимы, и поэтому регуляторы всё чаще классифицируют системы по положению на нём, а не по лежащей в основе технологии.

«Человек в контуре» (human-in-the-loop) — схема, при которой человек проверяет или утверждает результат работы алгоритма до того, как он вступит в силу, в отличие от схемы «человек над контуром» (human-on-the-loop: человек наблюдает и может вмешаться) или полностью автоматизированной обработки без какой-либо проверки (см. human-in-the-loop). Подлинный контроль «человек в контуре» требует, чтобы у проверяющего были время, информация и статус, позволяющие действительно не согласиться с системой; проверяющий, который одобряет почти каждую рекомендацию алгоритма, потому что несогласие занимает больше времени или несёт больший личный риск, чем согласие, не осуществляет надзор, даже если на схеме процесса присутствует шаг с участием человека. Эта закономерность, нередко называемая предвзятостью автоматизации (automation bias), — один из наиболее распространённых и наименее заметных сбоев в предмете этой темы.

Алгоритмическая предвзятость (algorithmic bias) — систематическая, воспроизводимая склонность компьютеризированной системы давать несправедливые результаты, например отдавая предпочтение одной группе перед другой способами, которых разработчики системы не предполагали и часто не замечали (см. algorithmic bias). В государственном управлении доминирующий источник — предвзятость обучающих данных: модель, обученная на исторических записях об правоприменении, кредитовании или работе с обращениями, усваивает закономерности этих записей, включая исторически сложившийся чрезмерный надзор, недостаточное обслуживание или дискриминационную практику, заложенные в то, кого проверяли, одобряли или помечали в прошлом. Модель может воспроизвести этот результат, даже если чувствительная характеристика — раса, инвалидность, миграционный статус — явно исключена из данных, потому что коррелирующий прокси-признак (почтовый индекс, фамилия, график смен, история получения пособий) несёт тот же сигнал под другим названием; удаление названной переменной без проверки её прокси — распространённый способ, которым государственный орган считает исправленной проблему предвзятости, которую он не исправил вовсе.

Справедливость в машинном обучении (fairness in machine learning) — это семейство технических и процедурных подходов к измерению и исправлению алгоритмической предвзятости в автоматизированных решениях (см. fairness (machine learning)). Подлинно трудная особенность этой области — не решаемая технически сноска, а факт: несколько интуитивно разумных определений справедливости — равные доли одобрения между группами, равные доли ошибок между группами и одинаково откалиброванная точность внутри каждой группы — математически несовместимы, когда у лежащих в основе групп разные базовые частоты в данных. Государственный орган не может удовлетворить все определения одновременно; он может лишь выбрать — явно и с доводами, которые он готов защищать, — на какое определение должно быть ориентировано рассматриваемое решение, а это политическое суждение, одетое как техническое.

Объяснимость и проблема «чёрного ящика». Модель является «чёрным ящиком» (black box), когда её внутреннее устройство невозможно проверить или понять только по входам и выходам; это верно для многих высокопроизводительных моделей машинного обучения, точность которых часто обусловлена именно сложностью, затрудняющей их интерпретацию. Объяснимый искусственный интеллект (explainable artificial intelligence, XAI) — область методов, делающих рассуждения модели доступными для проверки: от выбора изначально интерпретируемых типов моделей для значимых решений до генерации пост-фактум объяснений, которые приближают, а не раскрывают то, что на самом деле сделала сложная модель. Различие важно юридически не меньше, чем технически: приблизительное объяснение, которое звучит правдоподобно, но не отражает действительных рассуждений модели, может удовлетворить контрольный перечень прозрачности, подведя при этом гражданина, который рассчитывает на него, чтобы оспорить реальное основание решения против себя.

Право на объяснение (right to explanation) — спорный правовой принцип, согласно которому лицо, в отношении которого принято значимое автоматизированное решение, вправе получить осмысленное объяснение применённой логики; он наиболее тесно связан с Общим регламентом по защите данных (General Data Protection Regulation, GDPR) Европейского союза, который ограничивает решения, основанные исключительно на автоматизированной обработке и порождающие правовые или аналогичные существенные последствия, и даёт субъекту права требовать вмешательства человека и оспаривать решение (см. right to explanation и General Data Protection Regulation). Юристы спорят о том, насколько сильно это право на практике, а в юрисдикциях за пределами Европейского союза аналогичного законодательного права в основном нет, поэтому государственному органу не следует считать «мы соблюдаем соответствующий закон о защите данных» равнозначным «мы можем объяснить это решение тому, кого оно затрагивает»: два утверждения связаны, но не тождественны, и надлежащая правовая процедура на деле требует только второго.

Надлежащая правовая процедура и естественная справедливость. В административном праве надлежащая правовая процедура (due process) — принцип, наиболее развитый в конституционном праве Соединённых Штатов, но в сопоставимой форме присутствующий во многих правовых системах: государство должно следовать справедливым процедурам, прежде чем лишать человека права или причитающегося, — и естественная справедливость (natural justice) — традиция административного права стран Содружества, требующая справедливого слушания и беспристрастности лица, принимающего решение, — оба основаны на допущении, сформулированном до появления компьютеров: у решения есть определимый субъект, который может назвать причины, чью свободу от дисквалифицирующей предвзятости можно показать и которого можно попросить пересмотреть решение. Алгоритм ставит под сомнение все три допущения одновременно: причины могут быть технически недоступны, рассматриваемая «предвзятость» носит статистический, а не личный характер, а повторное рассмотрение той же моделью даёт тот же ответ, — поэтому надлежащая правовая процедура для алгоритмических решений должна быть спроектирована явно, а не унаследована от процедур, созданных для человеческих лиц, принимающих решения.

Регулирование ИИ на основе риска. Вместо единообразного регулирования всего ИИ формируется регуляторная модель — наиболее полно разработанная в Законе об искусственном интеллекте Европейского союза (Artificial Intelligence Act) — которая распределяет обязательства по уровням в зависимости от ставок применения: узкий набор видов использования прямо запрещается, самые тяжёлые требования соответствия налагаются на «высокорисковые» виды использования (к которым прямо отнесены определение права на государственные выплаты, оценка рисков в правоохранительной деятельности и миграционные решения), для менее рискованных видов требуется раскрытие информации, а виды использования с минимальным риском остаются в основном нерегулируемыми (см. Artificial Intelligence Act). Какова бы ни была регуляторная модель в данной юрисдикции, лежащая в основе идея — обязательства в области управления должны соразмеряться со ставками решения, а не со сложностью технологии — полезный принцип проектирования и без прямой юридической обязанности следовать конкретному режиму ЕС.

Лучшие практики

1. Классифицируйте каждую систему по ставкам решения до выбора модели, а не после. Система, помечающая дело для проверки человеком, влечёт иные обязательства, чем система, прямо отказывающая в пособии; определите, к какому уровню относится случай использования, взяв за ориентир такую рамку, как категории риска Закона ЕС об ИИ, до разработки, а не после того, как внедрение обнаружит пробел.
2. Сообщайте людям простым языком, когда в решении о них участвует алгоритм. Типовое уведомление о конфиденциальности, спрятанное в условиях и положениях, этого не обеспечивает; уведомление должно говорить, что делает система, какие данные использует и что происходит, если человек не согласен с её результатом.
3. Создайте контроль «человек в контуре», которым проверяющий может реально воспользоваться, и измеряйте, пользуется ли он им. Отслеживайте долю отмен решений алгоритма, среднее время на дело и то, сталкиваются ли не согласные с моделью проверяющие с трудностями, которых нет при согласии: если доля отмен близка к нулю, проверка, скорее всего, декоративна.
4. Проверяйте непропорциональное воздействие по реальным результатам, а не по намерениям разработчиков. До внедрения и затем с установленной периодичностью измеряйте результаты модели в разбивке по защищённым и чувствительным характеристикам, в том числе через вероятные прокси, такие как почтовый индекс или история получения пособий, поскольку модель, никогда напрямую не использующая защищённую переменную, всё равно может давать резко неравные результаты.
5. Предоставьте каждому затронутому человеку путь к человеку, обладающему властью отменить решение алгоритма, а не только объяснить его. Канал обжалования, который пересказывает рассуждения модели без реальной возможности отмены, удовлетворяет букве права на объяснение, но лишает его смысла.
6. Для юридически значимых решений предпочитайте интерпретируемую модель чуть более точной модели-«чёрному ящику». Когда разрыв в точности между интерпретируемой и сложной моделью невелик, выигрыш в интерпретируемости обычно значит для гражданина, сотрудника по обжалованию и аудитора гораздо больше, чем предельный выигрыш в точности для организации.
7. Документируйте назначение каждой системы, обучающие данные, известные ограничения и предполагаемое применение в постоянном реестре и обновляйте его при изменении любого из них. Модель, внедрённая для одной цели и втихомолку перепрофилированная для другой, — например, отбор по признакам мошенничества, расширенный до общей сортировки по праву на выплаты, — как правило, оставила позади первоначальную валидацию и проверку на предвзятость.
8. Держите обучающие и эксплуатационные данные модели с высокими ставками в рамках управляемого конвейера с ограничением по целям. Повторное использование набора данных, собранного для одной административной цели, для обучения модели с несвязанной целью — сбой в управлении данными не меньше, чем в моделировании (см. тему 5.4 — Данные государственного сектора, интероперабельность и открытые данные).
9. Поручите алгоритмический аудит подразделению, не подчиняющемуся команде, которая создала систему или эксплуатирует её. Аудит, проведённый разработчиками самой системы, находит иные проблемы и в меньшем числе, чем аудит по-настоящему независимого проверяющего, имеющего статус публиковать неблагоприятный вывод (см. тему 3.4 — Подотчётность, прозрачность и легитимность).
10. Проведите «теневой» период, прежде чем включать систему для реальных решений. Сравнивайте рекомендации модели с фактическими решениями людей по тем же делам в течение определённого срока, прежде чем она начнёт действовать, чтобы любое систематическое расхождение выявилось до того, как оно затронет гражданина.
11. Полную автоматизацию без какой-либо проверки человеком оставляйте только для наименее значимых и наиболее обратимых решений. Чем тяжелее и необратимее решение — прекращение выплаты пособия, передача дела о мошенничестве, запускающая уголовное расследование, отказ во въезде, — тем весомее довод в пользу того, чтобы сохранить человека в контуре по-настоящему, какова бы ни была измеренная точность модели.
12. Переобучайте, повторно валидируйте и повторно проверяйте на предвзятость по установленному графику, а не только когда сообщено о проблеме. Свойства точности и справедливости модели могут незаметно дрейфовать по мере изменения населения и мира, на которых она обучалась, а государственный орган, который расследует лишь после жалобы, уже допустил дрейф на всё то время, которое потребовалось жалобе, чтобы проявиться.

Вопросы для обсуждения в вашей команде

Где в нашей организации алгоритм сегодня принимает или существенно определяет решение, затрагивающее права, причитающиеся выплаты или свободу человека, и мог бы каждый затронутый человек действительно узнать, что это произошло? Многие организации, составляя перечень своих систем, обнаруживают, что алгоритмическая оценка или сортировка проникла в большее число точек принятия решений, чем осознавала любая отдельная команда, — нередко изначально как малозначимый инструмент повышения эффективности. Используйте этот вопрос, чтобы честно составить такой перечень, включая системы, приобретённые у поставщика, а не созданные собственными силами, поскольку закупка может скрывать, насколько большую часть решений на деле принимает купленный инструмент. Обсудите, позволит ли ваша нынешняя практика уведомления затронутому гражданину выяснить без специальных знаний, что в его деле участвовала модель.

Если завтра гражданин официально оспорит одно из наших автоматизированных решений, сможем ли мы назвать ему реальную, конкретную причину, а не только описание процесса? Описание процесса — «система учла ваш доход, размер домохозяйства и историю платежей» — не то же самое, что объяснение, почему эти входные данные привели к этому результату для этого человека. Используйте этот вопрос, чтобы выбрать одну действующую систему и попытаться всей командой написать объяснение, которое получил бы реальный гражданин, если бы подал жалобу. Если это упражнение даётся трудно, эта трудность сама по себе является выводом.

Знаем ли мы, воспроизводят ли наши обучающие данные историческую закономерность предвзятости, и проверяли ли мы это по реальным результатам, а не по нашим намерениям? Исключение защищённой характеристики из набора данных не равнозначно исключению её влияния, потому что коррелирующие прокси могут нести тот же сигнал под другим названием. Используйте этот вопрос, чтобы определить, какие из ваших систем проверялись на непропорциональное воздействие по реальным результатам после внедрения, в разбивке по соответствующим характеристикам, а не только на наличие защищённой переменной во входных данных. Обсудите, что потребовалось бы, чтобы провести такую проверку по результатам для вашей системы с наивысшими ставками, если это ещё не сделано.

Является ли наша проверка «человек в контуре» подлинным контролем или формальным штампом, который мы недостаточно тщательно измеряли, чтобы это заметить? Проверяющий, работающий в цейтноте, без полного контекста или встречающий больше трудностей при несогласии, чем при согласии, склонен одобрять рекомендацию алгоритма независимо от её качества. Используйте этот вопрос, чтобы выяснить фактическую долю отмен как минимум по одной системе, и обсудите, что это число говорит о том, действует ли проверка как контроль или как формальность соответствия.

Что на самом деле происходит с процедурной точки зрения, когда кто-то хочет обжаловать решение, принятое нашим алгоритмом или в значительной мере определённое им, и видит ли жалобу когда-нибудь человек, обладающий реальной властью её удовлетворить? Многие процессы обжалования возвращают гражданина к описанию логики модели, так и не доходя до человека, способного отменить результат по существу. Используйте этот вопрос, чтобы проследить одно обжалование от начала до конца на реальном или реалистичном деле и определить точный момент, если он есть, когда подключается человек с подлинными полномочиями изменить ответ.

Кто отвечает за риск, если одна из наших моделей деградирует или дрейфует после внедрения, и как мы на самом деле узнаем об этом раньше, чем нам сообщит гражданин или журналист? Свойства справедливости и точности модели не фиксируются при запуске; они могут смещаться по мере изменения населения, экономики или смежной политики, нередко незаметно для команды, создавшей систему. Используйте этот вопрос, чтобы определить, кто отвечает за мониторинг после внедрения, с какой периодичностью и что именно запустит переобучение или приостановку. Если честный ответ — «за этим конкретно никто не следит», считайте это самым срочным выводом, который может дать это обсуждение.

На практике: пример общественной ценности

Вымышленное национальное агентство социального страхования создало модель оценки риска, чтобы определять, какие заявления на пособие по безработице группа по расследованию мошенничества должна проверять в первую очередь, после нескольких лет затора, из-за которого подлинное мошенничество месяцами оставалось нерасследованным, а добросовестные заявители ждали из-за не связанных с этим задержек обработки. Модель обучили на пятилетних закрытых делах расследований: она усвоила, какие характеристики заявлений исторически предшествовали подтверждённому выводу о мошенничестве, и показала хорошие результаты при тестировании: заявления, которым она присвоила высокий риск, подтверждались как мошеннические значительно чаще, чем случайная выборка, а руководство агентства, впервые за годы наблюдавшее сокращение затора, сочло внедрение безусловным успехом.

Через восемнадцать месяцев внутренняя служба, аналогичная омбудсмену, заметила то, что не отразила собственная панель показателей группы по борьбе с мошенничеством: заявители, проживавшие в небольшом числе почтовых округов, непропорционально малоимущие и непропорционально недавно приехавшие мигранты, помечались для расследования почти в три раза чаще, чем в остальном сопоставимые заявители в других местах, а гораздо большая доля их помеченных заявлений была закрыта без обнаружения мошенничества вообще. Закономерность восходила к обучающим данным: исторические дела расследований отражали годы, когда выездные следователи, опираясь на собственные неформальные эвристики, сосредоточивали выборочные ручные проверки именно в этих округах, поэтому модель научилась считать проживание там предиктором мошенничества, тогда как на деле оно было лишь предиктором того, что в прошлом там проверяли чаще. Почтовый округ никогда не был входной переменной модели; ему и не нужно было быть ею, потому что состав домохозяйства, сектор работодателя и поля способа платежа коррелировали с ним достаточно тесно, чтобы нести тот же сигнал в качестве прокси.

Расследование агентства подтвердило реальность закономерности и выявило вторую, более тихую проблему: проверяющие-люди, которые должны были утверждать дело для полного расследования, прежде чем оно продолжится, одобряли рекомендации модели с наивысшими оценками в подавляющем большинстве случаев, при среднем времени проверки менее двух минут на дело — совершенно недостаточном, чтобы осмысленно усомниться в статистической оценке; а это означало, что контроль «человек в контуре», на который руководство указывало как на защитную меру, на самом деле не выявлял то неравенство, ради выявления которого существовал. Ответ агентства сочетал сразу несколько лучших практик этой темы: оно переобучило модель с поправкой на исторический чрезмерный надзор, увеличило время проверки и наделило проверяющих полномочием закрывать помеченное дело без эскалации, когда их собственное суждение расходится с оценкой, и создало уведомление простым языком и реальный путь обжалования к назначенному сотруднику по делу для любого, чьё заявление было помечено. Выход расследований на час работы проверяющего несколько снизился, но доля подтверждённого мошенничества среди помеченных заявлений из ранее чрезмерно помечавшихся округов выросла до уровня остальной массы дел, и собственный аудит агентства счёл это настоящей мерой успеха — не число помеченных заявлений, а то, отслеживало ли помечание реальное мошенничество, а не историческую закономерность, которую модель научилась воспроизводить.

Четыре секторальные перспективы

Местное самоуправление

Местные органы всё чаще применяют алгоритмические инструменты для решений с наиболее непосредственными и личными ставками для жителей — приоритет при распределении жилья, оценка риска в защите детей, сортировка дел о мошенничестве с муниципальным налогом или пособиями, — нередко не располагая собственным потенциалом в области науки о данных, чтобы создавать, валидировать или проверять такие системы самостоятельно, из-за чего многие полагаются на модели, поставляемые вендорами, обучающие данные и валидацию которых орган не может проверить полностью. Это порождает особую дисциплину закупок: местный орган, заказывающий алгоритмическую систему, должен потребовать в качестве условия контракта ту же объяснимость, проверку на предвзятость и доступ для аудита, что потребовал бы от разработки собственными силами, поскольку права жителя на надлежащую правовую процедуру не уменьшаются от того, что орган купил систему, а не создал её. Близость местного самоуправления к жителям означает также, что алгоритмический сбой скорее станет лично известен в сообществе, чем превратится в формальную жалобу, что говорит в пользу лёгкой и ранней местной проверки.

Национальное правительство

Национальные ведомства эксплуатируют самые крупные системы, входящие в область этой темы, — выявление налогового мошенничества, оценка миграционных рисков, определение права на национальные пособия, — где даже малая доля ошибок оборачивается очень большим абсолютным числом затронутых людей и где у ведомства, как правило, наибольший технический и юридический потенциал для создания подлинных гарантий. Национальные правительства — обычно также тот уровень, на котором регулирование ИИ на основе риска, там, где оно существует, пишется и применяется, что даёт национальным ведомствам наиболее чёткие формальные обязательства и наибольшую уязвимость, когда аудит или суд обнаруживает, что автоматизированная система дала дискриминационные или не поддающиеся проверке результаты в масштабе. Ставки надлежащей правовой процедуры здесь наивысшие и в другом смысле: оценка риска в миграционной или правоохранительной сфере может затрагивать свободу, а не только права на выплаты, что говорит в пользу наиболее консервативной позиции по автоматизации — наименьшей полной автоматизации и наиболее подлинной проверки человеком — именно там, где техническое обоснование автоматизации часто сильнее всего из-за объёма дел.

Социальный сектор и некоммерческие организации

Некоммерческие и неправительственные организации (НПО) всё чаще используют алгоритмические инструменты для сортировки распределения помощи, отбора получателей по праву на помощь или расстановки приоритетов в работе с обращениями именно в тех областях, которые охватывает эта тема, нередко в условиях реальных ресурсных ограничений, делающих довод об эффективности автоматизации по-настоящему убедительным. Однако структура подотчётности заметно отличается от государственной: у получателей помощи некоммерческой организации редко есть законодательные права на обжалование, которые есть у гражданина в отношении государственного ведомства, а основные отношения подотчётности организации нередко направлены к её донорам, а не к людям, о которых алгоритм принимает решения, — это именно тот пробел подотчётности, который тема 3.8 — Управление в социальном секторе и некоммерческих организациях — описывает для сектора в целом. Поэтому некоммерческой организации, внедряющей алгоритмическую сортировку, следует создать права на объяснение и обжалование, описанные в этой теме, как добровольный стандарт — не потому, что этого требует регулятор, а потому, что у людей, которым организация служит, нет другого пути к ним.

Многосторонние и международные организации

Многосторонние органы и международные гуманитарные агентства применяют алгоритмические инструменты определения целевых групп и оценки риска через границы и правовые системы, зачастую в кризисных условиях, где выигрыш в скорости от автоматизации наиболее остр, а доступные данные наименее надёжны: неполные регистрационные данные, данные, собранные для одного кризиса и повторно использованные для другого, и группы населения с ограниченной возможностью оспорить решение об оценке, определяющее, получат ли они помощь. Ни один национальный закон о надлежащей правовой процедуре или режим права на объяснение не применяется единообразно ко всей деятельности многостороннего органа, поэтому описанные в этой теме гарантии должны быть встроены в собственные операционные стандарты организации, а не унаследованы от принудительно исполнимой внешней правовой рамки, что перекликается с пробелом в представительстве и подотчётности многосторонних органов, выявленным в теме 3.4 (см. тему 3.4 — Подотчётность, прозрачность и легитимность). Ставки здесь также весьма серьёзны, поскольку алгоритмическое решение может определять доступ к еде, жилью или рассмотрению ходатайства об убежище для людей, у которых практических возможностей обжаловать неверный результат меньше, чем у любой другой группы, рассматриваемой в этой теме.

Типичные сбои и ошибки

Дискриминация через прокси. Модель напрямую исключает защищённую характеристику, но усваивает эквивалентный сигнал из коррелирующей переменной — почтового индекса, фамилии, сектора занятости, истории получения пособий — и воспроизводит ту самую дискриминационную закономерность, которую исключение должно было предотвратить. Цена — ложное чувство безопасности: организация может правдиво сказать, что защищённая переменная никогда не использовалась, а результат остаётся таким же неравным, как если бы использовалась.

Предвзятость автоматизации при проверке человеком. Проверяющий, формально обязанный проверить рекомендацию алгоритма, одобряет её в подавляющем большинстве случаев, потому что несогласие требует больше времени, больше обоснований или несёт больший личный риск, чем согласие. Цена — контроль, который, как считает организация, выявляет ошибки, на деле штампует их, и это обычно становится видно лишь тогда, когда кто-то напрямую измеряет долю отмен, а не доверяет самому факту существования процесса.

Театр объяснимости. Организация даёт объяснение автоматизированного решения, звучащее конкретно и удовлетворительно, но сгенерированное постфактум методом, который приближает, а не раскрывает действительные рассуждения модели. Цена проявляется, когда объяснение проходит проверку под реальным пристальным вниманием — при обжаловании, аудите, судебном оспаривании — и оказывается, что оно не соответствует тому, почему система на самом деле выдала именно этот результат.

Историческая предвзятость, воспроизводимая через петли обратной связи. Модель, обученная на результатах прошлых решений — какие районы проверялись, какие заявления одобрялись, — усваивает и затем закрепляет любую закономерность чрезмерного надзора или недостаточного обслуживания, сформировавшую эти прошлые решения, а каждый новый раунд порождаемых ею решений становится обучающими данными для следующей версии, углубляя закономерность, а не исправляя её. Это задокументировано в нескольких областях государственного сектора на международном уровне, включая основанную на оценке риска полицейскую деятельность и отбор по признакам мошенничества в социальной помощи, и лежащий в основе механизм достаточно устойчив в этих задокументированных случаях, чтобы считать его общим риском для любой системы, обученной на исторических данных о правоприменении или работе с обращениями, независимо от юрисдикции.

Пробел подотчётности, или проблема «многих рук». Когда решение проходит через модель поставщика, данные ведомства, установку порогов командой политики и номинальное утверждение социальным работником, ответственность за неверный результат может оказаться по-настоящему неясной даже для самой организации: каждая сторона может указать на другую как на источник ошибки. Цена не только в том, что затронутый гражданин не может получить внятного ответа, но и в том, что организация не может надёжно устранить реальную причину, поскольку не существует единого подотчётного владельца решения в целом (см. тему 3.4 — Подотчётность, прозрачность и легитимность).

Модель зрелости

Контрольный перечень

• Составьте полный перечень всех систем, принимающих решения, затрагивающие права или причитающиеся выплаты человека, или существенно влияющих на них, включая инструменты, поставленные вендорами.
• Классифицируйте каждую систему в этом перечне по ставкам решения, на которое она влияет, используя определённый уровень риска.
• Убедитесь, что каждый затронутый человек получает уведомление простым языком о том, что в его деле участвовал алгоритм.
• Подготовьте конкретное объяснение на уровне дела, которое получил бы реальный гражданин при обжаловании, и проверьте, удовлетворило бы оно его на самом деле.
• Проверьте каждую систему с высокими ставками на непропорциональное воздействие по реальным результатам после внедрения, в разбивке по соответствующим характеристикам, а не только по отсутствию исключённых входных переменных.
• Измерьте долю отмен и среднее время проверки для каждого контроля «человек в контуре» и считайте близкую к нулю долю отмен выводом проверки.
• Убедитесь, что каждое обжалование рассматривает назначенный человек с подлинными полномочиями отменить решение.
• Поместите алгоритмический аудит в подразделение, не зависящее от команды, создавшей систему или эксплуатирующей её.
• Убедитесь, что обучающие и эксплуатационные данные каждой системы остаются в рамках управляемого конвейера с ограничением по целям.
• Установите фиксированный график переобучения и повторной валидации для каждой внедрённой модели, а не ждите, пока жалоба запустит проверку.
• Определите, в каких из ваших систем сейчас нет гарантии против полной автоматизации для наиболее тяжёлых и наименее обратимых решений, и исправьте это в первую очередь.
• Проведите с командой обсуждение шести вопросов выше и зафиксируйте, где честный ответ отличается от официального.

Ключевые источники

• OECD AI Principles (2019, обновлены в 2024 г.) — первый межправительственный стандарт надёжного ИИ, охватывающий инклюзивный рост, права человека, прозрачность, устойчивость и подотчётность.
• European Union Artificial Intelligence Act (Regulation (EU) 2024/1689) — первая комплексная правовая рамка для ИИ с разбивкой по уровням риска, прямо затрагивающая использование в области определения права на выплаты, правоохранительной деятельности и миграции в государственном секторе.
• US Government Accountability Office, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — рамка управления, данных, результативности и мониторинга для подотчётности ИИ в государственном секторе.
• Научные работы Даниэль Китс Ситрон (Danielle Keats Citron) о «технологической надлежащей правовой процедуре» (technological due process), в которых утверждается, что автоматизированным системам необходимы процедурные гарантии, созданные специально для алгоритмического, а не человеческого принятия решений.
• Публичные научные работы Кэти О’Нил (Cathy O'Neil), Вирджинии Юбэнкс (Virginia Eubanks) и Фрэнка Паскуале (Frank Pasquale) об алгоритмической предвзятости, автоматизированном администрировании социальной помощи и непрозрачных системах оценки, на которые ссылается эта тема при обсуждении предвзятости обучающих данных и проблемы «чёрного ящика».

Ссылки

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp