정부의 인공지능과 알고리즘 의사결정

공공가치에서 이것이 중요한 이유

공공 기관은 늘 관심을 배급해 왔다. 사례 담당자가 모든 신청자를 직접 면담할 수 없고, 세관원이 모든 컨테이너를 검사할 수 없으며, 사기 팀이 모든 청구를 검토할 수 없다. 인공지능(AI), 곧 보통 인간의 판단을 요구하는 과제를 수행하는 체계를 만드는 넓은 분야와, 더 좁은 실천인 알고리즘 및 자동화된 의사결정(ADM)은 그 관심을 더 일관되게, 훨씬 더 큰 규모로 배급하겠다고 약속하며, 인간 팀이 결코 완전히 검토할 수 없는 사례를 점수화하고, 표시하고, 직접 결정한다. 주제 5.1은 이 역량이 그 안에 놓이는 디지털 서비스 전달 유형을 다룬다(주제 5.1 — 디지털 정부와 디지털 전환 참조). 이 주제는 지명된 공무원이 아니라 모형이 결정의 일부나 전부를 하고 있을 때 무슨 일이 일어나는지에 관한 것이다.

약속은 실재한다. 잘 만든 모형은 사례 담당자에게는 보이지 않는 사기 유형을 잡아내고, 백만 건의 청구에 걸쳐 완벽한 일관성으로 자격 규칙을 적용하며, 진정으로 판단이 필요한 사례를 위해 부족한 전문가의 시간을 풀어 줄 수 있다. 위험도 똑같이 실재하며 시스템을 만든 조직 안에서는 보기 더 어렵다. 과거 자료로 훈련된 모형은 공공 기관이 바로잡으려고 존재하는 바로 그 차별을 재생산하고 증폭할 수 있다. 복잡한 모형은 너무 불투명해서 시민도 그것에 의존하는 공무원도 그것이 왜 그렇게 결정했는지 말할 수 없을 수 있다. 그리고 알고리즘이 크게 정보를 준 결정은 절차적으로 여전히 시민에게 이유를 줄 수도, 그 사연을 들어줄 수도 있는 사람이 없는 상태로 남을 수 있다. 이 중 어느 것도 가정이 아니다. 여러 관할권의 규제기관, 법원, 옴부즈맨에 상응하는 기구는 이미 동네, 이민 이력, 가족 구조로 사람들을 불균형하게 표시한 공공 부문 위험 점수화 및 사기 탐지 체계를 발견했으며, 각 경우에 모형을 정확하게 만든 유형이 우연히 보호되거나 민감한 특성도 추적했기 때문이었다.

따라서 공공가치의 이해관계는 한 번 균형을 잡을 상충 관계로서의 효율 대 공정이 아니라, 지속적으로 유지해야 하는 설계 규율이다. 인간 공무원에게 급여를 거부당한 시민은 그 공무원에게 이유를 물을 수 있고, 답을 바꿀 지위와 권한을 가진 다른 사람에게 항소할 수 있다. 주제 3.4가 기술하는 책임성 장치다(주제 3.4 — 책임성, 투명성, 정당성 참조). 모형에 급여를 거부당한 시민은 같은 설명을 받을 권리와 그것을 뒤집을 수 있는 사람에게 가는 같은 경로가 필요하다. 그렇지 않으면 공공 기관은 공식적으로 철회한 적 없는 적법 절차의 보장을 조용히 수출한 것이다. 이를 올바르게 하는 것이, 공공 기관이 '알고리즘이 결정했다'를 책임성을 시작하는 것이 아니라 끝내는 문구로 바꾸지 않고 알고리즘 의사결정의 진정한 일관성과 규모의 이득을 얻게 해 준다.

핵심 개념

자동화된 의사결정(ADM)은 다양한 정도의 인간 감독과 함께 결정을 내리거나 실질적으로 정보를 주는 데 자료, 소프트웨어, 알고리즘을 쓰는 것으로, 인간에게 정보를 드러내 주기만 하는 체계에서 인간의 개입 없이 결정하고 행동하는 체계까지의 스펙트럼에 걸쳐 있다(자동화된 의사결정 참조). 체계가 그 스펙트럼의 어디에, 곧 결정 지원, 결정 증강, 완전 자동화 중 어디에 놓이는지가 어떤 책임성 및 적법 절차 의무가 적용되는지를 결정하며, 이것이 규제기관이 점점 더 기반 기술이 아니라 그 위의 위치로 체계를 분류하는 이유다.

인간 개입 루프(human-in-the-loop)는 사람이 알고리즘의 산출을 효력을 발휘하기 전에 검토하거나 승인하는 배치를 기술하며, 사람이 모니터링하고 개입할 수 있는 인간 감독 루프(human-on-the-loop)나 검토가 전혀 없는 완전 자동 처리와 구별된다(인간 개입 루프 참조). 진정한 인간 개입 통제는 검토자가 체계에 실제로 동의하지 않을 시간, 정보, 지위를 갖고 있을 것을 요구한다. 동의하지 않는 것이 동의하는 것보다 더 오래 걸리거나 더 큰 개인적 위험을 지기 때문에 알고리즘의 거의 모든 권고를 승인하는 검토자는, 과정도에 인간 단계가 나타나더라도 감독을 행사하고 있는 것이 아니다. 흔히 자동화 편향이라 불리는 이 유형은 이 주제의 대상에서 가장 흔하고 가장 눈에 띄지 않는 실패 가운데 하나다.

알고리즘 편향은 컴퓨터화된 체계가 불공정한 결과, 예컨대 설계자가 의도하지도, 흔히 알아채지도 못한 방식으로 한 집단을 다른 집단보다 특혜하는 결과를 낳는 체계적이고 반복 가능한 경향이다(알고리즘 편향 참조). 행정에서 지배적인 원천은 훈련 자료 편향이다. 과거의 집행, 대출, 사례 업무 기록으로 훈련된 모형은 그 기록의 유형, 곧 과거에 누가 조사되고, 승인되고, 표시되었는지에 내장된 역사적 과잉 단속, 과소 서비스, 차별적 관행을 포함해 그 유형을 배운다. 모형은 인종, 장애, 이민 지위 같은 민감한 특성이 자료에서 명시적으로 제외되었을 때도 이 결과를 재생산할 수 있다. 상관된 대리 지표(우편번호, 성씨, 근무 유형, 급여 이력)가 같은 신호를 다른 이름으로 나르기 때문이며, 대리 지표를 시험하지 않고 명명된 변수만 제거하는 것은 공공 기관이 실제로는 고치지 않은 편향 문제를 고쳤다고 믿게 되는 흔한 방식이다.

기계학습의 공정성은 자동화된 결정에서 알고리즘 편향을 측정하고 바로잡는 기술적이고 절차적인 접근의 가족을 가리킨다(공정성(기계학습) 참조). 이 분야의 진정으로 어려운 특징은, 해결 가능한 기술적 각주가 아니라, 직관적으로 합리적인 여러 공정성 정의, 곧 집단 사이의 동일한 승인율, 집단 사이의 동일한 오류율, 각 집단 안에서 똑같이 보정된 정확도가 근저의 집단이 자료에서 서로 다른 기저율을 가질 때마다 수학적으로 양립 불가능하다는 것이다. 공공 기관은 모든 정의를 동시에 충족할 수 없다. 그것은 명시적으로, 그리고 방어할 용의가 있는 이유와 함께, 당면한 결정이 어느 정의를 최적화해야 하는지 고를 수 있을 뿐이며, 이는 기술적 판단으로 치장한 정책적 판단이다.

설명 가능성과 블랙박스 문제. 모형은 그 내부 작동을 입력과 출력만으로는 검사하거나 이해할 수 없을 때 블랙박스다. 성능이 높은 많은 기계학습 모형이 그렇고, 그 정확성은 바로 해석하기 어렵게 만드는 복잡성에서 오는 경우가 많다. 설명 가능한 인공지능, 곧 XAI는 모형의 추론을 검사할 수 있게 만드는 방법의 분야로, 중대한 결정에 본질적으로 해석 가능한 모형 유형을 고르는 것에서, 복잡한 모형이 실제로 한 일을 드러내기보다 근사하는 사후 설명을 생성하는 것까지 이른다. 이 구별은 기술적으로만큼이나 법적으로 중요하다. 그럴듯하게 들리지만 모형의 실제 추론을 반영하지 않는 근사적 설명은, 자신에게 불리한 결정의 실제 근거를 다투기 위해 그것에 의존하는 시민을 실패시키면서도 투명성 점검표를 충족시킬 수 있다.

설명을 받을 권리는 중대한 자동화된 결정의 대상이 되는 사람이 관련된 논리에 대한 의미 있는 설명을 받을 자격이 있다는 다투어지는 법적 원칙으로, 법적 또는 이에 준하는 중대한 효과를 낳는 전적으로 자동화된 처리에 기반한 결정을 제한하고 당사자에게 인간의 개입을 얻고 결정을 다툴 권리를 주는 유럽연합의 일반 개인정보보호법(General Data Protection Regulation)과 가장 밀접하게 연관된다(설명을 받을 권리와 일반 개인정보보호법 참조). 법학자들은 이 권리가 실무에서 실제로 얼마나 강한지를 다투며, 유럽연합 밖의 관할권은 대체로 동등한 법정 권리가 없고, 그래서 공공 기관은 '우리는 관련 개인정보보호법을 준수한다'를 '우리는 이 결정을 그것이 영향을 미치는 사람에게 설명할 수 있다'와 동등한 것으로 취급해서는 안 된다. 두 주장은 관련되지만 같지 않으며, 적법 절차가 실제로 요구하는 것은 두 번째뿐이다.

적법 절차와 자연적 정의. 행정법에서 적법 절차(due process), 곧 미국 헌법에서 가장 발달했으나 많은 법 체계에서 비슷한 형태로 반향되는 원칙으로, 국가가 사람에게서 권리나 자격을 박탈하기 전에 공정한 절차를 따라야 한다는 것과, 공정한 청문과 의사결정자의 편견으로부터의 자유를 요구하는 영연방 행정법 전통인 자연적 정의는 모두 컴퓨터가 존재하기 전에 쓰인 가정에 기댄다. 결정에는 이유를 줄 수 있고, 자격을 박탈하는 편견이 없음을 보일 수 있으며, 재고를 요청받을 수 있는 식별 가능한 의사결정자가 있다는 것이다. 알고리즘은 세 가정을 동시에 긴장시킨다. 이유는 기술적으로 이용할 수 없을 수 있고, 문제의 '편견'은 개인적이 아니라 통계적이며, 같은 모형에 의한 재고는 같은 답을 낳는다. 이것이 알고리즘 결정에 대한 적법 절차를 인간 의사결정자를 위해 만든 절차에서 물려받는 대신 명시적으로 설계해야 하는 이유다.

AI의 위험 기반 규제. 모든 AI를 균일하게 규제하는 대신, 유럽연합의 인공지능법(Artificial Intelligence Act)에서 가장 충분히 발전한 신생 규제 유형은 의무를 적용의 이해관계에 따라 층화한다. 좁은 용도의 집합은 아예 금지하고, 가장 무거운 준수 의무는 '고위험' 용도(공공 부문 자격 판정, 법 집행 위험 평가, 이민 결정을 명시적으로 포함)에 부과하며, 더 낮은 위험의 용도에는 투명성 공개를 요구하고, 최소 위험의 용도는 대체로 규제하지 않는다(인공지능법 참조). 주어진 관할권의 규제 유형이 무엇이든, 근저의 생각, 곧 거버넌스 의무가 기술의 정교함이 아니라 결정의 이해관계에 비례해야 한다는 것은, EU의 구체적 체제를 따라야 할 직접적 법적 의무가 없더라도 유용한 설계 원칙이다.

모범 사례

1. 모든 시스템을 모형을 고르기 전에, 고른 뒤가 아니라, 결정의 이해관계에 따라 분류하라. 검토를 위해 사례를 표시하는 체계는 급여를 아예 거부하는 체계와 다른 의무를 진다. 배치가 간극을 드러낸 뒤가 아니라 구축하기 전에, EU 인공지능법의 위험 범주 같은 틀을 참조점으로 삼아 용도가 어느 계층에 놓이는지 결정하라.
2. 알고리즘이 자신에 대한 결정에 관여할 때 사람들에게 쉬운 말로 알려라. 이용 약관에 묻힌 일반적 개인정보 안내는 이를 충족하지 못한다. 안내는 체계가 무엇을 하는지, 어떤 자료를 쓰는지, 그 산출에 동의하지 않을 때 무슨 일이 일어나는지 말해야 한다.
3. 검토자가 실제로 행사할 수 있는 인간 개입 통제를 구축하고, 실제로 행사하는지 측정하라. 번복률, 사례당 평균 소요 시간, 모형에 동의하지 않는 검토자가 동의하는 것에는 없는 어떤 마찰을 겪는지를 추적하라. 번복률이 0에 가깝다면 그 검토는 장식일 가능성이 매우 높다.
4. 개발자의 의도가 아니라 실제 성과로 차별적 영향을 시험하라. 배치 전과 이후 고정된 반복 주기로, 우편번호나 급여 이력 같은 가능한 대리 지표를 통해서도 포함해 모형의 성과를 보호되고 민감한 특성별로 세분화하여 측정하라. 보호 변수를 직접 쓴 적 없는 모형도 극명하게 불평등한 결과를 낳을 수 있기 때문이다.
5. 영향받는 모든 사람에게 단지 설명하는 것이 아니라 알고리즘의 결정을 뒤집을 권한이 있는 사람에게 가는 경로를 주어라. 번복의 진정한 가능성 없이 모형의 추론을 되풀이하는 항소 채널은 설명을 받을 권리의 문언은 충족하지만 그 목적은 무너뜨린다.
6. 법적으로 중대한 결정에는 약간 더 정확한 블랙박스 모형보다 해석 가능한 모형을 선호하라. 해석 가능한 모형과 복잡한 모형 사이의 정확도 간극이 작은 곳에서는, 해석 가능성의 이득이 대개 조직에 돌아오는 한계적 정확도보다 시민, 항소 담당관, 감사관에게 훨씬 더 가치가 있다.
7. 각 시스템의 목적, 훈련 자료, 알려진 한계, 의도된 용도를 상설 기록에 문서화하고, 그 어느 것이든 바뀔 때 갱신하라. 한 목적으로 배치되었다가 조용히 다른 목적으로 전용된 모형, 예컨대 사기 선별이 일반 자격 선별로 확장된 경우는 대개 원래의 검증과 편향 시험을 뒤에 남겼다.
8. 고위험 모형의 훈련 및 운영 자료를 거버넌스되고 목적이 제한된 파이프라인 안에 두어라. 한 행정 목적으로 수집한 데이터 집합을 무관한 목적을 위한 모형을 훈련하는 데 재사용하는 것은 모형화의 실패만큼이나 데이터 거버넌스의 실패다(주제 5.4 — 공공부문 데이터, 상호운용성, 개방 데이터 참조).
9. 알고리즘 감사를 시스템을 만들거나 운영한 팀에 보고하지 않는 기능 아래에 두어라. 시스템 자신의 개발자가 수행한 감사는 불리한 발견을 공표할 지위가 있는 진정으로 독립적인 검토자가 수행한 감사와는 다른, 그리고 더 적은 문제를 찾는다(주제 3.4 — 책임성, 투명성, 정당성 참조).
10. 시스템을 실제 결정에 가동하기 전에 그림자 기간을 운영하라. 모형이 행동을 시작하기 전에 정해진 기간 동안 같은 사례에 대한 모형의 권고를 실제 인간의 결정과 비교하여, 어떤 체계적 이탈이든 시민이 영향받기 전에 드러나게 하라.
11. 인간 검토가 전혀 없는 완전 자동화는 가장 중요도가 낮고 가장 되돌릴 수 있는 결정에만 남겨 두라. 결정이 더 심각하고 덜 되돌릴 수 있을수록, 곧 급여의 종료, 형사 조사를 촉발하는 사기 의뢰, 입국 거부일수록, 모형의 측정된 정확도와 상관없이 인간을 진정으로 루프에 두어야 한다는 논거가 더 강하다.
12. 문제가 보고될 때만이 아니라 고정된 일정으로 재훈련하고, 재검증하고, 편향을 재시험하라. 모형의 정확도와 공정성 특성은 그것이 훈련된 인구와 세계가 바뀜에 따라 조용히 표류할 수 있으며, 민원 이후에만 조사하는 공공 기관은 민원이 불거지기까지 걸린 만큼의 시간 동안 이미 표류가 진행되게 둔 것이다.

팀과 논의할 질문

우리 조직에서 알고리즘이 개인의 권리, 자격, 자유에 영향을 미치는 결정을 내리거나 크게 정보를 주는 곳은 어디이며, 영향받는 모든 사람이 그것이 일어났음을 실제로 알아낼 수 있는가? 많은 조직이 시스템을 실제로 목록으로 만들어 보면, 알고리즘 점수화나 선별이 어느 단일 팀이 깨달은 것보다 더 많은 결정 지점에 스며들었음을 발견하며, 처음에는 이해관계가 낮은 효율 도구로 도입된 경우가 많다. 이 질문을 활용해 그 목록을 정직하게 만들되, 구매한 도구가 실제로 얼마나 결정하는지를 조달이 가릴 수 있으므로 자체 구축이 아니라 공급업체에서 조달한 시스템도 포함하라. 현재의 안내 관행이 영향받는 시민이 전문 지식 없이도 자신의 사건에 모형이 관여했음을 알아낼 수 있게 할지 논의하라.

시민이 내일 자동화된 결정 하나를 공식적으로 다툰다면, 우리는 그들에게 실제적이고 구체적인 이유를 줄 수 있는가, 아니면 과정에 대한 설명만 줄 수 있는가? '시스템이 귀하의 소득, 가구 규모, 납부 이력을 고려했다'는 과정 설명은, 그 입력이 이 특정인에게 이 특정 결과를 낳은 이유에 대한 설명과 같지 않다. 이 질문을 활용해 운영 중인 시스템 하나를 골라, 실제 시민이 항소한다면 받을 설명을 팀으로서 써 보라. 연습이 어렵다면, 그 어려움 자체가 발견이다.

우리의 훈련 자료가 역사적 편향 유형을 재생산하는지 알고 있으며, 우리의 의도가 아니라 실제 성과에 비추어 시험했는가? 보호되는 특성을 데이터 집합에서 제외하는 것은 그 영향을 제외하는 것과 같지 않다. 상관된 대리 지표가 다른 이름으로 같은 신호를 나를 수 있기 때문이다. 이 질문을 활용해 입력 자료에 보호 변수가 있는지만 시험한 것이 아니라, 관련 특성별로 세분화한 실제 배치 후 성과로 차별적 영향을 시험한 시스템이 어느 것인지 파악하라. 가장 이해관계가 큰 시스템에서 아직 수행하지 않았다면 그 성과 기반 시험을 실행하는 데 무엇이 필요한지 논의하라.

우리의 인간 개입 검토는 진정한 점검인가, 아니면 알아챌 만큼 자세히 측정하지 않은 도장 찍기인가? 시간 압박 아래 있거나, 전체 맥락이 없거나, 동의하는 것보다 동의하지 않는 데 더 큰 마찰을 겪는 인간 검토자는 알고리즘의 권고의 질과 상관없이 그것을 승인하는 쪽으로 기우는 경향이 있다. 이 질문을 활용해 적어도 하나의 시스템에 대한 실제 번복률을 찾고, 그 숫자가 검토가 통제로 기능하고 있는지 준법 형식으로 기능하고 있는지에 대해 무엇을 말해 주는지 논의하라.

누군가 우리 알고리즘이 내렸거나 크게 정보를 준 결정에 항소하려 할 때 절차적으로 실제로 무슨 일이 일어나며, 그것을 뒤집을 실질적 권한을 가진 인간이 그 항소를 한 번이라도 보는가? 많은 항소 과정은 결과를 실질에 따라 뒤집을 수 있는 사람에게 도달하지 못한 채 시민을 모형의 논리에 대한 설명으로 되돌려 보낸다. 이 질문을 활용해 실제 또는 현실적인 사례의 항소 하나를 처음부터 끝까지 따라가, 답을 바꿀 진정한 권한을 가진 인간이 관여하는 정확한 지점이, 있다면, 어디인지 파악하라.

우리 모형 중 하나가 배치 후 저하되거나 표류한다면 그 위험은 누가 소유하며, 시민이나 기자가 알려 주기 전에 우리는 실제로 어떻게 알겠는가? 모형의 공정성과 정확도 특성은 출시 때 고정된 것이 아니다. 인구, 경제, 인접 정책이 바뀜에 따라 이동할 수 있으며, 흔히 시스템을 만든 팀에게는 보이지 않는다. 이 질문을 활용해 배치 후 모니터링에 누가 책임이 있는지, 어떤 주기로, 재훈련이나 중단을 구체적으로 무엇이 촉발할지 파악하라. 정직한 답이 '아무도 이것을 구체적으로 지켜보고 있지 않다'라면, 이를 이 논의가 낳을 수 있는 가장 시급한 발견으로 다뤄라.

실제 사례: 공공가치 사례

가상의 국가 사회보험 기관은, 진짜 사기가 몇 달 동안 조사되지 않은 채 있는 동안 정직한 청구인이 무관한 처리 지연을 기다리게 되는 적체가 수년간 이어진 뒤, 사기 조사 팀이 먼저 검토해야 할 실업급여 청구의 우선순위를 정하는 위험 점수 모형을 구축했다. 모형은 5년간의 종결된 조사 파일로 훈련되어 어떤 청구 특성이 역사적으로 확인된 사기 판정에 앞섰는지 배웠고, 시험에서 잘 수행했다. 모형이 고위험으로 점수화한 청구는 무작위 표본보다 훨씬 높은 비율로 사기로 확인되었고, 몇 년 만에 처음으로 적체가 줄어드는 것을 지켜본 기관의 지도부는 도입을 분명한 성공으로 취급했다.

18개월째, 내부 옴부즈맨에 상응하는 사무소가 사기 팀 자신의 성과 대시보드가 드러내지 못한 것을 알아챘다. 소수 우편 지구에 사는 청구인, 곧 불균형하게 저소득이고 불균형하게 최근 이민자인 청구인이 다른 곳의 비슷한 청구인보다 거의 세 배의 비율로 조사 대상으로 표시되고 있었고, 그들의 표시된 청구 중 훨씬 더 높은 몫이 사기가 전혀 발견되지 않은 채 종결되었다. 유형은 훈련 자료로 거슬러 올라갔다. 과거 조사 파일은 현장 조사관들이 자신의 비공식적 어림법에 따라 바로 그 지구에 수동 점검을 집중한 몇 해를 반영했고, 그래서 모형은 그곳에 사는 것을 사기의 예측 요인으로 취급하도록 배웠지만, 그것은 실제로는 과거에 더 자주 점검받았다는 것만 예측했다. 우편 지구는 모형의 입력이었던 적이 없었다. 그럴 필요가 없었다. 가구 구성, 고용주 부문, 지급 방법 항목이 충분히 밀접하게 상관되어 같은 신호를 대리로 나르기 때문이었다.

기관의 조사는 유형이 실재함을 확인했고, 두 번째의 더 조용한 문제도 확인했다. 사례가 전면 조사로 진행되기 전에 승인하도록 되어 있던 인간 검토자들은 압도적 다수의 사례에서 모형의 최상위 점수 권고를 승인했고, 검토 시간은 사례당 평균 2분 미만이었으며, 이는 통계적 점수를 의미 있게 의문시하기에는 한참 모자라는 시간이어서, 지도부가 안전장치로 가리킨 인간 개입 통제가 그것이 잡아내려고 존재하는 바로 그 격차를 실제로는 잡아내지 못했음을 뜻했다. 기관의 대응은 이 주제의 모범 사례 여러 가지를 한꺼번에 결합했다. 역사적 과잉 단속 유형을 보정하여 모형을 재훈련하고, 검토 시간을 늘리고, 검토자에게 자신의 판단이 점수와 다를 때 상향 보고 없이 표시된 사례를 종결할 권한을 주었으며, 청구가 표시된 모든 사람에게 쉬운 말의 안내와 지명된 사례 담당관에게 가는 진정한 항소 경로를 구축했다. 검토자 시간당 조사 성과는 다소 떨어졌지만, 이전에 과잉 표시되었던 지구에서 표시된 청구의 확인된 사기율은 나머지 사례군과 맞먹도록 올랐으며, 기관 자신의 감사는 이를 성공의 진정한 척도로 다뤘다. 표시된 청구의 양이 아니라 표시가 모형이 재생산하도록 배운 역사적 유형이 아니라 실제 사기를 추적했는지 여부다.

네 가지 부문 관점

지방정부

지방 당국은 주거 배정 우선순위, 아동 복지 위험 점수화, 지방세나 급여 사기 선별처럼 주민에게 가장 즉각적이고 개인적인 이해관계가 걸린 결정에 알고리즘 도구를 점점 더 많이 배치하며, 이 시스템을 스스로 구축하고, 검증하고, 감사할 내부 데이터 과학 역량이 없는 경우가 많아, 많은 곳이 당국이 훈련 자료와 검증을 완전히 검사할 수 없는 공급업체가 제공한 모형에 의존한다. 이는 특정한 조달 규율을 낳는다. 알고리즘 시스템을 위탁하는 지방 당국은 자체 구축에 요구할 것과 같은 설명 가능성, 편향 시험, 감사 접근을 계약 조건으로 요구해야 한다. 주민의 적법 절차 권리는 당국이 시스템을 구축하지 않고 샀다고 해서 줄어들지 않기 때문이다. 지방정부의 주민에 대한 근접성은 또한 알고리즘의 오작동이 공식 민원이 되기 전에 지역사회에서 개인적으로 알려질 가능성이 더 높음을 뜻하며, 이는 가볍고 이른 지방 검토를 뒷받침한다.

중앙정부

국가 기관은 이 주제의 범위에서 가장 큰 규모의 시스템, 곧 조세 사기 탐지, 이민 위험 평가, 국가 급여 자격을 운영하며, 작은 오류율도 매우 큰 절대 수의 영향받는 사람으로 이어지고, 기관이 대개 진정한 안전장치를 구축할 가장 깊은 기술적, 법적 역량을 갖는다. 중앙정부는 또한 위험 기반 AI 규제가, 있다면, 작성되고 집행되는 수준인 경우가 대개이며, 이는 중앙 기관에 가장 분명한 공식 의무를 주고, 감사나 법원이 자동화된 시스템이 규모 있게 차별적이거나 검토할 수 없는 결과를 낳았음을 발견할 때 가장 큰 노출을 준다. 적법 절차의 이해관계는 다른 의미에서도 여기서 가장 높다. 이민이나 법 집행 위험 점수는 자격만이 아니라 자유에도 영향을 미칠 수 있으며, 이는 사례 양 때문에 자동화에 대한 기술적 논거가 가장 강한 바로 그곳에서 가장 보수적인 자동화 태세, 곧 가장 적은 완전 자동화와 가장 진정한 인간 검토를 뒷받침한다.

사회 부문과 비영리

비영리조직과 비정부기구(NGO)는 원조 배분을 선별하고, 수혜자의 자격을 심사하거나, 이 주제가 다루는 바로 그 영역에서 사례 업무의 우선순위를 정하는 데 알고리즘 도구를 점점 더 많이 쓰며, 흔히 자동화에 대한 효율성 논거를 진정으로 설득력 있게 만드는 실질적 자원 제약 아래서 그렇다. 그러나 책임성 구조는 정부와 현저히 다르다. 비영리조직의 수혜자는 시민이 국가 기관에 대해 갖는 법정 항소권을 갖는 경우가 드물고, 조직의 주된 책임성 관계는 알고리즘이 결정하는 대상이 아니라 재원 제공자에게 향하는 경우가 많으며, 이는 주제 3.8 — 사회 부문과 비영리 조직 관리가 이 부문 일반에 대해 기술하는 바로 그 책임성 간극이다. 따라서 알고리즘 선별을 채택하는 비영리조직은 이 주제가 기술하는 설명 및 항소 권리를 규제기관이 요구해서가 아니라 조직이 서비스하는 사람들이 그에 이르는 다른 경로가 없기 때문에 자발적 기준으로 구축해야 한다.

다자 및 국제기구

다자기구와 국제 인도주의 기관은 국경과 법 체계를 가로질러 알고리즘 표적화와 위험 점수화 도구를 적용하며, 흔히 자동화의 속도 이점이 가장 절실하고 이용 가능한 자료가 가장 신뢰하기 어려운 위기 환경, 곧 불완전한 등록 자료, 한 위기를 위해 수집되어 다른 위기에 재사용된 자료, 원조를 받을지를 결정하는 점수화 결정을 다툴 능력이 제한된 인구에서 그렇다. 어떤 단일 국가의 적법 절차법이나 설명을 받을 권리 체제도 다자기구의 운영 전반에 균일하게 적용되지 않으므로, 이 주제가 기술하는 안전장치는 집행 가능한 외부 법적 틀에서 물려받는 것이 아니라 조직 자신의 운영 기준에 내장되어야 하며, 이는 주제 3.4가 다자기구 일반에 대해 짚은 대표성과 책임성의 간극을 반향한다(주제 3.4 — 책임성, 투명성, 정당성 참조). 여기서는 이해관계도 심각하다. 알고리즘 결정이 이 주제의 어느 집단보다 잘못된 결과에 항소할 실질적 능력이 가장 적은 사람들의 식량, 쉼터, 난민 신청 처리에 대한 접근을 결정할 수 있기 때문이다.

흔한 실패 유형

대리 지표를 통한 차별. 모형이 보호되는 특성을 직접 제외하지만 우편번호, 성씨, 고용 부문, 급여 이력 같은 상관된 변수에서 동등한 신호를 배워, 제외가 막으려던 바로 그 차별적 유형을 재생산한다. 비용은 거짓된 안도감이다. 조직은 보호 변수가 쓰인 적이 없다고 진실로 말할 수 있지만, 결과는 그것이 쓰인 것만큼이나 불평등하다.

인간 검토에서의 자동화 편향. 공식적으로 알고리즘의 권고를 점검하도록 요구받는 인간 검토자가, 동의하지 않는 것이 동의하는 것보다 더 많은 시간, 더 많은 정당화, 더 큰 개인적 위험을 요구하기 때문에 압도적 다수의 사례에서 그것을 승인한다. 비용은 조직이 오류를 잡아낸다고 믿는 통제가 실제로는 그것을 도장 찍어 주고 있다는 것이며, 이는 대개 누군가 과정이 존재한다고 신뢰하는 대신 번복률을 직접 측정할 때에야 눈에 보이게 된다.

설명 가능성 연극. 조직이 자동화된 결정에 대해 구체적이고 만족스럽게 들리지만, 모형의 실제 추론을 드러내기보다 근사하는 방법으로 사후에 생성된 설명을 제공한다. 비용은 설명이 항소, 감사, 법적 이의 제기 같은 실제 검증 아래서 시험될 때, 시스템이 그 특정 산출을 실제로 낳은 이유에 대응하지 않는 것으로 드러날 때 나타난다.

피드백 순환을 통해 재생산되는 역사적 편향. 과거 결정의 성과, 곧 어느 동네가 조사되고 어느 신청이 승인되었는지로 훈련된 모형은, 그 과거 결정을 형성한 과잉 감시나 과소 서비스의 유형이 무엇이든 배우고 이후 영속시키며, 그것이 낳는 각 새 결정 라운드는 다음 판본의 훈련 자료가 되어 유형을 바로잡는 것이 아니라 심화시킨다. 이는 위험 기반 치안과 복지 사기 선별을 포함한 여러 공공 부문 영역에서 국제적으로 기록되었으며, 근저의 메커니즘은 그 기록된 사례 전반에서 충분히 일관되어서, 관할권과 상관없이 과거 집행이나 사례 업무 자료로 훈련된 어떤 시스템에서든 일반적 위험으로 다룰 만하다.

책임성의 간극, 곧 '많은 손' 문제. 결정이 공급업체의 모형, 기관의 자료, 정책 팀의 기준치 설정, 사례 담당자의 명목상 결재를 거칠 때, 잘못된 결과에 대한 책임이 조직 자신에게조차 진정으로 불분명해질 수 있으며, 각 당사자가 오류의 원천으로 다른 당사자를 가리킬 수 있다. 비용은 영향받는 시민이 분명한 답을 얻을 수 없다는 것만이 아니라, 결정 전체에 대한 단일한 책임 있는 소유자가 존재하지 않기 때문에 조직이 실제 원인을 안정적으로 고칠 수 없다는 것이다(주제 3.4 — 책임성, 투명성, 정당성 참조).

성숙도 모델

체크리스트

• 공급업체가 제공한 도구를 포함해, 개인의 권리나 자격에 영향을 미치는 결정을 내리거나 실질적으로 정보를 주는 모든 시스템의 완전한 목록을 만든다.
• 그 목록의 각 시스템을 그것이 정보를 주는 결정의 이해관계에 따라 정해진 위험 계층으로 분류한다.
• 영향받는 모든 사람이 자신의 사건에 알고리즘이 관여했다는 쉬운 말의 안내를 받는지 확인한다.
• 실제 시민이 항소할 때 받을 구체적이고 사례 수준의 설명을 작성하고, 그것이 실제로 그를 만족시킬지 시험한다.
• 각 고위험 시스템을 제외된 입력 변수만 점검하는 것이 아니라 관련 특성별로 세분화한 실제 배치 후 성과로 차별적 영향을 시험한다.
• 모든 인간 개입 통제의 번복률과 평균 검토 시간을 측정하고, 0에 가까운 번복률을 발견으로 다룬다.
• 결정을 번복할 진정한 권한이 있는 지명된 사람이 모든 항소를 검토하는지 확인한다.
• 알고리즘 감사를 시스템을 만들거나 운영한 팀으로부터 독립적인 기능 아래에 둔다.
• 각 시스템의 훈련 및 운영 자료가 거버넌스되고 목적이 제한된 파이프라인 안에 머무는지 확인한다.
• 민원이 검토를 촉발하기를 기다리지 않고 모든 배치된 모형에 고정된 재훈련 및 재검증 일정을 정한다.
• 가장 심각하고 가장 되돌릴 수 없는 결정에 대한 완전 자동화 안전장치가 현재 없는 시스템이 어느 것인지 파악하고, 그것을 먼저 바로잡는다.
• 팀과 함께 위의 여섯 가지 논의 질문을 진행하고 정직한 답이 공식적인 답과 다른 곳을 기록한다.

주요 출처

• OECD AI 원칙(2019, 2024 갱신) — 포용적 성장, 인권, 투명성, 견고성, 책임성을 포괄하는 신뢰할 만한 AI에 대한 최초의 정부 간 표준.
• 유럽연합 인공지능법(Regulation (EU) 2024/1689) — 공공 부문 자격, 법 집행, 이민 용도를 명시적으로 다루는 AI에 대한 최초의 포괄적 위험 계층화 법적 틀.
• 미국 회계감사원, Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP, 2021) — 공공 부문의 AI 책임성을 위한 거버넌스, 데이터, 성과, 모니터링 틀.
• 자동화된 시스템에는 인간의 의사결정이 아니라 알고리즘 의사결정을 위해 특별히 만든 절차적 안전장치가 필요하다고 주장하는, '기술적 적법 절차(technological due process)'에 관한 다니엘 키츠 시트론(Danielle Keats Citron)의 학문.
• 알고리즘 편향, 자동화된 복지 행정, 불투명한 점수화 체계에 대한 캐시 오닐(Cathy O'Neil), 버지니아 유뱅크스(Virginia Eubanks), 프랭크 파스콸레(Frank Pasquale)의 대중 대상 학문으로, 이 주제의 훈련 자료 편향과 블랙박스 문제 논의 전반에서 인용된다.

참고문헌

1. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
2. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
3. Automated decision-making — Wikipedia — https://en.wikipedia.org/wiki/Automated_decision-making
4. Right to explanation — Wikipedia — https://en.wikipedia.org/wiki/Right_to_explanation
5. Due process — Wikipedia — https://en.wikipedia.org/wiki/Due_process
6. Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
7. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
8. Black box — Wikipedia — https://en.wikipedia.org/wiki/Black_box
9. General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
10. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
11. Predictive policing — Wikipedia — https://en.wikipedia.org/wiki/Predictive_policing
12. Natural justice — Wikipedia — https://en.wikipedia.org/wiki/Natural_justice
13. OECD AI Principles overview — OECD.AI — https://oecd.ai/en/ai-principles
14. AI Act | Shaping Europe's digital future — European Commission — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
15. EU AI Act: high-level summary — Future of Life Institute (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/high-level-summary/
16. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities (GAO-21-519SP) — US Government Accountability Office — https://www.gao.gov/products/gao-21-519sp