주제 5.4 — 공공부문 데이터, 상호운용성, 개방 데이터

공공가치에서 이것이 중요한 이유

모든 공공 기관은 이미 잘 쓰는 것보다 더 많은 데이터를 보유하고 있다. 세무 당국, 병원 네트워크, 교통 기관, 지방 계획 사무소는 각자 서비스를 운영하는 부산물로 정보를 수집하며, 시민의 질문에 답하거나 분쟁을 해결하는 데 필요한 기록이 조직 내 다른 누구도 조회할 수 없는 시스템에 있음을 대개 너무 늦게 발견한다. 그 비용은 추상적이지 않다. 이미 한 기관에 주소를 알린 시민이 같은 정부 안의 다른 기관에 다시 알려야 해서는 안 된다.

이 주제의 제목 안에는 두 가지 별개의 야망이 있으며, 공공 기관은 이를 습관적으로 혼동한다. 첫째는 상호운용성, 곧 서로 다른 팀과 기술 시대가 독립적으로 구축한 시스템 사이에 데이터가 안정적으로 오가게 하여, 정부의 한 부분이 다른 부분이 이미 아는 것에 따라 행동할 수 있게 하는 것이다. 둘째는 개방성, 곧 데이터를 정부 밖에 아예 공표하여 언론인, 연구자, 시민이 공표 기관이 예상한 적 없는 목적에 쓸 수 있게 하는 것이다. 상호운용성은 대체로 공학과 거버넌스의 문제이며, 개방성은 그 자체로 공공가치로서 주제 1.4 — 공공재, 가치재, 가치 다원주의에서 기술한 공공재와 같은 계열이다. 공표된 데이터는 비경합적이고 일단 공개되면 누구도 배제하기 어려워, 시장만으로는 과소 공급되기 때문이다.

두 야망은 이 주제가 깔끔한 답이 있는 문제가 아니라 진정한 미해결 긴장으로 다루는 세 번째 사실과 충돌한다. 유용할 만큼 상세한 데이터는 이름과 명백한 식별자를 지운 뒤에도 그것이 기술하는 개인을 식별할 만큼 상세한 경우가 많다. 풍부하게 공표하는 정부와 기록 속 사람들을 잘 보호하는 정부는 같은 지렛대 위에서 서로 다른 방향으로 당긴다. 알고리즘 시스템을 훈련하고 평가하기 위한 데이터에 대한 커지는 수요(주제 5.2 — 정부의 인공지능과 알고리즘 의사결정 참조)는 이해관계를 높였는데, 어느 때보다 많은 행위자가 공개하기에 가장 위험한 바로 그 세분도의 공공 데이터를 원하기 때문이다. 거버넌스, 상호운용성, 개방을 프라이버시를 영구적 제약으로 하는 하나의 문제로 다루는 지도자는 각각을 따로 다루는 지도자보다 이 주제의 가치를 포착하기에 더 좋은 위치에 있다.

핵심 개념

데이터 거버넌스는 누가 조직의 데이터를 생성하고, 변경하고, 접근하고, 폐기할 수 있는지, 그리고 어떤 품질 기준으로 유지되어야 하는지를 결정하는 의사결정권, 표준, 책임성의 집합이다(데이터 거버넌스 참조). 이는 데이터를 매일 옮기고 저장하는 운영 업무인 데이터 관리와 구별된다. 거버넌스는 규칙을 정하고, 관리는 그것을 집행한다. 데이터 거버넌스가 없는 공공 기관도 데이터는 있지만, 시민 기록의 어느 사본이 권위 있는 것인지, 그 기록이 틀렸을 때 누가 책임지는지 확신을 갖고 말할 수 있는 사람이 없다.

데이터 관리책임자(data steward)는 특정 데이터 집합의 품질, 정의, 적절한 사용에 책임을 지는 지명된 개인이나 역할로, 그것이 놓인 시스템을 운영하는 기술 직원과 구별된다(데이터 관리책임자 참조). 데이터 품질은 기본적으로 저하되기 때문에 관리책임이 중요하다. 아무도 책임지지 않는 항목에는 일관되지 않은 입력, 중복 기록, 항목이 의미해야 하는 것과 직원이 실제로 넣는 것 사이의 조용한 표류가 쌓인다. 데이터 집합에 관리책임자를 지정하면 데이터 품질이 가끔의 정리 작업에서 지속적이고 지명된 책임으로 바뀐다.

상호운용성은 독립적으로 구축된 시스템이 관련된 모든 시스템 쌍마다 일회성 특수 공학 없이 데이터를 교환하고 올바르게 사용하는 능력이다(상호운용성 참조). 이는 혼동하기 쉬운 세 수준에서 작동한다. 기술적 상호운용성(시스템이 연결되어 바이트를 옮길 수 있는가를 묻는 것으로, 대개 한 소프트웨어가 다른 소프트웨어에 데이터나 행동을 요청하는 정의된 방식인 응용 프로그램 인터페이스, 곧 API를 통한다. 응용 프로그램 인터페이스 참조), 의미적 상호운용성('가구'나 '진행 중인 사례' 같은 공유 항목에 대해 두 시스템이 같은 것을 뜻하는가), 조직적 상호운용성(두 조직이 데이터가 왜 공유되는지, 그 뒤에 일어나는 일에 누가 책임지는지에 합의하는가)이다. 비용이 큰 상호운용성 실패는 대부분 기술적 연결이 완벽하게 작동할 때도 의미적이거나 조직적인 수준에서 일어난다.

공통 스키마, 곧 데이터 표준은 한 범주의 데이터가 어떻게 표현되는지에 대해 합의되고 공표된 구조, 곧 항목 이름, 형식, 단위, 허용 값으로, 하나의 시스템이 만든 데이터를 수작업 번역 없이 다른 시스템이 소비할 수 있도록 둘 이상의 시스템이나 조직이 채택한 것이다. 주소나 사례 상태처럼 기본적인 것에 공유 스키마를 채택한 정부 기관은 수십 개의 잠재적 양자 간 번역 문제를 모든 신규 시스템이 단순히 구현하면 되는 하나의 표준으로 바꾼다. 시스템 사이에서 시간에 걸쳐 지속되는 고유 식별자, 곧 사례 번호, 사업자 등록 번호, 시민 참조 번호는 같은 사람이나 실체에 대한 기록이 올바르게 연결되게 하는 구체적 메커니즘이며, 식별자 설계를 잘못하는 것(번호 재사용, 형식 변경, 또는 아예 없음)은 상호운용성 실패의 가장 흔하고 피할 수 있는 원인 가운데 하나다.

메타데이터는 데이터에 관한 데이터, 곧 데이터 집합의 구조, 출처, 갱신 빈도, 의미에 대한 설명으로, 그것을 만들지 않은 이용자가 이해하고 신뢰할 수 있도록 데이터 자체와 함께 공표된다(메타데이터 참조). 적절한 메타데이터 없이 공표된 데이터 집합은 라이선스가 아무리 개방적이어도 그것을 만든 팀 밖의 누구도 거의 쓸 수 없다. 메타데이터는 파일 더미를 제3자가 실제로 재사용할 수 있는 무언가로 바꾸는 것이다.

데이터 공유 협약은 기관 사이, 또는 공공 기관과 외부 파트너 사이의 공식 합의로, 데이터를 어떤 목적에 쓸 수 있는지, 공유의 법적 근거, 얼마나 오래 보유할 수 있는지, 목적이 바뀌면 무슨 일이 일어나는지를 명시한다. 목적 제한, 곧 공유된 데이터의 사용을 수집되거나 공유된 목적으로 제한하는 것은 데이터 공유 협약이 개인정보를 전용할 무제한의 허가가 되지 않게 하는 규율이며, 그 부재는 기관 간 데이터가 연루된 공공 신뢰 실패에서 반복되는 주제다.

개방 데이터는 누구나 어떤 목적으로든 접근하고, 사용하고, 재배포할 수 있도록 자유롭게 제공되는 데이터로, 대개 기계가 읽을 수 있고 단지 보는 것이 아니라 재사용을 허용하는 라이선스로 공개된다(개방 데이터 참조). 그 공공가치의 논거는 주제 1.4 — 공공재, 가치재, 가치 다원주의에서 제시한 공공재 논리를 따른다. 데이터 집합이 공표되면 한 사람의 사용이 다른 사람의 사용을 줄이지 않으며, 정부는 처음에 그것을 수집하고 공표할 법적 지위와 규모를 모두 가진 유일한 행위자인 경우가 많아서, 민간 시장만으로는 이런 종류의 정보가 만성적으로 과소 공급된다. 개방 데이터는 공표 기관이 모든 사용을 미리 예상할 필요 없이 책임성(언론인과 시민이 정부 자신의 주장을 정부 자신의 기록에 비추어 점검함), 제3자 혁신(기업과 시민 기술자가 정부 자신은 결코 만들지 않을 공공 데이터 위의 서비스를 구축함), 경제의 다른 곳에서의 더 나은 공공 결정을 가능하게 한다.

재식별(re-identification)은 익명화되었다고 여겨지는 데이터를 다른 이용 가능한 정보와 대조하여 기록이 기술하는 실제 사람이 누구인지 알아내는 과정이며, 이 주제의 프라이버시 긴장을 단지 불편한 것이 아니라 불가피한 것으로 만드는 핵심 기술적 사실이다(데이터 재식별 참조). 이름이나 국민보험 번호, 사회보장 번호 같은 명백한 식별자를 제거해도 위험은 사라지지 않는다. 나이, 우편번호, 희귀한 질환 같은 준식별자의 조합은 이름을 붙인 적 없는 데이터 집합에서도, 특히 따로 공개된 다른 데이터 집합과 교차 참조되면, 누군가를 고유하게 식별할 수 있다. k-익명성은 이 위험을 추론하는 하나의 형식적 방법이다. 데이터 집합이 담은 준식별 항목의 모든 조합이 정해진 수 k 이상의 기록에 공유되어 어떤 단일 행도 k명 미만의 가능한 사람으로 좁혀질 수 없으면 k-익명성을 충족한다(k-익명성 참조). 차등 프라이버시는 더 최근의 수학적으로 엄밀한 접근으로, 데이터 집합이나 그에 대한 질의 결과에 세심하게 보정된 통계적 잡음을 더하여, 어떤 단일 개인의 기록이 있거나 없는 것이 공표된 산출을 공격자가 이미 아는 것과 상관없이 한정되고 증명 가능한 양만큼만 바꾸도록 한다(차등 프라이버시 참조). 설계에 의한 프라이버시는 프라이버시 보호가 공표 직전의 삭제 단계로 덧붙여지는 것이 아니라 기본 설정으로서 처음부터 시스템의 구조에 내장되어야 한다는 더 넓은 원칙이다(설계에 의한 프라이버시 참조). 사후에 명백한 식별자를 삭제하는 것은 이 규율의 가장 약한 형태이지 대체물이 아니다.

모범 사례

중앙 데이터 사무소만이 아니라 중요한 모든 데이터 집합에 책임 있는 관리책임자를 지명하라. 데이터 사무소는 표준을 정할 수 있지만 특정 시스템의 특정 항목이 정의된 의미를 여전히 갖는지는 알 수 없다. 그 판단은 데이터의 실제 사용에 가까운 누군가에게 속한다.
기본적으로 개방으로 공표하고, 그렇게 하지 않을 때마다 구체적 이유를 문서화하라. 기본값을 뒤집어 공표의 정당화가 아니라 보류의 정당화를 요구하면, 신중함을 모든 것에 무분별하게 적용하는 대신 진정한 민감성이 개별 검토로 드러난다.
새 스키마를 설계하기 전에 기존의 공유 스키마를 채택하라. 한 프로젝트에는 완벽히 맞지만 정부의 다른 어떤 것과도 맞지 않는 맞춤 데이터 구조는 미래의 통합 비용을 보장한다. 직접 만들기 전에 자기 부문, 관할권, 또는 국제 표준 기구가 이미 공표한 것이 무엇인지 확인하라.
영속적이고 잘 거버넌스되는 고유 식별자를 시스템 가동 후가 아니라 전에 설계하라. 일관되지 않은 키로 몇 년 동안 쌓인 기록에 식별자 체계를 소급 적용하는 것은 처음부터 설계를 올바르게 하는 것보다 극적으로 비싸다.
일회성 파일 전송이 아니라 거버넌스되는 API를 통해 데이터 교환을 구축하라. 스키마를 강제하고, 접근을 기록하고, 버전을 관리할 수 있는 API는 통제 가능하고 감사 가능한 상호운용 지점을 주지만, 부서 사이에 이메일로 오가는 스프레드시트는 그 어느 것도 주지 않으며 낡아도 아무도 알아채지 못한다.
데이터 공유 협약에 기술적 메커니즘만이 아니라 목적, 법적 근거, 만료를 명시하라. 데이터가 어떻게 오가는지만 정하고 왜, 또는 얼마나 오래인지는 정하지 않은 협약은 그것을 정당화한 목적보다 오래 살아남아 아무도 명시적으로 승인한 적 없는 무언가에 대한 허가가 되기 쉽다.
비식별화를 일회성 삭제 작업이 아니라 잔여 결과가 있는 위험 평가로 다뤄라. 공개하려는 데이터 집합과 연결될 수 있는 다른 공개 또는 구매 가능한 데이터 집합이 무엇인지 물어, 외부 정보가 없는 이상화된 공격자가 아니라 현실적인 위협 모형에 대해 재식별 위험의 크기를 가늠하라.
소수 인구나 희귀한 특성이 관련된 모든 공개에 차등 프라이버시나 그에 상응하는 형식적 기법을 적용하라. 희귀 질환, 작은 지역 인구, 고액 거래처럼 그 자체로 식별할 만큼 특이한 것이 데이터 집합에 포함되면 명백한 식별자의 단순 삭제나 일반화로는 불충분하다.
파일 이름 목록만이 아니라 실제 메타데이터가 있는 공개적이고 최신인 데이터 목록을 유지하라. 잠재 이용자가 신뢰할 만큼 이해할 수 없는 데이터 집합은 라이선스가 아무리 관대해도 기능적으로 공표되지 않은 것이다. 목록 항목은 항목이 무엇을 뜻하는지, 얼마나 자주 갱신되는지, 알려진 한계가 무엇인지 말해야 한다.
데이터 품질을 정해진 기준에 대해 반복되는 일정으로 측정하고, 결과를 데이터 집합의 소유자에게 보고하라. 무언가 깨질 때만 점검하는 품질은 그 사이의 긴 시간 동안 눈에 보이지 않게 저하된다. 정기적 측정은 저하를 눈에 보이고 관리 가능한 추세로 바꾼다.
공표된 모든 데이터 집합을 지속적인 공공가치와 지속적인 위험에 대해 주기적으로 검토하라. 인구는 변하고, 재식별 기법은 개선되며, 5년 전에 안전했던 공개가 그 뒤 다른 곳에서 새로 이용 가능해진 데이터에 대해서는 오늘 안전하지 않을 수 있다.
데이터를 공유하거나 공표하는 결정을 그것을 옮기는 기술 팀과 분리하라. 목적, 비례성, 프라이버시 위험을 판단하기에 가장 좋은 위치에 있는 사람은 파이프라인을 구축하기에 가장 좋은 위치에 있는 사람과 같은 경우가 드물며, 두 역할을 하나로 합치면 더 어려운 판단이 덜 검토된 채 남는다.

팀과 논의할 질문

우리의 핵심 데이터 실체마다 어느 시스템이 권위 있는 기록을 보유하는지 알고 있으며, 모두가 실제로 그렇게 다루는가? 많은 조직에는 실제로 같은 정보의 '진짜' 사본이 여럿 있다. 시민의 주소가 청구 시스템, 사례 관리 시스템, 서신 기록에 모두 조금씩 다르게 있고, 모두 누군가가 그에 따라 행동하고 있다. 이 질문을 활용해 조직의 핵심 실체(시민, 사례, 부동산, 사업체)를 나열하고, 각각에 단일한 권위 있는 원천이 존재하는지, 아니면 직원들이 어떤 목적에 어느 시스템을 믿을지 조용히 익혔는지 정직하게 파악하라. 실체마다 하나의 권위 있는 원천을 지정하고 강제하려면 무엇이 필요한지, 전환 중 무엇이 깨질지 논의하라. 이는 대개 잘못된 사본으로 중대한 결정이 내려진 뒤보다 일찍 고치는 편이 더 저렴하다.

누군가 우리 조직의 두 부분에 같은 정보를 왜 줘야 하느냐고 묻는다면, 우리의 정직한 답은 무엇인가? 정직한 답은 흔히 '우리 시스템이 그것을 교환할 수 없어서'이며, 이는 절차 요건으로 위장한 상호운용성 실패다. 이 질문을 활용해 둘 이상의 팀이나 시스템에 걸친 서비스 여정 하나를 골라 같은 사실이 한 번 이상 포착되는 곳을 단계별로 따라가라. 반복 요청이 진정한 무언가, 곧 새로운 동의나 검증 단계를 지키는 것인지, 아니면 단지 데이터 공유 협약이나 공통 스키마의 부재인지 논의하라. 고치지 않고 1년을 더 두는 데 드는 비용을 직원 시간만이 아니라 시민 신뢰 면에서도 고려하라.

우리가 현재 익명화되었다고 부르는 데이터 집합에서 집요한 언론인이나 연구자가 누군가를 재식별할 가능성이 가장 높은 곳은 어디인가? 비식별화된 데이터를 공표하는 대부분의 조직은 그것을 준식별자와 다른 공개 데이터 집합의 현실적 조합에 대해 스트레스 시험해 본 적이 없다. 이 질문을 활용해 공표되었거나 곧 공표될 가장 위험이 높은 데이터 집합을 골라, 지역 뉴스 보도, 다른 기관의 개방 데이터 집합, 공공 등록부 같은 어떤 다른 정보가 그것과 연결될 수 있을지 따져 보라. 현재의 비식별화 접근(삭제, 일반화, 또는 k-익명성이나 차등 프라이버시 같은 형식적 기법)이 그 조합을 실제로 견딜지, 새로운 외부 데이터가 이용 가능해질 때 그것을 재시험할 책임이 누구에게 있는지 논의하라.

데이터 집합을 공표해서는 안 된다고 말할 권한이 현재 누구에게 있으며, 그 권한이 올바른 이유로 쓰이고 있다고 확신하는가? 기본적으로 개방하는 정책에도 믿을 만하고 잘 추론된 예외 과정이 필요하며, 그것을 행사하는 사람은 식별 가능하고 책임을 져야 한다. 이 질문을 활용해 조직의 보류 결정이 문서화된 기준에 따라 지명된 역할에 의해 내려지는지, 아니면 비공식적으로, 우연히 질문받은 사람이 신중한 쪽으로 기울어서 내려지는지 점검하라. 보류율이 신중한 사례별 판단처럼 보이는지 상설 제도적 반사 작용처럼 보이는지, 보류된 데이터 집합에 대한 주기적 외부 검토가 무엇을 드러낼지 논의하라.

기관 사이의 우리 데이터 공유 협약은 여전히 쓰여진 목적에 쓰이고 있는가? 목적 제한은 협약에 쓰기는 쉽고 실무에서 조용히 침식되기도 쉬우며, 특히 데이터 집합이 원래 서명자들이 예상하지 못한 무언가에 유용하다고 입증되면 그렇다. 이 질문을 활용해 운영 중인 기관 간 데이터 공유 약정 두세 개를 골라 실제 현재 사용을 기록된 목적과 만료일에 대조하라. 불일치가 나타나면 어떤 거버넌스 단계가 빠졌는지, 외부 감사나 언론인보다 먼저 그런 이탈을 잡아낼 책임이 누구에게 있어야 하는지 논의하라.

우리의 상호운용성이나 데이터 표준이 데이터의 정당한 새 사용에 장벽이 된다면, 우리는 실제 피해가 생기기 전에 알게 되겠는가, 후에 알게 되겠는가? 채택되었을 때 합리적이던 표준은 필요와 기술이 바뀜에 따라 장애물로 굳을 수 있으며, 조직은 자신의 규칙에 그런 일이 일어나는 것을 알아챌 메커니즘을 내장하는 경우가 드물다. 이 질문을 활용해 조직이 현재 자신의 데이터 표준, 식별자 체계, 공유 과정이 여전히 목적에 봉사하는지를, 단지 물려받아 의문 없이 두는 것과 대비하여 어떻게 검토하는지 논의하라. 표준이 장애물이 되었음을 알아챌 사람들, 곧 일선 직원, 파트너 조직, 개방 데이터를 쓰는 외부 개발자에게 이를 제기할 진정한 채널이 있는지, 그 채널이 표준을 실제로 바꾼 적이 있는지 고려하라.

실제 사례: 공공가치 사례

가상의 지역 사회복지 기관과 별개의 지역 보건 당국은, 실제 기관에 대한 보고가 아니라 하나의 유형을 보여 주는 예시인데, 10년 동안 호환되지 않는 사례 관리 시스템을 운영했고, 그래서 두 곳 모두에 알려진 가족이 서로 다른 참조 번호로 기록될 수 있었으며, 주거 지원 사례군에 나타난 가구가 소아 방문 지원 사례군에 나타난 가구와 같은 가구임을 기관 직원에게 알려 줄 믿을 만한 방법이 없었다. 두 서비스 사이의 틈새로 빠질 위험에 처한 아동을 파악하려는 공동 프로그램은 정치적 의지의 부족 때문이 아니라 어떤 가족이 두 종류의 지원을 모두 필요로 하는지에 대한 단일하고 신뢰할 수 있는 통합 보기를 아무도 만들 수 없었기 때문에 거듭 정체되었다.

두 기관은 마침내 공유 가구 식별자와 두 시스템이 교환해야 하는 항목의 공통 스키마를 채택했고, 각자가 전에 의존한 주기적 스프레드시트 내보내기가 아니라 거버넌스되는 API를 통해, 구체적 목적, 곧 위험에 처한 가구의 지원 조율을 명시하고 연례 검토를 요구하는 데이터 공유 협약 아래 이를 구축했다. 1년 안에 양쪽의 사례 담당자는 처음으로 어떤 가족이 다른 서비스에 알려져 있는지 볼 수 있었고, 이전에는 수작업 교차 점검에 의존하던 공동 사례 회의가 일상이 되었다. 이어 기관들은 더 나아가 지구별로 통합 지원을 받는 가구 수를 보여 주는 집계된 지역 수준 개방 데이터 집합을 공표하여, 지역 자선단체가 자체 방문 지원의 표적을 정하도록 돕고 선출직 의원이 공동 프로그램이 의도한 지역에 도달하고 있는지 볼 수 있게 했다.

한 지역 데이터 권리 옹호자가 대학 연구자와 함께, 공표된 지구 수준 수치가 지역 교통 당국이 따로 공표한, 똑같이 선의에서 나온 개방 데이터 집합, 곧 소지역별 보조 요금 신청을 보여 주는 것과 교차 참조될 수 있으며, 일부 지구를 특정 가족이 식별될 수 있을 만큼 작은 가구 수로 좁힐 수 있음을 발견했다. 특히 두 데이터 집합이 한 자릿수의 가구를 센 인구 희박한 농촌 지구가 그랬다. 어느 한 데이터 집합만으로는 식별되지 않았지만, 인구가 가장 적은 지역에서는 결합하면 식별되었다. 기관들의 첫 본능인 개방 데이터 집합을 아예 철회하는 것은 이미 내놓기 시작한 책임성과 자선 표적화의 가치를 파괴했을 것이다. 대신 같은 옹호자와 협력하여 작은 수치에 보정된 잡음을 더하는 차등 프라이버시 접근으로 데이터 집합을 다시 공표했으며, 이는 광범위한 지역 유형을 파악하는 유용성은 보존하면서 어떤 단일 저인구 지구의 실제 수치든 원래 공개를 드러낸 교차 참조 공격을 무력화할 만큼 불확실하게 만들었다. 이 일은 기관들이 이후 자체 직원 교육에서, 비식별화가 데이터 집합 그 자체가 아니라 다른 무엇이 공개적으로 이용 가능한지에 대해 평가되어야 하는 이유의 사례 연구로 쓰였다.

네 가지 부문 관점

지방정부

지방 당국은 대개 서비스하는 주민당 국가 기관보다 더 많은 별개의, 더 오래된, 덜 통합된 시스템을 운영하는데, 주거, 계획, 폐기물, 사회 돌봄처럼 몇십 년간 개별 조달된 부서 시스템이 서로 데이터를 공유하도록 구축된 경우가 드물었기 때문이다. 이는 상호운용성을 외부의 싸움이기 전에 진정한 내부의 싸움으로 만든다. 한 주에 세 개의 지방 부서와 상호작용한 주민은 어느 부서도 다른 부서가 이미 아는 것을 볼 수 없음을 발견할 수 있다. 한편 지방 개방 데이터는 쓰레기 수거 일정, 계획 신청, 지방 지출처럼 유난히 직접적인 시민적 가치를 갖는 경향이 있는데, 주민과 지역 언론인이 국가 데이터 집합이 드물게 제공하는 구체성의 수준에서 그것에 참여하기 때문이며, 이는 소박한 일상의 데이터 집합에서도 메타데이터와 갱신 빈도를 올바르게 하는 데 걸린 이해관계를 높인다.

중앙정부

중앙정부는 대개 국가 데이터 전략, 정부 횡단 식별자 체계, 의무화된 개방 데이터 포털, 전담 개인정보 보호 규제기관 같은 가장 폭넓은 데이터 거버넌스와 상호운용성 수단을 운영하지만, 몇십 년과 여러 행정부에 걸쳐 쌓인 레거시 시스템의 순전한 수 때문에 기술적 상호운용성은 일회성 프로젝트가 아니라 지속적이고 비싼 배경 과제다. 국가 개방 데이터 프로그램은 불균형한 재식별 위험을 안는데, 국가 데이터 집합이 진정으로 가치 있을 만큼 크고, 다른 국가 등록부와 연결되면 개인을 식별할 만큼 상세하기 때문이다. 현재 여러 정부가 점점 더 많이 공표하는 국가 데이터 전략 문서는 비식별화를 정책 통지 아래의 구현 세부로 다루는 대신 프라이버시 보존 공개 기법을 명시적으로 거명한다.

사회 부문과 비영리

비영리조직이나 비정부기구(NGO)는 개방 데이터 의무의 대상인 경우가 드물지만, 재원 제공자, 규제기관, 대중으로부터 프로그램 데이터를 투명하게 공유하라는 병행하는 기대에 점점 더 직면하며, 폭력 생존자, 극빈 상태의 사람, 미등록 거주자처럼 재식별 위험이 정부 데이터 집합 속 일반 인구에게 보통 지우는 것보다 훨씬 더 높은 개인적 비용을 지우는 인구와 일하는 경우가 많다. 데이터 공유 협약은 여기서 불균형하게 중요한데, 비영리조직은 자신이 쓰지 않은 계약에 따라 정부 재원 제공자나 파트너 조직과 고객 데이터를 공유하는 경우가 많으며, 재원에 딸린 데이터 공유 조건을 단순히 받아들이는 대신 목적 제한을 협상할 역량이 필요하기 때문이다. 더 큰 정부나 자선 재원 제공자가 채택한 상호운용성 표준은 작은 조직의 제한된 기술 역량에 진정한 부담이 될 수 있으며, 이는 표준 채택을 비용이 들지 않는 것으로 다루는 대신 거명할 가치가 있는 실제 비용이다.

다자 및 국제기구

다자기구는 거버넌스 성숙도, 통계 역량, 프라이버시에 대한 법 체제가 크게 다른 회원국에 걸쳐 데이터를 집계하며, 이는 의미적 상호운용성, 곧 공유 항목이 실제로 무엇을 뜻하는지에 합의하는 것을 지속적인 외교적 문제이자 기술적 문제로 만든다. '가구'나 '실업자' 같은 기본적인 용어도 나라마다 충분히 다르게 정의되어, 국제 통계 기구는 순전히 국가 간 데이터를 진정으로 비교 가능하게 만들기 위해 통계 데이터 및 메타데이터 교환(SDMX) 형식 같은 표준 전체를 유지한다. 이 수준의 개방 데이터는 주제 1.4 — 공공재, 가치재, 가치 다원주의에서 제시한 의미에서 특히 분명한 공공재로 기능한다. 어떤 단일 회원국도 지구적 비교 데이터 집합에 스스로 재원을 댈 유인이 없지만, 다자기구가 하나를 공표하면 모든 국가와 연구자가 이득을 보기 때문이다. 데이터 주권 우려는 여기서 단일 국가 맥락보다 더 깊다. 회원국은 법적으로 보류할 자격이 있는 데이터를 공유하는 것에 저항하거나, 다자기구가 자국의 국가 수치를 분류하거나 집계한 방식에 이의를 제기할 수 있으며, 이는 공유 통계를 누가 통제하는가라는 거버넌스 질문을 그것이 어떻게 교환되는가라는 기술적 질문만큼 중대하게 만든다.

흔한 실패 유형

조용한 데이터 사일로. 시스템이 공유 식별자나 스키마 없이 조직 전체에 걸쳐 독립적으로 쌓이고, 비용은 안전 보호 실패, 감사, 서비스 중단 같은 특정 사례가 신속히 만들어 내기 불가능한 것으로 드러나는 통합 보기를 요구할 때까지 숨겨져 있으며, 그때 사일로의 비용이 한꺼번에 눈에 보이게 되고 압박 속에서 고치기에 비싸다.

익명화 연극. 데이터 집합에서 이름과 명백한 식별자를 제거하고는, 준식별자나 다른 이용 가능한 데이터에 대한 연결 위험을 평가하지 않은 채 공표해도 안전한 것으로 다룬다. 비용은 연구자, 언론인, 옹호자가 재식별이 가능함을 입증할 때, 흔히 공개적이고 난처하게 나타나며, 그때 프라이버시에 대한 조직의 신뢰성은 해당 데이터 집합을 훨씬 넘어 손상된다.

소유자 없는 거버넌스. 데이터 거버넌스 정책은 서류상 존재하지만 어떤 특정 데이터 집합의 품질이나 최신성에도 책임을 지는 특정 개인이 없어서, 표준이 조용히 저하되고 데이터가 실제로 뒷받침할 수 없는 결정에 의존될 때까지 아무도 알아채지 못한다. 정책 문서 자체가 완전해 보여서 그 밑에 실제로 책임지는 사람이 없다는 사실을 가리기 때문에 특히 흔한 실패다.

자원 없는 의무화에 의한 상호운용성. 공유 스키마나 식별자 체계가 중앙에서 의무화되지만 그것을 채택해야 하는 팀에는 재원이 배정되지 않아, 준수가 기술적으로는 있지만 제대로 채워지지 않은 항목 같은 점검 표시 연습이 되고, 진정하고 쓸 수 있는 상호운용성이 되지 못한다. 비용은 공유 표준이 존재한다는 거짓된 느낌이며, 그것이 표준화하기로 되어 있던 데이터에 누군가 실제로 의존하려 할 때에야 드러난다.

개방 세탁(open-washing). 조직이 대시보드와 요약 시각화를 공표하고 이를 개방 데이터라 부르는 반면, 제3자가 새로운 것을 구축하는 데 필요한 근저의 기계 판독 가능한 데이터 집합은 공표되지 않았거나 아무도 실질적으로 재사용할 수 없는 형식으로 공표된다. 이는 주제 3.4 — 책임성, 투명성, 정당성에서 기술한 투명성과 개방의 외양을 그 실질 없이 포착하며, 대시보드가 인상적으로 보이기 때문에 진정한 개방 데이터 프로그램으로 오인되는 경우가 많다.

성숙도 모델

하위 차원	착수	개발	표준화	관리	통합 운영
데이터 관리책임과 소유	대부분의 데이터 집합에 지명된 소유자가 없고 품질 문제는 우연히 발견된다	일부 눈에 띄는 데이터 집합에 비공식 소유자가 있으며 품질은 크게 다르다	모든 핵심 데이터 집합에 정해진 책임을 가진 지명된 관리책임자가 있다	데이터 품질이 기준에 비추어 측정되고 관리책임자에게 정기적으로 보고된다	관리책임이 조직 경계를 넘어 확장되며 공유 데이터 집합에는 공동으로 책임지는 소유자가 있다
상호운용성 표준	시스템이 독립적으로 구축되어 수작업 내보내기로 데이터를 교환하거나 전혀 교환하지 않는다	일부 영역에 공유 스키마가 있으나 일관되지 않게 채택된다	공통 스키마와 식별자 체계가 의무화되고 거버넌스되는 API로 구현된다	상호운용성 성과가 모니터링되고 간극이 시정과 재원 배정을 촉발한다	표준이 파트너 조직 및 다른 관할권과 공동 개발되고 선제적으로 조정된다
개방 데이터 공표	공표가 임시적이고, 문서화되지 않으며, 개별 주도에 의존한다	데이터 목록이 있으나 불완전하거나 낡았고 메타데이터가 빈약하다	기본적으로 개방이 정책이며 공표되지 않은 모든 데이터 집합에 문서화된 이유가 있다	공표가 재사용과 영향에 대해 측정되고 목록이 능동적으로 유지된다	공표가 외부 수요를 예상하며 다른 기관의 개방 데이터 프로그램과 조율된다
프라이버시 보존 공개	비식별화가 위험 평가 없이 명백한 식별자만 제거하는 것을 뜻한다	위험이 눈에 띄는 공개에 대해서만 비공식적으로 평가된다	연결 위험을 포함한 정해진 재식별 위험 평가가 모든 개인정보 공개 전에 실행된다	형식적 기법(k-익명성, 차등 프라이버시)이 비례적으로 적용되고 주기적으로 검토된다	새로운 외부 데이터 집합이 이용 가능해짐에 따라 공개 위험이 지속적으로 재평가되고 과거 공개가 다시 검토된다

체크리스트

조직의 각 핵심 데이터 실체에 대해 권위 있는 원천 시스템을 파악한다.
실질적으로 중요한 모든 데이터 집합에 지명된 책임 있는 관리책임자가 있는지 확인한다.
새 데이터 프로젝트에 맞춤 스키마를 설계하기 전에 공유 스키마나 표준이 이미 있는지 점검한다.
식별자 설계를 그것을 쓰는 시스템 전반의 영속성과 일관성에 대해 검토한다.
반복되는 수작업 또는 스프레드시트 기반 데이터 교환을 하나 이상 거버넌스되는 API로 대체한다.
모든 유효한 기관 간 데이터 공유 협약이 목적, 법적 근거, 만료를 명시하고 현재의 실제 사용과 일치하는지 확인한다.
개인정보가 관련된 어떤 데이터 집합이든 공표하기 전에 다른 공개 데이터 집합에 대한 그럴듯한 연결을 포함한 재식별 위험 평가를 실행한다.
소수 인구나 희귀한 특성이 관련된 모든 공개에 k-익명성이나 차등 프라이버시 같은 형식적 프라이버시 보존 기법을 적용한다.
개방 데이터 목록에 파일 이름만이 아니라 실제의 최신 메타데이터가 있는지 확인한다.
이전에 공표된 데이터 집합을 새로 이용 가능한 외부 데이터에 비추어 새로 나타나는 재식별 위험에 대해 검토한다.
보류 결정이 문서화된 기준에 따라 지명된 책임 있는 역할에 의해 내려지는지 확인한다.
팀에 위의 여섯 가지 논의 질문을 하고 정직한 답이 공식적인 답과 다른 곳을 기록한다.

주요 출처

국제 개방 데이터 헌장(International Open Data Charter), 그 여섯 가지 원칙, 기본적으로 개방하는 공표에 대한 지침.
OECD, 데이터 접근 및 공유 강화에 관한 이사회 권고(2021).
미국 국립표준기술연구소(NIST), Special Publication 800-226, 차등 프라이버시 보장 평가 지침.
공개 회피(disclosure avoidance)에 관한 미국 인구조사국 자료와 십년 주기 인구조사 데이터에 대한 차등 프라이버시 적용.
차등 프라이버시를 형식화한 신시아 드워크(Cynthia Dwork)의 기초적 연구와 통계적 공개 통제에 관한 더 넓은 학술 문헌.
이 주제가 기반하는 틀로서 마크 H. 무어(Mark H. Moore)의 전략적 삼각형과 주제 1.4 — 공공재, 가치재, 가치 다원주의에서 제시한 공공재 논리.

참고문헌

Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
Interoperability — Wikipedia — https://en.wikipedia.org/wiki/Interoperability
Application programming interface — Wikipedia — https://en.wikipedia.org/wiki/Application_programming_interface
Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
Open data — Wikipedia — https://en.wikipedia.org/wiki/Open_data
Data re-identification — Wikipedia — https://en.wikipedia.org/wiki/Data_re-identification
K-anonymity — Wikipedia — https://en.wikipedia.org/wiki/K-anonymity
Differential privacy — Wikipedia — https://en.wikipedia.org/wiki/Differential_privacy
Privacy by design — Wikipedia — https://en.wikipedia.org/wiki/Privacy_by_design
Open Data Charter principles — International Open Data Charter — https://opendatacharter.org/principles/
Recommendation of the Council on Enhancing Access to and Sharing of Data (2021) — OECD Legal Instruments — https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0463
Guidelines for Evaluating Differential Privacy Guarantees, SP 800-226 (Initial Public Draft) — US National Institute of Standards and Technology — https://csrc.nist.gov/pubs/sp/800/226/ipd
Disclosure avoidance and data stewardship — US Census Bureau — https://www.census.gov/about/policies/privacy/statistical_safeguards/disclosure-avoidance.html
Data.gov — US federal open data portal, General Services Administration — https://www.data.gov/