Тема 5.4
Данные государственного сектора, интероперабельность и открытые данные
Данные становятся общественным активом лишь тогда, когда они управляются достаточно хорошо, чтобы им можно было доверять, структурированы достаточно хорошо, чтобы перемещаться между системами, никогда не рассчитанными на взаимодействие, и открыты достаточно, чтобы люди за пределами собравшей их организации могли применить их с пользой, — и сама открытость, раскрывающая эту ценность, ставит под угрозу приватность людей, описанных в данных.
Почему это важно: данные, интероперабельность и открытость
Каждый государственный орган уже располагает большим объёмом данных, чем использует с толком. Налоговая служба, сеть больниц, транспортное ведомство и местный орган планирования собирают информацию как побочный продукт оказания услуги, и каждый обнаруживает, как правило, слишком поздно, что запись, нужная для ответа на вопрос гражданина или разрешения спора, находится в системе, к которой никто другой в организации не может обратиться. Цена этого не абстрактна: гражданину, уже сообщившему одному ведомству свой адрес, не должно приходиться сообщать его снова другому ведомству того же правительства.
В названии этой темы заключены два разных замысла, которые государственные органы регулярно путают. Первый — интероперабельность: обеспечение надёжного перемещения данных между системами, независимо созданными разными командами и в разные технологические эпохи, чтобы одна часть государства могла действовать на основе того, что уже известно другой. Второй — открытость: публикация данных за пределами государства, чтобы журналисты, исследователи и граждане могли использовать их для целей, которых публикующий орган не предвидел. Интероперабельность — это преимущественно инженерная задача и задача управления; открытость — самостоятельная общественная ценность, того же семейства, что и общественные блага, описанные в теме 1.4 — Общественные блага, меритарные блага и плюрализм ценностей, поскольку опубликованные данные неривальны, и после выпуска трудно кого-либо исключить из пользования ими, так что один лишь рынок обеспечивал бы их в недостаточном объёме.
Оба замысла сталкиваются с третьим фактом, который эта тема рассматривает как подлинное, неразрешённое противоречие, а не как проблему с аккуратным ответом: данные, достаточно подробные, чтобы быть полезными, нередко достаточно подробны, чтобы идентифицировать описываемого ими человека, даже после удаления имён и очевидных идентификаторов. Правительство, публикующее много, и правительство, хорошо защищающее людей, о которых говорится в его записях, тянут один и тот же рычаг в разные стороны, а растущий спрос на данные для обучения и оценки алгоритмических систем (см. тему 5.2 — Искусственный интеллект и алгоритмическое принятие решений в государственном управлении) повысил ставки: как никогда много участников хотят получить государственные данные именно с той детализацией, при которой их публикация наиболее рискованна. Руководитель, рассматривающий управление данными, интероперабельность и открытость как единую задачу, у которой приватность — постоянное ограничение, лучше подготовлен к тому, чтобы извлечь ценность, о которой говорится в этой теме, чем тот, кто рассматривает каждое направление изолированно.
Основные понятия
Управление данными (data governance) — совокупность прав принятия решений, стандартов и обязанностей, определяющих, кто может создавать, изменять, получать доступ к данным организации и выводить их из обращения, а также каким стандартам качества они должны отвечать (см. управление данными). Оно отличается от менеджмента данных — оперативной работы по ежедневному перемещению и хранению данных: управление определяет правила, менеджмент их исполняет. Государственный орган без управления данными по-прежнему располагает данными, но никто не может уверенно сказать, какая из копий записи о гражданине является авторитетной и кто отвечает, если эта запись оказывается неверной.
Распорядитель данных (data steward) — названное по имени лицо или роль, отвечающие за качество, определение и надлежащее использование конкретного набора данных, в отличие от технических сотрудников, эксплуатирующих системы, в которых он находится (см. распорядитель данных). Распорядительство важно, потому что качество данных по умолчанию снижается: поле, за которое никто не отвечает, накапливает противоречивые записи, дубликаты и незаметный разрыв между тем, что поле должно означать, и тем, что сотрудники в него фактически вносят. Назначение распорядителя набора данных превращает качество данных из эпизодической уборки в постоянную персональную ответственность.
Интероперабельность — способность независимо созданных систем обмениваться данными и корректно их использовать без особой разовой инженерной доработки для каждой пары систем (см. интероперабельность). Она действует на трёх уровнях, которые легко смешать: техническая интероперабельность (могут ли системы вообще соединиться и передавать байты, как правило, через программный интерфейс приложения, или API (application programming interface), — определённый способ, которым одна программа запрашивает данные или действие у другой, см. программный интерфейс приложения); семантическая интероперабельность (вкладывают ли обе системы одинаковый смысл в общее поле, например «домохозяйство» или «действующее дело»); и организационная интероперабельность (согласны ли две организации относительно того, зачем данные передаются и кто отвечает за то, что будет происходить дальше). Наиболее дорогостоящие сбои интероперабельности происходят на семантическом или организационном уровне, даже если техническое соединение работает безупречно.
Общая схема данных, или стандарт данных, — согласованная опубликованная структура представления категории данных (названия полей, форматы, единицы измерения и допустимые значения), принятая более чем одной системой или организацией, чтобы данные, созданные одной, могли использоваться другой без ручного преобразования. Государственные органы, принимающие общую схему даже для такой простой вещи, как адрес или статус дела, превращают десятки возможных двусторонних задач преобразования в один стандарт, который может просто реализовать каждая новая система. Уникальный идентификатор, сохраняющийся между системами и во времени, — номер дела, регистрационный номер предприятия, ссылочный номер гражданина — это конкретный механизм, позволяющий корректно связывать записи об одном и том же лице или организации, а ошибки при проектировании идентификатора (повторное использование номеров, смена форматов или его полное отсутствие) — одна из самых частых и вполне устранимых причин сбоев интероперабельности.
Метаданные — данные о данных: описание структуры набора данных, его происхождения, частоты обновления и смысла, публикуемое вместе с самими данными, чтобы пользователь, не создававший их, мог их понять и доверять им (см. метаданные). Набор данных, опубликованный без достаточных метаданных, едва пригоден для использования кем-либо за пределами создавшей его команды, как бы открыта ни была его лицензия; именно метаданные превращают свалку файлов в то, что третья сторона действительно может повторно использовать.
Соглашение об обмене данными — формальная договорённость между ведомствами либо между государственным органом и внешним партнёром, определяющая цель, для которой могут использоваться данные, правовое основание их передачи, срок хранения и то, что происходит при изменении цели. Ограничение целью — ограничение использования переданных данных той целью, ради которой они были собраны или переданы, — это дисциплина, не позволяющая соглашению об обмене данными превратиться в неограниченную лицензию на перепрофилирование персональной информации, а её отсутствие — повторяющийся мотив в случаях утраты общественного доверия, связанных с данными, которыми обмениваются ведомства.
Открытые данные — данные, свободно доступные каждому для получения, использования и распространения с любой целью, как правило, машиночитаемые и выпущенные по лицензии, допускающей повторное использование, а не только просмотр (см. открытые данные). Довод в пользу их общественной ценности следует логике общественных благ, изложенной в теме 1.4 — Общественные блага, меритарные блага и плюрализм ценностей: после публикации набора данных использование его одним человеком не умаляет возможностей другого, а государство нередко — единственный участник, обладающий и правовыми полномочиями, и масштабом для того, чтобы вообще собрать и опубликовать такие данные, поэтому частные рынки сами по себе хронически недопоставляют информацию такого рода. Открытые данные обеспечивают подотчётность (журналисты и граждане проверяют заявления государства по его же записям), инновации третьих сторон (компании и гражданские технологи создают на основе государственных данных услуги, которые само государство никогда не создаст) и лучшие решения в других сферах экономики — и всё это без необходимости для публикующего органа заранее предвидеть каждый вариант использования.
Повторная идентификация (re-identification) — процесс сопоставления якобы обезличенных данных с другой доступной информацией для установления того, какого реального человека описывает запись; это центральный технический факт, делающий противоречие в области приватности, о котором говорится в этой теме, неустранимым, а не просто неудобным (см. повторная идентификация данных). Удаление имени или очевидного идентификатора, такого как номер национального страхования или социального обеспечения, не устраняет риск: сочетание квазиидентификаторов, таких как возраст, почтовый индекс и редкое заболевание, может однозначно идентифицировать человека даже в наборе данных, где он никогда не назывался, особенно после перекрёстного сопоставления с другим, отдельно опубликованным набором данных. k-анонимность — один из формальных способов рассуждать об этом риске: набор данных удовлетворяет k-анонимности, если каждая содержащаяся в нём комбинация квазиидентифицирующих полей общая как минимум для заданного числа k записей, так что ни одну строку нельзя выделить как относящуюся менее чем к k возможным людям (см. k-анонимность). Дифференциальная приватность — более новый, математически строгий подход, добавляющий тщательно подобранный статистический шум в набор данных или в результаты запросов к нему, так что наличие или отсутствие записи любого отдельного человека меняет опубликованный результат лишь на ограниченную, доказуемую величину независимо от того, что уже известно злоумышленнику (см. дифференциальная приватность). Приватность по замыслу (privacy by design) — более широкий принцип, согласно которому защита приватности должна закладываться в архитектуру системы с самого начала, как настройка по умолчанию, а не добавляться в виде этапа удаления данных непосредственно перед публикацией (см. приватность по замыслу); удаление очевидных идентификаторов постфактум — слабейшая форма этой дисциплины, а не её замена.
Лучшие практики
- Назначайте ответственного распорядителя для каждого значимого набора данных, а не только центральное подразделение по данным. Подразделение по данным может устанавливать стандарты, но не может знать, означает ли конкретное поле в конкретной системе по-прежнему то, что было определено; это суждение принадлежит тому, кто близок к фактическому использованию данных.
- Публикуйте открытым по умолчанию и документируйте конкретную причину всякий раз, когда этого не делаете. Изменение исходного положения — требование обосновывать отказ от публикации, а не саму публикацию — выносит подлинные чувствительные случаи на индивидуальное рассмотрение, вместо того чтобы осторожность неразборчиво применялась ко всему.
- Принимайте существующую общую схему, прежде чем разрабатывать новую. Индивидуальная структура данных, идеально подходящая для одного проекта и не совпадающая ни с чем другим в правительстве, гарантирует будущие затраты на интеграцию; прежде чем создавать собственную, проверьте, что уже опубликовано вашим сектором, юрисдикцией или международным органом по стандартизации.
- Проектируйте устойчивые, управляемые уникальные идентификаторы до запуска системы, а не после. Внедрение схемы идентификаторов в записи, годами накапливавшиеся под несогласованными ключами, несопоставимо дороже, чем верное проектирование с самого начала.
- Выстраивайте обмен данными через управляемые API, а не через разовые передачи файлов. API, обеспечивающий соблюдение схемы, протоколирующий доступ и допускающий версионирование, даёт контролируемую, поддающуюся аудиту точку интероперабельности; электронная таблица, пересылаемая между ведомствами по почте, не даёт ничего из этого, и никто не замечает, когда она устаревает.
- Составляйте соглашения об обмене данными так, чтобы они указывали цель, правовое основание и срок действия, а не только технический механизм. Соглашение, которое определяет, как данные перемещаются, но не зачем и как долго, имеет тенденцию пережить цель, которая его оправдывала, и незаметно превратиться в разрешение на то, что никто прямо не санкционировал.
- Рассматривайте обезличивание как оценку риска с остаточным результатом, а не как разовую задачу удаления данных. Спросите, какие другие публичные или доступные за плату наборы данных можно связать с набором, который вы собираетесь выпустить, и оценивайте риск повторной идентификации по реалистичной модели угроз, а не по идеализированному злоумышленнику, не имеющему внешней информации.
- Применяйте дифференциальную приватность или равноценный формальный метод к любому выпуску, затрагивающему малочисленные группы населения или редкие характеристики. Простого удаления или обобщения очевидных идентификаторов недостаточно, когда набор данных включает нечто достаточно необычное, чтобы идентифицировать само по себе, — редкое заболевание, малую местную общину или крупную операцию.
- Поддерживайте общедоступный актуальный каталог данных с настоящими метаданными, а не просто перечень имён файлов. Набор данных, который потенциальный пользователь не может понять достаточно, чтобы ему доверять, фактически не опубликован, какой бы разрешительной ни была его лицензия; записи каталога должны сообщать, что означает поле, как часто оно обновляется и каковы его известные ограничения.
- Измеряйте качество данных по определённым стандартам на регулярной основе и сообщайте результаты тому, кто отвечает за набор данных. Качество, которое проверяется лишь когда что-то ломается, незаметно снижается в промежутках; регулярное измерение превращает снижение в видимую, управляемую тенденцию.
- Периодически пересматривайте каждый опубликованный набор данных на предмет сохраняющейся общественной ценности и сохраняющегося риска. Население меняется, методы повторной идентификации совершенствуются, и выпуск, безопасный пять лет назад, может оказаться небезопасным сегодня в сопоставлении с данными, которые с тех пор стали доступны в другом месте.
- Отделяйте решение об обмене данными или их публикации от технической команды, которая их перемещает. Люди, лучше всего способные судить о цели, соразмерности и риске для приватности, редко совпадают с теми, кто лучше всего способен построить конвейер данных, а объединение двух ролей в одну оставляет более трудное суждение недостаточно проверенным.
Вопросы для обсуждения в вашей команде
Знаем ли мы, какая система хранит авторитетную запись для каждой из наших основных сущностей данных, и относятся ли к ней так все на самом деле? Во многих организациях на практике существует несколько «истинных» копий одной и той же информации — адрес гражданина в системе выставления счетов, в системе управления делами и в журнале корреспонденции, все слегка различаются, и на каждую кто-то опирается в работе. Используйте этот вопрос, чтобы перечислить основные сущности вашей организации (гражданин, дело, объект недвижимости, предприятие) и честно определить, существует ли для каждой единый авторитетный источник или сотрудники тихо выучили, какой системе для какой цели доверять. Обсудите, что потребуется для определения и обеспечения одного авторитетного источника на сущность и что сломается при переходе. Обычно это дешевле исправить рано, чем после того, как серьёзное решение принято на основании неверной копии.
Если бы человек спросил нас, почему ему пришлось сообщать одну и ту же информацию двум частям нашей собственной организации, каким был бы наш честный ответ? Честный ответ часто звучит так: «потому что наши системы не могут её передать», — это сбой интероперабельности, выданный за процедурное требование. Используйте этот вопрос, чтобы выбрать один путь получения услуги, охватывающий более одной команды или системы, и шаг за шагом проследить, где один и тот же факт фиксируется более одного раза. Обсудите, защищает ли повторный запрос нечто подлинное — свежее согласие, этап проверки — или это просто отсутствие соглашения об обмене данными либо общей схемы. Подумайте, чего будет стоить — в доверии граждан не меньше, чем во времени сотрудников, — оставить это неисправленным ещё на год.
Где решительно настроенный журналист или исследователь с наибольшей вероятностью смог бы повторно идентифицировать человека в наборе данных, который мы сейчас называем обезличенным? Большинство организаций, публикующих обезличенные данные, не проверяли их на устойчивость к реалистичному сочетанию квазиидентификаторов и других публичных наборов данных. Используйте этот вопрос, чтобы выбрать наиболее рискованный из опубликованных или готовящихся к публикации наборов данных и пройти по тому, какая другая информация — местная новость, открытый набор данных другого ведомства, публичный реестр — могла бы быть с ним связана. Обсудите, выдержит ли ваш нынешний подход к обезличиванию (удаление, обобщение или формальный метод, такой как k-анонимность или дифференциальная приватность) такое сочетание, и кто отвечает за повторную проверку по мере появления новых внешних данных.
Кто сейчас вправе сказать, что набор данных не должен публиковаться, и уверены ли мы, что это право используется по правильным причинам? Политика «открыто по умолчанию» по-прежнему нуждается в убедительном, хорошо обоснованном порядке исключений, а тот, кто им пользуется, должен быть известен и подотчётен. Используйте этот вопрос, чтобы проверить, принимаются ли решения об отказе от публикации в вашей организации названной ролью по документированным критериям или неформально — тем, кого случайно спросили, с уклоном в сторону осторожности. Обсудите, похожа ли доля отказов на тщательное рассмотрение каждого случая или на устойчивый институциональный рефлекс и что могла бы показать периодическая внешняя проверка засекреченных наборов данных.
Продолжают ли использоваться наши соглашения об обмене данными между ведомствами для той цели, для которой они были написаны? Ограничение целью легко записать в соглашении и легко незаметно размыть на практике, особенно когда набор данных оказывается полезным для того, чего его первоначальные подписанты не предвидели. Используйте этот вопрос, чтобы выбрать два-три действующих межведомственных соглашения об обмене данными и сопоставить фактическое нынешнее использование с письменной целью и датой окончания срока. Обсудите, какого шага управления недостаёт, если выявляется расхождение, и кто должен отвечать за обнаружение такого дрейфа раньше, чем это сделает внешний аудит или журналист.
Если бы наши стандарты интероперабельности или данных стали препятствием для законного нового использования наших данных, узнали бы мы об этом до или после того, как это причинило реальный вред? Стандарты, разумные в момент принятия, могут окостенеть и превратиться в препятствия по мере изменения потребностей и технологий, а организации редко создают механизм, позволяющий заметить, что это происходит с их собственными правилами. Используйте этот вопрос, чтобы обсудить, как ваша организация сейчас проверяет, служат ли ещё своей цели её стандарты данных, схемы идентификаторов или процессы обмена, или они просто унаследованы и не подвергаются сомнению. Подумайте, есть ли у тех, кто заметил бы, что стандарт стал препятствием, — сотрудников первой линии, организаций-партнёров, внешних разработчиков, использующих ваши открытые данные, — реальный канал, чтобы заявить об этом, и менял ли этот канал когда-либо стандарт на самом деле.
На практике: пример общественной ценности
Региональное агентство социального обеспечения и отдельный региональный орган здравоохранения — вымышленные, иллюстрирующие закономерность, а не сообщающие о каком-либо реальном органе — десять лет эксплуатировали несовместимые системы управления делами, поэтому семья, известная обоим, могла быть записана под разными ссылочными номерами, и у сотрудников агентств не было надёжного способа узнать, что домохозяйство из списка получателей жилищной поддержки — то же самое домохозяйство, что фигурирует в списке педиатрического патронажа. Совместная программа по выявлению детей, рискующих выпасть из поля зрения между двумя службами, раз за разом буксовала не из-за недостатка политической воли, а потому что никто не мог получить единый достоверный сводный обзор того, каким семьям нужны оба вида поддержки.
В конце концов оба агентства приняли общий идентификатор домохозяйства и общую схему для полей, которыми должны были обмениваться обе системы; обмен выстроили через управляемый API вместо периодических выгрузок в электронные таблицы, на которые ранее полагался каждый, и на основе соглашения об обмене данными, называвшего конкретную цель — координацию поддержки домохозяйств группы риска — и требовавшего ежегодного пересмотра. В течение года социальные работники с обеих сторон впервые смогли видеть, какие семьи известны другой службе, а совместные совещания по делам, прежде опиравшиеся на ручную сверку, стали обычным делом. Затем агентства пошли дальше, опубликовав агрегированный открытый набор данных на уровне территорий, показывающий число домохозяйств, получающих комплексную поддержку, по районам, — чтобы помочь местным благотворительным организациям нацеливать собственную работу и позволить избранным членам совета видеть, достигает ли совместная программа тех районов, для которых она предназначалась.
Местный защитник прав в сфере данных, работая с университетским исследователем, обнаружил, что опубликованные показатели по районам можно сопоставить с отдельно опубликованным, столь же благонамеренным открытым набором данных местного транспортного органа — заявлениями на субсидированный проезд по малым территориям, — и сузить некоторые районы до таких малых значений числа домохозяйств, что конкретные семьи можно было правдоподобно идентифицировать, особенно в малонаселённых сельских районах, где оба набора учитывали однозначное число домохозяйств. Ни один набор в отдельности не раскрывал личности; вместе, в наименее населённых районах, — раскрывали. Первой реакцией агентств — отозвать открытый набор данных целиком — была бы уничтожена ценность для подотчётности и нацеливания благотворительности, которую он уже начал приносить. Вместо этого, работая с тем же защитником, они переопубликовали набор данных, применив подход дифференциальной приватности, добавлявший калиброванный шум к малым значениям: это сохранило его полезность для выявления широких региональных закономерностей, но сделало истинное значение для любого отдельного малонаселённого района достаточно неопределённым, чтобы обезвредить атаку перекрёстным сопоставлением, раскрывшую первоначальный выпуск. Этот эпизод стал примером, который агентства использовали в собственном последующем обучении сотрудников, чтобы показать, почему обезличивание необходимо оценивать с учётом того, что ещё общедоступно, а не по набору данных в изоляции.
Четыре секторальные перспективы
Местное самоуправление
Орган местного самоуправления, как правило, эксплуатирует на одного обслуживаемого жителя больше разных, более старых и менее интегрированных систем, чем национальный орган, поскольку десятилетиями индивидуально закупавшиеся ведомственные системы — жилищная, градостроительная, по вывозу отходов, социальной помощи — редко создавались с расчётом на обмен данными друг с другом. Это делает интероперабельность подлинно внутренней борьбой задолго до того, как она становится внешней: житель, за одну неделю обращающийся в три подразделения муниципалитета, может обнаружить, что ни одно из них не видит того, что уже известно другим. Местные открытые данные, в свою очередь, как правило, обладают необычайно прямой гражданской ценностью — графики вывоза мусора, заявки на разрешения на строительство, местные расходы, — потому что жители и местные журналисты работают с ними на уровне конкретики, который национальные наборы данных редко предлагают, а это повышает значимость правильных метаданных и частоты обновления даже для скромных повседневных наборов данных.
Национальное правительство
Национальные правительства, как правило, располагают наиболее полным набором инструментов управления данными и интероперабельности — национальная стратегия данных, межведомственные схемы идентификаторов, обязательные порталы открытых данных и специализированные регуляторы по защите данных, — но огромное число унаследованных систем, накопленных за десятилетия и сменившиеся администрации, делает техническую интероперабельность постоянной дорогостоящей фоновой задачей, а не разовым проектом. Национальные программы открытых данных несут непропорциональный риск повторной идентификации именно потому, что национальные наборы данных достаточно велики, чтобы быть действительно ценными, и достаточно подробны, чтобы после связывания с другими национальными реестрами идентифицировать отдельных людей; документы национальных стратегий данных, которые теперь публикуют несколько правительств, всё чаще прямо называют методы раскрытия с сохранением приватности, а не рассматривают обезличивание как деталь реализации, лежащую ниже уровня политики.
Социальный сектор и некоммерческие организации
Некоммерческая или неправительственная организация (НПО) редко подпадает под мандат на открытые данные, но всё чаще сталкивается с параллельным ожиданием со стороны заказчиков финансирования, регуляторов и общественности, что данные о программах будут передаваться прозрачно, и нередко работает с группами населения — пережившими насилие, людьми в острой бедности, жителями без документов, — для которых риск повторной идентификации несёт гораздо более высокую личную цену, чем обычно для населения в целом в государственном наборе данных. Соглашения об обмене данными здесь особенно важны, потому что некоммерческая организация часто передаёт данные о клиентах государственным заказчикам финансирования или организациям-партнёрам по контрактам, которых не писала, и ей нужна возможность договариваться об ограничении целью, а не просто принимать любые условия обмена данными, прилагаемые к финансированию. Стандарты интероперабельности, принятые более крупными государственными или филантропическими заказчиками финансирования, могут быть подлинным бременем для ограниченного технического потенциала малой организации; это реальная цена, о которой стоит говорить прямо, а не считать принятие стандартов бесплатным.
Многосторонние и международные организации
Многосторонние органы агрегируют данные государств-членов с резко различающейся зрелостью управления, статистическим потенциалом и правовыми режимами защиты приватности, что делает семантическую интероперабельность — согласование того, что на самом деле означает общее поле, — постоянной дипломатической, а не только технической проблемой; даже такой простой термин, как «домохозяйство» или «безработный», определяется в разных странах настолько по-разному, что международные статистические органы поддерживают целые стандарты, такие как формат Statistical Data and Metadata Exchange (SDMX, обмен статистическими данными и метаданными), исключительно ради того, чтобы данные разных стран были по-настоящему сопоставимы. Открытые данные на этом уровне выступают особенно ясным общественным благом в смысле, изложенном в теме 1.4 — Общественные блага, меритарные блага и плюрализм ценностей, потому что ни у одного государства-члена нет стимула самостоятельно финансировать глобальный сопоставительный набор данных, однако каждое государство и каждый исследователь выигрывают, когда многосторонний орган его публикует. Вопросы суверенитета данных здесь стоят глубже, чем в контексте одной страны: государство-член может возражать против передачи данных, которые вправе законно не раскрывать, или оспаривать то, как многосторонний орган классифицировал или агрегировал его национальные показатели, и поэтому вопрос управления — кто контролирует общий статистический показатель — столь же значим, как технический вопрос о том, как им обмениваются.
Типичные сбои и ошибки
Незаметные изолированные хранилища данных. Системы накапливаются независимо по всей организации без общего идентификатора или схемы, и цена остаётся скрытой, пока конкретный случай — сбой в защите детей, аудит, отказ услуги — не потребует сводного обзора, который оказывается невозможно быстро получить; тогда цена изолированности становится видимой сразу и её дорого исправлять под давлением.
Театр анонимизации. Из набора данных удаляют имена и очевидные идентификаторы, после чего считают его безопасным для публикации, не проводя никакой оценки квазиидентификаторов или риска связывания с другими доступными данными. Цена проявляется, часто публично и конфузно, когда исследователь, журналист или защитник прав демонстрирует возможность повторной идентификации, и тогда репутация организации в вопросах приватности страдает далеко за пределами конкретного набора данных.
Управление данными без владельца. Политика управления данными существует на бумаге, но никто конкретно не отвечает за качество или актуальность какого-либо конкретного набора данных, поэтому стандарты тихо деградируют, и никто не замечает этого, пока на данные не опираются при принятии решения, которое они на самом деле поддержать не могут. Это особенно распространённый сбой, потому что сам документ политики выглядит завершённым и маскирует отсутствие кого-либо, кто реально отвечает под ним.
Интероперабельность по мандату, но без ресурсов. Общая схема или схема идентификаторов вводится централизованно, но не финансируется для команд, которые должны её принять, поэтому соблюдение превращается в формальную отметку — поле технически присутствует, но не заполняется должным образом, — вместо подлинной, пригодной для использования интероперабельности. Цена — ложное ощущение, что общий стандарт существует; оно обнаруживается лишь тогда, когда кто-то действительно пытается опереться на данные, которые он должен был стандартизировать.
Показная открытость (open-washing). Организация публикует панели показателей и сводные визуализации и называет это открытыми данными, тогда как лежащий в основе машиночитаемый набор данных, который нужен третьей стороне для создания чего-то нового, остаётся неопубликованным либо публикуется в формате, который практически никто не может повторно использовать. Это даёт видимость прозрачности и открытости, описанных в теме 3.4 — Подотчётность, прозрачность и легитимность, без их сути, и её нередко принимают за настоящую программу открытых данных, потому что панель показателей выглядит впечатляюще.
Модель зрелости
| Измерение | Запуск | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Распорядительство данными и ответственность за них | Для большинства наборов данных нет названного владельца; проблемы качества обнаруживаются случайно | У некоторых заметных наборов данных есть неформальный владелец; качество сильно варьируется | У каждого основного набора данных есть названный распорядитель с определёнными обязанностями | Качество данных измеряется по стандартам, и о нём регулярно сообщается распорядителям | Распорядительство выходит за границы организаций; у общих наборов данных есть совместно подотчётные владельцы |
| Стандарты интероперабельности | Системы создаются независимо, обмениваются данными через ручную выгрузку или не обмениваются вовсе | Общая схема существует для некоторых областей и принимается непоследовательно | Общая схема и схема идентификаторов введены обязательными и реализуются через управляемые API | Показатели интероперабельности отслеживаются; пробелы запускают устранение и финансирование | Стандарты разрабатываются совместно с организациями-партнёрами и другими юрисдикциями и упреждающе адаптируются |
| Публикация открытых данных | Публикация носит разовый, недокументированный характер и зависит от личной инициативы | Каталог данных существует, но неполон или устарел; метаданные скудны | «Открыто по умолчанию» — политика; для каждого неопубликованного набора данных есть документированная причина | Публикация измеряется по повторному использованию и воздействию; каталог активно поддерживается | Публикация предвосхищает внешний спрос и координируется с программами открытых данных других органов |
| Раскрытие с сохранением приватности | Обезличивание означает лишь удаление очевидных идентификаторов, без оценки риска | Риск оценивается неформально и только для заметных выпусков | Определённая оценка риска повторной идентификации, включая риск связывания, проводится перед каждым выпуском персональных данных | Формальные методы (k-анонимность, дифференциальная приватность) применяются соразмерно и периодически пересматриваются | Риск раскрытия непрерывно переоценивается по мере появления новых внешних наборов данных, а прошлые выпуски пересматриваются |
Контрольный перечень
- Определить систему-авторитетный источник для каждой из основных сущностей данных вашей организации.
- Убедиться, что у каждого существенно важного набора данных есть названный подотчётный распорядитель.
- Проверить, существует ли уже общая схема или стандарт для нового проекта по данным, прежде чем разрабатывать индивидуальные.
- Проверить проектирование ваших уникальных идентификаторов на устойчивость и согласованность между использующими их системами.
- Заменить хотя бы один регулярный ручной обмен данными или обмен через электронные таблицы управляемым API.
- Убедиться, что каждое действующее межведомственное соглашение об обмене данными указывает цель, правовое основание и срок действия и соответствует текущему фактическому использованию.
- Провести оценку риска повторной идентификации, включая правдоподобное связывание с другими публичными наборами данных, перед публикацией любого набора данных, содержащего персональную информацию.
- Применять формальный метод сохранения приватности, такой как k-анонимность или дифференциальная приватность, к любому выпуску, затрагивающему малочисленные группы населения или редкие характеристики.
- Убедиться, что ваш каталог открытых данных содержит настоящие актуальные метаданные, а не только имена файлов.
- Пересмотреть ранее опубликованные наборы данных в сопоставлении с новыми доступными внешними данными на предмет возникающего риска повторной идентификации.
- Убедиться, что решения об отказе от публикации принимаются названной подотчётной ролью по документированным критериям.
- Задать вашей команде шесть вопросов для обсуждения, приведённых выше, и зафиксировать, где честный ответ отличается от официального.
Ключевые источники
- International Open Data Charter, её шесть принципов и руководство по публикации по принципу «открыто по умолчанию».
- OECD Recommendation of the Council on Enhancing Access to and Sharing of Data (2021) — Рекомендация Совета ОЭСР по расширению доступа к данным и обмена ими.
- US National Institute of Standards and Technology, Special Publication 800-226, Guidelines for Evaluating Differential Privacy Guarantees.
- Материалы US Census Bureau о предотвращении раскрытия данных и применении дифференциальной приватности к данным десятилетней переписи населения.
- Основополагающая работа Синтии Дворк по формализации дифференциальной приватности и более широкая академическая литература по статистическому контролю раскрытия.
- Стратегический треугольник Марка Х. Мура и логика общественных благ, изложенная в теме 1.4 — Общественные блага, меритарные блага и плюрализм ценностей, как рамка, на которой строится эта тема.
Ссылки
- Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
- Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
- Interoperability — Wikipedia — https://en.wikipedia.org/wiki/Interoperability
- Application programming interface — Wikipedia — https://en.wikipedia.org/wiki/Application_programming_interface
- Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
- Open data — Wikipedia — https://en.wikipedia.org/wiki/Open_data
- Data re-identification — Wikipedia — https://en.wikipedia.org/wiki/Data_re-identification
- K-anonymity — Wikipedia — https://en.wikipedia.org/wiki/K-anonymity
- Differential privacy — Wikipedia — https://en.wikipedia.org/wiki/Differential_privacy
- Privacy by design — Wikipedia — https://en.wikipedia.org/wiki/Privacy_by_design
- Open Data Charter principles — International Open Data Charter — https://opendatacharter.org/principles/
- Recommendation of the Council on Enhancing Access to and Sharing of Data (2021) — OECD Legal Instruments — https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0463
- Guidelines for Evaluating Differential Privacy Guarantees, SP 800-226 (Initial Public Draft) — US National Institute of Standards and Technology — https://csrc.nist.gov/pubs/sp/800/226/ipd
- Disclosure avoidance and data stewardship — US Census Bureau — https://www.census.gov/about/policies/privacy/statistical_safeguards/disclosure-avoidance.html
- Data.gov — US federal open data portal, General Services Administration — https://www.data.gov/