Tópico 5.4 — Dados do setor público, interoperabilidade e dados abertos

Por que razão isto importa para o valor público

Todo o organismo público já detém mais dados do que usa bem. Uma administração fiscal, uma rede hospitalar, uma agência de transportes e um serviço local de urbanismo recolhem cada um informação como subproduto da gestão de um serviço, e cada um descobre, normalmente tarde de mais, que o registo de que precisa para responder à pergunta de um cidadão ou resolver um litígio se encontra num sistema que ninguém mais na organização consegue consultar. O custo não é abstrato: um cidadão que já disse a um organismo a sua morada não deveria ter de a dizer de novo a outro organismo dentro do mesmo governo.

Duas ambições separadas encontram-se no título deste tópico, e os organismos públicos confundem-nas rotineiramente. A primeira é a interoperabilidade — fazer circular os dados de forma fiável entre sistemas que equipas e eras tecnológicas diferentes construíram de forma independente, para que uma parte do governo possa agir sobre o que outra parte já sabe. A segunda é a abertura — publicar dados inteiramente fora do governo, para que jornalistas, investigadores e cidadãos possam usá-los para fins que o organismo publicador nunca antecipou. A interoperabilidade é sobretudo um problema de engenharia e de governação; a abertura é um valor público por direito próprio, da mesma família dos bens públicos descritos no Tópico 1.4 — Bens públicos, bens meritórios e pluralismo de valores, porque os dados publicados são não rivais e difíceis de vedar a quem quer que seja depois de divulgados, pelo que só o mercado os forneceria em quantidade insuficiente.

Ambas as ambições colidem com um terceiro facto que este tópico trata como uma tensão genuína e por resolver e não como um problema com resposta arrumada: os dados suficientemente pormenorizados para serem úteis são muitas vezes suficientemente pormenorizados para identificar o indivíduo que descrevem, mesmo depois de nomes e identificadores óbvios terem sido retirados. Um governo que publica com riqueza e um governo que protege bem as pessoas nos seus registos puxam em sentidos diferentes na mesma alavanca, e o crescente apetite por dados para treinar e avaliar sistemas algorítmicos (ver Tópico 5.2 — IA e tomada de decisão algorítmica no governo) elevou o que está em jogo, porque mais atores do que nunca querem dados públicos precisamente à granularidade que os torna mais arriscados de divulgar. Um dirigente que trata a governação, a interoperabilidade e a abertura como um só problema, com a privacidade como seu constrangimento permanente, está mais bem colocado para captar o valor deste tópico do que um que trata cada uma isoladamente.

Conceitos fundamentais

A governação de dados é o conjunto de direitos de decisão, normas e responsabilidades que determinam quem pode criar, alterar, aceder e retirar os dados de uma organização, e a que padrão de qualidade devem ser mantidos (ver governação de dados). É distinta da gestão de dados, que é o trabalho operacional de mover e armazenar dados no dia a dia; a governação decide as regras, a gestão executa-as. Um organismo público sem governação de dados continua a ter dados, mas ninguém consegue dizer com confiança qual a cópia do registo de um cidadão que é a autorizada, nem quem é responsável quando esse registo se revela errado.

Um responsável de dados (data steward) é a pessoa ou função nomeada responsável pela qualidade, definição e utilização adequada de um conjunto de dados específico, distinta do pessoal técnico que opera os sistemas em que ele reside (ver data steward). A responsabilidade sobre os dados importa porque a qualidade dos dados decai por defeito: um campo pelo qual ninguém é responsável acumula entradas inconsistentes, registos duplicados e deriva silenciosa entre o que o campo deve significar e o que o pessoal nele efetivamente coloca. Atribuir um responsável a um conjunto de dados converte a qualidade dos dados de um exercício ocasional de limpeza numa responsabilidade nomeada e contínua.

A interoperabilidade é a capacidade de sistemas construídos de forma independente trocarem dados e os usarem corretamente sem engenharia pontual e específica para cada par de sistemas envolvidos (ver interoperabilidade). Opera a três níveis fáceis de confundir: a interoperabilidade técnica (os sistemas conseguem ligar-se e mover bytes, tipicamente através de uma interface de programação de aplicações, ou API, uma forma definida de um software pedir dados ou ação a outro — ver interface de programação de aplicações); a interoperabilidade semântica (ambos os sistemas querem dizer a mesma coisa com um campo partilhado, como «agregado» ou «processo ativo»); e a interoperabilidade organizacional (as duas organizações concordam quanto à razão por que os dados estão a ser partilhados e quem é responsável pelo que acontece a seguir). A maior parte das falhas dispendiosas de interoperabilidade ocorre ao nível semântico ou organizacional mesmo quando a ligação técnica funciona na perfeição.

Um esquema comum, ou norma de dados, é uma estrutura acordada e publicada de como uma categoria de dados é representada — nomes dos campos, formatos, unidades e valores permitidos — adotada por mais do que um sistema ou organização para que os dados produzidos por um possam ser consumidos por outro sem tradução manual. Os organismos governamentais que adotam um esquema partilhado para algo tão básico como uma morada ou um estado de processo convertem dezenas de potenciais problemas bilaterais de tradução numa só norma que todo o novo sistema pode simplesmente implementar. Um identificador único que persiste entre sistemas e ao longo do tempo — um número de processo, um número de registo comercial, uma referência de cidadão — é o mecanismo específico que permite ligar corretamente os registos sobre a mesma pessoa ou entidade, e errar na conceção do identificador (reutilizar números, alterar formatos ou não ter nenhum) é uma das causas mais comuns e evitáveis de falha de interoperabilidade.

Os metadados são dados sobre dados — a descrição da estrutura, proveniência, frequência de atualização e significado de um conjunto de dados, publicada a par dos próprios dados para que um utilizador que não os criou os possa compreender e neles confiar (ver metadados). Um conjunto de dados publicado sem metadados adequados é pouco utilizável por qualquer pessoa exterior à equipa que o produziu, por muito aberta que seja a sua licença; os metadados são o que transforma um despejo de ficheiros em algo que um terceiro pode efetivamente reutilizar.

Um acordo de partilha de dados é um arranjo formal entre organismos, ou entre um organismo público e um parceiro externo, que especifica o fim para que os dados podem ser usados, a base jurídica para os partilhar, durante quanto tempo podem ser conservados e o que acontece se o fim mudar. A limitação da finalidade — restringir a utilização de dados partilhados ao fim para que foram recolhidos ou partilhados — é a disciplina que impede um acordo de partilha de dados de se tornar uma licença ilimitada para reaproveitar informação pessoal, e a sua ausência é um tema recorrente nas falhas de confiança pública envolvendo dados entre organismos.

Os dados abertos são dados disponibilizados livremente para que qualquer pessoa os aceda, use e redistribua, para qualquer fim, tipicamente legíveis por máquina e divulgados sob uma licença que permite a reutilização e não meramente a visualização (ver dados abertos). O seu argumento de valor público segue a lógica dos bens públicos exposta no Tópico 1.4 — Bens públicos, bens meritórios e pluralismo de valores: uma vez publicado um conjunto de dados, a utilização por uma pessoa não diminui a de outra, e o governo é muitas vezes o único ator com simultaneamente o estatuto jurídico e a escala para os recolher e publicar, pelo que os mercados privados, por si sós, fornecem cronicamente em quantidade insuficiente este tipo de informação. Os dados abertos permitem a responsabilização (jornalistas e cidadãos a verificar as afirmações do próprio governo face aos seus próprios registos), a inovação por terceiros (empresas e tecnólogos cívicos a construir serviços sobre dados públicos que o próprio governo nunca construirá) e melhores decisões públicas noutros pontos da economia, tudo sem que o organismo publicador tenha de antecipar de antemão cada utilização.

A reidentificação é o processo de cruzar dados supostamente anonimizados com outra informação disponível para descobrir qual a pessoa real que um registo descreve, e é o facto técnico central que torna a tensão de privacidade deste tópico inevitável e não meramente inconveniente (ver reidentificação de dados). Remover um nome, ou um identificador óbvio como um número de segurança social, não remove o risco: uma combinação de quase-identificadores como a idade, o código postal e uma doença rara pode identificar de forma única alguém mesmo num conjunto de dados que nunca o nomeou, em especial quando cruzada com outro conjunto de dados publicado separadamente. A k-anonimidade é uma forma formal de raciocinar sobre este risco: um conjunto de dados satisfaz a k-anonimidade se cada combinação de campos quase-identificadores que contém for partilhada por pelo menos um número definido, k, de registos, de modo que nenhuma linha individual possa ser isolada para menos de k pessoas possíveis (ver k-anonimidade). A privacidade diferencial é uma abordagem mais recente e matematicamente rigorosa que acrescenta ruído estatístico cuidadosamente calibrado a um conjunto de dados ou aos resultados de consultas sobre ele, de modo que a presença ou ausência do registo de qualquer indivíduo altere o resultado publicado apenas numa medida limitada e demonstrável, independentemente do que um atacante já saiba (ver privacidade diferencial). A privacidade desde a conceção é o princípio mais amplo de que a proteção da privacidade deve ser incorporada na arquitetura de um sistema desde o início, como definição por defeito, e não acrescentada como um passo de supressão pouco antes da publicação (ver privacidade desde a conceção); suprimir identificadores óbvios a posteriori é a forma mais fraca desta disciplina, não um substituto dela.

Boas práticas

Nomeie um responsável com obrigação de prestar contas por cada conjunto de dados que importa, e não apenas um gabinete central de dados. Um gabinete de dados pode fixar normas, mas não pode saber se um campo específico num sistema específico ainda significa o que foi definido para significar; esse juízo pertence a alguém próximo da utilização efetiva dos dados.
Publique aberto por defeito, e documente a razão específica sempre que não o fizer. Inverter a predefinição — exigir uma justificação para reter e não uma justificação para publicar — faz emergir as sensibilidades genuínas para revisão individual em vez de deixar que a cautela se aplique indiscriminadamente a tudo.
Adote um esquema partilhado existente antes de conceber um novo. Uma estrutura de dados à medida que se ajusta na perfeição a um projeto e não corresponde a mais nada no governo garante um custo futuro de integração; verifique o que o seu setor, a sua jurisdição ou um organismo internacional de normalização já publicou antes de construir o seu próprio.
Conceba identificadores únicos persistentes e bem governados antes de um sistema entrar em funcionamento, e não depois. Adaptar a posteriori um esquema de identificadores a registos que se acumulam há anos sob chaves inconsistentes é dramaticamente mais caro do que acertar na conceção desde o início.
Construa a troca de dados através de APIs governadas em vez de transferências pontuais de ficheiros. Uma API que impõe um esquema, regista os acessos e pode ser versionada dá-lhe um ponto de interoperabilidade controlável e auditável; uma folha de cálculo enviada por correio eletrónico entre departamentos não lhe dá nenhuma dessas coisas e ninguém repara quando fica desatualizada.
Redija acordos de partilha de dados que declarem o fim, a base jurídica e a caducidade, e não apenas o mecanismo técnico. Um acordo que especifica como os dados circulam mas não por que razão, nem durante quanto tempo, tende a sobreviver ao fim que o justificou e a tornar-se discretamente uma autorização para algo que ninguém autorizou explicitamente.
Trate a desidentificação como uma avaliação de risco com um resultado residual, e não como uma tarefa pontual de supressão. Pergunte que outros conjuntos de dados públicos ou adquiríveis poderiam ser cruzados com aquele que está prestes a divulgar e dimensione o risco de reidentificação face a essa ameaça realista, e não face a um atacante idealizado sem informação externa.
Aplique a privacidade diferencial ou uma técnica formal equivalente a qualquer divulgação que envolva populações pequenas ou características raras. A simples supressão ou generalização de identificadores óbvios é insuficiente quando um conjunto de dados inclui algo suficientemente invulgar para ser identificador por si só, como uma doença rara, uma população local pequena ou uma transação de valor elevado.
Mantenha um catálogo de dados público e atual com metadados reais, e não apenas uma lista de nomes de ficheiros. Um conjunto de dados que um potencial utilizador não consegue compreender suficientemente bem para nele confiar está funcionalmente por publicar, por muito permissiva que seja a sua licença; as entradas do catálogo devem dizer o que um campo significa, com que frequência é atualizado e quais as suas limitações conhecidas.
Meça a qualidade dos dados face a normas definidas num calendário recorrente, e reporte os resultados a quem detém o conjunto de dados. A qualidade que só é verificada quando algo avaria decai invisivelmente durante longos períodos entretanto; uma medição de rotina transforma a deterioração numa tendência visível e gerível.
Reveja periodicamente cada conjunto de dados publicado quanto ao valor público e ao risco continuados. As populações mudam, as técnicas de reidentificação melhoram e uma divulgação que era segura há cinco anos pode não o ser hoje face a dados que entretanto passaram a estar disponíveis noutros lugares.
Separe a decisão de partilhar ou publicar dados da equipa técnica que os move. As pessoas mais bem colocadas para julgar a finalidade, a proporcionalidade e o risco de privacidade raramente são as mesmas mais bem colocadas para construir o circuito, e reunir os dois papéis num só deixa o juízo mais difícil insuficientemente examinado.

Perguntas para discutir com a sua equipa

Sabemos qual o sistema que detém o registo autorizado de cada uma das nossas entidades de dados centrais, e todos o tratam realmente como tal? Muitas organizações têm, na prática, várias cópias «verdadeiras» da mesma informação — a morada de um cidadão no sistema de faturação, no sistema de gestão de processos e no registo de correspondência, todas ligeiramente diferentes e todas objeto de ação por alguém. Use esta pergunta para listar as entidades centrais da sua organização (cidadão, processo, propriedade, empresa) e identificar, com honestidade, se existe uma fonte autorizada única para cada uma ou se o pessoal aprendeu discretamente em que sistema confiar para cada fim. Discuta o que seria preciso para designar e impor uma fonte autorizada única por entidade e o que se quebraria na transição. Normalmente isto é mais barato de corrigir cedo do que depois de uma decisão séria ter sido tomada com a cópia errada.

Se uma pessoa nos perguntasse por que razão teve de dar a mesma informação a duas partes da nossa própria organização, qual seria a nossa resposta honesta? A resposta honesta é muitas vezes «porque os nossos sistemas não a conseguem trocar», que é uma falha de interoperabilidade disfarçada de requisito de processo. Use esta pergunta para escolher um percurso de serviço que abrange mais do que uma equipa ou sistema e traçar, passo a passo, onde o mesmo facto é capturado mais do que uma vez. Discuta se o pedido repetido está a proteger algo genuíno — um consentimento renovado, um passo de verificação — ou se é simplesmente a ausência de um acordo de partilha de dados ou de um esquema comum. Considere o que custaria, em confiança dos cidadãos tanto como em tempo do pessoal, deixá-lo por corrigir mais um ano.

Onde conseguiria mais plausivelmente um jornalista ou investigador determinado reidentificar alguém num conjunto de dados que atualmente chamamos anonimizado? A maioria das organizações que publicam dados desidentificados não os submeteu a testes de stress face a uma combinação realista de quase-identificadores e outros conjuntos de dados públicos. Use esta pergunta para escolher o seu conjunto de dados publicado, ou prestes a ser publicado, de maior risco e percorrer que outra informação — uma notícia local, o conjunto de dados abertos de outro organismo, um registo público — poderia plausivelmente ser cruzada com ele. Discuta se a sua abordagem atual de desidentificação (supressão, generalização ou uma técnica formal como a k-anonimidade ou a privacidade diferencial) resistiria efetivamente a essa combinação e quem é responsável por voltar a testá-la à medida que surgem novos dados externos.

Quem tem atualmente a autoridade para dizer que um conjunto de dados não deve ser publicado, e estamos confiantes de que essa autoridade está a ser usada pelas razões certas? Uma política de abertura por defeito continua a necessitar de um processo de exceção credível e bem fundamentado, e a pessoa que o exerce deve ser identificável e responsável. Use esta pergunta para verificar se as decisões de retenção na sua organização são tomadas por uma função nomeada face a critérios documentados, ou informalmente, por quem for consultado e que erra do lado da cautela. Discuta se a sua taxa de retenção se parece mais com um juízo cuidadoso caso a caso ou com um reflexo institucional permanente e o que uma revisão externa periódica dos conjuntos de dados retidos poderia revelar.

Os nossos acordos de partilha de dados entre organismos continuam a ser usados para o fim para que foram escritos? A limitação da finalidade é fácil de declarar num acordo e fácil de erodir discretamente na prática, em especial quando um conjunto de dados se revela útil para algo que os signatários originais nunca anteciparam. Use esta pergunta para escolher dois ou três arranjos interorganismos de partilha de dados em vigor e verificar a utilização atual efetiva face ao fim escrito e à data de caducidade. Discuta que passo de governação falta se surgir uma discrepância e quem deve ser responsável por apanhar esse tipo de deriva antes de uma auditoria externa ou de um jornalista o fazer.

Se as nossas normas de interoperabilidade ou de dados se tornassem uma barreira a uma nova utilização legítima dos nossos dados, descobriríamos antes ou depois de causarem dano real? As normas que eram sensatas quando foram adotadas podem ossificar-se em obstáculos à medida que as necessidades e a tecnologia mudam, e as organizações raramente incorporam um mecanismo para notar que isto está a acontecer às suas próprias regras. Use esta pergunta para discutir como a sua organização revê atualmente se as suas normas de dados, esquemas de identificadores ou processos de partilha ainda servem o seu fim, por oposição a serem simplesmente herdados e não questionados. Considere se as pessoas que notariam que uma norma se tornou um obstáculo — o pessoal da linha da frente, as organizações parceiras, os programadores externos que usam os seus dados abertos — têm um canal real para o assinalar e se esse canal alguma vez alterou efetivamente uma norma.

Na prática: um exemplo de valor público

Uma agência regional de bem-estar social e uma autoridade regional de saúde separada — fictícias, ilustrativas de um padrão e não um relato sobre qualquer organismo real — tinham passado uma década a operar sistemas incompatíveis de gestão de processos, de modo que uma família conhecida de ambas podia ser registada sob números de referência diferentes, sem forma fiável de dizer ao pessoal das agências que o agregado que aparecia numa carteira de apoio à habitação era o mesmo que aparecia numa carteira de apoio pediátrico. Um programa conjunto para identificar crianças em risco de cair na lacuna entre os dois serviços estagnou repetidamente, não por falta de vontade política mas porque ninguém conseguia produzir uma vista combinada única e fiável de quais as famílias que precisavam de ambos os tipos de apoio.

As duas agências acabaram por adotar um identificador de agregado partilhado e um esquema comum para os campos de que ambos os sistemas precisavam de trocar, construído através de uma API governada e não das exportações periódicas em folhas de cálculo em que cada uma se apoiara até então, ao abrigo de um acordo de partilha de dados que nomeava o fim específico — coordenar o apoio a agregados em risco — e exigia revisão anual. Em um ano, os técnicos de ambos os lados conseguiam ver, pela primeira vez, quais as famílias conhecidas do outro serviço, e as conferências de casos conjuntas que antes dependiam de verificações cruzadas manuais tornaram-se rotina. As agências foram depois mais longe, publicando um conjunto de dados abertos agregado, ao nível da área, que mostrava o número de agregados que recebiam apoio combinado por distrito, destinado a ajudar as instituições de solidariedade locais a dirigir a sua própria divulgação e a permitir aos vereadores eleitos ver se o programa conjunto estava a alcançar as áreas para que fora concebido.

Um defensor local dos direitos dos dados, a trabalhar com um investigador universitário, descobriu que os números publicados ao nível do distrito podiam ser cruzados com um conjunto de dados abertos separado, igualmente bem-intencionado, da autoridade de transportes local — que mostrava os pedidos de tarifas subsidiadas por pequena área — para reduzir alguns distritos a contagens de agregados suficientemente pequenas para que famílias específicas pudessem plausivelmente ser identificadas, em particular nos distritos rurais pouco povoados onde ambos os conjuntos de dados contavam números de agregados de um só dígito. Nenhum dos conjuntos de dados, isoladamente, era revelador; combinados, nas áreas menos povoadas, eram-no. O primeiro instinto das agências, retirar por completo o conjunto de dados abertos, teria destruído o valor de responsabilização e de orientação das instituições de solidariedade que ele já começara a proporcionar. Em vez disso, trabalhando com o mesmo defensor, voltaram a publicar o conjunto de dados usando uma abordagem de privacidade diferencial que acrescentava ruído calibrado às contagens pequenas, preservando a sua utilidade para detetar padrões regionais amplos ao mesmo tempo que tornava a verdadeira contagem de qualquer distrito de baixa população suficientemente incerta para derrotar o ataque de cruzamento que expusera a divulgação original. O episódio tornou-se o estudo de caso que as agências usaram na sua própria formação posterior do pessoal, para explicar por que razão a desidentificação tem de ser avaliada face ao que mais está publicamente disponível e não face ao conjunto de dados isolado.

Quatro perspetivas setoriais

Poder local

Uma autoridade local gere tipicamente mais sistemas distintos, mais antigos e menos integrados por residente servido do que um organismo nacional, porque décadas de sistemas departamentais adquiridos individualmente — habitação, urbanismo, resíduos, ação social — raramente foram construídas para partilhar dados entre si. Isto faz da interoperabilidade uma batalha genuinamente interna antes de ser alguma vez externa: um residente que interage com três departamentos da câmara numa semana pode verificar que nenhum deles consegue ver o que os outros já sabem. Os dados abertos locais, entretanto, tendem a ter um valor cívico invulgarmente direto — calendários de recolha de lixo, pedidos de licenciamento, despesa local — porque os residentes e os jornalistas locais os utilizam a um nível de especificidade que os conjuntos de dados nacionais raramente oferecem, o que eleva o que está em jogo em acertar nos metadados e na frequência de atualização mesmo de conjuntos de dados modestos e correntes.

Governo nacional

Os governos nacionais operam tipicamente a gama mais completa de instrumentos de governação de dados e de interoperabilidade — uma estratégia nacional de dados, esquemas de identificadores transversais ao governo, portais obrigatórios de dados abertos e reguladores dedicados da proteção de dados —, mas o número de sistemas legados acumulados ao longo de décadas e de administrações faz da interoperabilidade técnica uma tarefa de fundo persistente e dispendiosa e não um projeto pontual. Os programas nacionais de dados abertos acarretam um risco desproporcionado de reidentificação precisamente porque os conjuntos de dados nacionais são suficientemente grandes para serem genuinamente valiosos e suficientemente pormenorizados, uma vez cruzados com outros registos nacionais, para identificar indivíduos; os documentos de estratégia nacional de dados que vários governos publicam nomeiam cada vez mais explicitamente as técnicas de divulgação que preservam a privacidade, em vez de tratar a desidentificação como um pormenor de implementação abaixo do nível da política.

Uma organização sem fins lucrativos ou não governamental (ONG) raramente está sujeita a um mandato de dados abertos, mas enfrenta cada vez mais uma expectativa paralela dos financiadores, dos reguladores e do público de que os dados dos programas sejam partilhados com transparência, e trabalha frequentemente com populações — sobreviventes de violência, pessoas em pobreza aguda, residentes indocumentados — para as quais o risco de reidentificação acarreta um custo pessoal muito mais elevado do que normalmente para a população geral num conjunto de dados governamental. Os acordos de partilha de dados importam desproporcionadamente aqui porque uma organização sem fins lucrativos partilha frequentemente dados de clientes com financiadores governamentais ou organizações parceiras ao abrigo de contratos que não redigiu, e precisa da capacidade de negociar a limitação da finalidade em vez de simplesmente aceitar quaisquer condições de partilha de dados associadas ao financiamento. As normas de interoperabilidade adotadas por financiadores governamentais ou filantrópicos maiores podem ser um encargo genuíno para a capacidade técnica limitada de uma pequena organização, que é um custo real que vale a pena nomear em vez de tratar a adoção de normas como gratuita.

Organismos multilaterais e internacionais

Os organismos multilaterais agregam dados de Estados-membros com maturidade de governação, capacidade estatística e regimes jurídicos de privacidade muito diferentes, o que faz da interoperabilidade semântica — acordar o que um campo partilhado significa de facto — um problema persistente tanto diplomático como técnico; um termo tão básico como «agregado» ou «desempregado» é definido de forma suficientemente diferente entre países para que os organismos estatísticos internacionais mantenham normas inteiras, como o formato Statistical Data and Metadata Exchange (SDMX), puramente para tornar genuinamente comparáveis os dados entre países. Os dados abertos a este nível funcionam como um bem público especialmente claro no sentido exposto no Tópico 1.4 — Bens públicos, bens meritórios e pluralismo de valores, porque nenhum Estado-membro isolado tem incentivo para financiar sozinho um conjunto de dados comparativos globais, e no entanto todos os Estados e investigadores beneficiam assim que um organismo multilateral publica um. As preocupações de soberania dos dados são aqui mais profundas do que num contexto de um só país: um Estado-membro pode resistir a partilhar dados que tem o direito legal de reter, ou pode contestar a forma como um organismo multilateral classificou ou agregou os seus próprios números nacionais, o que torna a questão de governação de quem controla uma estatística partilhada tão consequente como a questão técnica de como é trocada.

Modos de falha comuns

Silos de dados silenciosos. Os sistemas acumulam-se de forma independente por uma organização sem identificador nem esquema partilhado, e o custo permanece oculto até um caso específico — uma falha de salvaguarda, uma auditoria, uma interrupção de serviço — exigir uma vista combinada que se revela impossível de produzir rapidamente, momento em que o custo do silo se torna visível de uma só vez e caro de corrigir sob pressão.

Teatro da anonimização. Um conjunto de dados tem os nomes e os identificadores óbvios removidos e é depois tratado como seguro para publicar sem qualquer avaliação de quase-identificadores ou do risco de cruzamento com outros dados disponíveis. O custo surge, muitas vezes publicamente e de forma embaraçosa, quando um investigador, jornalista ou defensor demonstra que a reidentificação é possível, momento em que a credibilidade da organização em matéria de privacidade é prejudicada muito para além do conjunto de dados específico em causa.

Governação sem responsável. Existe uma política de governação de dados no papel, mas nenhuma pessoa específica é responsável pela qualidade ou atualidade de qualquer conjunto de dados específico, pelo que as normas decaem silenciosamente e ninguém repara até os dados serem usados numa decisão que não conseguem efetivamente sustentar. Esta é uma falha particularmente comum porque o próprio documento de política parece completo, mascarando a ausência de alguém efetivamente responsável por baixo dele.

Interoperabilidade por mandato, sem recursos. Um esquema partilhado ou um esquema de identificadores é imposto centralmente mas nunca financiado para as equipas que se espera que o adotem, pelo que o cumprimento se torna um exercício de caixas de verificação — um campo tecnicamente presente mas não devidamente preenchido — em vez de interoperabilidade genuína e utilizável. O custo é uma falsa sensação de que existe uma norma partilhada, descoberta apenas quando alguém tenta realmente apoiar-se nos dados que ela devia normalizar.

Falsa abertura (open-washing). Uma organização publica painéis e visualizações-resumo e chama a isso dados abertos, enquanto o conjunto de dados subjacente legível por máquina de que um terceiro precisaria para construir algo novo continua por publicar ou é publicado num formato que ninguém consegue praticamente reutilizar. Isto capta a aparência de transparência e de abertura descrita no Tópico 3.4 — Responsabilização, transparência e legitimidade sem a sua substância, e é muitas vezes confundido com um genuíno programa de dados abertos porque o painel tem um aspeto impressionante.

Modelo de maturidade

Subdimensão	Iniciar	Desenvolver	Padronizar	Gerir	Orquestrar
Responsabilidade e posse dos dados	Sem responsável nomeado para a maior parte dos conjuntos de dados; os problemas de qualidade são descobertos por acaso	Alguns conjuntos de dados de grande visibilidade têm um responsável informal; a qualidade varia muito	Cada conjunto de dados central tem um responsável nomeado com responsabilidades definidas	A qualidade dos dados é medida face a normas e reportada rotineiramente aos responsáveis	A responsabilidade estende-se para além das fronteiras organizacionais; os conjuntos de dados partilhados têm responsáveis conjuntos com obrigação de prestar contas
Normas de interoperabilidade	Sistemas construídos de forma independente, trocam dados por exportação manual ou de todo	Existe um esquema partilhado para alguns domínios, adotado de modo inconsistente	Um esquema comum e um esquema de identificadores são impostos e implementados através de APIs governadas	O desempenho da interoperabilidade é monitorizado; as lacunas desencadeiam correção e financiamento	As normas são cocriadas com organizações parceiras e outras jurisdições e adaptadas proativamente
Publicação de dados abertos	A publicação é ad hoc, não documentada e dependente da iniciativa individual	Existe um catálogo de dados mas é incompleto ou desatualizado; os metadados são ténues	A abertura por defeito é política; cada conjunto de dados não publicado tem uma razão documentada	A publicação é medida quanto à reutilização e ao impacto; o catálogo é ativamente mantido	A publicação antecipa a procura externa e coordena-se com os programas de dados abertos de outros organismos
Divulgação que preserva a privacidade	A desidentificação significa remover apenas os identificadores óbvios, sem avaliação de risco	O risco é avaliado informalmente apenas para as divulgações de grande visibilidade	Uma avaliação definida do risco de reidentificação, incluindo o risco de cruzamento, é realizada antes de toda a divulgação de dados pessoais	As técnicas formais (k-anonimidade, privacidade diferencial) são aplicadas de forma proporcionada e revistas periodicamente	O risco de divulgação é continuamente reavaliado à medida que novos conjuntos de dados externos ficam disponíveis, e as divulgações passadas são revisitadas

Lista de verificação

Identifique o sistema-fonte autorizado de cada uma das entidades de dados centrais da sua organização.
Confirme que cada conjunto de dados que materialmente importa tem um responsável nomeado e com obrigação de prestar contas.
Verifique se já existe um esquema ou norma partilhado para um novo projeto de dados antes de conceber um à medida.
Reveja a conceção do seu identificador único quanto à persistência e à consistência entre os sistemas que o usam.
Substitua pelo menos uma troca de dados recorrente, manual ou baseada em folhas de cálculo, por uma API governada.
Confirme que cada acordo interorganismos de partilha de dados em vigor declara o seu fim, a base jurídica e a caducidade, e corresponde à utilização atual efetiva.
Realize uma avaliação do risco de reidentificação, incluindo o cruzamento plausível com outros conjuntos de dados públicos, antes de publicar qualquer conjunto de dados que envolva informação pessoal.
Aplique uma técnica formal de preservação da privacidade, como a k-anonimidade ou a privacidade diferencial, a qualquer divulgação que envolva populações pequenas ou características raras.
Confirme que o seu catálogo de dados abertos inclui metadados reais e atuais, e não apenas nomes de ficheiros.
Reveja os conjuntos de dados anteriormente publicados face a dados externos recentemente disponíveis quanto a risco emergente de reidentificação.
Confirme que as decisões de retenção são tomadas por uma função nomeada e com obrigação de prestar contas, face a critérios documentados.
Faça à sua equipa as seis perguntas de discussão acima e registe onde a resposta honesta difere da oficial.

Fontes principais

International Open Data Charter, os seus seis princípios e as suas orientações sobre publicação aberta por defeito.
Recomendação do Conselho da OCDE sobre o Reforço do Acesso e da Partilha de Dados (2021).
US National Institute of Standards and Technology, Special Publication 800-226, Guidelines for Evaluating Differential Privacy Guarantees.
Material do US Census Bureau sobre evitação de divulgação e a sua aplicação da privacidade diferencial aos dados do recenseamento decenal.
O trabalho fundador de Cynthia Dwork que formalizou a privacidade diferencial, e a literatura académica mais ampla sobre controlo estatístico de divulgação.
O triângulo estratégico de Mark H. Moore e a lógica dos bens públicos exposta no Tópico 1.4 — Bens públicos, bens meritórios e pluralismo de valores, como o enquadramento em que este tópico assenta.

Referências

Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
Interoperability — Wikipedia — https://en.wikipedia.org/wiki/Interoperability
Application programming interface — Wikipedia — https://en.wikipedia.org/wiki/Application_programming_interface
Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
Open data — Wikipedia — https://en.wikipedia.org/wiki/Open_data
Data re-identification — Wikipedia — https://en.wikipedia.org/wiki/Data_re-identification
K-anonymity — Wikipedia — https://en.wikipedia.org/wiki/K-anonymity
Differential privacy — Wikipedia — https://en.wikipedia.org/wiki/Differential_privacy
Privacy by design — Wikipedia — https://en.wikipedia.org/wiki/Privacy_by_design
Open Data Charter principles — International Open Data Charter — https://opendatacharter.org/principles/
Recommendation of the Council on Enhancing Access to and Sharing of Data (2021) — OECD Legal Instruments — https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0463
Guidelines for Evaluating Differential Privacy Guarantees, SP 800-226 (Initial Public Draft) — US National Institute of Standards and Technology — https://csrc.nist.gov/pubs/sp/800/226/ipd
Disclosure avoidance and data stewardship — US Census Bureau — https://www.census.gov/about/policies/privacy/statistical_safeguards/disclosure-avoidance.html
Data.gov — US federal open data portal, General Services Administration — https://www.data.gov/