Julkisen sektorin data, yhteentoimivuus ja avoin data

Miksi tällä on merkitystä julkisen arvon kannalta

Jokaisella julkisella elimellä on jo enemmän dataa kuin se käyttää hyvin. Veroviranomainen, sairaalaverkosto, liikennevirasto ja paikallinen kaavoitustoimisto kukin keräävät tietoa palvelun pyörittämisen sivutuotteena, ja kukin huomaa, yleensä liian myöhään, että tietue, jota se tarvitsee vastatakseen kansalaisen kysymykseen tai ratkaistakseen riidan, istuu järjestelmässä, jota kukaan muu organisaatiossa ei voi kysellä. Kustannus ei ole abstrakti: kansalaisen, joka on jo kertonut osoitteensa yhdelle virastolle, ei pitäisi tarvita kertoa sitä uudelleen toiselle virastolle saman hallinnon sisällä.

Tämän aiheen otsikon sisällä on kaksi erillistä tavoitetta, ja julkiset elimet sekoittavat ne rutiininomaisesti. Ensimmäinen on yhteentoimivuus — datan siirtäminen luotettavasti järjestelmien välillä, jotka eri tiimit ja teknologian aikakaudet rakensivat itsenäisesti, jotta yksi osa hallintoa voi toimia sen perusteella, minkä toinen osa jo tietää. Toinen on avoimuus — datan julkaiseminen kokonaan hallinnon ulkopuolelle, jotta toimittajat, tutkijat ja kansalaiset voivat käyttää sitä tarkoituksiin, joita julkaiseva elin ei koskaan ennakoinut. Yhteentoimivuus on enimmäkseen insinööri- ja hallintoongelma; avoimuus on julkinen arvo sinänsä, samaa perhettä kuin Aiheessa 1.4 — Julkishyödykkeet, ansiohyödykkeet ja arvopluralismi kuvatut julkishyödykkeet, koska julkaistu data on ei-kilpailevaa ja siitä on vaikea sulkea ketään pois kerran julkaistun, joten pelkkä markkina tarjoaisi sitä liian vähän.

Molemmat tavoitteet törmäävät kolmanteen tosiasiaan, jota tämä aihe käsittelee aitona, ratkaisemattomana jännitteenä eikä ongelmana, jolla on siisti vastaus: data, joka on tarpeeksi yksityiskohtaista ollakseen hyödyllistä, on usein tarpeeksi yksityiskohtaista tunnistaakseen yksilön, jota se kuvaa, vaikka nimet ja ilmeiset tunnisteet poistettaisiin. Hallitus, joka julkaisee runsaasti, ja hallitus, joka suojaa hyvin tietueissaan olevia ihmisiä, vetävät eri suuntiin samalla vivulla, ja kasvava halu saada dataa algoritmisten järjestelmien kouluttamiseen ja arviointiin (katso Aihe 5.2 — Tekoäly ja algoritminen päätöksenteko julkishallinnossa) on nostanut panoksia, koska useammat toimijat kuin koskaan haluavat julkista dataa täsmälleen sillä tarkkuudella, joka tekee sen julkaisemisesta riskialttiimman. Johtaja, joka käsittelee hallintoa, yhteentoimivuutta ja avoimuutta yhtenä ongelmana, yksityisyys sen pysyvänä rajoitteena, on paremmin sijoitettu kaappaamaan tämän aiheen arvo kuin johtaja, joka käsittelee kutakin erikseen.

Keskeiset käsitteet

Tiedonhallinta (data governance) on päätösoikeuksien, standardien ja vastuiden joukko, joka määrää, kuka saa luoda, muuttaa, käyttää ja lakkauttaa organisaation dataa ja mihin laatustandardiin sen on pysyttävä (katso tiedonhallinta). Se eroaa datanhallinnasta, joka on operatiivista työtä datan siirtämiseksi ja tallentamiseksi päivittäin; hallinto päättää säännöt, johtaminen toteuttaa ne. Julkisella elimellä ilman tiedonhallintaa on yhä dataa, mutta kukaan ei voi sanoa varmuudella, mikä kansalaisen tietueen kopio on auktoritatiivinen, tai kuka on vastuussa, kun tuo tietue osoittautuu vääräksi.

Tietovastaava (data steward) on nimetty henkilö tai rooli, joka vastaa tietyn aineiston laadusta, määrittelystä ja asianmukaisesta käytöstä, erotuksena teknisestä henkilöstöstä, joka pyörittää järjestelmiä, joissa se sijaitsee (katso tietovastaava). Vastuu on tärkeä, koska datan laatu heikkenee oletuksena: kenttä, josta kukaan ei ole vastuussa, kerää epäjohdonmukaisia merkintöjä, päällekkäisiä tietueita ja hiljaista ajautumista sen välillä, mitä kentän on määrä tarkoittaa, ja sen välillä, mitä henkilöstö siihen todella laittaa. Vastaavan nimeäminen aineistolle muuttaa datan laadun satunnaisesta siivousharjoituksesta jatkuvaksi, nimetyksi vastuuksi.

Yhteentoimivuus on itsenäisesti rakennettujen järjestelmien kyky vaihtaa dataa ja käyttää sitä oikein ilman erityistapauksia, kertaluonteista insinöörityötä jokaiselle mukana olevalle järjestelmäparille (katso yhteentoimivuus). Se toimii kolmella tasolla, jotka on helppo sekoittaa: tekninen yhteentoimivuus (voivatko järjestelmät yhdistyä ja siirtää tavuja lainkaan, tyypillisesti sovellusohjelmointirajapinnan eli API:n kautta, määritellyn tavan, jolla yksi ohjelmisto pyytää dataa tai toimintaa toiselta — katso sovellusohjelmointirajapinta); semanttinen yhteentoimivuus (tarkoittavatko molemmat järjestelmät samaa jaetulla kentällä, kuten ”kotitalous” tai ”aktiivinen tapaus”); ja organisatorinen yhteentoimivuus (sopivatko kaksi organisaatiota siitä, miksi dataa jaetaan ja kuka on vastuussa siitä, mitä seuraavaksi tapahtuu). Useimmat kalliit yhteentoimivuuden epäonnistumiset tapahtuvat semanttisella tai organisatorisella tasolla, vaikka tekninen yhteys toimisi täydellisesti.

Yhteinen skeema, eli tietostandardi, on sovittu, julkaistu rakenne sille, miten datakategoria esitetään — kenttien nimet, muodot, yksiköt ja sallitut arvot — jonka useampi kuin yksi järjestelmä tai organisaatio on ottanut käyttöön, jotta yhden tuottamaa dataa voi kuluttaa toinen ilman manuaalista käännöstä. Hallinnon elimet, jotka ottavat käyttöön jaetun skeeman jollekin niin perustavanlaatuiselle kuin osoite tai tapauksen tila, muuttavat kymmeniä mahdollisia kahdenvälisiä käännösongelmia yhdeksi standardiksi, jonka jokainen uusi järjestelmä voi yksinkertaisesti toteuttaa. Yksilöllinen tunniste, joka säilyy järjestelmien yli ja ajan myötä — tapausnumero, yritysrekisterinumero, kansalaisviite —, on erityinen mekanismi, jonka avulla samaa henkilöä tai yksikköä koskevat tietueet voidaan linkittää oikein, ja tunnisteen suunnittelun väärin tekeminen (numeroiden uudelleenkäyttö, muotojen muuttaminen tai tunnisteen puuttuminen kokonaan) on yksi yleisimmistä, vältettävissä olevista yhteentoimivuuden epäonnistumisen syistä.

Metadata on dataa datasta — aineiston rakenteen, alkuperän, päivitystiheyden ja merkityksen kuvaus, julkaistuna itse datan rinnalla, jotta käyttäjä, joka ei luonut sitä, voi ymmärtää ja luottaa siihen (katso metadata). Ilman riittävää metadataa julkaistu aineisto on tuskin kenenkään käytettävissä sen tuottaneen tiimin ulkopuolella, kuinka avoin sen lisenssi onkaan; metadata on se, mikä muuttaa tiedostokaatoksen jostain, minkä kolmas osapuoli voi todella käyttää uudelleen.

Tiedonjakosopimus on muodollinen järjestely virastojen välillä tai julkisen elimen ja ulkoisen kumppanin välillä, joka määrittelee tarkoituksen, johon dataa voidaan käyttää, oikeudellisen perusteen sen jakamiselle, kuinka kauan sitä voidaan säilyttää ja mitä tapahtuu, jos tarkoitus muuttuu. Käyttötarkoitussidonnaisuus — jaetun datan käytön rajoittaminen tarkoitukseen, johon se kerättiin tai jaettiin — on kuri, joka estää tiedonjakosopimusta muuttumasta rajoittamattomaksi luvaksi käyttää henkilötietoja uudelleen, ja sen puuttuminen on toistuva teema virastojen välistä dataa koskevissa julkisen luottamuksen epäonnistumisissa.

Avoin data on dataa, joka on tehty vapaasti kenen tahansa saataville käytettäväksi ja levitettäväksi uudelleen mihin tahansa tarkoitukseen, tyypillisesti koneluettavassa muodossa ja julkaistuna lisenssillä, joka sallii uudelleenkäytön pelkän katselun sijaan (katso avoin data). Sen julkisen arvon peruste noudattaa Aiheessa 1.4 — Julkishyödykkeet, ansiohyödykkeet ja arvopluralismi esitettyä julkishyödykelogiikkaa: kun aineisto on julkaistu, yhden henkilön käyttö ei vähennä toisen, ja hallinto on usein ainoa toimija, jolla on sekä oikeudellinen asema että mittakaava kerätä ja julkaista se ensinnäkään, joten yksityiset markkinat yksin tarjoavat tällaista tietoa kroonisesti liian vähän. Avoin data mahdollistaa vastuullisuuden (toimittajat ja kansalaiset tarkistavat hallinnon omia väitteitä sen omia tietueita vasten), kolmansien osapuolten innovaation (yritykset ja kansalaisteknologit rakentavat palveluja julkisen datan päälle, joita hallinto itse ei koskaan rakenna) ja parempia julkisia päätöksiä muualla taloudessa, kaikki ilman että julkaiseva elin joutuu ennakoimaan jokaista käyttöä etukäteen.

Uudelleentunnistaminen (re-identification) on prosessi, jossa oletettavasti anonymisoitu data täsmätään muuhun saatavilla olevaan tietoon sen selvittämiseksi, mitä oikeaa henkilöä tietue kuvaa, ja se on keskeinen tekninen tosiasia, joka tekee tämän aiheen yksityisyysjännitteestä väistämättömän eikä pelkästään hankalan (katso datan uudelleentunnistaminen). Nimen tai ilmeisen tunnisteen, kuten henkilötunnuksen, poistaminen ei poista riskiä: lähes-tunnisteiden yhdistelmä, kuten ikä, postinumero ja harvinainen sairaus, voi yksilöidä jonkun jopa aineistossa, joka ei koskaan nimennyt häntä, erityisesti kun se ristiviitataan toiseen, erikseen julkiseen aineistoon. K-anonymiteetti on yksi muodollinen tapa päätellä tästä riskistä: aineisto täyttää k-anonymiteetin, jos jokaisen sen sisältämän lähes-tunnistavan kentän yhdistelmän jakaa vähintään määritelty määrä, k, tietueita, joten yksittäistä riviä ei voi eristää alle k mahdolliseen ihmiseen (katso k-anonymiteetti). Differentiaalinen yksityisyys on uudempi, matemaattisesti tiukka lähestymistapa, joka lisää huolellisesti kalibroitua tilastollista kohinaa aineistoon tai sitä vastaan tehtyjen kyselyiden tuloksiin, niin että minkä tahansa yksittäisen henkilön tietueen läsnäolo tai poissaolo muuttaa julkaistua tulosta vain rajatulla, todistettavalla määrällä riippumatta siitä, mitä hyökkääjä jo tietää (katso differentiaalinen yksityisyys). Sisäänrakennettu yksityisyys (privacy by design) on laajempi periaate, jonka mukaan yksityisyyden suoja tulisi rakentaa järjestelmän arkkitehtuuriin alusta alkaen oletusasetuksena eikä liittää jälkikäteen sensurointivaiheena juuri ennen julkaisua (katso sisäänrakennettu yksityisyys); ilmeisten tunnisteiden jälkikäteinen sensurointi on tämän kurin heikoin muoto, ei sen korvike.

Parhaat käytännöt

1. Nimeä vastuullinen vastaava jokaiselle merkitykselliselle aineistolle, ei vain keskitetylle datatoimistolle. Datatoimisto voi asettaa standardit, mutta se ei voi tietää, tarkoittaako tietyn järjestelmän tietty kenttä yhä sitä, mitä se määriteltiin tarkoittamaan; tuo arvio kuuluu jollekulle, joka on lähellä datan todellista käyttöä.
2. Julkaise avoimena oletuksena ja dokumentoi tietty syy aina kun et julkaise. Oletuksen kääntäminen — perustelun vaatiminen pidättämiseen eikä julkaisemiseen — nostaa aidot arkaluonteisuudet yksittäisen tarkastelun kohteeksi sen sijaan että varovaisuus kohdistuisi kaikkeen erottelematta.
3. Ota käyttöön olemassa oleva, jaettu skeema ennen uuden suunnittelua. Räätälöity tietorakenne, joka sopii täydellisesti yhteen hankkeeseen eikä vastaa mitään muuta hallinnossa, takaa tulevan integrointikustannuksen; tarkista, mitä sektorisi, lainkäyttöalueesi tai kansainvälinen standardointielin on jo julkaissut, ennen oman rakentamista.
4. Suunnittele pysyvät, hyvin hallinnoidut yksilölliset tunnisteet ennen kuin järjestelmä otetaan käyttöön, ei sen jälkeen. Tunnistejärjestelmän jälkiasennus tietueisiin, jotka ovat kertyneet vuosien ajan epäjohdonmukaisten avainten alla, on dramaattisesti kalliimpaa kuin suunnittelun tekeminen oikein alussa.
5. Rakenna datan vaihto hallinnoitujen rajapintojen kautta kertaluonteisten tiedostosiirtojen sijaan. API, joka pakottaa skeeman, kirjaa käytön ja jonka versioita voi hallita, antaa sinulle hallittavan, auditoitavan yhteentoimivuuden pisteen; osastojen välillä sähköpostitettu taulukkolaskenta ei anna sinulle mitään näistä, eikä kukaan huomaa, kun se vanhenee.
6. Kirjoita tiedonjakosopimukset niin, että ne ilmoittavat tarkoituksen, oikeudellisen perusteen ja päättymisen, eivät vain tekniikkaa. Sopimus, joka määrittelee, miten data liikkuu mutta ei miksi tai kuinka kauan, elää pidempään kuin tarkoitus, joka sen oikeutti, ja muuttuu hiljaa luvaksi johonkin, mitä kukaan ei eksplisiittisesti valtuuttanut.
7. Käsittele anonymisointia riskinarviointina, jolla on jäännöstulos, ei kertaluonteisena sensurointitehtävänä. Kysy, mitä muita julkisia tai ostettavia aineistoja voitaisiin linkittää julkaisemasi aineiston kanssa, ja mitoita uudelleentunnistamisriski tuota realistista uhkamallia vasten, ei idealisoitua hyökkääjää vasten, jolla ei ole ulkopuolista tietoa.
8. Sovella differentiaalista yksityisyyttä tai vastaavaa muodollista tekniikkaa kaikkiin julkaisuihin, jotka koskevat pieniä väestöjä tai harvinaisia ominaisuuksia. Ilmeisten tunnisteiden yksinkertainen tukahduttaminen tai yleistäminen ei riitä, kun aineisto sisältää mitä tahansa tarpeeksi epätavallista tunnistaakseen yksinään, kuten harvinaisen sairauden, pienen paikallisen väestön tai suuren arvon transaktion.
9. Ylläpidä julkista, ajantasaista tietoluetteloa todellisella metadatalla, ei pelkkää tiedostonimien luetteloa. Aineisto, jota potentiaalinen käyttäjä ei voi ymmärtää tarpeeksi hyvin luottaakseen siihen, on toiminnallisesti julkaisematon, kuinka sallivalla lisenssillä tahansa; luettelomerkintöjen tulisi kertoa, mitä kenttä tarkoittaa, kuinka usein se päivittyy ja mitkä sen tunnetut rajoitukset ovat.
10. Mittaa datan laatua määriteltyjä standardeja vasten toistuvalla aikataululla ja raportoi tulokset aineiston omistajalle. Laatu, jota tarkistetaan vain kun jokin hajoaa, rapautuu näkymättömästi pitkät jaksot välissä; rutiinimittaus muuttaa rapautumisen näkyväksi, hallittavaksi suuntaukseksi.
11. Tarkista jokainen julkaistu aineisto määräajoin jatkuvan julkisen arvon ja jatkuvan riskin osalta. Väestöt muuttuvat, uudelleentunnistamistekniikat paranevat, ja viisi vuotta sitten turvallinen julkaisu ei välttämättä ole turvallinen tänään dataa vasten, joka on sittemmin tullut uutena saataville muualla.
12. Erota päätös jakaa tai julkaista data sitä siirtävästä tekniikkatiimistä. Ihmiset, jotka ovat parhaiten sijoitettuja arvioimaan tarkoitusta, suhteellisuutta ja yksityisyysriskiä, ovat harvoin samat kuin ihmiset, jotka ovat parhaiten sijoitettuja rakentamaan putken, ja näiden kahden roolin romahduttaminen yhdeksi jättää vaikeamman harkinnan vajaasti tarkastelluksi.

Kysymyksiä keskusteltavaksi tiimissäsi

Tiedämmekö, mikä järjestelmä pitää auktoritatiivista tietuetta kustakin ydindatayksiköstämme, ja kohteleeko jokainen sitä todella sellaisena? Monilla organisaatioilla on käytännössä useita ”tosia” kopioita samasta tiedosta — kansalaisen osoite laskutusjärjestelmässä, tapausten hallintajärjestelmässä ja kirjeenvaihtolokissa, kaikki hieman erilaisia ja kaikkien perusteella joku toimii. Käytä tätä kysymystä luetellaksesi organisaationne ydinyksiköt (kansalainen, tapaus, kiinteistö, yritys) ja tunnistaaksesi rehellisesti, onko kullekin olemassa yksi auktoritatiivinen lähde vai ovatko työntekijät hiljaa oppineet, mihin järjestelmään luottaa mihinkin tarkoitukseen. Keskustelkaa siitä, mitä vaadittaisiin yhden auktoritatiivisen lähteen nimeämiseen ja valvontaan yksikköä kohti ja mikä siirtymässä menisi rikki. Tämä on yleensä halvempaa korjata aikaisin kuin sen jälkeen, kun vakava päätös on tehty väärän kopion perusteella.

Jos joku kysyisi meiltä, miksi hänen piti antaa samat tiedot kahdelle meidän oman organisaatiomme osalle, mikä olisi rehellinen vastauksemme? Rehellinen vastaus on usein ”koska järjestelmämme eivät voi vaihtaa sitä”, mikä on yhteentoimivuuden epäonnistuminen prosessivaatimuksen vaatteissa. Käytä tätä kysymystä valitaksesi yhden palvelupolun, joka ulottuu useampaan kuin yhteen tiimiin tai järjestelmään, ja jäljittääksesi askel askeleelta, missä sama tosiasia kerätään useammin kuin kerran. Keskustelkaa siitä, suojeleeko toistuva pyyntö jotain aitoa — tuoretta suostumusta, varmennusvaihetta — vai onko se yksinkertaisesti tiedonjakosopimuksen tai yhteisen skeeman puuttumista. Pohtikaa, mitä sen jättäminen korjaamatta vielä vuodeksi maksaisi kansalaisten luottamuksessa yhtä paljon kuin henkilöstön ajassa.

Missä päättäväinen toimittaja tai tutkija todennäköisimmin tunnistaisi jonkun uudelleen aineistosta, jota tällä hetkellä kutsumme anonymisoiduksi? Useimmat organisaatiot, jotka julkaisevat anonymisoitua dataa, eivät ole stressitestanneet sitä realistista lähes-tunnisteiden ja muiden julkisten aineistojen yhdistelmää vasten. Käytä tätä kysymystä valitaksesi korkeimman riskin julkaistun tai pian julkaistavan aineistonne ja käydäksesi läpi, mitä muuta tietoa — paikallinen uutisraportti, toisen viraston avoin aineisto, julkinen rekisteri — voitaisiin uskottavasti linkittää sitä vasten. Keskustelkaa siitä, kestäisikö nykyinen anonymisointitapanne (tukahduttaminen, yleistäminen tai muodollinen tekniikka kuten k-anonymiteetti tai differentiaalinen yksityisyys) tuon yhdistelmän, ja kuka on vastuussa sen uudelleentestaamisesta uuden ulkoisen datan tullessa saataville.

Kenellä on tällä hetkellä valta sanoa, ettei aineistoa pitäisi julkaista, ja olemmeko varmoja, että tuota valtaa käytetään oikeista syistä? Avoin oletuksena -politiikka tarvitsee yhä uskottavan, hyvin perustellun poikkeusprosessin, ja sitä käyttävän henkilön pitäisi olla tunnistettavissa ja vastuullinen. Käytä tätä kysymystä tarkistaaksesi, tekeekö organisaatiossanne pidättämispäätökset nimetty rooli dokumentoituja kriteerejä vasten vai epävirallisesti, kuka tahansa joka sattuu olemaan kysytty ja erehtyy varovaisuuden puolelle. Keskustelkaa siitä, näyttääkö pidättämisasteenne huolelliselta tapauskohtaiselta harkinnalta vai pysyvältä institutionaaliselta refleksiltä, ja mitä pidätettyjen aineistojen määräajoin tehtävä ulkoinen tarkastelu voisi paljastaa.

Käytetäänkö virastojen välisiä tiedonjakosopimuksiamme yhä tarkoitukseen, johon ne kirjoitettiin? Käyttötarkoitussidonnaisuus on helppo ilmaista sopimuksessa ja helppo murentaa hiljaa käytännössä, erityisesti kun aineisto osoittautuu hyödylliseksi jollekin, mitä sen alkuperäiset allekirjoittajat eivät koskaan ennakoineet. Käytä tätä kysymystä valitaksesi kaksi tai kolme elävää virastojen välistä tiedonjakojärjestelyä ja tarkistaaksesi todellisen nykyisen käytön kirjoitettua tarkoitusta ja päättymispäivää vasten. Keskustelkaa siitä, mikä hallintoaskel puuttuu, jos ristiriita löytyy, ja kenen pitäisi olla vastuussa tämän kaltaisen ajautuman kiinni saamisesta ennen ulkoista auditointia tai toimittajaa.

Jos yhteentoimivuus- tai tietostandardimme muuttuisivat esteeksi oikeutetulle uudelle datankäytölle, saisimmeko sen selville ennen vai jälkeen kuin se aiheuttaisi todellista haittaa? Standardit, jotka olivat järkeviä käyttöönotettaessa, voivat luutua esteiksi tarpeiden ja teknologian muuttuessa, ja organisaatiot rakentavat harvoin sisään mekanismia huomatakseen tämän tapahtuvan omille säännöilleen. Käytä tätä kysymystä keskustellaksesi siitä, miten organisaationne tällä hetkellä tarkistaa, palvelevatko sen tietostandardit, tunnistejärjestelmät tai jakamisprosessit yhä tarkoitustaan, verrattuna siihen, että ne yksinkertaisesti peritään ja jätetään kyseenalaistamatta. Pohtikaa, onko ihmisillä, jotka huomaisivat standardin muuttuneen esteeksi — etulinjan henkilöstöllä, kumppaniorganisaatioilla, avointa dataanne käyttävillä ulkoisilla kehittäjillä — todellinen kanava nostaa se esiin, ja onko tuo kanava koskaan todella muuttanut standardia.

Käytännössä: esimerkki julkisesta arvosta

Alueellinen sosiaalihuoltovirasto ja erillinen alueellinen terveysviranomainen — kuvitteellisia, mallin havainnollistus eikä raportti mistään todellisesta elimestä — olivat pyörittäneet vuosikymmenen ajan yhteensopimattomia tapausten hallintajärjestelmiä, joten molemmille tunnettu perhe voitiin kirjata eri viitenumeroilla, ilman luotettavaa tapaa kertoa viraston henkilöstölle, että asumistukikannassa esiintyvä kotitalous oli sama kotitalous, joka esiintyi lastenneuvolan tavoittavan työn kannassa. Yhteinen ohjelma sellaisten lasten tunnistamiseksi, jotka ovat vaarassa pudota näiden kahden palvelun väliseen aukkoon, pysähtyi toistuvasti, ei poliittisen tahdon puutteen vuoksi vaan koska kukaan ei voinut tuottaa yhtä, luotettavaa yhdistettyä näkymää siitä, mitkä perheet tarvitsivat kumpaakin tukea.

Kaksi virastoa otti lopulta käyttöön jaetun kotitaloustunnisteen ja yhteisen skeeman kentille, joita molemmat järjestelmät tarvitsivat vaihtaakseen, rakennettuna hallinnoidun API:n kautta jaksottaisten taulukkolaskentavientien sijaan, joihin kumpikin oli aiemmin nojannut, tiedonjakosopimuksella, joka nimesi erityisen tarkoituksen — vaarassa olevien kotitalouksien tuen koordinointi — ja vaati vuosittaista tarkistusta. Vuodessa sosiaalityöntekijät molemmilla puolilla näkivät ensimmäistä kertaa, mitkä perheet olivat toisen palvelun tiedossa, ja yhteiset tapauskokoukset, jotka olivat aiemmin nojanneet manuaaliseen ristiintarkistukseen, muuttuivat rutiiniksi. Virastot menivät sitten pidemmälle, julkaisten koostetun, aluetason avoimen aineiston, joka osoitti yhdistettyä tukea saavien kotitalouksien määrän kaupunginosittain, tarkoituksenaan auttaa paikallisia hyväntekeväisyysjärjestöjä kohdentamaan omaa tavoittamistyötään ja antaa vaaleilla valituille valtuutetuille mahdollisuus nähdä, tavoittiko yhteinen ohjelma alueet, joita varten se oli suunniteltu.

Paikallinen tietosuojaoikeuksien puolestapuhuja, yhteistyössä yliopistotutkijan kanssa, huomasi, että julkaistut kaupunginosatason luvut voitiin ristiviitata erikseen julkaistuun, yhtä hyvää tarkoittavaan avoimeen aineistoon paikalliselta liikenneviranomaiselta — joka osoitti tuettujen matkalippujen hakemukset pienalueittain — kaventamaan joitakin kaupunginosia kotitalouksien määriin, jotka olivat tarpeeksi pieniä, jotta tietyt perheet voitaisiin uskottavasti tunnistaa, erityisesti harvaanasutuilla maaseutukaupunginosilla, joilla molemmat aineistot laskivat yksinumeroisia kotitalousmääriä. Kumpikaan aineisto yksin ei paljastanut; yhdessä, vähiten asutuilla alueilla, ne paljastivat. Virastojen ensimmäinen vaisto, vetää avoin aineisto kokonaan pois, olisi tuhonnut vastuullisuuden ja hyväntekeväisyyden kohdentamisen arvon, jonka se oli jo alkanut tuottaa. Sen sijaan, työskennellen saman puolestapuhujan kanssa, ne julkaisivat aineiston uudelleen käyttäen differentiaalisen yksityisyyden lähestymistapaa, joka lisäsi kalibroitua kohinaa pieniin lukuihin, säilyttäen sen hyödyllisyyden laajojen alueellisten kuvioiden havaitsemiseen samalla kun minkä tahansa yksittäisen matalan väestömäärän kaupunginosan todellinen luku tehtiin tarpeeksi epävarmaksi voittamaan ristiviittaushyökkäys, joka oli paljastanut alkuperäisen julkaisun. Jaksosta tuli tapaustutkimus, jota virastot käyttivät omassa myöhemmässä henkilöstökoulutuksessaan siihen, miksi anonymisointi on arvioitava sitä vasten, mitä muuta on julkisesti saatavilla, ei aineistoa vasten erillään.

Neljä sektorinäkökulmaa

Paikallishallinto

Paikallisviranomainen ajaa tyypillisesti enemmän erillisiä, vanhempia ja vähemmän integroituja järjestelmiä palveltua asukasta kohti kuin kansallinen elin, koska vuosikymmenien yksittäin hankitut osastojärjestelmät — asuminen, kaavoitus, jäte, sosiaalihuolto — rakennettiin harvoin jakamaan dataa keskenään. Tämä tekee yhteentoimivuudesta aidosti sisäisen taistelun ennen kuin siitä koskaan tulee ulkoinen: asukas, joka asioi kolmen valtuuston osaston kanssa yhden viikon aikana, voi huomata, ettei yksikään niistä näe, mitä muut jo tietävät. Paikallisella avoimella datalla on sillä välin tyypillisesti epätavallisen suoraa kansalaisarvoa — jätteenkeräysaikataulut, kaavoitushakemukset, paikalliset menot — koska asukkaat ja paikalliset toimittajat käyttävät sitä tarkkuudella, jota kansalliset aineistot harvoin tarjoavat, mikä nostaa panoksia metadatan ja päivitystiheyden saamisesta oikein jopa vaatimattomissa, arkipäiväisissä aineistoissa.

Valtionhallinto

Kansallisilla hallinnoilla on tyypillisesti kattavin tiedonhallinnan ja yhteentoimivuuden välineistö — kansallinen datastrategia, hallinnon laajuiset tunnistejärjestelmät, pakolliset avoimen datan portaalit ja erilliset tietosuojasääntelijät —, mutta vuosikymmenien ja hallintojen yli kertyneiden perintöjärjestelmien suuri määrä tekee teknisestä yhteentoimivuudesta pysyvän, kalliin taustatehtävän eikä kertaluonteisen hankkeen. Kansallisiin avoimen datan ohjelmiin liittyy suhteeton uudelleentunnistamisriski juuri siksi, että kansalliset aineistot ovat tarpeeksi suuria ollakseen aidosti arvokkaita ja tarpeeksi yksityiskohtaisia, linkitettynä muihin kansallisiin rekistereihin, tunnistaakseen yksilöitä; kansalliset datastrategia-asiakirjat, joita useat hallitukset nyt julkaisevat, nimeävät yhä enemmän yksityisyyttä suojaavia julkistamistekniikoita eksplisiittisesti sen sijaan että käsittelisivät anonymisointia toteutusyksityiskohtana politiikkailmoituksen alapuolella.

Kolmas sektori ja voittoa tavoittelematon toiminta

Voittoa tavoittelematon organisaatio tai kansalaisjärjestö on harvoin avoimen datan velvoitteen alainen, mutta se kohtaa yhä enemmän rinnakkaisen odotuksen rahoittajilta, sääntelijöiltä ja yleisöltä, että ohjelmadata jaetaan läpinäkyvästi, ja se työskentelee usein väestöjen kanssa — väkivallasta selvinneet, äärimmäisessä köyhyydessä elävät, paperittomat asukkaat —, joille uudelleentunnistamisriski kantaa paljon korkeamman henkilökohtaisen hinnan kuin se tyypillisesti kantaa yleiselle väestölle hallinnon aineistossa. Tiedonjakosopimukset ovat täällä suhteettoman tärkeitä, koska voittoa tavoittelematon jakaa usein asiakasdataa valtion rahoittajien tai kumppaniorganisaatioiden kanssa sopimuksilla, joita se ei kirjoittanut, ja se tarvitsee kapasiteettia neuvotella käyttötarkoitussidonnaisuudesta sen sijaan että yksinkertaisesti hyväksyisi minkä tahansa rahoitukseen liitetyn tiedonjakoehdon. Suurempien valtion tai filantrooppisten rahoittajien käyttöön ottamat yhteentoimivuusstandardit voivat olla aito taakka pienen organisaation rajalliselle tekniselle kapasiteetille, mikä on todellinen kustannus, joka kannattaa nimetä sen sijaan että standardien käyttöönottoa käsiteltäisiin kustannuksettomana.

Monenkeskinen ja kansainvälinen

Monenkeskiset elimet kokoavat dataa jäsenvaltioiden yli, joiden hallinnon kypsyys, tilastokapasiteetti ja yksityisyyden oikeudelliset järjestelmät ovat valtavasti erilaisia, mikä tekee semanttisesta yhteentoimivuudesta — sen sopimisesta, mitä jaettu kenttä todella tarkoittaa — pysyvän diplomaattisen yhtä paljon kuin teknisen ongelman; termi niin perustavanlaatuinen kuin ”kotitalous” tai ”työtön” on määritelty niin eri tavoin maiden välillä, että kansainväliset tilastoelimet ylläpitävät kokonaisia standardeja, kuten Statistical Data and Metadata Exchange (SDMX) -muotoa, pelkästään tehdäkseen maiden välisen datan aidosti vertailukelpoiseksi. Avoin data tällä tasolla toimii erityisen selvänä julkishyödykkeenä Aiheessa 1.4 — Julkishyödykkeet, ansiohyödykkeet ja arvopluralismi esitetyssä mielessä, koska millään yksittäisellä jäsenvaltiolla ei ole kannustinta rahoittaa globaalia vertailevaa aineistoa yksin, ja silti jokainen valtio ja tutkija hyötyy, kun monenkeskinen elin julkaisee sellaisen. Datasuvereniteettihuolet ovat täällä syvemmät kuin yhden maan kontekstissa: jäsenvaltio voi vastustaa sellaisen datan jakamista, jonka pidättämiseen sillä on laillinen oikeus, tai voi kiistää, miten monenkeskinen elin on luokitellut tai koostanut sen omat kansalliset lukunsa, mikä tekee hallintokysymyksestä, kuka hallitsee jaettua tilastoa, yhtä seurauksellisen kuin tekninen kysymys siitä, miten sitä vaihdetaan.

Yleisiä epäonnistumistapoja

Hiljaiset datasiilot. Järjestelmät kertyvät itsenäisesti organisaation yli ilman jaettua tunnistetta tai skeemaa, ja kustannus pysyy piilossa, kunnes tietty tapaus — suojeluepäonnistuminen, auditointi, palvelukatkos — vaatii yhdistetyn näkymän, jonka tuottaminen osoittautuu mahdottomaksi nopeasti, jolloin siilon kustannus tulee näkyviin kerralla ja kalliiksi korjata paineen alla.

Anonymisointiteatteri. Aineistosta poistetaan nimet ja ilmeiset tunnisteet ja sitä käsitellään sitten turvallisena julkaista ilman mitään lähes-tunnisteiden tai muuhun saatavilla olevaan dataan linkittymisriskin arviointia. Kustannus tulee esiin, usein julkisesti ja nolosti, kun tutkija, toimittaja tai puolestapuhuja osoittaa uudelleentunnistamisen olevan mahdollista, jolloin organisaation uskottavuus yksityisyyden suhteen vahingoittuu paljon laajemmin kuin kyseisen aineiston osalta.

Hallinto ilman omistajaa. Tiedonhallintapolitiikka on olemassa paperilla, mutta kukaan tietty henkilö ei ole vastuussa minkään tietyn aineiston laadusta tai ajantasaisuudesta, joten standardit rapautuvat hiljaa eikä kukaan huomaa, ennen kuin dataan nojataan päätöksessä, jota se ei voi todella tukea. Tämä on erityisen yleinen epäonnistuminen, koska politiikka-asiakirja itse näyttää täydelliseltä, peittäen sen, ettei kukaan ole todella vastuussa sen alla.

Yhteentoimivuus määräyksellä ilman resursointia. Jaettu skeema tai tunnistejärjestelmä määrätään keskitetysti mutta sitä ei koskaan rahoiteta tiimeille, joiden odotetaan ottavan sen käyttöön, joten noudattamisesta tulee rastitusharjoitus — kenttä on teknisesti läsnä mutta ei asianmukaisesti täytetty — aidon, käyttökelpoisen yhteentoimivuuden sijaan. Kustannus on väärä tunne siitä, että jaettu standardi on olemassa, joka huomataan vasta, kun joku todella yrittää nojata dataan, jonka sen oli määrä standardoida.

Avoimuuspesu (open-washing). Organisaatio julkaisee kojelautoja ja tiivistäviä visualisointeja ja kutsuu tätä avoimeksi dataksi, kun taustalla oleva koneluettava aineisto, jota kolmas osapuoli tarvitsisi rakentaakseen jotain uutta, jää julkaisematta tai julkaistaan muodossa, jota kukaan ei käytännössä voi käyttää uudelleen. Tämä kaappaa Aiheessa 3.4 — Vastuullisuus, avoimuus ja legitimiteetti kuvatun avoimuuden ja avoimuuden ulkonäön ilman sen sisältöä, ja se luullaan usein aidoksi avoimen datan ohjelmaksi, koska kojelauta näyttää vaikuttavalta.

Kypsyysmalli

Tarkistuslista

• Tunnista auktoritatiivinen lähdejärjestelmä kullekin organisaatiosi ydindatayksikölle.
• Varmista, että jokaisella olennaisella aineistolla on nimetty, vastuullinen vastaava.
• Tarkista, onko jaettu skeema tai standardi jo olemassa uudelle datahankkeelle ennen räätälöidyn suunnittelua.
• Tarkista yksilöllisen tunnisteesi suunnittelu pysyvyyden ja johdonmukaisuuden osalta sitä käyttävien järjestelmien yli.
• Korvaa vähintään yksi toistuva manuaalinen tai taulukkolaskentapohjainen datan vaihto hallinnoidulla API:lla.
• Varmista, että jokainen aktiivinen virastojen välinen tiedonjakosopimus ilmoittaa tarkoituksensa, oikeudellisen perusteensa ja päättymisensä ja vastaa nykyistä todellista käyttöä.
• Suorita uudelleentunnistamisriskin arviointi, mukaan lukien uskottava linkitys muihin julkisiin aineistoihin, ennen minkä tahansa henkilötietoja sisältävän aineiston julkaisemista.
• Sovella muodollista yksityisyyttä suojaavaa tekniikkaa, kuten k-anonymiteettia tai differentiaalista yksityisyyttä, kaikkiin julkaisuihin, jotka koskevat pieniä väestöjä tai harvinaisia ominaisuuksia.
• Varmista, että avoimen datan luettelosi sisältää todellisen, ajantasaisen metadatan, ei vain tiedostonimiä.
• Tarkista aiemmin julkaistut aineistot vasta saatavilla olevaa ulkoista dataa vasten nousevan uudelleentunnistamisriskin varalta.
• Varmista, että pidättämispäätökset tekee nimetty, vastuullinen rooli dokumentoituja kriteerejä vasten.
• Kysy tiimiltäsi kuusi yllä olevaa keskustelukysymystä ja kirjaa, missä rehellinen vastaus eroaa virallisesta.

Keskeiset lähteet

• International Open Data Charter, sen kuusi periaatetta ja sen ohjeistus avoimena oletuksena julkaisemisesta.
• OECD Recommendation of the Council on Enhancing Access to and Sharing of Data (2021).
• US National Institute of Standards and Technology, Special Publication 800-226, Guidelines for Evaluating Differential Privacy Guarantees.
• US Census Bureau -materiaali tietojen paljastumisen välttämisestä ja sen differentiaalisen yksityisyyden soveltamisesta vuosikymmenittäiseen väestölaskentaan.
• Cynthia Dworkin perustava työ differentiaalisen yksityisyyden muodollistamisesta ja laajempi akateeminen kirjallisuus tilastollisesta paljastumisen hallinnasta.
• Mark H. Mooren strateginen kolmio ja julkishyödykelogiikka, joka on esitetty Aiheessa 1.4 — Julkishyödykkeet, ansiohyödykkeet ja arvopluralismi, kehyksenä, jolle tämä aihe rakentuu.

Viitteet

1. Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
2. Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
3. Interoperability — Wikipedia — https://en.wikipedia.org/wiki/Interoperability
4. Application programming interface — Wikipedia — https://en.wikipedia.org/wiki/Application_programming_interface
5. Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
6. Open data — Wikipedia — https://en.wikipedia.org/wiki/Open_data
7. Data re-identification — Wikipedia — https://en.wikipedia.org/wiki/Data_re-identification
8. K-anonymity — Wikipedia — https://en.wikipedia.org/wiki/K-anonymity
9. Differential privacy — Wikipedia — https://en.wikipedia.org/wiki/Differential_privacy
10. Privacy by design — Wikipedia — https://en.wikipedia.org/wiki/Privacy_by_design
11. Open Data Charter principles — International Open Data Charter — https://opendatacharter.org/principles/
12. Recommendation of the Council on Enhancing Access to and Sharing of Data (2021) — OECD Legal Instruments — https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0463
13. Guidelines for Evaluating Differential Privacy Guarantees, SP 800-226 (Initial Public Draft) — US National Institute of Standards and Technology — https://csrc.nist.gov/pubs/sp/800/226/ipd
14. Disclosure avoidance and data stewardship — US Census Bureau — https://www.census.gov/about/policies/privacy/statistical_safeguards/disclosure-avoidance.html
15. Data.gov — US federal open data portal, General Services Administration — https://www.data.gov/