Julkisen arvon tuloskortti ja vaikuttavuuskehykset

Miksi tällä on merkitystä julkisen arvon kannalta

Useimmat julkisen ja kolmannen sektorin johtajat osaavat tuottaa strategia-asiakirjan, joka puhuu sujuvasti lopputuloksista. Paljon harvemmat osaavat vuotta myöhemmin tuottaa näytön siitä, liikkuivatko nuo lopputulokset todella. Ero näiden välillä ei yleensä ole datan puute – useimmat organisaatiot keräävät valtavia määriä – vaan sellaisen kurinalaisen rakenteen puute, joka muuttaa raa’at toimintamäärät puolustettavaksi väitteeksi luodusta arvosta. Aihe 1.2 — Strateginen kolmio: legitimiteetti, arvo ja kyvykkyys asetti legitimiteetin ja tuen, arvolupauksen ja toiminnallisen kyvykkyyden kolmeksi sivuksi, jotka organisaation strategian on täytettävä yhtä aikaa (katso Aihe 1.2 — Strateginen kolmio: legitimiteetti, arvo ja kyvykkyys). Tämä aihe käsittelee työkaluja, jotka tekevät noista kolmesta sivusta mitattavia eikä pelkästään väitettyjä.

Panokset ovat välittömiä ja toistuvia. Rahoittaja tai lainsäätäjä kysyy seuraavalla budjettikierroksella ”mitä saimme tälle rahalle” – ja organisaatiolla, jolla on vain tuotoslukuja (avatut vastaanotot, käsitellyt tapaukset, pidetyt koulutukset), ei ole vastausta sen alla olevaan lopputulosten kysymykseen. Ohjelmatiimi uskoo onnistuvansa, koska toiminta on runsasta ja kiireistä, erottamatta toimintaa maailman muutoksesta, jonka toiminnan oli tarkoitus aiheuttaa. Hallitus hyväksyy uuden aloitteen vakuuttavan kertomuksen perusteella eikä sillä sitten vuotta myöhemmin ole sovittua perustetta päättää, jatketaanko, laajennetaanko vai lopetetaanko. Jokainen näistä on mittausvirhe, jolla on strategisia seurauksia, ei tekninen hankaluus.

Tämän aiheen työkalut – Mark Mooren Julkisen arvon tuloskortti, logiikkamalli sekä tulosvastuu ja sen sukulaiset – eivät ratkaise kaikkia mittausongelmia, joita julkisen tai kolmannen sektorin organisaatio kohtaa. Myöhemmät aiheet kattavat vaikeammat, teknisemmät kerrokset: lopputulosten rahallistaminen kustannus-hyöty- ja kustannusvaikuttavuusanalyysillä (katso Aihe 2.2 — Yhteiskunnallinen kustannus-hyötyanalyysi ja kustannusvaikuttavuusanalyysi), rahallistamista vastustavien lopputulosten arvottaminen sosiaalisella sijoitetun pääoman tuotolla (katso Aihe 2.3 — Sosiaalinen sijoitetun pääoman tuotto ja vaikuttavuuden mittaaminen) ja sen toteaminen, että ohjelma todella aiheutti havaitun muutoksen, muodollisen ohjelma-arvioinnin kautta (katso Aihe 2.4 — Julkisen sektorin ekonometria ja ohjelma-arviointi). Tämä aihe tarjoaa kerroksen kaikkien kolmen alla: yhteisen sanaston ja pienen määrän kestäviä kehyksiä sen toteamiseen ennen minkään teknisen työn alkua, mitä organisaatio todella pyrkii muuttamaan, kenelle ja mistä se tietää.

Keskeiset käsitteet

Julkisen arvon tuloskortti on Mark H. Mooren ehdotus strategisen kolmion jokaisen sivun seuraamiseksi omalla indikaattorijoukollaan sen sijaan, että turvauduttaisiin talous- ja toimintamittareihin, joita yksityisen sektorin tasapainotettu tuloskortti käyttäisi. Moore mukautti tasapainotetun tuloskortin – Robert Kaplanin ja David Nortonin työkalun, jolla yritystä seurataan talouden, asiakkaiden, sisäisten prosessien ja oppimisen näkökulmista – koska yksittäinen taloudellinen tulosrivi ei voi edustaa organisaatiota, jonka keskeinen olemassaolon peruste on, että se luo arvoa, jota mikään markkinahinta ei vangitse. Julkisen arvon tuloskortti pyytää sen sijaan organisaatiota määrittämään mittarit kolmen otsikon alle, jotka heijastavat kolmiota: legitimiteetti- ja tukitili (onko toimintaympäristö tyytyväinen – rahoittajat, valvojat, yleisö), julkisen arvon tili (toteutuuko arvolupaus – lopputulokset kansalaisille ja asiakkaille) ja toiminnallisen kyvykkyyden tili (pystyykö organisaatio ylläpitämään ja parantamaan toimitusta – henkilöstö, järjestelmät, talous, kumppanuudet). Kuri on siinä, että kieltäydytään antamasta yhden tilin edustaa kokonaisuutta; organisaatio, joka raportoi vain taloudellisesta tehokkuudesta tai vain asiakastyytyväisyydestä, ei ole raportoinut kolmiota vastaan lainkaan.

Logiikkamallit antavat tuloskortin arvotilille sisäisen rakenteen. Logiikkamalli esittää syy-ketjun, jota ohjelma väittää ajavansa: panokset (sitoutettu raha, henkilöstö ja muut resurssit), toiminnot (mitä organisaatio niillä tekee), tuotokset (toimintojen välittömät, laskettavat tuotteet – pidetyt istunnot, myönnetyt luvat, käydyt kotitaloudet), lopputulokset (tiedon, käyttäytymisen, tilan tai aseman muutokset, jotka tuotosten on tarkoitus aikaansaada, tyypillisesti kuukausien tai muutaman vuoden aikana) ja vaikutus (pidemmän aikavälin, usein väestötason muutos, johon lopputulosten on tarkoitus myötävaikuttaa, tavallisesti jaettu muiden toimijoiden kanssa ja vaikeampi kohdistaa yhdelle ohjelmalle). Ero tuotoksen ja lopputuloksen välillä on tämän aiheen seurauksellisin: tuotos on jotain, mitä organisaatio teki; lopputulos on jotain, mikä muuttui jollekulle toiselle sen seurauksena. Koulutusohjelman tuotos on koulutettujen ihmisten määrä; sen lopputulos on se, mitä nämä ihmiset voivat sen jälkeen tehdä tai miten heidän olosuhteensa muuttuvat tavalla, jota ennen ei ollut.

Muutosteoria on läheinen kurinalaisuus logiikkamallin taustaoletusten tekemiseksi eksplisiittisiksi implisiittisten sijaan – miksi organisaatio uskoo toiminnan A todella tuottavan lopputuloksen B ja missä olosuhteissa tuo syy-väite voisi epäonnistua. Muutosteoria ei ole yksinkertaisesti yksityiskohtaisempi logiikkamalli; se tuo esiin ”jos... niin... koska” -päättelyn ja kontekstuaaliset oletukset, jotka logiikkamallin laatikot-ja-nuolet-kaavio jättää usein sanomatta. Aihe 2.3 käyttää muutosteoriaa vaikuttavuuden mittaamisen lähtökohtana kolmannella sektorilla syvemmin (katso Aihe 2.3 — Sosiaalinen sijoitetun pääoman tuotto ja vaikuttavuuden mittaaminen); täällä se on tärkeä lähinnä kurina, joka pitää logiikkamallin rehellisenä siitä, mitä se todella väittää aiheuttavansa, erotuksena siitä, mitä se vain toivoo seuraavan.

Tulosvastuu (results-based accountability, RBA) on tunnetuin jäsen lopputulospohjaisten kehysten perheessä, jota käytetään hallituksissa ja kolmannella sektorilla yhdistämään väestötason lopputuloksia tiettyjen ohjelmien suorituskykyyn. Mark Friedmanin kehittämä ja hänen kirjassaan Trying Hard Is Not Good Enough esittämä RBA erottaa kaksi erilaista vastuuta, jotka organisaatiot rutiininomaisesti sekoittavat. Väestövastuu kysyy, miten koko yhteisö tai lainkäyttöalue pärjää hyvinvoinnin tilassa – lapsiköyhyys, yhteisön turvallisuus, koulutustaso – käyttäen pientä määrää pääindikaattoreita, joita mikään yksittäinen virasto ei omista tai täysin hallitse. Suorituskykyvastuu kysyy, miten hyvin tietty ohjelma tai virasto pärjää, käyttäen kolmea suorituskykyindikaattorin lajia, joita Friedmanin kehys vaatii erottamaan: kuinka paljon tehtiin (ponnistelu – tuotosmäärä), kuinka hyvin se tehtiin (laatu) ja onko kukaan paremmassa asemassa (vaikutus – lopputulos). RBA:n käytännön menetelmä, jota kutsutaan joskus ”käännä käyrä” -analyysiksi, toimii taaksepäin valitusta indikaattorista – kysyen, mitä tarinaa data kertoo, mikä tuota tarinaa aiheuttaa, ketkä ovat kumppaneita, joilla on rooli sen muuttamisessa, mikä toimisi ja mitä organisaatio ehdottaa tekevänsä – jäsennelty versio päättelystä, jonka logiikkamalli ja muutosteoria muodollistavat erikseen. RBA on yksi esimerkki laajemmasta tulosjohtamisen mallista, läheisesti sidoksissa kansainvälisessä kehityksessä ja julkishallinnossa käytettyyn rutiininomaiseen seuranta ja arviointi -käytäntöön, jota kansalliset hallitukset, filantrooppiset rahoittajat ja monenkeskiset elimet edistävät eri muodoissa yhteisenä kurina menojen yhdistämiseksi lopputuloksiin eikä vain tuotoksiin.

Tuotokset, lopputulokset ja tuloskortti yhdessä. Syy, miksi nämä kehykset kuuluvat yhteen aiheeseen kolmen sijaan, on että ne vastaavat samaan perimmäiseen kysymykseen organisaation suunnittelu- ja raportointisyklin eri kohdissa. Logiikkamalli laaditaan suunnitteluhetkellä syy-väitteen ilmaisemiseksi. Tulosvastuuta ja vastaavia kehyksiä sovelletaan raportointihetkellä pitämään suorituskykymittarit rehellisinä ponnistelun ja vaikutuksen eron suhteen. Julkisen arvon tuloskortti asettuu molempien yläpuolelle pysyvänä rakenteena, joka varmistaa, että lopputulosnäyttö – miten tahansa tuotettu – todella saavuttaa legitimiteetti- ja kyvykkyyskeskustelut, joissa budjetti- ja mandaattipäätökset tehdään, sen sijaan että se jäisi ohjelmatiimin omaan raportointiin. Yhdessä nämä kolme kehystä muuttavat julkisen arvon väitteeksi, jonka organisaatio voi puolustaa näytöllä, eikä väitteeksi, jonka se esittää itsestään.

Parhaat käytännöt

1. Laadi logiikkamalli ennen indikaattoreita, ei niiden jälkeen. Mitattavan valitseminen ennen kuin sovitaan, mitä väitetään aiheuttavansa, tuottaa luettelon siitä, mikä on helppo laskea; laadi panos–vaikutus-ketju ensin, valitse sitten mittarit, jotka testaavat sen jokaista lenkkiä.
2. Raportoi kaikkia kolmea tuloskorttitiliä yhdessä, ei yksi kerrallaan. Legitimiteettipäivitys ilman lopputulosnäyttöä tai lopputulosraportti ilman kyvykkyystiliä siitä, mitä sen ylläpito maksoi, kertoo kumpikin vain osan tarinasta, jota rahoittaja tai valvoja tarvitsee todellisen päätöksen tekemiseen.
3. Erota ponnistelu, laatu ja vaikutus eksplisiittisesti jokaisessa suorituskykyraportissa. Lainaa Friedmanin kolmijako myös muodollisen RBA-toteutuksen ulkopuolella; raportti, joka sekoittaa ”pidetyt istunnot” ja ”parannetut elämät” erottamatta niitä, ajautuu aina siihen, minkä on helpompi paisuttaa.
4. Valitse pieni määrä väestötason pääindikaattoreita ja pidä ne vuosia, ei neljänneksiä. Väestötason olosuhteet liikkuvat hitaasti ja niihin vaikuttavat monet toimijat; pääindikaattorin vaihtaminen joka raportointikierroksella tekee mahdottomaksi sanoa, kääntyykö käyrä todella.
5. Nimeä ääneen, mitä organisaatio ei hallitse. Logiikkamalli, joka antaa ymmärtää yhden ohjelman täysin aiheuttavan väestötason lopputuloksen, kutsuu täsmälleen sitä skeptisyyttä, joka heikentää legitimiteettiä, kun lopputulos ei liiku aikataulussa; ilmaise muut vaikuttavat tekijät alusta alkaen.
6. Julkaise lopputulosten kehys ennen budjettikierrosta, ei sen jälkeen. Lopputulosten kehys, joka tuotetaan jo tehdyn budjettipäätöksen perustelemiseksi, vaikuttaa jälkikäteiseltä rationalisoinniltä; ennen kierrosta julkaistu on näyttöä siitä, että todellista päätöstä testataan sitä vasten.
7. Pidä tuloskortti ja logiikkamalli eläviä asiakirjoja, joihin palataan kontekstin muuttuessa, ei vuosittaisia artefakteja. Yhtä politiikkaympäristöä varten laadittu logiikkamalli voi hiljaa lakata vastaamasta todellisuutta – uusi laki, demografinen muutos, rahoituksen muutos – kauan ennen kuin aikataulutettu tarkistus huomaisi sen; käsittele molempia toimitustiimien omistamina, ei keskustoimiston vaatimustenmukaisuusharjoituksena.
8. Pidä suorituskykytilin mittarit lähellä ihmisiä, jotka voivat toimia niiden pohjalta. Ohjelmatiimi voi parantaa laatu- ja ponnistelumittareita suoraan; anna heille väestötason lopputulostavoitteita, joita he eivät voi yksin liikuttaa, ja mittauksesta tulee lannistumisen lähde suunnan sijaan.
9. Käsittele ohitettu lopputulostavoite kehotuksena kysyä miksi, ei tuomiona piilotettavaksi. ”Käännä käyrä” -tapa kysyä, mikä trendiä aiheuttaa, ennen syyllisten osoittamista pitää lopputulosraportoinnin hyödyllisenä; kulttuuri, joka rankaisee ohitetuista tavoitteista, opettaa henkilöstöä suojelemaan numeroa lopputuloksen sijaan.
10. Tee muutosteorian oletuksista falsifioitavia. Oletus, joka on kirjoitettu niin epämääräisesti, ettei mikään näyttö voisi koskaan kumota sitä, ei lisää logiikkamalliin tarkkuutta; kirjoita oletukset riittävän täsmällisesti, jotta tuleva arviointi voisi osoittaa ne vääriksi.

Kysymyksiä keskusteltavaksi tiimissäsi

Pystymmekö tällä hetkellä erottamaan tärkeimmän ohjelmamme tuotoksen lopputuloksesta – ja käyttääkö oma henkilöstömme näitä kahta sanaa oikein? Monet organisaatiot raportoivat toimintamääriä lopputulosten kielellä huomaamatta korvausta, mikä hiljaa rapauttaa eron, jota tämä aihe pitää perustavana. Käytä tätä kysymystä ottaaksesi todellisen nykyisen raportin ja tarkistaaksesi rivi riviltä, mitkä luvut kuvaavat sitä, mitä organisaatio teki, ja mitkä sitä, mikä muuttui jollekulle toiselle. Keskustelkaa siitä, missä kieli on ajautunut ja kuvastaako ajautuminen aitoa sekaannusta ohjelman logiikasta vai yksinkertaisesti sitä, että lopputulostietoa on vaikeampi saada kuin tuotostietoa. Jos rehellinen vastaus on jälkimmäinen, se on itsessään kirjaamisen arvoinen löydös, ei syy jatkaa tuotoskielen käyttöä lopputulosten asuun puettuna.

Missä nykyinen raportointimme romahduttaa ponnistelun, laadun ja vaikutuksen yhdeksi luvuksi, ja mitä tuo luku lukijalle todella kertoo? Friedmanin kolmijako on olemassa, koska organisaatiot ajautuvat rutiininomaisesti raportoimaan ponnistelua – kolmesta helpointa laskea – samalla kun antavat ymmärtää raportoineensa vaikutusta. Käytä tätä kysymystä tunnistaaksesi yhden lippulaivamittarin, jota organisaatio tällä hetkellä raportoi, ja selvittääksesi ryhmänä, mitä kolmesta se todella mittaa. Keskustelkaa siitä, mitä kaikkien kolmen raportoiminen erikseen tuolle mittarille vaatisi ja muuttaisiko se tapaa, jolla organisaatiota ihmiset näkevät, jotka tällä hetkellä näkevät vain sekoitetun luvun.

Jos pääväestölopputuloksemme ei liiku kahden seuraavan raportointikierroksen aikana, mitä tekisimme toisin ja mitä emme muuttaisi? Tämä kysymys testaa, käyttääkö organisaatio lopputulosten kehystään aidosti ohjaamiseen vai tuottaako se sen vain raportointivelvoitteena. Käytä sitä erottaaksesi, mitkä nykyisen strategian osat ovat riippuvaisia lopputulostiedosta ja mitkä ovat kiinteitä riippumatta siitä, mitä data osoittaa. Keskustelkaa rehellisesti siitä, selviäisikö jokin nykyisen ohjelman osa muuttumattomana, vaikka näyttö kääntyisi lujasti sitä vastaan, koska se on osa, jota kehys ei todellisuudessa hallitse.

Raportoiko Julkisen arvon tuloskorttimme, jos meillä sellainen on, kaikkia kolmea kolmion sivua, vai onko siitä hiljaa tullut tuloskortti vain yhdelle sivulle? On tavallista, että lopputulosten kehys alkaa aidolla kolmisivuisella kunnianhimolla ja ajautuu raportointipaineessa vain lopputuloksia tai vain taloutta käsitteleväksi asiakirjaksi. Käytä tätä kysymystä auditoidaksesi kaksi tai kolme viimeisintä muodollista raporttia tämän aiheen kuvaamaa kolmitilirakennetta vasten. Keskustelkaa siitä, mikä sivu pudotetaan ensin aikapaineessa ja mitä se kertoo siitä, minkä sivun organisaatio hiljaa katsoo valinnaiseksi.

Keiden organisaation ulkopuolisten pitäisi olla samaa mieltä logiikkamallistamme, jotta se olisi uskottava, ja olemmeko todella kysyneet heiltä? Täysin ohjelmatiimin, joka suunnitteli intervention, laatima logiikkamalli voi hiljaa koodata optimistisia oletuksia, joita kukaan huoneen ulkopuolinen ei ole asemassa haastaa. Käytä tätä kysymystä tunnistaaksesi, millä ulkoisilla toimijoilla – rahoittajilla, toimituskumppaneilla, ihmisillä joita ohjelma palvelee – on panos siihen, onko syy-ketju oikea, ja onko kukaan heistä todella tarkastanut sitä. Keskustelkaa siitä, mikä muuttui, jos mikään, edellisellä kerralla kun ulkopuolinen näkökulma kutsuttiin tuohon tarkasteluun.

Mikä on pienin väestö- ja suorituskykyindikaattorien joukko, jonka voisimme raportoida ja jonka perusteella ulkopuolinen voisi silti arvioida, luoko tämä organisaatio julkista arvoa? Mittausjärjestelmät kasaavat indikaattoreita ajan myötä paljon nopeammin kuin poistavat niitä, kunnes kehyksestä tulee liian suuri kenenkään käytettäväksi päätöksessä. Käytä tätä kysymystä yrittääksesi harjoituksena leikata nykyinen indikaattorijoukko puoleen menettämättä kykyä vastata tämän aiheen kuvaamiin väestövastuun ja suorituskykyvastuun kysymyksiin. Keskustelkaa siitä, minkälaista vastarintaa harjoitus nostaa esiin, koska vastarinta tietyn indikaattorin leikkaamiselle on usein merkki siitä, mistä organisaatio todella pidetään vastuussa, vastasi se ilmoitettua strategiaa tai ei.

Käytännössä: esimerkki julkisesta arvosta

Alueellinen perhetukijärjestöjen verkosto – kuvitteellinen, mallin havainnollistus eikä raportti mistään todellisesta organisaatiosta – oli kymmenen vuotta pyörittänyt kotikäyntiohjelmia uusille vanhemmille pienituloisilla alueilla. Sen vuosiraportit rahoittajille olivat yksityiskohtaisia ja tuotosmittareilla vaikuttavia: tuhansia kotikäyntejä vuodessa, korkea osallistuminen vanhemmuustyöpajoihin, vahvat tyytyväisyyspisteet osallistuneilta perheiltä. Tämän ennätyksen varassa verkosto oli kasvanut tasaisesti lisäten uusia paikallisia haaroja noin kahden vuoden välein.

Uusi kansallinen rahoittaja, joka harkitsi monivuotista avustusta, joka olisi riittävän suuri kaksinkertaistamaan verkoston tavoittavuuden, esitti kysymyksen, jota verkoston oma hallitus ei ollut koskaan muodollisesti esittänyt johdolle: mikä näyttö osoitti, että lapset perheissä, jotka saivat kotikäyntejä, pärjäsivät myöhemmin paremmin kuin vertailukelpoiset lapset, joiden perheet eivät saaneet. Verkoston johto tajusi kysymystä läpikäydessään, ettei sen raportointi ollut koskaan erottanut ponnistelua vaikutuksesta. Käyntimäärät ja tyytyväisyyspisteet olivat aitoa näyttöä siitä, että ohjelma toimitettiin ja otettiin hyvin vastaan; kumpikaan ei ollut näyttöä siitä, että se muutti lapsen kehityslopputuloksia, mikä oli väite, joka oli upotettu verkoston omaan missiolausumaan ja implisiittisesti jokaiseen avustushakemukseen, jonka se oli koskaan kirjoittanut.

Verkosto laati logiikkamallin tyhjästä, lähtien lopputuloksista, joita se todella halusi – parantuneet varhaiset lapsen kehitysindikaattorit, vähentyneet todennetut lasten laiminlyöntitapaukset, vahvempi vanhempien itseluottamus – ja työskenteli taaksepäin toimintoihin ja tuotoksiin, joista kunkin oli tarkoitus riippua, nimeten väliset oletukset eksplisiittisesti. Se otti käyttöön yksinkertaistetun tulosvastuurakenteen: väestöindikaattorit seurattuna naapurustotasolla ja jaettuna paikallisten koulujen ja terveyspalvelujen kanssa, sekä suorituskykyindikaattorit, joihin sen omat tiimit saattoivat suoraan vaikuttaa – käyntitiheys, työpajan suorittaminen ja henkilöstön arvioima vanhempien itseluottamus kolmen ja kahdentoista kuukauden kohdalla. Kaksi viidestä lopputulosindikaattorista ei liikkunut toivotusti yhdellä naapurustolla ensimmäisellä raportointikierroksella. Sen sijaan että tulos olisi tukahdutettu, verkosto käytti omaa ”käännä käyrä” -prosessiaan tutkimiseen, havaitsi, että paikallisen terveydenhoitajahenkilöstön muutos oli häirinnyt lähetepolkuja, ja mukautti kumppanuusjärjestelyjään eikä ydinmalliaan. Rahoittaja uusi ja laajensi avustuksen, ja perusteli luottamuksensa raportoinnin rehellisyydellä, ei vajeen puuttumisella.

Neljä sektorinäkökulmaa

Paikallishallinto

Paikallisviranomaisen lopputulosten kehys sijaitsee tyypillisesti laajemman kansallisesti määritellyn indikaattorijoukon sisällä, jota se ei valinnut mutta jonka vastaan sen on raportoitava, paikallisesti valittujen mittareiden rinnalla, jotka heijastavat sen oman valtuuston prioriteetteja. Tämä kaksoisrakenne tarkoittaa, että paikallisen tuloskortin on usein sovitettava yhteen kaksi yleisöä, joilla on erilaiset kysymykset – kansallinen tarkastaja, joka kysyy vaatimustenmukaisuudesta vakioindikaattorijoukon kanssa, ja paikalliset asukkaat, jotka kysyvät tietystä, näkyvästä paikallisesta olosuhteesta, kuten tietystä kadusta tai palvelusta. Paikallishallinnon mittakaavan logiikkamallit on yleensä helpoin rakentaa yksittäiselle palvelulle (kierrätyskeräyksen muutos, kirjaston uudelleensuunnittelu) ja vaikein rakentaa uskottavasti poikkileikkaaville lopputuloksille, kuten yhteisöllisyydelle, johon myös monet valtuuston hallinnan ulkopuolella olevat toimijat vaikuttavat.

Valtionhallinto

Kansalliset lopputulosten kehykset toimivat mittakaavassa, jossa tulosvastuun väestövastuun ja suorituskykyvastuun ero tulee olennaiseksi eikä valinnaiseksi: kansalliseen terveys- tai koulutusindikaattoriin vaikuttaa satoja ohjelmia, joista vain muutamaa mikä tahansa yksittäinen ministeriö rahoittaa suoraan, joten yksittäisen ministeriön vaatimus yksinomaisesta kunniasta tai syystä kansalliseen trendiin on harvoin puolustettavissa. Kansalliset hallitukset ovat myös yleisin suurten, keskitetysti määrättyjen lopputulosten kehysten lähde, jotka ketjussa alempana olevien toimituselinten on otettava käyttöön, mikä luo toistuvan riskin, että kehys suunnitellaan aggregointia ja osastojen välistä vertailua varten eikä minkään yksittäisen ohjelman toimituksen ohjaamiseen.

Kolmas sektori ja voittoa tavoittelematon toiminta

Voittoa tavoittelemattomat organisaatiot ja kansalaisjärjestöt (NGO) rakentavat useammin omat logiikkamallinsa ja muutosteoriansa ensimmäisistä periaatteista kuin ottavat käyttöön luvan antajan antaman kehyksen, koska niiden rahoittajat ovat usein ne, jotka pyytävät syy-perusteluja vakiomallin tarjoamisen sijaan. Tämä antaa kolmannen sektorin organisaatioille enemmän vapautta suunnitella lopputulosten kehys, joka sopii niiden todelliseen ohjelmalogiikkaan, mutta myös enemmän altistumista rahoittajavetoiselle mittausväsymykselle, jossa jokaisella avustuksella on omat raportointivaatimuksensa ja organisaatio päätyy ylläpitämään useita rinnakkaisia lopputulosten kehyksiä samalle taustalla olevalle työlle. Tulosvastuun väestö-versus-suorituskyky-jako on erityisen hyödyllinen täällä, koska se antaa kansalaisjärjestölle kielen kertoa rahoittajalle selvästi, että sen voi pitää vastuussa omista suorituskykymittareistaan mutta ei yksin väestöindikaattorista, johon monet muut toimijat myös vaikuttavat.

Monenkeskinen ja kansainvälinen

Monenkeskiset elimet harjoittavat tulosjohtamista mittakaavassa, jossa logiikkamallin oletukset kulkevat kymmenien kansallisten kontekstien yli samanaikaisesti, joten yhdessä maassa pätevä interventiologiikka voi epäonnistua hiljaa toisessa paljastamatta pääasiallista globaalia indikaattoria, mikä konteksti on ongelma. Tulosten kehykset tässä ympäristössä rakennetaan usein tyydyttämään useita lahjoittajahallituksia samanaikaisesti, joilla kullakin on omat raportointimieltymyksensä, mikä ajaa kohti standardoituja indikaattorijoukkoja (sellaisia, joita kansainvälinen tulosjohtamisohjeistus edistää) paikallisen erityisyyden kustannuksella. Aukko tuotoksen, jonka toteuttava kumppani voi raportoida nopeasti – toimitetut koulutukset, varustetut klinikat –, ja lopputuloksen välillä, joka näkyy vain kansallisessa tutkimuksessa vuosia myöhemmin, on tässä leveimmillään, mikä tekee oletetun syy-ketjun eksplisiittisestä ilmaisemisesta sen olettamisen sijaan erityisen tärkeää.

Yleisiä epäonnistumistapoja

Tuotos lopputuloksen asussa. Organisaatio raportoi toimintamääriä lopputulosten kielellä – ”parantunut yhteisön turvallisuus”, kun todellinen mittari on suoritetut partioinnit – joko aidosta sekoittamisesta tai koska lopputulostieto on vaikeampaa ja hitaampaa kerätä. Kustannus ilmenee, kun ulkopuolinen tarkastaja pyytää lopputulosnäyttöä suoraan ja löytää väitteen takaa vain tuotoksia, vahingoittaen organisaation uskottavuutta enemmän kuin vaatimaton, rehellisesti raportoitu lopputulos olisi tehnyt.

Indikaattorien lisääntyminen. Tuloskortti tai logiikkamalli kerää mittareita nopeammin kuin poistaa niitä, jokaisen uuden sidosryhmän pyynnön lisätessä yhden rivin lisää olemassa olevan korvaamisen sijaan. Lopputuloksena on kehys, joka on liian suuri minkään johtajan käytettäväksi päätöksessä, mikä hiljaa palauttaa organisaation epäviralliseen harkintaan samalla kun virallisesta kehyksestä tulee raportointiartefakti, jota kukaan ei konsultoi.

Tavoitteen valtaus. Suorituskykymittarista, kun se on kiinnitetty rahoitukseen tai palkkioon, tulee asia, jota henkilöstö optimoi suoraan sen lopputuloksen sijaan, jota se oli tarkoitus edustaa – malli, jota Goodhartin laki kuvaa, jossa tavoitteeksi muuttunut mittari lakkaa olemasta luotettava mittari. Tämän dynamiikan koti julkisella sektorilla erityisesti, mukaan lukien se, miten laatujärjestelmät yrittävät havaita ja rajoittaa sitä, on muualla (katso Aihe 3.11 — Laadun, turvallisuuden ja suorituskyvyn johtaminen); täällä se on tärkeä syynä pitää ponnistelu-, laatu- ja vaikutusmittarit erillään ja palata tavoitteisiin ennen kuin ne vääristävät käyttäytymistä.

Kohdistamisen ylilyönti. Ohjelman raportointi antaa ymmärtää yksinomaisen syy-vastuun väestötason lopputuloksesta, johon monet muutkin toimijat vaikuttavat, joko huolimattoman kielenkäytön tai aidon uskon kautta. Kun lopputulos ei liiku – usein ohjelman hallinnan ulkopuolisista syistä – organisaatio ottaa suhteettoman syytteen todelliseen panokseensa nähden, mikä sitten lannistaa vajeiden rehellistä raportointia tulevilla kierroksilla.

Kehys ilman palautetta. Organisaatio rakentaa aidosti hyvin suunnitellun logiikkamallin ja lopputulosten kehyksen, mutta ei koskaan palaa siihen todellisia tuloksia vasten, joten siitä kovettuu kiinteä asiakirja eikä elävä johtamistyökalu. Sen alla oleva strategia jatkaa alkuperäisillä oletuksilla vuosia sen jälkeen, kun näyttö olisi oikeuttanut niiden tarkistamisen, juuri sen mukautuvuuden kustannuksella, jota kehyksen oli tarkoitus mahdollistaa.

Kypsyysmalli

Tarkistuslista

• Laadi logiikkamalli (panokset, toiminnot, tuotokset, lopputulokset, vaikutus) jokaiselle suurelle ohjelmalle ennen sen indikaattorien viimeistelyä.
• Kirjoita muutosteorian syy-oletukset riittävän täsmällisesti, jotta näyttö voisi kumota ne.
• Erota ponnistelu-, laatu- ja vaikutusmittarit jokaisessa suorituskykyraportissa, myös muodollisen tulosvastuutoteutuksen ulkopuolella.
• Rakenna tai päivitä Julkisen arvon tuloskortti niin, että kaikki kolme sivua – legitimiteetti, arvo, kyvykkyys – raportoidaan yhdessä, ei erikseen.
• Valitse pieni, vakaa joukko väestötason pääindikaattoreita ja sitoudu pitämään ne usean raportointikierroksen ajan.
• Tarkista nykyiset raportit kielen osalta, joka kuvaa tuotosta lopputulosten sanoilla, ja korjaa se.
• Julkaise lopputulosten kehys ennen seuraavaa budjetti- tai rahoituskierrosta, ei sen jälkimainingeissa.
• Nimeä eksplisiittisesti, mitä organisaatio ei hallitse yksin mille tahansa raportoimalleen väestötason väitteelle.
• Aseta kiinteä sykli logiikkamallien tarkistamiseksi todellista näyttöä vasten, ei vain aikataulutetussa muodollisessa arvioinnissa.
• Tunnista vähintään yksi ulkopuolinen sidosryhmä tarkastamaan logiikkamallin oletukset ennen sen viimeistelyä.
• Auditoi nykyinen indikaattorijoukko mahdollisuuksien osalta poistaa mittareita, joita kukaan ei käytä todellisessa päätöksessä.
• Sovi etukäteen, mitä organisaatio tekee toisin, jos pääasiallinen lopputulos ei liiku kahden raportointikierroksen aikana.

Keskeiset lähteet

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) ja Recognizing Public Value (2013) — Julkisen arvon tuloskortin alkuperäiset teokset, jotka mukauttavat tasapainotetun tuloskortin perinteen strategisen kolmion kolmelle sivulle.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — tulosvastuun alkuperäinen teos, mukaan lukien väestövastuun ja suorituskykyvastuun ero ja ”käännä käyrä” -analyysi.
• Robert Kaplanin ja David Nortonin tasapainotetun tuloskortin kirjallisuus — yksityisen sektorin lähde, jonka Moore mukautti julkisen arvon yhteyteen.
• OECD:n ohjeistus tulosjohtamisesta ja arviointiterminologiasta, jota käytetään kehityksessä ja julkishallinnossa lopputulos- ja vaikutuskielen standardoimiseksi.
• Maailmanpankin riippumattoman arviointiyksikön (Independent Evaluation Group) ohjeistus tulosten kehyksistä ja muutosteorioista kehitystoiminnoille.
• Vermontin inhimillisten palvelujen viraston (Vermont Agency of Human Services) julkinen kuvaus tulosvastuun soveltamisesta osavaltio- ja yhteisötasolla — yksi esimerkki kehyksestä elävässä valtion käytössä.

Viitteet

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf