Aihe 2.4 — Julkisen sektorin ekonometria ja ohjelma-arviointi

Miksi tällä on merkitystä julkisen arvon kannalta

Joka vuosi julkiset elimet uusivat, laajentavat tai lakkauttavat ohjelmia lopputulosvertailun perusteella: työllisyysohjelman osallistujat löysivät työtä nopeammin kuin ei-osallistujat; tukiopetusohjelman oppilaat saivat korkeammat pisteet kuin oppilaat, joita ei opetettu. Jokainen vertailu on tosi kuvauksena ja vaarallinen argumenttina, koska yksikään niistä ei yksin kerro, aiheuttiko ohjelma eron. Työllisyysohjelmaan ilmoittautuvat ihmiset ovat usein motivoituneempia kuin ne, jotka eivät ilmoittaudu, ja tukiopetukseen valitut oppilaat valitaan usein siksi, että opettaja jo odottaa heidän reagoivan hyvin. Aukko ”hoidettu ryhmä pärjäsi paremmin” ja ”hoito sai heidät pärjäämään paremmin” välillä on täsmälleen se aukko, jonka sulkemiseksi syy-päättely on olemassa.

Tämä ei ole akateeminen hienovaraisuus. Talousvaliokuntaa, jota pyydetään uusimaan ohjelman rahoitus, pyydetään implisiittisesti valtuuttamaan julkisen rahan käyttö syy-väitteen perusteella, käyttipä kukaan huoneessa tuota sanaa tai ei. Aihe 2.1 antoi lopputulosten kehyksen, joka ilmaisee, mitä ohjelman on tarkoitus muuttaa (katso Aihe 2.1 — Julkisen arvon tuloskortti ja vaikuttavuuskehykset); tämä aihe antaa menetelmät, jotka testaavat, muuttiko se sen todella, ja kuinka paljon. Sekä kustannus-hyöty- ja kustannusvaikuttavuusanalyysi (katso Aihe 2.2 — Yhteiskunnallinen kustannus-hyötyanalyysi ja kustannusvaikuttavuusanalyysi) että sosiaalinen sijoitetun pääoman tuotto (katso Aihe 2.3 — Sosiaalinen sijoitetun pääoman tuotto ja vaikuttavuuden mittaaminen) tarvitsevat puolustettavissa olevan vaikutuskoon, jonka kanssa työskennellä; tämä aihe on paikka, josta tuo vaikutuskoko tulee, tai jossa opit, ettei jo hallussasi oleva luku kestä sille asetettua painoa.

Panokset eivät ole vain taloudellisia. Hallitus, joka laajentaa tehottoman ohjelman, koska virheellinen arviointi sai sen näyttämään tehokkaalta, on tuhlannut rahaa ja, usein pahempaa, syrjäyttänyt aidosti tehokkaan vaihtoehdon, joka ei koskaan saanut mahdollisuutta; hallitus, joka lakkauttaa tehokkaan ohjelman, koska naiivi vertailu sai sen näyttämään hyödyttömältä, on tuhonnut arvoa, jota paremmin suunniteltu arviointi olisi suojellut. Syy-tunnistuksen oikein saaminen ja sen tietäminen, milloin sitä ei voi saada oikein, on itsessään julkisen arvon osaamista, ei asiantuntijan sivuharrastus.

Keskeiset käsitteet

Syy-päättely on tilastotieteen haara, joka käsittelee sen toteamista, tuottaako yhden muuttujan muutos muutoksen toisessa, ja kuinka paljon, erotuksena kahdesta muuttujasta, jotka vain liikkuvat yhdessä. Se tarjoaa käsitteellisen perustan – kontrafaktuaalinen päättely, hoito- ja kontrolliryhmän kieli, luettelo syy-väitteen erityisistä uhista – johon jokainen tämän aiheen menetelmä nojaa. Wikipedia: Syy-päättely.

Kontrafaktuaali on lopputulos, jonka henkilö tai yksikkö olisi kokenut, jos hän ei olisi saanut ohjelmaa, ja se on keskeinen, havaitsematon suure, jota jokainen syy-menetelmä yrittää approksimoida: voit seurata, mitä osallistujalle tapahtui, mutta et koskaan sitä, mitä samalle henkilölle olisi tapahtunut ilman apua. Jokainen alla oleva menetelmä on erilainen strategia uskottavan korvikkeen rakentamiseksi tuolle puuttuvalle havainnolle. Rubinin kausaalimalli, jonka kehitti pääasiassa tilastotieteilijä Donald Rubin, formalisoi tämän ”potentiaalisten lopputulosten” kehyksenä: jokaisella yksiköllä on potentiaalinen lopputulos hoidon alla ja yksi kontrollin alla, ja syy-vaikutus on näiden ero, joista vain toinen koskaan havaitaan. Wikipedia: Rubinin kausaalimalli.

Sekoittava tekijä (confounding) syntyy, kun kolmas tekijä vaikuttaa sekä siihen, saako yksikkö ohjelman, että lopputulokseen, jota ohjelman on tarkoitus muuttaa, jolloin näyttää siltä, että ohjelma aiheutti vaikutuksen, jonka sekoittava tekijä todellisuudessa tuotti. Motivaatio, aiempi kyvykkyys, paikalliset taloudelliset olosuhteet ja kotitalouden varallisuus ovat toistuvia sekoittavia tekijöitä julkisessa ohjelma-arvioinnissa, koska ne rutiininomaisesti vaikuttavat sekä siihen, kuka palvelun ottaa käyttöön, että siihen, miten kyseinen henkilö tai paikka pärjää sen jälkeen. Wikipedia: Sekoittava tekijä.

Valikoitumisharha on sekoittavan tekijän erityistapaus, joka syntyy siitä, miten osallistujat päätyvät hoitoryhmään ensinnäkään – itsevalikoituminen, henkilöstön lähete tai kelpoisuussäännöt – niin että hoidetut ja hoitamattomat ryhmät eroavat järjestelmällisesti ennen kuin ohjelma koskaan koskettaa heitä. Työllisyysohjelma, johon ilmoittautuvat vain motivoituneimmat työnhakijat, näyttää tehokkaalta, vaikka se ei tekisi mitään, koska vertailuryhmä ei koskaan ollut reilu korvike sille, mitä osallistujat olisivat tehneet ilman apua. Wikipedia: Valikoitumisharha.

Korrelaatio ei tarkoita kausaatiota on yleinen varoitus, jonka tämä aihe tekee toiminnalliseksi: kaksi yhdessä liikkuvaa muuttujaa on sopusoinnussa sen kanssa, että toinen aiheuttaa toisen, päinvastaisen, yhteisen syyn tai sattuman kanssa, eikä pelkkä kuvio voi erottaa näitä toisistaan. Jäätelön myynti ja hukkumiskuolemat nousevat kumpikin joka kesä, kumpikaan aiheuttamatta toista, koska lämmin sää ajaa molempia; julkinen ohjelma-arviointi on täynnä saman ansan hienovaraisempia versioita. Wikipedia: Korrelaatio ei tarkoita kausaatiota.

Satunnaistettu kontrolloitu koe (RCT), jota politiikka-arvioinnin kirjallisuudessa kutsutaan satunnaistetuksi arvioinniksi, jakaa kelpoiset yksiköt satunnaisesti hoitoryhmään, joka saa ohjelman, ja kontrolliryhmään, joka ei saa, niin että keskimäärin ryhmät eroavat vain siinä, hoidettiinko niitä. Satunnaistaminen on tehokasta, koska se käsittelee sekoittavia tekijöitä tukkuna: se tasapainottaa sekä ne sekoittavat tekijät, jotka voit mitata, että ne, joita et voi, tarvitsematta nimetä niitä etukäteen. Wikipedia: Satunnaistettu kontrolloitu koe.

Erotusten erotus (DiD) vertaa hoidetun ryhmän lopputulosten muutosta ajan yli saman jakson muutokseen vertailuryhmässä, joka ei saanut ohjelmaa, olettaen, että ilman ohjelmaa nämä kaksi ryhmää olisivat seuranneet rinnakkaisia trendejä. Se on perusmenetelmä, kun ohjelma saavutti yhden lainkäyttöalueen ennen toista eikä satunnaistaminen ollut koskaan vaihtoehto, koska se voi käyttää rutiininomaisesti kerättyä hallinnollista dataa erikseen rakennetun kokeen sijaan. Wikipedia: Erotusten erotus.

Regressiodiskontinuiteettiasetelma (RDD) hyödyntää ohjelman sääntöä, joka osoittaa hoidon mitatun pistemäärän ylittäessä kiinteän rajan – etuus alkaa täsmälleen tulorajalla, tukiopetusluokka osoitetaan oppilaille, jotka saavat pistemäärän juuri läpäisyrajan alapuolella – ja vertaa lopputuloksia yksiköille juuri rajan ylä- ja alapuolella, jotka muuten ovat samanlaisia. Koska se, kummalle puolelle rajaa yksikkö osuu, on kapealla kaistalla sen ympärillä käytännössä mielivaltaista, vertailu approksimoi paikallista satunnaistettua koetta kenenkään satunnaistamatta mitään. Wikipedia: Regressiodiskontinuiteettiasetelma.

Instrumenttimuuttujaestimointi (IV) käyttää kolmatta muuttujaa, ”instrumenttia”, joka vaikuttaa ohjelman käyttöönottoon mutta jolla ei ole suoraa vaikutusta lopputulokseen paitsi tuon käyttöönoton kautta, erottaakseen sen osan hoito–lopputulos-suhteesta, jonka sekoittavat tekijät muutoin saastuttaisivat. Klassinen politiikkainstrumentti on etäisyys palveluun tai arvonnalla jaettu paikka, joka siirtää osallistumista aiheuttamatta lopputulosta itsenäisesti; suurin osa menetelmän vaikeudesta on sen puolustamisessa, että instrumentti vaikuttaa lopputulokseen vain ohjelman kautta. Wikipedia: Instrumenttimuuttujaestimointi.

Luonnollinen koe on tilanne, joka syntyy politiikasta, maantieteestä tai olosuhteista eikä tutkijan suunnittelusta, jossa jotkut ihmiset altistuvat ohjelmalle ja vertailukelpoiset toiset eivät, ikään kuin koe olisi ajettu kenenkään ajamatta sitä. Politiikkamuutos, joka tulee voimaan syntymäpäiväkatkaisussa, raja, joka sijoittaa lähes identtiset kotitaloudet eri lainkäyttöalueille, tai arvonta, joka säännöstelee ylitarjottua paikkaa, ovat luonnollisia kokeita, joita RDD, IV tai DiD voi sitten analysoida. Wikipedia: Luonnollinen koe.

Hawthorne-ilmiö nimeää riskin, että ihmiset muuttavat käyttäytymistään pelkästään siksi, että tietävät olevansa havainnoitavina, riippumatta ohjelman todellisesta sisällöstä, mikä voi paisuttaa arvioitua vaikutusta, jos kontrolliryhmää ei havainnoida yhtä intensiivisesti – mittaamisen teko voi itse tulla osaksi hoitoa. Wikipedia: Hawthorne-ilmiö.

Tilastollinen voima on todennäköisyys, että arviointi havaitsee todellisen vaikutuksen tietyn kokoisena, jos sellainen on olemassa, riippuen pääasiassa otoskoosta, tavoitellusta vaikutuskoosta ja siitä, kuinka paljon lopputulokset vaihtelevat ryhmien sisällä. Alivoimainen arviointi, joka löytää ”ei merkitsevää vaikutusta”, ei usein ole osoittanut, ettei ohjelma tee mitään; se on osoittanut, että arviointi oli liian pieni kertomaan kumpaakaan, ero jonka johtajat usein jättävät huomaamatta tuomion antamisen paineessa. Wikipedia: Tilastollinen voima.

Parhaat käytännöt

Päätä arviointiasetelma ennen ohjelman käynnistämistä, ei sen jälkeen. Satunnaistettu arviointi, erotusten erotukseen sopiva porrastettu käyttöönotto tai regressiodiskontinuiteettiasetelmaan sopiva kelpoisuusraja on kaikki paljon helpompi rakentaa alusta alkaen kuin jälkikäteen lisätä, kun toimitus on jo alkanut ad hoc -pohjalta.
Ilmaise kontrafaktuaali eksplisiittisesti jokaisessa arviointitoimeksiannossa. Kirjoita yhdellä virkkeellä, mihin vertaat osallistujia – ei ohjelmaa lainkaan, edellinen ohjelma, toinen interventio – koska ilmaisematon kontrafaktuaali on se paikka, jossa terävimmät arviointikiistat yleensä osoittautuvat piileskelevän.
Käsittele yksinkertaista ennen–jälkeen-vertailua aloitushypoteesina, ei koskaan löydöksenä. Lopputulokset ajautuvat monista ohjelmaan liittymättömistä syistä – suhdannekierto, kausivaihtelut, muut samaan aikaan voimaan tulevat politiikkamuutokset – eikä ennen–jälkeen-asetelma voi erottaa ohjelmasi osuutta niistä.
Sovita menetelmä sääntöön, joka todella osoitti ohjelman, ei menetelmään, jonka koet tutuimmaksi. Arvonnalla säännöstelty ohjelma edellyttää satunnaistetun arvioinnin logiikkaa, vaikka et koskaan kutsuisi sitä kokeeksi; pistemäärärajalla osoitettu ohjelma edellyttää regressiodiskontinuiteettiasetelmaa; ohjelma, joka otettiin käyttöön joillakin alueilla ennen toisia, edellyttää erotusten erotusta.
Rekisteröi lopputulosmittarit ja analyysisuunnitelma etukäteen ennen tulosten katsomista. Sen päättäminen, mikä lopputulos lasketaan ”menestykseksi”, sen jälkeen kun on nähty, mikä liikkui, on hyvin dokumentoitu tie vääriin positiivisiin, ja ennakkorekisteröinti on vakiopuolustus sitä vastaan.
Mitoita arvioinnin voima pienimmälle vaikutuskoolle, joka silti oikeuttaisi ohjelman kustannuksen, ei mukavuuden mukaan. Liian pieni arviointi havaitakseen politiikan kannalta olennaisen vaikutuksen tuottaa tiedottoman ”ei merkitsevää eroa” -tuloksen, joka tulkitaan väärin epäonnistumisen todisteeksi.
Raportoi vertailuryhmän ominaisuudet hoitoryhmän rinnalla, ei vain otsikkovaikutusta. Uskottava arviointi antaa skeptisen lukijan tarkistaa, olivatko kaksi ryhmää samanlaisia ennen hoitoa; arviointi, joka kätkee tämän, saa lukijan ottamaan tasapainon uskon varaan.
Tilaa arviointi lähteeltä, joka on riippumaton toimitustiimistä, tai eristä analyysi palomuurilla, jos et voi. Tiimillä, jolla on panos ohjelman menestykseen, on rakenteellinen, usein tiedostamaton kannustin tulkita epäselvää näyttöä ohjelman eduksi.
Erota tilastollinen merkitsevyys käytännöllisestä ja julkistaloudellisesta merkitsevyydestä jokaisessa raportissa. Tarkasti estimoitu pieni vaikutus ja epätarkasti estimoitu suuri vaikutus ovat erilaisia löydöksiä, jotka vaativat erilaisia päätöksiä, ja molempien romahduttaminen ”merkitseväksi” tai ”ei merkitseväksi” pyyhkii pois eron, jota rahoituspäätös todella tarvitsee.
Budjetoi arviointi kiinteänä osuutena ohjelman kustannuksista suunnitteluvaiheessa, ei sen mukaan, mitä jää jäljelle. Ohjelma, joka on tarpeeksi suuri vaikuttaakseen julkiseen arvoon, on yleensä tarpeeksi suuri rahoittamaan uskottavan vaikutusarvioinnin, ja arvioinnin käsitteleminen harkinnanvaraisena on se, miten heikosta näytöstä tulee rutiinia.
Julkaise nolla- ja negatiiviset tulokset samalla näkyvyydellä kuin positiiviset. Tilaamisympäristö, joka julkistaa vain onnistuneita arviointeja, luo valikoitumisharhan itse julkaistuun näyttöpohjaan, vääristäen kaikkien myöhempiä ”mikä toimii” -arvioita kohti optimismia.
Syötä jokainen valmis arviointi sektorisi ylläpitämään laajempaan näyttöpohjaan, ei vain omaan arkistoosi. Yksittäinen arviointi, olipa se kuinka hyvin suunniteltu, on yksi datapiste; systemaattinen synteesi monien yli on se, joka muuttaa ohjelmalöydöksen siirrettäväksi tiedoksi (katso Aihe 2.6 — Näytön synteesi ja se, mikä toimii).

Kysymyksiä keskusteltavaksi tiimissäsi

Mihin kontrafaktuaaliin tätä ohjelmaa todella vertaamme, ja olemmeko sanoneet sen ääneen? Jokainen vaikuttavuusväite viittaa vertailuun, mutta tiimit jättävät sen usein implisiittiseksi antaen ”tämä toimi” hiljaa liukua ”parempi kuin ei mitään”, ”parempi kuin se, mitä teimme aiemmin” ja ”parempi kuin paras vaihtoehto, jonka olisimme voineet rahoittaa” välillä. Pyydä arviointipäällikköäsi ilmaisemaan kontrafaktuaali yhdellä virkkeellä selkokielellä ja tarkista sitten, tukeeko hallussasi oleva näyttö todella väitettä tuosta tietystä vertailusta. Jos rehellinen kontrafaktuaali on ”emme tiedä, mitä olisi tapahtunut muuten”, käsittele nykyistä vaikuttavuusväitettä hypoteesina, ei löydöksenä, ja keskustelkaa siitä, mitä aukon sulkeminen vaatisi.

Voisivatko ihmiset tai paikat, jotka ottivat tämän ohjelman käyttöön, erota järjestelmällisesti niistä, jotka eivät, tavoilla, jotka vaikuttaisivat myös lopputulokseen? Tämä on valikoitumisharhan kysymys, ja se kannattaa esittää silloinkin – erityisesti silloin – kun vastaus näyttää ilmeisen ”ei”. Motivaatio, aiemmat olosuhteet, paikallinen kapasiteetti ja henkilöstön lähetekäytännöt ovat yleisiä piileviä erojen lähteitä, jotka tuottavat harhaanjohtavan vaikutusarvion jopa suurella, huolellisen näköisellä otoksella. Jos tiimi ei pysty kuvaamaan, miten osallistujat päätyivät ohjelmaan, he eivät voi sulkea tätä pois, ja tuon aukon pitäisi huolestuttaa sinua enemmän kuin pieni otoskoko.

Rakennettiinko arviointiasetelmamme ohjelmaan vai lisättiinkö se jälkikäteen, ja mitä se meille maksoi? Satunnaistettu arviointi, porrastettu käyttöönotto tai pistemäärällä määritelty kelpoisuusraja ovat kaikki paljon halvempia ja uskottavampia, kun ne suunnitellaan ennen käynnistystä kuin kun ne rekonstruoidaan hallinnollisesta datasta, joka sattui säilymään. Kysy, mitä arviointiasetelmavaihtoehtoja harkittiin ohjelman suunnitteluvaiheessa, ja jos mitään ei harkittu, käsittele sitä prosessiaukkona, joka suljetaan ennen seuraavaa ohjelmaa, ei vain tämän ohjelman rajoituksena. Keskustelkaa siitä, mitä dataa pitäisi olla olemassa ensimmäisestä päivästä lähtien, jotta seuraava suuri ohjelma tukisi uskottavaa syy-arviota.

Onko otoksemme riittävän suuri havaitsemaan tietämisen arvoisen vaikutuksen, ja tunnistaisimmeko alivoimaisen ”ei vaikutusta” -löydöksen, jos näkisimme sellaisen? Arviointi, joka raportoi ei tilastollisesti merkitsevää vaikutusta, kertoo toisinaan oikein, ettei ohjelma toimi, ja toisinaan vain, että arviointi oli liian pieni näkemään vaikutusta, joka todella on olemassa. Pyydä analyytikoita ilmaisemaan pienin vaikutuskoko, jonka havaitsemiseen arviointi oli mitoitettu, ja vertaa sitä vaikutuskokoon, joka todella oikeuttaisi ohjelman kustannuksen. Jos nämä kaksi lukua ovat kaukana toisistaan, ”ei vaikutusta” -löydös voi olla tiedoton eikä tuomitseva, ja tiimin pitäisi sanoa niin selvästi sen sijaan että antaisi hiljaisuuden tulkita epäonnistumiseksi.

Kuka hyötyy, ammatillisesti tai maineellisesti, jos tämä arviointi tulee positiivisena takaisin, ja muuttaako se sitä, kuinka paljon riippumatonta tarkastelua se tarvitsee? Tämä ei ole syytös epärehellisyydestä; se on tunnustus siitä, että ihmiset, jotka suunnittelivat tai toimittavat ohjelmaa, ovat rakenteellisesti todennäköisempiä tulkitsemaan epäselviä tuloksia lempeästi, usein huomaamatta tekevänsä niin. Keskustelkaa siitä, tilasiko, analysoiko tai tarkastiko arvioinnin kukaan toimitustiimistä riippumaton, ja jos ei, miltä oikeasuhtainen palomuuri tämänkokoiselle ohjelmalle näyttäisi. Tavoite on tulos, jonka kaikkein skeptisin rahoittajanne myös uskoisi, ei vain sellainen, jonka puolustamisessa oma tiiminne on mukavasti.

Jos tämän arvioinnin löydös on vankka, mitä tekisimme toisin, ja olemmeko valmiita tekemään sen? Arviointi, joka tilataan mutta jota ei koskaan ollut tarkoitus muuttaa päätöstä, on uponnut kustannus, joka on puettu huolellisuudeksi, ja riski kannattaa nimetä ennen tulosten saapumista eikä sen jälkeen. Keskustelkaa etukäteen siitä, mitä vahva positiivinen löydös oikeuttaisi (laajennus, ja kuinka paljon) ja mitä nolla- tai negatiivinen löydös käynnistäisi (uudelleensuunnittelu tai lakkauttaminen, ja millä aikataululla). Jos kukaan huoneessa ei voi vastata tähän ennen tulosten näkemistä, arviointi voi palvella legitimiteettitehtävää eikä päätöstehtävää, ja siitä kannattaa olla rehellinen (katso Aihe 2.1 — Julkisen arvon tuloskortti ja vaikuttavuuskehykset).

Käytännössä: esimerkki julkisesta arvosta

Kuvitteellinen esimerkki. Keskikokoisen, nimeämättömän maan Työllisyyspalveluministeriö pyöritti vuoden mittaista pilottia intensiivisestä valmennuspalvelusta pitkäaikaistyöttömille työnhakijoille tavanomaisen palvelun rinnalla. Pilotin lopussa sisäinen raportti vertasi intensiivisen valmennuksen saanutta ryhmää kaikkiin muihin, jotka poistuivat työttömyydestä samana aikana: valmennetulla ryhmällä oli 38 prosentin työllistymisaste kuuden kuukauden sisällä, kun muulla asiakaskunnalla 24 prosenttia. Ministereille kerrottiin, että ohjelma ”toimi”, ja liiketoimintasuunnitelma lähti eteenpäin sen kansalliseksi käyttöönotoksi.

Ennen rahoituksen hyväksymistä talousvaliokunta kysyi suoraviivaisen kysymyksen: miten työnhakijat olivat päätyneet valmennettuun ryhmään ensinnäkään? Vastauksella osoittautui olevan valtava merkitys. Käsittelijät olivat lähettäneet valmennuspilottiin työnhakijoita, joiden he arvioivat ”todennäköisimmin hyötyvän”, hyvää tarkoittaneen priorisointipäätöksen, joka oli käytännössä valikoinut työvalmiimman ryhmän hoitoon alusta alkaen. 38 prosentin ja 24 prosentin vertailu oli saastunut täsmälleen sillä valikoitumisharhalla, josta tämä aihe varoittaa: oli täysin mahdollista, että valmennettu ryhmä olisi ylittänyt muun asiakaskunnan vaikka ilman valmennusta.

Sen sijaan että ministeriö olisi hyväksynyt tai hylännyt käyttöönoton tuon vertailun perusteella, sen arviointiyksikkö ehdotti toista vaihetta arvonnalla. Kysyntä valmennuspalvelulle ylitti jo tarjolla olevat paikat, joten yksikkö jakoi paikat satunnaisesti yhtä kelpoisten hakijoiden kesken ja vertasi työllistymisasteita arvonnan voittajien ja häviäjien välillä, satunnaistetun arvioinnin logiikan sovellus ilman tarvetta pidättää palvelua keneltäkään, joka ei muutoin olisi sitä saanut. Kaksitoista kuukautta myöhemmin arvontavertailu osoitti pienemmän mutta todellisen vaikutuksen: 9 prosenttiyksikön parannus kuuden kuukauden työllistymisessä, ei 14 pisteen eroa, jota alkuperäinen vertailu oli antanut ymmärtää. Ministeriö käytti arvontapohjaista arviota, omien kustannustietojensa rinnalla, rakentaakseen puolustettavissa olevan kustannusvaikuttavuusperustelun (katso Aihe 2.2 — Yhteiskunnallinen kustannus-hyötyanalyysi ja kustannusvaikuttavuusanalyysi) laajennetulle mutta resurssirajoitetulle käyttöönotolle, ei suuremmalle, toimittamattomalle laajennukselle, jonka virheellinen alkuvertailu olisi oikeuttanut.

Neljä sektorinäkökulmaa

Paikallishallinto

Paikallisviranomaiset pyörittävät tyypillisesti monia pieniä ja keskikokoisia ohjelmia harvojen hyvin suurten sijaan, mikä tekee erikseen rakennetuista satunnaistetuista arvioinneista kalliita suhteessa ohjelman kokoon ja työntää paikallisia arvioijia kohti kvasikokeellisia menetelmiä, jotka käyttävät uudelleen jo kerättävää hallinnollista dataa – erotusten erotus palvelualueiden yli, jotka ottivat muutoksen käyttöön eri aikaan, tai regressiodiskontinuiteettiasetelma paikallisen kelpoisuusrajan ympärillä. Raja- ja lainkäyttöaluerajaerot, jotka olisivat muualla ärsyttäviä, ovat usein paikallisen arvioijan paras luonnollinen koe, koska kaksi naapurikaupunginosaa tai -aluetta voivat erota politiikaltaan pysyen useimmissa muissa suhteissa samanlaisina.

Valtionhallinto

Valtionhallinnoilla on mittakaava rahoittaa erikseen rakennettuja satunnaistettuja arviointeja ja hallinnolliset tietoaineistot, usein linkitettyinä vero-, etuus-, terveys- ja koulutusrekistereiden välillä, ajamaan uskottavia kvasikokeellisia asetelmia pienellä rajakustannuksella. Tämä mittakaava on myös se, missä ”mikä toimii” -arviointityöryhmät ja keskitetty arviointiohjeistus, kuten valtiovarainministeriön vakioarviointikäsikirja, yleensä sijaitsevat, koska vain kansallinen hallitus voi oikeuttaa pysyvän arviointi-infrastruktuurin ja yhteisen metodologisen standardin ylläpidon kiinteän kustannuksen monien osastojen yli.

Kolmas sektori ja voittoa tavoittelematon toiminta

Voittoa tavoittelemattomilla organisaatioilla ja kansalaisjärjestöillä on harvoin otoskokoja tai budjetteja, joita hyvin mitoitettu satunnaistettu arviointi tarvitsee, ja niiden ohjelmat muuttuvat usein mukautuvasti sen mukaan, mitä etulinjan henkilöstö havaitsee, mikä mutkistaa mitä tahansa asetelmaa, joka olettaa vakaan, hyvin määritellyn hoidon. Kumppanuus akateemisen tutkimusryhmän tai erikoistuneen arviointivälittäjän kanssa, sellaisen, joka on kasvanut satunnaistetun arvioinnin liikkeen ympärille kansainvälisessä kehityksessä, on usein ainoa realistinen reitti tarkkaan syy-arvioon, ja rahoittajat pyytävät yhä useammin juuri tällaista ulkoista kumppanuutta ennen monivuotisten avustusten sitomista.

Monenkeskinen ja kansainvälinen

Monenkeskiset elimet rahoittavat ohjelmia monissa maissa, joilla on erilaiset tietojärjestelmät, hallinnollinen kapasiteetti ja eettisen arvioinnin normit, mikä tekee standardoitujen syy-menetelmien soveltamisesta yhtenäisesti vaikeampaa mutta luo myös luonnollista maiden välistä vaihtelua, josta voi itse tulla luonnollinen koe, kun politiikka otetaan käyttöön joissakin jäsenvaltioissa ennen toisia. Satunnaistetut arvioinnit kehitystaloustieteessä ovat olleet erityisen vaikutusvaltaisia tässä mittakaavassa tuottaen näyttöä, joka muokkasi kansainvälisen kehitysrahoituksen kohdentamista, mutta ne kantavat myös dokumentoidun ulkoisen validiteetin epäonnistumisen riskin: tulos, joka pätee tutkitussa maassa ja kontekstissa, ei automaattisesti siirry eri kontekstiin, varoitus jonka monenkeskinen ohjelmasuunnittelu liian usein sivuuttaa.

Yleisiä epäonnistumistapoja

Naiivi ennen–jälkeen. Ohjelmaa arvioidaan yksinomaan vertaamalla lopputuloksia ennen sen alkua lopputuloksiin sen jälkeen, ilman vertailuryhmää lainkaan, joten mikä tahansa jo käynnissä oleva trendi – talouden elpyminen, demografinen muutos, erillinen politiikkamuutos – kohdistuu virheellisesti ohjelmalle. Kustannus on varma syy-tarina, joka on rakennettu asetelmalle, joka ei voi todella erottaa ohjelman vaikutusta kaikesta muusta, mitä samaan aikaan tapahtui.

Valikoitumisharha sekoitettuna ohjelmavaikutukseen. Osallistujia, jotka ilmoittautuivat itse tai lähetettiin sisään, koska he vaikuttivat todennäköisesti onnistuvan, verrataan kaikkiin muihin, tuottaen vaikutusarvion, joka on todellisuudessa mitta siitä, ketä ohjelma veti puoleensa eikä siitä, mitä se heille teki. Kustannus on laajennettu ohjelma, joka näyttää vähemmän tehokkaalta, joskus paljon, kun se saavuttaa vähemmän itsevalikoituneen väestön.

Alivoimainen arviointi raportoituna nollalöydöksenä. Pieni pilotti löytää ”ei tilastollisesti merkitsevää vaikutusta” ja sen tulkitaan todistavan, ettei ohjelma toimi, kun otos oli itse asiassa liian pieni havaitsemaan sen kokoista vaikutusta, jolla olisi merkitystä. Kustannus kulkee molempiin suuntiin: aidosti tehokas ohjelma voidaan lakkauttaa sellaisen näytön perusteella, joka ei koskaan kyennyt osoittamaan sen toimivan, tai resurssit siirtyvät rahoittamaan suurempaa koetta, jota ei olisi tarvittu, jos alkuperäinen toimeksianto olisi mitoitettu oikein.

Paikallisen arvion ekstrapolointi kontekstinsa yli. Regressiodiskontinuiteettiasetelma arvioi oikein vaikutuksen yksiköille lähellä kelpoisuusrajaa, ja instrumenttimuuttujaestimaatti arvioi oikein vaikutuksen yksiköille, joiden hoitotilaa instrumentti todella siirsi, mutta molempia löydöksiä sovelletaan sitten koko väestöön ikään kuin arvio pätisi kaikkialla. Kustannus on politiikka, joka on skaalattu luvun perusteella, joka oli aina vain paikallisesti tosi.

Arviointi teatterina. Arviointi tilataan luomaan näkymä näyttöön perustuvasta päätöksenteosta, mutta päätös on käytännössä jo tehty, eikä mikään uskottava löydös olisi muuttanut sitä. Kustannus on hukkaan heitetty arviointibudjetti ja, syövyttävämmin, hidas luottamuksen rapautuminen arviointiin itseensä, kun henkilöstö huomaa, etteivät tulokset koskaan näytä muuttavan lopputuloksia.

Kypsyysmalli

Osa-alue	Aloittava	Kehittyvä	Vakiintunut	Hallittu	Koordinoitu
Arviointiasetelma valitaan suhteessa ohjelman suunnitteluun	Arviointi, jos lainkaan, on jälkikäteisajatus toimituksen alettua	Jotkin tiimit harkitsevat asetelmavaihtoehtoja epävirallisesti, epäjohdonmukaisesti	Vakiopäätösopas sovittaa ohjelmatyypin arviointimenetelmään	Asetelmavalinnat tarkistetaan ja hyväksytään ennen käynnistystä koko organisaatiossa	Asetelmastandardeja jaetaan ja vertaillaan vertaisorganisaatioiden kanssa
Valikoitumisen ja sekoittavien tekijöiden käsittely	Vertailut tehdään ilman huomiota siihen, miten ryhmät eroavat	Jonkin verran tietoisuutta valikoitumisharhasta, käsitelty ad hoc	Vakiotarkistukset hoito- ja vertailuryhmien vertailukelpoisuudelle	Vertailukelpoisuus auditoidaan riippumattomasti ennen tulosten hyväksymistä	Menetelmiä valikoitumisen käsittelyyn jaetaan avoimesti ja parannetaan vertaisten kanssa
Tilastollinen voima ja otossuunnittelu	Otoskoko asetetaan mukavuuden mukaan, ei tavoitellun vaikutuskoon mukaan	Voimasta keskustellaan joskus mutta sitä harvoin lasketaan muodollisesti	Voimalaskelmat ovat vaadittu osa jokaista arviointisuunnitelmaa	Alivoimaiset arvioinnit merkitään ja joko vahvistetaan tai kehystetään uudelleen	Voimastandardeja koordinoidaan toisiinsa liittyvien ohjelmien salkun yli
Löydösten riippumattomuus ja avoimuus	Toimitustiimi yksin suorittaa ja tulkitsee arvioinnit	Sisäinen tarkastaja tarkistaa löydökset satunnaisesti	Riippumaton tarkastus tai palomuurittaminen on vakio suurille arvioinneille	Riippumattomat löydökset, positiiviset ja negatiiviset, julkaistaan rutiinina	Riippumatonta arviointikapasiteettia yhdistetään tai jaetaan organisaatioiden kesken
Arviointilöydösten syöttäminen päätöksiin	Löydöksiä tuotetaan mutta niihin palataan harvoin päätöksen tekemisen jälkeen	Löydökset tiedottavat joskus myöhempiä budjettikierroksia	Määritelty prosessi ohjaa löydökset rahoitus- ja laajennuspäätöksiin	Päätöksiä seurataan löydöksiä vasten ja eroavuudet selitetään	Löydökset syötetään jaettuun, organisaatiorajat ylittävään näyttöpohjaan (katso Aihe 2.6 — Näytön synteesi ja se, mikä toimii)

Tarkistuslista

Ilmaise kontrafaktuaali jokaiselle suurelle ohjelma-arvioinnille yhdellä selkokielisellä virkkeellä.
Vahvista, miten osallistujat päätyivät hoitoryhmään, ja arvioi, voisiko tuo prosessi itse selittää lopputuloseron.
Valitse arviointimenetelmä (satunnaistettu arviointi, erotusten erotus, regressiodiskontinuiteettiasetelma, instrumenttimuuttujat tai luonnollinen koe) vastaamaan todellista osoitussääntöä, ennen toimituksen alkua aina kun mahdollista.
Laske tilastollinen voima, joka tarvitaan havaitsemaan pienin vaikutuskoko, joka oikeuttaisi ohjelman kustannuksen.
Ennakkorekisteröi lopputulosmittarit ja analyysisuunnitelma ennen tulosten näkemistä.
Raportoi hoito- ja vertailuryhmien vertailukelpoisuus otsikkovaikutuksen rinnalla.
Tilaa tai tarkasta arviointi toimitustiimistä riippumattoman toiminnon kautta.
Erota tilastollinen merkitsevyys julkistaloudellisesta ja käytännöllisestä merkitsevyydestä jokaisessa päätöksentekijöille suunnatussa raportissa.
Budjetoi arviointi kiinteänä osuutena ohjelman kustannuksista suunnitteluvaiheessa.
Julkaise nolla- ja negatiiviset löydökset samalla näkyvyydellä kuin positiivisille.
Tarkista, ekstrapoloidaanko positiivista paikallista arviota (regressiodiskontinuiteettiasetelmasta tai instrumenttimuuttujista) sen väestön ulkopuolelle, jonka se todella kattaa.
Syötä valmiit arvioinnit sektorisi ylläpitämään laajempaan näyttöpohjaan, ei vain omaan arkistoosi.

Keskeiset lähteet

Tämän aiheen metodologinen ydin nojaa sovelletun ekonometrian perinteeseen, joka liittyy Joshua D. Angristiin ja Jörn-Steffen Pischkeen, sekä Donald Rubinin formalisoimaan potentiaalisten lopputulosten kehykseen. Satunnaistetun arvioinnin liike julkisessa politiikassa ja kehitystaloustieteessä, joka liittyy Abdul Latif Jameel Poverty Action Labiin (J-PAL) ja sen akateemiseen verkostoon, tarjoaa suuren osan sektorinäkökulmissa viitatusta sovelletusta käytännöstä. Valtionhallinnon arviointistandardit nojaavat Ison-Britannian valtiovarainministeriön Magenta Book -ohjeistoon, ja näytön synteesin käytäntö nojaa Campbell Collaborationin standardeihin systemaattiselle katsaukselle sosiaalipolitiikassa (katso Aihe 2.6 — Näytön synteesi ja se, mikä toimii).

Viitteet

Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network