Näytön synteesi ja se, mikä toimii

Miksi tällä on merkitystä julkisen arvon kannalta

Ministerillä, pormestarilla tai hyväntekeväisyysjärjestön ohjelmajohtajalla on harvoin ylellisyyttä toimia yhden, selkeän tutkimuksen varassa. Useammin pöydällä on kolme arviointia, jotka ovat eri mieltä, kirjallisuuskatsaus, joka siteeraa niitä valikoiden, painostusryhmä, joka heiluttaa sitä yhtä koetta, joka sopii sen asiaan, ja määräaika, jonka asettaa budjettikierros eikä tutkimuksen vauhti. Näytön synteesi on olemassa, koska yksittäiset tutkimukset ovat kohinaisia: otoskoot ovat pieniä, kontekstit eroavat ja mikä tahansa yksittäinen tulos voi olla sattumaa, paikallinen sopivuus, joka ei matkusta, tai aito vaikutus. Kysymys, johon johtaja tarvitsee vastauksen, on harvoin ”mitä tämä yksi tutkimus löysi?” vaan ”mitä tulisi odottaa, jos teen tämän täällä, nyt, kaiken uskottavan perusteella, mitä on kokeiltu?”

Julkisen arvon teoria tekee tästä muutakin kuin teknisen hienouden. Kollektiivisilla resursseilla rahoitettu ohjelma lepää arvolupauksen varassa, jonka kansalaiset yhteisesti sallisivat (katso Aihe 2.1 — Julkisen arvon tuloskortti ja vaikuttavuuskehykset siitä, miten tuo lupaus ilmaistaan ja seurataan). Yhden poimitun tutkimuksen tai ei lainkaan näyttökatsauksen varaan rakennettu lupaus on heikompi vaatimus legitimiteetille kuin huolellisen synteesin varaan rakennettu – ja heikompi perusta toiminnalliselle kyvykkyydelle, koska henkilöstö ja budjetit sidotaan sen perusteella. ”Mikä toimii” -liike – itsenäisten elinten verkosto, jotka arvioivat politiikkanäytön laatua ja vahvuutta – kasvoi suoraan tästä ongelmasta: liian monet julkiset päätökset tehtiin äänekkäimmän tutkimuksen eikä parhaiten tuetun perusteella.

Vaikeampi ongelma, jota tämä aihe käsittelee, on se, mitä johtaja tekee, kun synteesi itse on epäselvä, kiistanalainen tai yksinkertaisesti ei saatavilla ajoissa. Näyttöhierarkiat rakennettiin tuomaan järjestystä sotkuiseen näyttöpohjaan, mutta huolimattomasti käytettynä ”näyttö ei ole vielä riittävän vahvaa” muuttuu pysyväksi tekosyyksi välttää päätös, jota todellisuus ei todella odota. Johtaja, joka ymmärtää, miten synteesi toimii ja missä sen rajat ovat, osaa erottaa aidon epävarmuuden, joka oikeuttaa varovaisuuden, hierarkiasta, jota käytetään toimettomuuden verhona.

Tämä aihe on luonnollinen jatko syy-päättelymenetelmille, joihin synteesi nojaa (katso Aihe 2.4 — Julkisen sektorin ekonometria ja ohjelma-arviointi), ja asettuu sen lopputulosten kehysten rinnalle, ei niiden tilalle, joita synteesi lopulta palvelee (katso Aihe 2.1 — Julkisen arvon tuloskortti ja vaikuttavuuskehykset). Johtaja, joka osaa lukea systemaattisen katsauksen, ymmärtää ”mikä toimii” -arvion ja päätellä selkeästi poissaolevan ja negatiivisen näytön välillä, tekee parempia päätöksiä reaaliajassa kuin se, joka osaa vain vaatia ”lisää näyttöä” tai hyväksyä ensimmäisen hänelle ojennetun tutkimuksen.

Keskeiset käsitteet

Systemaattinen katsaus on synteesi määritellystä kysymyksestä saatavilla olevasta näytöstä, joka käyttää eksplisiittistä, ennalta määriteltyä, toistettavaa menetelmää tutkimusten löytämiseen, arviointiin ja yhdistämiseen, vastakohtana kerronnalliselle kirjallisuuskatsaukselle, joka valitsee lähteet kirjoittajan harkinnan mukaan (katso systemaattinen katsaus). Sen määrittävät piirteet ovat rekisteröity protokolla, joka on kirjoitettu ennen haun alkua, hakustrategia, joka sisältää julkaisemattoman ja harmaan kirjallisuuden, eksplisiittiset sisällyttämiskriteerit ja vakiomenetelmä kunkin tutkimuksen harhariskin arvioimiseksi. Tämä on se, mikä erottaa systemaattisen katsauksen hyvin kirjoitetusta esseestä alaviitteineen: toinen tiimi, joka noudattaa samaa protokollaa, löytäisi laajasti saman näytön ja päätyisi laajasti samanlaiseen johtopäätökseen.

Meta-analyysi on tilastollinen tekniikka, joka useimmin yhdistetään systemaattiseen katsaukseen: se yhdistää useiden riippumattomien tutkimusten määrälliset vaikutuskoot yhdeksi tarkemmaksi arvioksi, tavallisesti painottaen kutakin tutkimusta sen otoskoon ja laadun mukaan (katso meta-analyysi). Meta-analyysi on yhtä hyvä kuin sen syöttävät tutkimukset; viiden heikon tutkimuksen yhdistäminen tuottaa tarkemman arvion mahdollisesti harhaisesta vaikutuksesta, ei luotettavaa. Analyytikot raportoivat siksi heterogeenisyyden – kuinka paljon tutkimustulokset vaihtelevat satunnaisuuden ennustaman yli –, koska korkea heterogeenisyys viittaa siihen, etteivät tutkimukset todella testanneet samaa asiaa, ja yksittäinen yhdistetty luku voi johtaa harhaan.

Julkaisuharha on taipumus, että tutkimukset, joilla on positiivisia, merkitseviä tuloksia, julkaistaan, kun taas nolla- tai negatiiviset tulokset istuvat tutkijan arkistolaatikossa, mikä saa intervention näyttämään johdonmukaisemmin tehokkaalta kirjallisuudessa kuin se todellisuudessa on (katso julkaisuharha). Tarkka katsaus korjaa tämän etsimällä koerekistereitä ja julkaisemattomia arviointeja, ei vain lehtiartikkeleita. Johtajan, joka lukee pelkästään julkaistuihin papereihin rakennettua synteesiä, tulisi kysyä, mitä katsaajat tekivät löytääkseen tutkimukset, jotka eivät koskaan päätyneet painoon.

Näyttöhierarkia järjestää tutkimusasetelmat sen mukaan, kuinka hyvin ne hallitsevat sekoittavia tekijöitä ja harhaa, tyypillisesti sijoittaen satunnaistettujen kokeiden meta-analyysit huipulle, yksittäiset satunnaistetut kontrolloidut kokeet seuraavaksi, sitten kvasikokeelliset ja havainnoivat asetelmat ja asiantuntijamielipiteen alimmaksi (katso näyttöhierarkia). Satunnaistettu kontrolloitu koe jakaa osallistujat interventio- tai vertailuryhmään sattumalta, yksittäinen tehokkain työkalu syy-vaikutuksen erottamiseksi kaikesta muusta ympärillä tapahtuvasta (katso satunnaistettu kontrolloitu koe; katso Aihe 2.4 — Julkisen sektorin ekonometria ja ohjelma-arviointi siitä, miten tällaisia asetelmia rakennetaan ja analysoidaan). Hierarkia on aidosti hyödyllinen heuristiikka, mutta heuristiikka, ei laki: hyvin toteutettu havainnoiva tutkimus harvinaisesta tai hitaasti liikkuvasta politiikasta voi ylittää huonosti toteutetun, alivoimaisen kokeen, ja johtaja, joka käsittelee sitä absoluuttisena järjestyksenä, hylkää joskus olennaisemman näytön arvostetumman asetelman vuoksi.

GRADE-lähestymistapa – Grading of Recommendations, Assessment, Development and Evaluations – formalisoi toisen, erillisen harkinnan, jota hierarkia yksin ei tee: se arvioi sekä näytön varmuuden että, riippumattomasti, suosituksen vahvuuden toimia sen perusteella, koska vahva näyttö ei aina oikeuta vahvaa suositusta, eikä heikko näyttö aina oikeuta toimimattomuutta vakavaa, kiireellistä haittaa vastaan (katso GRADE-lähestymistapa). Tämä erottelu on tämän aiheen hyödyllisin yksittäinen ajatus aikapaineessa olevalle päätöksentekijälle: se antaa johtajan sanoa rehellisesti ”näyttö täällä on kohtalaista, ja panokset ja odottamisen hinta huomioiden suosittelen, että etenemme” – puolustettavissa oleva, dokumentoitu harkinta, varman tiedon odottamisen ja näytön täydellisen sivuuttamisen väärän valinnan sijaan.

Erottelu, joka toistuu jatkuvasti elävässä politiikkakeskustelussa, on näytön puuttumisen ja puuttumisen näytön välillä: intervention vaikutusta koskevien tutkimusten puute (”ei näyttöä vaikutuksesta”) ei ole sama väite kuin hyvin mitoitettu joukko tutkimuksia, jotka positiivisesti havaitsivat ei vaikutusta (”näyttöä vaikutuksen puuttumisesta”) (katso puuttumisen näyttö). Uutta paikallista ohjelmaa, jolla ei ole vielä arviointeja, ei yksinkertaisesti ole testattu; hyvin tutkittu kansallinen ohjelma, jonka on toistuvasti todettu liikuttamatta mitään lopputulosta, on testattu ja osoitettu toimimattomaksi. Näiden sekoittaminen on yksi seurauksellisimmista virheistä, jonka julkinen johtaja voi tehdä: testaamattoman mutta lupaavan pilotin tappaminen ikään kuin se olisi epäonnistunut, tai toistuvasti kumotun ohjelman rahoittamisen jatkaminen ikään kuin kukaan ei olisi katsonut tarpeeksi tarkasti vielä.

Näyttöön perustuva politiikka on laajempi liike ja normatiivinen väite, että julkiset päätökset tulisi perustaa tarkasti vakiinnutettuun näyttöön ideologian, anekdootin tai pelkän intuition sijaan (katso näyttöön perustuva politiikka). Sen kriitikot, ja yhä enemmän sen omat kannattajat, suosivat termiä ”näyttöä tiedottava politiikka”, joka myöntää, että näyttö on yksi syöte monien joukossa – arvot, mandaatti, kustannukset ja legitimiteettikysymykset, joita tämä kirja käsittelee perustavina – eikä mekaaninen päätössääntö, jonka näyttö yksin voisi ratkaista.

Tästä liikkeestä kasvoi mikä toimii -keskus tai tietovarasto (what-works centre / clearinghouse) -malli: riippumaton elin, joka arvioi systemaattisesti politiikka-alueen interventioiden näyttöä ja julkaisee helposti lähestyttäviä, vertailukelpoisia luokituksia, sen sijaan että jokainen paikallinen tilaaja tekisi oman katsauksensa. Cochrane oli uranuurtaja mallissa terveydenhuollossa vuodesta 1993, ylläpitäen elävää systemaattisten katsausten metodologian käsikirjaa, jota käytetään kauas lääketieteen ulkopuolella (katso Cochrane (organisaatio)). Campbell Collaboration laajensi saman metodologian sosiaalipolitiikkaan, rikosoikeuteen, koulutukseen ja kansainväliseen kehitykseen (katso Campbell Collaboration). Kansalliset tietovarastot seurasivat: Yhdysvaltojen What Works Clearinghouse, jota Institute of Education Sciences on ylläpitänyt vuodesta 2002, arvioi koulutustutkimusta eksplisiittisiä asetelmastandardeja vasten (katso What Works Clearinghouse); Englannin Education Endowment Foundation julkaisee laajasti käytetyn Teaching and Learning Toolkitin, joka arvioi luokkahuoneinterventiot kustannuksen, näytön vahvuuden ja tyypillisen vaikutuksen mukaan yhdessä vertailukelpoisessa muodossa (katso Education Endowment Foundation). Vastaavia keskuksia on rikollisuuden vähentämiselle, varhaiselle puuttumiselle, asunnottomuudelle ja ikääntymiselle – pieni kansainvälinen perhe, joka on rakennettu samalle menetelmälle: systemaattinen katsaus, avoin luokitus ja käytännön työntekijöille suunnattu tiivistelmä, jota ei tarvitse metodologin lukea.

Parhaat käytännöt

1. Pyydä synteesiä ennen yksittäistä tutkimusta. Kun silmiinpistävä tulos saapuu pöydällesi, kysy ensin, onko kyseiselle interventiolle jo systemaattinen katsaus tai mikä toimii -luokitus, ei sitä, näyttääkö tutkimus yksinään vakuuttavalta.
2. Lue taustalla oleva katsaus työkalupakkiluokituksen rinnalla, ei sen sijaan. Yksirivinen luokitus tai lukkokuvake tiivistää harkinnan; se ei korvaa sen ymmärtämistä, mihin näyttöön se nojaa ja kuinka suoraan se soveltuu kontekstiisi.
3. Erota näytön laatu suosituksesi vahvuudesta eksplisiittisesti. Lainaa GRADE-logiikkaa epävirallisestikin: ilmaise, kuinka varmaa näyttö on, ja sitten erikseen, kuinka vahvasti tuo varmuus yhdistettynä panoksiin ja kustannuksiin oikeuttaa toimimaan nyt.
4. Nimeä, kohtaatko ”ei vielä näyttöä” vai ”näyttöä vaikutuksen puuttumisesta” ennen päätöstä. Kirjoita tämä ero jokaiseen näyttöraporttiin, koska nämä kaksi tilannetta oikeuttavat lähes vastakkaiset vastaukset – varovainen pilotointi versus lopettaminen tai uudelleensuunnittelu.
5. Tarkista katsauksen kontekstin ja omasi vastaavuus ennen kuin oletat vaikutuksen siirtyvän. Muualla tehdyistä tutkimuksista yhdistetty vaikutuskoko on keskiarvo, ei lupaus; kysy, mikä alun perin moderoi vaikutusta ja ovatko nuo moderaattorit läsnä täällä.
6. Tilaa nopea näyttöarvio, kun täysi systemaattinen katsaus ei mahdu aikatauluusi. Jäsennelty, aikarajattu katsaus olemassa olevaan kirjallisuuteen – päiviä tai viikkoja, ei kuukausia – on legitiimi välitie uuden primääritutkimuksen ja katsauksen puuttumisen välillä.
7. Julkaise omat arviointisi tuloksesta riippumatta. Nolla- ja negatiiviset löydökset ovat yhtä arvokkaita seuraavalle synteesille kuin positiiviset; niiden pidättäminen pahentaa julkaisuharhaa, joka heikentää jokaista tulevaa katsausta alallasi.
8. Rakenna pysyvä suhde alasi mikä toimii -keskukseen tai tietovarastoon ennen kuin tarvitset sellaista. Synteesielimen työkalupakin kylmähaku ensimmäistä kertaa elävän kriisin aikana on paljon hitaampaa kuin sen tunteminen jo ennalta, mitä se kattaa ja ketä kysyä aukosta.
9. Aseta näyttökynnyksesi ennen kuin tulokset saapuvat, ei sen jälkeen. Sovi etukäteen, minkä tasoinen näyttö oikeuttaisi laajentamisen, lisäpilotoinnin tai lopettamisen, vähentääksesi kiusausta tulkita epäselviä löydöksiä uudelleen jo tehtyyn päätökseen sopiviksi.
10. Rajaa ajallisesti haku tutkimukselle, joka poistaa kaiken epäilyn. Täydellisen, yksiselitteisen näyttöpohjan odottaminen on itsessään päätös, yleensä jatkaa sitä, mitä jo teet; aseta määräaika, joka kunnioittaa viivytyksen hintaa yhtä lailla kuin heikkoon näyttöön toimimisen hintaa.
11. Käsittele synteesiä arvolupauksen syötteenä, ei sen korvikkeena. Parhaiten tuettu interventio ei ole automaattisesti oikea valinta, kun kustannukset, jakovaikutukset ja legitimiteetti punnitaan sen rinnalla (katso Aihe 2.1 — Julkisen arvon tuloskortti ja vaikuttavuuskehykset).
12. Dokumentoi, mitä näyttöä harkitsit ja miksi painotit sitä niin kuin painotit. Kirjallinen kirjaus tarkastelluista tutkimuksista ja lopullisen harkinnan perusteluista suojelee sekä päätöksen legitimiteettiä että seuraavan arvioijan kykyä oppia siitä.

Kysymyksiä keskusteltavaksi tiimissäsi

Milloin viimeksi muutimme elävää päätöstä, koska systemaattinen katsaus tai mikä toimii -luokitus oli ristiriidassa sen kanssa, mitä olimme jo suunnitelleet tekevämme? Jos rehellinen vastaus on ”emme koskaan”, siitä kannattaa istua hetki, koska se viittaa siihen, että näyttökatsaus toimii mahdollisesti vahvistusharjoituksena eikä aitona tarkistuksena. Keskustelkaa viimeaikaisesta päätöksestä, jossa näyttöpohja oli sekava, ja käykää läpi, muokkasiko se todella valintaa vai kerättiinkö se pääosin tukemaan ennalta tehtyä johtopäätöstä. Pohtikaa, mikä pitäisi muuttaa siinä, miten ja milloin näyttö saavuttaa päätöksentekijät, jotta sillä olisi todellista vaikutusta symbolisen painon sijaan.

Käsittelemmekö missään ”ei näyttöä vaikutuksesta” ikään kuin se olisi ”näyttöä vaikutuksen puuttumisesta”, tai päinvastoin? Käy läpi nykyinen ohjelmasalkkusi ja tunnista mikä tahansa ohjelma, jonka olet hiljaa asettanut matalammalle prioriteetille, koska ”näyttöä ei ole”, ja tarkista, tarkoittaako se aidosti testaamatonta vai aidosti kumottua. Tee sama toiseen suuntaan: mikä tahansa ohjelma, jota rahoitat edelleen, koska ”kukaan ei ole osoittanut, ettei se toimi”, kun todellisuudessa kukaan ei ole katsonut. Keskustelkaa siitä, mitä kahden tai kolmen seurauksellisimman esimerkin korjaaminen vaatisi ja kenen pitäisi omistaa tuo korjaus.

Jos päätös tarvitsisi näyttöä perjantaihin mennessä, onko meillä todella nopea näyttöarviointiprosessi, vai improvisoisimmeko sellaisen paineessa? Aikapaine ei ole hypoteettista; se on normaali tila, jossa useimmat todelliset näyttöön perustuvat päätökset tehdään. Keskustelkaa siitä, onko organisaatiollanne pysyvä menetelmä – nimetty tiimi, mallipohja, lyhyt luettelo mikä toimii -keskuksista tarkistettavaksi ensin – vai alkaako jokainen kiireellinen pyyntö tyhjältä sivulta. Jos jälkimmäinen, keskustelkaa siitä, miltä minimaalinen toimiva nopean arvioinnin prosessi näyttäisi ja kuka sen omistaisi.

Kenen näyttöhierarkiaa todella käytämme, ja sopiiko se tämän päätöksen panoksiin ja peruutettavuuteen? Eri alat soveltavat näyttöstandardejaan eri tavoin, eikä peruuttamattomille, suuripanoksisille päätöksille kalibroitu hierarkia ole aina oikea lattia halvalle, peruutettavalle, helposti seurattavalle pilotille. Keskustelkaa siitä, soveltaako organisaationne yhtä näyttöstandardia yhtenäisesti panoksista riippumatta, ja suojaako se teitä huonoilta päätöksiltä vai hidastaako se vain hyviä. Sopikaa tiiminä, mikä standardi pitäisi vaatia asialistanne kolmelle seuraavalle päätökselle, ennen kuin tiedätte, mitä näyttö sanoo.

Mitä olemme konkreettisesti tehneet estääksemme omia arviointejamme katoamasta arkistolaatikkoon? Jokainen julkaisematon nollatulos, jota organisaatiosi säilyttää, on aukko, jonka jonkun toisen organisaation on löydettävä uudelleen kantapään kautta. Keskustelkaa ennätyksestänne rehellisesti: kuinka monta viimeisestä 10 arvioinnistanne jaettiin ulkoisesti, ja mitä tapahtui niille, joita ei jaettu. Sopikaa konkreettisesta, resursoidusta sitoumuksesta – julkaisupolitiikka, jaettu rekisteri – yleisen pyrkimyksen sijaan olla läpinäkyvämpi.

Käytämmekö ilmausta ”tarvitsemme lisää näyttöä” rehellisesti vai tapana välttää päätös, jota emme halua tehdä? Tämä on tämän aiheen epämukavin kysymys, ja se ansaitsee tulla esitetyksi suoraan. Tunnista tietty päätös, joka on tällä hetkellä jumissa näyttöperustein, ja keskustelkaa avoimesti siitä, mikä todella muuttaisi mielenne, ja saapuuko näyttö, jota odotatte, realistisesti ajoissa. Jos ei, keskustelkaa siitä, miltä rehellinen päätös aidon epävarmuuden alla näyttäisi jatkuvan odottamisen sijaan, ja kenellä on valta tehdä se.

Käytännössä: esimerkki julkisesta arvosta

Alueellinen työvoimatoimisto, osa työmarkkinaohjelmista vastaavaa kansallista valtionhallinnon osastoa, oli paineen alla päättää yhden budjettikierroksen aikana, laajentaako työharjoitteluohjelman pilotti kolmesta piiristä koko alueelle. Pilotti yhdisti tuetut työpaikat ja jäsennellyn mentoroinnin, ja toimiston oma satunnaistettu koe kolmessa pilottipiirissä löysi vaatimattoman mutta tilastollisesti merkitsevän kasvun pysyvässä työllisyydessä 12 kuukauden kohdalla. Kilpaileva näyttölähde mutkisti kuvaa: edellisenä vuonna julkaistu systemaattinen katsaus, joka yhdisti yhdeksän samanlaista ohjelmaa useissa maissa, löysi lähes nollan keskimääräisen vaikutuksen, laajalla vaihtelulla tutkimusten välillä eikä selkeää mallia, joka selittäisi, mitkä ohjelmat toimivat.

Toimiston näyttöyksiköllä oli kuusi viikkoa ennen budjettiesityksen määräaikaa sovittaa kaksi löydöstä yhteen. Nuoren analyytikon ensimmäinen vaisto oli käsitellä yhdistettyä katsausta arvovaltaisempana pelkästään siksi, että se yhdisti enemmän tutkimuksia, ja suositella pilotin lopettamista. Yksikön johtava näyttöneuvoja vastusti: lähes nolla yhdistetty keskiarvo aidosti erilaisten ohjelmien yli ei ollut vahva näyttö siitä, että tämä nimenomainen, hyvin toteutettu paikallinen ohjelma epäonnistuisi – se oli näyttöä siitä, että työharjoitteluohjelmat yleensä ovat laadultaan ja sopivuudeltaan heterogeenisiä, mikä oli jo tiedossa. Katsauksessa raportoitu korkea heterogeenisyys oli itsessään tärkeämpi löydös kuin yhdistetty keskiarvo.

Neuvoja ehdotti välitietä binäärisen valinnan sijaan. Hän suositteli vaiheistettua laajennusta puoleen alueesta, laajennuspiirit satunnaisesti valittuina niin, että käyttöönotto itse tuotti lisää näyttöä eikä vain kuluttanut oletusta vastaan (katso Aihe 2.4 — Julkisen sektorin ekonometria ja ohjelma-arviointi siitä, miten vaiheistettu käyttöönotto voidaan suunnitella lisäarvioinniksi). Hän suositteli myös alkuperäisen kokeen julkaisemista kokonaisuudessaan, menetelmät ja raakadata mukaan lukien, jotta se voitaisiin ottaa mukaan seuraavaan systemaattiseen katsaukseen eikä jäädä sisäiseen raporttiin, jota kukaan viraston ulkopuolinen ei koskaan näkisi.

Osaston johto hyväksyi vaiheistetun lähestymistavan, kehystettynä eksplisiittisesti hankeperustelussa (katso Aihe 2.5 — Hankeperustelut ja rahalle vastine) päätöksenä, joka tehdään kohtalaisen varmuuden näytön alla ja sisäänrakennetulla mekanismilla epävarmuuden ratkaisemiseksi 18 kuukauden sisällä, ei päätöksenä, joka tehtiin, koska näyttö oli ratkaiseva. 18 kuukauden jälkeen laajennuspiirit osoittivat alkuperäisen pilotin lähellä olevan vaikutuksen, ja osasto laajensi edelleen vahvemmalla näyttöpohjalla kuin kumpikaan lähde oli yksin tarjonnut – ja selkeällä paperijäljellä, joka osoitti, miksi se oli valinnut toimia odottamisen sijaan.

Tämä skenaario on havainnollistava ja kuvitteellinen; se ei kuvaa minkään todellisen osaston ohjelmaa tai arviointia.

Neljä sektorinäkökulmaa

Paikallishallinto

Paikallisviranomaisella on harvoin budjettia tai asiakaskuntaa tilata oma systemaattinen katsauksensa, joten sen käytännön taito on kansallisen ja kansainvälisen synteesinäytön kääntäminen tiettyyn paikalliseen kontekstiin todellisessa aikapaineessa – tarkistaen, muistuttaako työkalupakissa luokitellun intervention näyttöpohja omaa väestöä, palvelujärjestelmää ja rahoitustasoa, ennen kuin oletetaan luokitellun vaikutuksen siirtyvän. Paikalliset johtajat ovat myös lähimpänä molempien tämän aiheen varoittamien virheiden hintaa: toimiminen intervention perusteella, jonka synteesi on jo osoittanut toimimattomaksi, ja aidosti lupaavan mutta vajaasti arvioidun paikallisen innovaation hylkääminen, koska mikään mikä toimii -keskus ei ole vielä luokitellut sitä.

Valtionhallinto

Valtionhallinto on paikka, jossa useimmat mikä toimii -keskukset ja muodollinen näyttöhierarkiaohjeistus sijaitsevat, antaen kansallisille osastoille läheisyyden synteesiinfrastruktuuriin mutta myös suurimman riskin kohdella näyttöhierarkiaa byrokraattisena porttina päätöstä tukevan välineen sijaan. Tyypillinen kansallinen tehtävä on tuon infrastruktuurin tilaaminen ja ylläpito – tietovaraston rahoittaminen, sen näyttöstandardien asettaminen ja sen varmistaminen, että sen luokitukset todella saavuttavat virkamiehet, jotka kirjoittavat hankeperusteluja (katso Aihe 2.5 — Hankeperustelut ja rahalle vastine), eivätkä ole hyvämaineinen verkkosivu, jota politiikkatiimit harvoin konsultoivat määräaikapaineen alla.

Kolmas sektori ja voittoa tavoittelematon toiminta

Voittoa tavoittelemattomilta organisaatioilta ja hyväntekeväisyysjärjestöiltä puuttuu tyypillisesti resursseja suorittaa tarkkoja arviointeja mittakaavassa, mikä tekee niistä vahvasti riippuvaisia ulkoisista synteesielimistä ja yhä enemmän rahoittajista, jotka vaativat vastaavuutta luokiteltuun näyttötasoon avustusehtona. Tämä luo erityisen riskin: taloudellisen paineen alaiset organisaatiot voivat joutua kiusaukseen liioitella, kuinka hyvin niiden ohjelma kartoittuu suotuisaan luokitukseen – näytön pesun muoto – tai vastaavasti pienet mutta aidosti tehokkaat paikalliset hyväntekeväisyysjärjestöt voidaan ahdistaa ulos rahoituksesta, koska ne eivät ole koskaan olleet tarpeeksi suuria tuottamaan näyttöä, jonka kansallinen tietovarasto luokittelee korkealle (katso Aihe 3.8 — Kolmannen sektorin ja voittoa tavoittelemattoman toiminnan johtaminen tämän paineen taustalla olevista rahoitusrakenteista).

Monenkeskinen ja kansainvälinen

Monenkeskiset ja kansainväliset elimet kohtaavat yleistettävyysongelman sen terävimmässä muodossa: yhden maan terveydenhuoltojärjestelmässä, maataloussektorilla tai työmarkkinoilla todistettu interventio ehdotetaan rutiininomaisesti hyvin erilaiseen taloudelliseen ja institutionaaliseen kontekstiin, ja synteesikirjallisuus on parempi liputtamaan tämän tukemattoman siirron jälkikäteen kuin ennen sitä. Tutkimusverkostot, jotka on rakennettu sulkemaan tämä aukko, kuten Abdul Latif Jameel Poverty Action Lab, ovat työntäneet kehityspolitiikkaa kohti kontekstispesifistä replikaatiota yhden maan konseptitodistuksen sijaan, mutta jännite maailmanlaajuisesti vertailukelpoisen näytön ja kontekstista riippuvien vaikutusten välillä on edelleen synteesin määräävä piirre tässä mittakaavassa.

Yleisiä epäonnistumistapoja

Näyttöhierarkia tekosyynä toimimattomuudelle. Tiimi, joka kohtaa vaikean, kiistanalaisen päätöksen, vetoaa ”riittämättömään näyttöön” tai ”ei vielä satunnaistettua koetta” syynä lykätä loputtomasti, kun viiveen todellinen ajuri on poliittinen epämukavuus tai halu välttää vastuuta. Tämä maksaa organisaatiolle itse mahdollisuuden, ja se maksaa näyttöpohjalle todellisen testin, joka olisi voinut ratkaista epävarmuuden, jättäen seuraavan päätöksentekijän kohtaamaan täsmälleen saman aukon.

Näytön puuttumisen sekoittaminen puuttumisen näyttöön. Lupaava mutta testaamaton paikallinen innovaatio tapetaan ikään kuin sitä olisi kokeiltu ja se olisi epäonnistunut, kun taas toistuvasti kumottua kansallista ohjelmaa rahoitetaan edelleen, koska kukaan ei ole kehystänyt näyttöä negatiivisena löydöksenä aukon sijaan. Molemmat virheet ovat kalliita: toinen sulkee pois lupaavia vaihtoehtoja, toinen suojelee ohjelmia, jotka selkeäsilmäinen synteesi olisi poistanut vuosia aiemmin.

Työkalupakkiluokituksen käsittely koko analyysinä. Päätöksentekijä lukee yksittäisen lukkokuvakkeen tai tähtiluokituksen ja pysähtyy siihen, tarkistamatta, vastaavatko taustalla olevat tutkimukset hänen kontekstiaan, väestöään tai mittakaavaansa. Luokitukset on tarkoituksella tiivistetty saavutettavuuden vuoksi; käytettynä ilman taustalla olevaa katsausta ne voivat tuottaa varmoja päätöksiä, jotka on rakennettu ohuemmalle näyttöpohjalle kuin luokituksen yksinkertaisuus antaa ymmärtää.

Heterogeenisyyden sivuuttaminen otsikkona yhdistetyn tuloksen hyväksi. Meta-analyysin yksittäinen keskimääräinen vaikutuskoko siteerataan tiedotteessa, kun sen tuottaneiden tutkimusten laaja vaihtelu – usein informatiivisempi löydös – pudotetaan. Tämä tuottaa valheellista tarkkuutta: päätöksentekijä toimii ikään kuin jokainen toteutus käyttäytyisi samalla tavalla, kun toteutuksen laatu ja konteksti tekevät yhtä paljon työtä kuin interventio itse.

Julkaisuharhan antaminen hiljaa muokata näyttöpohjaa. Organisaatio lukee vain julkaistua akateemista kirjallisuutta arvioidessaan interventiota, ohittaen julkaisemattomat negatiiviset kokeet ja sisäiset arvioinnit, jotka eivät koskaan päätyneet lehteen. Tuloksena oleva kuva siitä, ”mikä toimii”, vinoutuu järjestelmällisesti positiiviseksi, ja sen varaan rakennetut päätökset perivät vinouman kenenkään valitsematta sitä tarkoituksella.

Kypsyysmalli

Tarkistuslista

• Systemaattinen katsaus tai mikä toimii -luokitus tarkistettu ennen yksittäiseen tutkimukseen nojaamista.
• Taustalla oleva näyttökatsaus luettu, ei vain tiivistelmäluokitus tai kuvake.
• Näytön laatu ja suosituksen vahvuus ilmaistu kahtena erillisenä harkintana.
• ”Ei näyttöä vaikutuksesta” ja ”näyttöä vaikutuksen puuttumisesta” erotettu eksplisiittisesti kirjallisessa raportissa.
• Katsausten tutkimusten ja käsillä olevan päätöksen kontekstin vastaavuus tarkistettu (väestö, mittakaava, palvelujärjestelmä).
• Nopean näyttöarvioinnin prosessi saatavilla ja käytössä, kun täysi katsaus ei mahdu aikatauluun.
• Päätöksen näyttökynnys sovittu ennen tulosten tarkastelua.
• Suunnitelma tämän organisaation oman arvioinnin julkaisemiseksi, tuloksesta riippumatta.
• Pysyvä suhde asiaankuuluvaan mikä toimii -keskukseen tai tietovarastoon perustettu, ei rakennettu tyhjästä paineen alla.
• Lopullisen harkinnan perustelut dokumentoitu, mukaan lukien harkittu ja hylätty näyttö.
• Päätös tarkistettu arvolupausta ja legitimiteettinäkökohtia vasten, ei pelkästään näytön vahvuuden perusteella.

Keskeiset lähteet

• The Cochrane Handbook for Systematic Reviews of Interventions, Cochranen ylläpitämä, perustavanlaatuiseksi metodologiaksi, johon systemaattisen katsauksen käytäntö sektoreiden yli rakentuu.
• The Campbell Collaborationin ohjeistus systemaattisista katsauksista ja näytön synteesistä sosiaali-, käyttäytymis- ja rikosoikeudellista politiikkaa varten, tuon metodologian suoraan laajennukseksi terveyden ulkopuolisille politiikka-aloille.
• The What Works Clearinghousen Standards Handbook (Institute of Education Sciences, Yhdysvallat), esimerkiksi siitä, miten kansallinen tietovarasto asettaa eksplisiittiset tutkimusasetelmastandardit ja arvioi näyttöä niitä vasten.
• The Education Endowment Foundationin Teaching and Learning Toolkit, käytännönläheiseksi, ammattilaisille suunnatuksi esimerkiksi yhdistetyn näytön kääntämisestä vertailukelpoisiksi kustannus-, vaikutus- ja näyttövahvuusluokituksiksi.
• Taloudellisen yhteistyön ja kehityksen järjestön (OECD) työ näyttöä tiedottavan politiikanteon kapasiteetin rakentamisesta, maiden välisenä kuvauksena siitä, miten hallitukset organisoivat näytön käytön kysyntä- ja tarjontapuolet.
• The College of Policingin What Works Center for Crime Reduction ja sen rikollisuuden vähentämisen työkalupakki, lisäesimerkiksi tietovarastomallin soveltamisesta terveyden ja koulutuksen ulkopuolella.

Viitteet

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction