Samantekt sönnunargagna og hvað virkar

Hvers vegna þetta skiptir máli fyrir almannavirði

Ráðherra, borgarstjóri eða áætlunarstjóri góðgerðarfélags hefur sjaldan þann munað að eiga eina, hreina rannsókn til að bregðast við. Oftar liggja á borðinu þrjú möt sem stangast á, yfirlitsgrein sem vitnar í þau valkvætt, þrýstihópur sem veifar einu tilrauninni sem hentar málstað hans og frestur ákveðinn af fjárlagalotu frekar en hraða rannsókna. Sönnunargagnasamantekt er til því einstakar rannsóknir eru hávaðasamar: úrtök eru lítil, samhengi er ólíkt og hver einstök niðurstaða gæti verið tilviljun, staðbundin passun sem ferðast ekki eða raunveruleg áhrif. Spurningin sem leiðtogi þarf svarað er sjaldan „hvað fann þessi eina rannsókn?“ heldur „yfir allt sem trúverðugt hefur verið reynt, hverju ætti ég að búast við ef ég geri þetta hér, núna?“

Kenningin um almannavirði gerir þetta að meira en tæknilegu formsatriði. Áætlun fjármögnuð með sameiginlegum auðlindum hvílir á virðistillögu sem borgarar, í heild, myndu heimila (sjá Viðfangsefni 2.1 — Stigatafla almannavirðis og árangursrammar um hvernig sú tillaga er sett fram og rakin). Tillaga byggð á einni valkvætt valinni rannsókn, eða á engri sönnunargagnayfirferð yfirleitt, er veikari krafa til lögmætis en tillaga byggð á vandaðri samantekt – og veikari grunnur fyrir rekstrargetu, því starfsfólk og fjárlög eru skuldbundin á styrk hennar. Hreyfingin „hvað virkar“ – netið óháðra aðila sem meta gæði og styrk sönnunargagna í stefnu – spratt beint úr þessu vandamáli: of margar opinberar ákvarðanir voru teknar á hæstu rannsókninni frekar en þeirri best studdu.

Erfiðara vandamálið sem þetta viðfangsefni fjallar um er hvað leiðtogi gerir þegar samantektin sjálf er ófræðandi, umdeild eða einfaldlega ekki tiltæk í tæka tíð. Stigveldi sönnunargagna voru smíðuð til að koma reglu á óreiðukenndan sönnunargrunn, en notuð af kæruleysi verður „sönnunargögnin eru ekki nógu sterk enn“ varanleg afsökun til að forðast ákvörðun sem veruleikinn mun í raun ekki bíða eftir. Leiðtogi sem skilur hvernig samantekt virkar, og hvar mörk hennar eru, getur greint raunverulega óvissu sem verðskuldar varúð frá stigveldi sem er notað sem skjól fyrir aðgerðaleysi.

Þetta viðfangsefni er náttúrulegt framhald orsakaályktunaraðferðanna sem samantekt sækir í (sjá Viðfangsefni 2.4 — Hagmælingar hins opinbera og mat á áætlunum) og situr við hlið, frekar en í stað, árangursrammanna sem samantekt þjónar að lokum (sjá Viðfangsefni 2.1 — Stigatafla almannavirðis og árangursrammar). Leiðtogi sem getur lesið kerfisbundna yfirlitsgrein, skilið einkunn „hvað virkar“ og hugsað skýrt um fjarvist sönnunargagna á móti neikvæðum sönnunargögnum tekur betri ákvarðanir í rauntíma en sá sem getur aðeins krafist „meiri sönnunargagna“ eða samþykkt fyrstu rannsóknina sem honum er rétt.

Lykilhugtök

Kerfisbundin yfirlitsgrein (systematic review) er samantekt sönnunargagna um skilgreinda spurningu sem notar skýra, fyrirfram tilgreinda, endurtakanlega aðferð til að finna, meta og sameina rannsóknir, andstætt frásagnaryfirliti sem velur heimildir að geðþótta höfundar (sjá Systematic review). Skilgreinandi einkenni hennar eru skráð verklýsing skrifuð áður en leit hefst, leitarstefna sem nær til óbirtra rita og gráa bókmenntaefnis, skýr þátttökuskilyrði og staðlað aðferð við að meta hlutdrægnihættu hverrar rannsóknar. Þetta er það sem aðgreinir kerfisbundna yfirlitsgrein frá vel skrifaðri ritgerð með neðanmálsgreinum: annað teymi sem fylgir sömu verklýsingu myndi finna í stórum dráttum sömu sönnunargögn og komast að í stórum dráttum svipaðri niðurstöðu.

Safngreining (meta-analysis) er tölfræðitæknin sem oftast er pöruð við kerfisbundna yfirlitsgrein: hún sameinar megindlegar áhrifastærðir úr mörgum óháðum rannsóknum í eitt nákvæmara mat, venjulega með því að vigta hverja rannsókn eftir úrtaksstærð og gæðum (sjá Meta-analysis). Safngreining er aðeins jafn góð og rannsóknirnar sem næra hana; að sameina fimm veikar rannsóknir framleiðir nákvæmara mat á mögulega skekktum áhrifum, ekki áreiðanlegu. Greinendur skýra því frá misleitni (heterogeneity) – hversu mikið niðurstöður rannsókna sveiflast umfram það sem tilviljun spáir – því mikil misleitni gefur til kynna að rannsóknirnar voru ekki í raun að prófa það sama, og ein sameinuð tala getur villt um fyrir.

Útgáfuskekkja (publication bias) er tilhneigingin til að rannsóknir með jákvæðar, marktækar niðurstöður séu birtar á meðan núll- eða neikvæðar niðurstöður sitja í skjalaskúffu rannsakandans, sem lætur inngrip líta skilvirkara út í fræðiritum en það er í raun (sjá Publication bias). Ströng yfirlitsgrein leiðréttir fyrir þessu með því að leita í skrám yfir tilraunir og óbirt möt, ekki aðeins tímaritsgreinum. Leiðtogi sem les samantekt byggða aðeins á birtum greinum ætti að spyrja hvað yfirlitshöfundar gerðu til að finna rannsóknirnar sem komust aldrei á prent.

Stigveldi sönnunargagna raðar rannsóknarhönnunum eftir því hversu vel þær stýra hrærivillu og hlutdrægni, venjulega með safngreiningum slembiraðaðra tilrauna efst, einstökum slembiröðuðum samanburðarrannsóknum næst, síðan hálftilrauna- og athugunarhönnunum og sérfræðiáliti neðst (sjá Hierarchy of evidence). Slembiröðuð samanburðarrannsókn úthlutar þátttakendum í inngrips- eða samanburðarhóp af tilviljun, öflugasta tækið til að einangra orsakaáhrif frá öllu öðru sem gerist í kring (sjá Randomized controlled trial; sjá Viðfangsefni 2.4 — Hagmælingar hins opinbera og mat á áætlunum um hvernig slíkar hannanir eru smíðaðar og greindar). Stigveldið er raunverulega gagnleg þumalputtaregla, en þumalputtaregla, ekki lög: vel framkvæmd athugunarrannsókn á sjaldgæfri eða hægfara stefnu getur raðast ofar illa framkvæmdri, vanstyrktri tilraun, og leiðtogi sem meðhöndlar það sem algilda röðun mun stundum hafna meira viðeigandi sönnunargögnum fyrir virðulegri hönnun.

GRADE-aðferðin – Grading of Recommendations, Assessment, Development and Evaluations – formgerir aðskilinn, annan dóm sem stigveldið eitt gerir ekki: hún metur bæði vissu sönnunargagnanna og, óháð því, styrk tilmæla um að bregðast við þeim, því sterk sönnunargögn réttlæta ekki alltaf sterk tilmæli, og veik sönnunargögn réttlæta ekki alltaf aðgerðaleysi gegn alvarlegum, brýnum skaða (sjá GRADE approach). Þessi aðgreining er gagnlegasta einstaka hugmyndin í þessu viðfangsefni fyrir ákvörðunaraðila undir tímapressu: hún leyfir leiðtoga að segja, heiðarlega, „sönnunargögnin hér eru í meðallagi, og miðað við hagsmuni og kostnað við að bíða mæli ég með að við höldum áfram“ – varnarhæfur, skjalfestur dómur, frekar en fals tvískiptingu milli þess að bíða eftir vissu og að hunsa sönnunargögn alfarið.

Aðgreining sem kemur stöðugt upp í lifandi stefnuumræðu er milli fjarveru sönnunargagna og sönnunar fjarveru: skortur á rannsóknum á áhrifum inngrips („engin sönnunargögn um áhrif“) er ekki sama fullyrðingin og vel styrkt safn rannsókna sem jákvætt fann engin áhrif („sönnunargögn um engin áhrif“) (sjá Evidence of absence). Ný staðbundin áætlun án mata hefur einfaldlega ekki verið prófuð; vel rannsökuð landsáætlun sem ítrekað reynist ekki hreyfa neinn árangur hefur verið prófuð og sýnt að hún virkar ekki. Að rugla þessu tvennu saman er ein afdrifaríkasta villa sem opinber leiðtogi getur gert: að drepa óprófað en efnilegt tilraunaverkefni eins og það hefði mistekist, eða halda áfram að fjármagna ítrekað afsannaða áætlun eins og enginn hefði skoðað nógu nákvæmlega enn.

Sönnunargrunduð stefna er víðari hreyfingin og viðmiðunarfullyrðingin að opinberar ákvarðanir ættu að byggja á ströngum staðfestum sönnunargögnum frekar en hugmyndafræði, sögusögnum eða eðlisávísun einni (sjá Evidence-based policy). Gagnrýnendur hennar, og í auknum mæli hennar eigin talsmenn, kjósa „sönnunargagnaupplýsta stefnu“, sem viðurkennir að sönnunargögn eru eitt inntak meðal nokkurra – gildi, umboð, kostnaður og lögmætisspurningarnar sem þessi bók lítur á sem grundvallaratriði – frekar en vélræn ákvörðunarregla sem sönnunargögn ein geta útkljáð.

Úr þessari hreyfingu spratt mynstur „hvað virkar“-miðstöðvarinnar eða upplýsingabankans: óháður aðili sem kerfisbundið yfirfer sönnunargögn fyrir inngrip á stefnusviði og birtir aðgengilegar, sambærilegar einkunnir, frekar en að láta hvern staðbundinn þjónustukaupanda keyra eigin yfirferð. Cochrane var brautryðjandi líkansins í heilbrigðisþjónustu frá 1993, og heldur við lifandi handbók um kerfisbundna yfirlitsaðferðafræði notuð langt út fyrir læknisfræði (sjá Cochrane (organisation)). Campbell Collaboration útvíkkaði sömu aðferðafræði til félagslegrar stefnu, refsiréttar, menntunar og alþjóðlegrar þróunar (sjá Campbell Collaboration). Landsbundnir upplýsingabankar fylgdu í kjölfarið: What Works Clearinghouse í Bandaríkjunum, rekið af Institute of Education Sciences þess frá 2002, yfirfer menntarannsóknir gegn skýrum hönnunarstöðlum (sjá What Works Clearinghouse); Education Endowment Foundation á Englandi gefur út mikið notaða Teaching and Learning Toolkit sem metur kennslustofuinngrip eftir kostnaði, styrk sönnunargagna og dæmigerðum áhrifum í einu sambærilegu sniði (sjá Education Endowment Foundation). Sambærilegar miðstöðvar eru til fyrir afbrotavarnir, snemmtækt inngrip, heimilisleysi og farsæla öldrun – lítil alþjóðleg fjölskylda byggð á sömu aðferð: kerfisbundin yfirferð, gagnsæ einkunnagjöf og samantekt fyrir iðkendur sem þarf engan aðferðafræðing til að lesa.

Bestu starfsvenjur

1. Biddu um samantektina áður en einstöku rannsóknina. Þegar áberandi niðurstaða lendir á borðinu þínu skaltu spyrja fyrst hvort kerfisbundin yfirlitsgrein eða „hvað virkar“-einkunn sé þegar til fyrir það inngrip, ekki hvort rannsóknin líti sannfærandi út ein og sér.
2. Lestu undirliggjandi yfirlitsgreinina samhliða hverri verkfærakistueinkunn, ekki í stað hennar. Einnar línu einkunn eða lástákn dregur saman dóm; það kemur ekki í stað þess að skilja á hvaða sönnunargögnum hún hvílir og hversu beint hún á við í þínu samhengi.
3. Aðgreindu gæði sönnunargagnanna frá styrk tilmæla þinna, skýrt. Fáðu að láni GRADE-rökfræðina jafnvel óformlega: segðu hversu viss sönnunargögnin eru, segðu síðan sérstaklega hversu sterkt sú vissa, ásamt hagsmunum og kostnaði, réttlætir að bregðast við núna.
4. Nefndu hvort þú stendur frammi fyrir „engin sönnunargögn enn“ eða „sönnunargögnum um engin áhrif“ áður en þú ákveður. Settu þessa aðgreiningu skriflega í hverja sönnunargagnaskýrslu, því aðstæðurnar tvær kalla á nær andstæð viðbrögð – varfærna tilraun á móti því að stöðva eða endurhanna.
5. Athugaðu samsvörun milli samhengis yfirlitsgreinarinnar og þíns áður en þú gerir ráð fyrir að áhrifin flytjist. Sameinuð áhrifastærð úr rannsóknum framkvæmdum annars staðar er meðaltal, ekki loforð; spyrðu hvað milliliðaði áhrifin upphaflega og hvort þeir milliliðir séu til staðar hér.
6. Pantaðu hraðmat á sönnunargögnum þegar full kerfisbundin yfirlitsgrein passar ekki við tímalínu þína. Skipulögð, tímabundin yfirferð fyrirliggjandi bókmennta – dagar eða vikur, ekki mánuðir – er lögmæt millileið milli nýrra frumrannsókna og engrar yfirferðar.
7. Birtu eigin möt óháð niðurstöðunni. Núll- og neikvæðar niðurstöður eru jafn verðmætar næstu samantekt og jákvæðar; að halda þeim eftir ýkir útgáfuskekkjuna sem grefur undan sérhverri framtíðaryfirferð á þínu sviði.
8. Byggðu fast samband við „hvað virkar“-miðstöð eða upplýsingabanka á þínu sviði áður en þú þarft á honum að halda. Að leita kalt í verkfærakistu samantektaraðila í fyrsta sinn í miðri kreppu er mun hægara en að vita þegar hvað hún nær yfir og hvern á að spyrja um bil.
9. Settu sönnunarþröskuld þinn áður en niðurstöður berast, ekki eftir. Komdu þér fyrirfram saman um hvaða stig sönnunargagna myndi réttlæta stækkun, frekari tilraun eða stöðvun, til að draga úr freistingunni að endurtúlka tvíræðar niðurstöður til að passa við ákvörðun sem þegar er tekin.
10. Tímasettu leitina að rannsókninni sem fjarlægir allan vafa. Að bíða eftir fullkomnum, ótvíræðum sönnunargrunni er sjálft ákvörðun, yfirleitt að halda áfram að gera það sem þú gerir nú þegar; settu frest sem virðir kostnað tafar jafnt og kostnað þess að bregðast við á veikum sönnunargögnum.
11. Líttu á samantekt sem inntak í virðistillöguna, ekki staðgengil hennar. Best studda inngripið er ekki sjálfkrafa rétta valið þegar kostnaður, dreifingaráhrif og lögmæti eru vegin samhliða því (sjá Viðfangsefni 2.1 — Stigatafla almannavirðis og árangursrammar).
12. Skjalfestu hvaða sönnunargögn þú íhugaðir, og hvers vegna þú vigtaðir þau eins og þú gerðir. Skrifleg skrá yfir rannsóknirnar sem yfirfarnar voru og röksemdafærslan að baki lokadómnum verndar bæði lögmæti ákvörðunarinnar og getu næsta yfirferðaraðila til að læra af henni.

Spurningar til að ræða með teyminu

Hvenær breyttum við síðast lifandi ákvörðun vegna þess að kerfisbundin yfirlitsgrein eða „hvað virkar“-einkunn stangaðist á við það sem við höfðum þegar ætlað að gera? Ef heiðarlega svarið er „aldrei“ er það þess virði að sitja með, því það bendir til að sönnunargagnayfirferð virki kannski sem staðfestingaræfing frekar en raunveruleg athugun. Ræðið nýlega ákvörðun þar sem sönnunargrunnurinn var blandaður og gangið í gegnum hvort hann mótaði valið í raun eða var safnað aðallega til að styðja niðurstöðu sem áður var komist að. Íhugið hvað þyrfti að breytast í því hvernig sönnunargögn ná til ákvörðunaraðila, og hvenær, til að þau hafi raunveruleg áhrif frekar en táknrænt vægi.

Erum við einhvers staðar að meðhöndla „engin sönnunargögn um áhrif“ eins og það væru „sönnunargögn um engin áhrif“, eða öfugt? Gangið í gegnum núverandi áætlanasafn ykkar og greinið hverja áætlun sem þið hafið hljóðlega sett aftar í forgang því „sönnunargögnin eru ekki til staðar“, og athugið hvort það þýði raunverulega óprófað eða raunverulega afsannað. Gerið slíkt hið sama í hina áttina: hverja áætlun sem þið haldið áfram að fjármagna því „enginn hefur sýnt að hún virki ekki“, þegar í raun enginn hefur skoðað. Ræðið hvað þyrfti til að leiðrétta tvö eða þrjú afdrifaríkustu dæmin, og hver ætti að eiga þá leiðréttingu.

Ef ákvörðun þyrfti sönnunargögn fyrir föstudag, höfum við í raun hraðmatsferli, eða myndum við spinna eitt undir þrýstingi? Tímaþrýstingur er ekki tilgáta; hann er venjulegt ástand sem flestar raunverulegar sönnunargrundaðar ákvarðanir eru teknar undir. Ræðið hvort skipulagsheild ykkar hefur fasta aðferð – nefnt teymi, sniðmát, stuttan lista yfir „hvað virkar“-miðstöðvar til að athuga fyrst – eða hvort sérhver brýn beiðni byrjar á auðu blaði. Ef hið síðara, ræðið hvernig lágmarks nothæft hraðmatsferli myndi líta út og hver ætti það.

Hvers stigveldi sönnunargagna erum við í raun að nota, og passar það við hagsmuni og afturkræfni þessarar ákvörðunar? Ólík svið beita sönnunarstöðlum sínum á ólíkan hátt, og stigveldi kvarðað fyrir óafturkræfar, mikilvægar ákvarðanir er ekki alltaf rétta viðmiðið fyrir ódýrt, afturkræft, auðvaktað tilraunaverkefni. Ræðið hvort skipulagsheild ykkar beitir einum sönnunarstaðli jafnt óháð hagsmunum, og hvort það verndar ykkur fyrir slæmum ákvörðunum eða hægir einfaldlega á góðum. Komið ykkur saman, sem teymi, um hvaða staðal skuli krefjast fyrir næstu þrjár ákvarðanir á dagskrá ykkar, áður en þið vitið hvað sönnunargögnin segja.

Hvað höfum við gert, áþreifanlega, til að koma í veg fyrir að eigin möt okkar hverfi í skjalaskúffu? Sérhver óbirt núlliniðurstaða sem skipulagsheild ykkar situr á er bil sem einhver önnur skipulagsheild þarf að enduruppgötva á erfiðu leiðinni. Ræðið feril ykkar heiðarlega: hversu mörg af síðustu 10 mötum ykkar voru deilt út á við, og hvað varð um þau sem voru það ekki. Komið ykkur saman um áþreifanlega, fjármagnaða skuldbindingu – útgáfustefnu, sameiginlega skrá – frekar en almenna þrá til að vera gagnsærri.

Erum við að nota frasann „við þurfum meiri sönnunargögn“ heiðarlega, eða sem leið til að forðast ákvörðun sem við viljum ekki taka? Þetta er óþægilegasta spurningin í þessu viðfangsefni, og hún verðskuldar að vera spurð beint. Greinið tiltekna ákvörðun sem nú er stöðvuð á sönnunargagnagrundvelli og ræðið, hreinskilnislega, hvað myndi í raun breyta ykkar skoðun, og hvort sönnunargögnin sem þið bíðið eftir munu raunhæft berast í tæka tíð. Ef ekki, ræðið hvernig heiðarleg ákvörðun við raunverulega óvissu myndi líta út í stað áframhaldandi biðar, og hver hefur vald til að taka hana.

Í reynd: dæmi um almannavirði

Svæðisbundin atvinnustofnun, hluti af landsráðuneyti ábyrgu fyrir vinnumarkaðsáætlunum, var undir þrýstingi að ákveða innan einnar fjárlagalotu hvort stækka skyldi starfsþjálfunartilraunaverkefni úr þremur umdæmum í allt svæðið. Tilraunin sameinaði niðurgreiddar vinnustaðsetningar og skipulagða leiðsögn, og eigin slembiraðað tilraun stofnunarinnar yfir umdæmin þrjú fann hóflega en tölfræðilega marktæka aukningu á varanlegri atvinnu eftir 12 mánuði. Keppandi sönnunargagnaheimild flækti myndina: kerfisbundin yfirlitsgrein birt árið áður, sem sameinaði níu svipaðar áætlanir yfir nokkur lönd, fann nær engin meðaláhrif, með mikilli breytileika milli rannsókna og engu skýru mynstri sem útskýrði hvaða áætlanir virkuðu.

Sönnunargagnaeining stofnunarinnar hafði sex vikur fyrir fjárlagaskilafrest til að samræma niðurstöðurnar tvær. Fyrsta eðlisávísun yngri greinanda var að líta á sameinuðu yfirlitsgreinina sem áreiðanlegri einfaldlega vegna þess að hún sameinaði fleiri rannsóknir, og mæla með að tilraunin yrði lögð niður. Aðalráðgjafi einingarinnar í sönnunargögnum andmælti: nær-núll sameinað meðaltal yfir raunverulega ólíkar áætlanir var ekki sterk sönnun þess að þessi tiltekna, vel framkvæmda staðbundna áætlun myndi mistakast – það var sönnun þess að starfsþjálfunaráætlanir almennt eru misleitar að gæðum og passun, sem þegar var vitað. Mikla misleitnin sem greint var frá í yfirlitsgreininni var sjálf mikilvægari niðurstaða en sameinaða meðaltalið.

Ráðgjafinn lagði til millileið frekar en tvíundarval. Hún mælti með áfangaskiptri stækkun til hálfs svæðisins, með stækkunarumdæmum valin af handahófi svo útfærslan sjálf framleiddi frekari sönnunargögn frekar en að eyða aðeins gegn forsendu (sjá Viðfangsefni 2.4 — Hagmælingar hins opinbera og mat á áætlunum um hvernig áfangaskipt útfærsla getur verið hönnuð sem frekara mat). Hún mælti líka með að birta upprunalegu tilraunina í heild, aðferðir og hrágögn meðtalin, svo næsta kerfisbundna yfirlitsgrein gæti tekið hana upp frekar en að hún sæti í innri skýrslu sem enginn utan stofnunarinnar myndi nokkru sinni sjá.

Forysta ráðuneytisins samþykkti áfangaskiptu nálgunina, sett fram skýrt í viðskiptarökunum (sjá Viðfangsefni 2.5 — Viðskiptarök og hagkvæm nýting fjármuna) sem ákvörðun tekin undir sönnunargögnum í meðalvissu með innbyggðum mekanisma til að leysa óvissuna innan 18 mánaða, ekki sem ákvörðun tekin því sönnunargögnin væru ótvíræð. Eftir 18 mánuði sýndu stækkunarumdæmin áhrif nálægt upprunalegu tilrauninni, og ráðuneytið stækkaði enn frekar með sterkari sönnunargrunn en nokkur heimildanna tveggja hafði boðið ein og sér – og skýra pappírsslóð sem sýndi hvers vegna það hafði valið að bregðast við frekar en bíða.

Þessi sviðsmynd er lýsandi og skálduð; hún lýsir ekki áætlun eða mati neins raunverulegs ráðuneytis.

Fjögur geirasjónarhorn

Sveitarfélög

Sveitarfélag hefur sjaldan fjárlög eða málafjölda til að panta eigin kerfisbundna yfirlitsgrein, svo hagnýta listin er að þýða landsbundin og alþjóðleg samantektargögn í tiltekið staðbundið samhengi undir raunverulegum tímaþrýstingi – að athuga hvort sönnunargrunnur inngrips sem er metið í verkfærakistu líkist eigin þýði, þjónustukerfi og fjármögnunarstigi áður en gert er ráð fyrir að metin áhrif flytjist. Staðbundnir leiðtogar eru líka næst kostnaði beggja villanna sem þetta viðfangsefni varar við: að bregðast við inngripi sem samantekt hefur þegar sýnt að virkar ekki, og að hafna raunverulega efnilegri en vanmetinni staðbundinni nýjung því engin „hvað virkar“-miðstöð hefur metið hana enn.

Ríkisvald

Ríkisvald er þar sem flestar „hvað virkar“-miðstöðvar og formlegar leiðbeiningar um stigveldi sönnunargagna sitja, sem gefur landsráðuneytum nálægð við samantektarinnviði en líka mestu berskjöldun fyrir því að meðhöndla stigveldi sönnunargagna sem skrifræðishlið frekar en ákvörðunarhjálp. Einkennandi landsverkefnið er að panta og viðhalda þeim innviðum – fjármagna upplýsingabanka, setja sönnunarstaðla hans og tryggja að einkunnir hans nái í raun til embættismanna sem skrifa viðskiptarök (sjá Viðfangsefni 2.5 — Viðskiptarök og hagkvæm nýting fjármuna), frekar en að vera vel metin vefsíða sem stefnuteymi leita sjaldan til undir tímapressu.

Félagageirinn og félagasamtök

Félagasamtök og góðgerðarfélög skortir yfirleitt auðlindir til að keyra ströng möt í stórum stíl, sem gerir þau mjög háð ytri samantektaraðilum og í auknum mæli fjármögnunaraðilum sem krefjast samræmis við metið sönnunarstig sem styrkskilyrði. Þetta skapar sérstaka áhættu: skipulagsheildir undir fjárhagslegum þrýstingi geta freistast til að ofmeta hversu vel áætlun þeirra fellur að hagstæðri einkunn – tegund sönnunargagnaþvotts – eða, öfugt, litlum en raunverulega árangursríkum staðbundnum góðgerðarfélögum getur verið þröngvað út úr fjármögnun því þau hafa aldrei verið nógu stór til að framleiða sönnunargögnin sem landsbundinn upplýsingabanki metur hátt (sjá Viðfangsefni 3.8 — Stjórnun félagageirans og félagasamtaka fyrir fjármögnunarbyggingarnar að baki þessum þrýstingi).

Fjölþjóðlegt og alþjóðlegt

Fjölþjóðlegar og alþjóðlegar stofnanir standa frammi fyrir alhæfingarvandanum í bráðustu mynd: inngrip sannað í heilbrigðiskerfi, landbúnaðargeira eða vinnumarkaði eins lands er reglulega lagt til fyrir mjög ólíkt efnahags- og stofnanasamhengi, og samantektarrit eru betri í að flagga þessum óstuddu yfirfærslum eftir á en fyrir. Rannsóknanet byggð til að loka þessu bili, svo sem Abdul Latif Jameel Poverty Action Lab, hafa ýtt þróunarstefnu í átt að samhengissértækri endurtekningu frekar en sönnun hugmyndar í einu landi, en spennan milli hnattrænt sambærilegra sönnunargagna og samhengisháðra áhrifa er áfram skilgreinandi einkenni samantektar á þessum skala.

Algeng mistök

Stigveldi sönnunargagna sem afsökun fyrir aðgerðaleysi. Teymi sem stendur frammi fyrir erfiðri, umdeildri ákvörðun vísar í „ófullnægjandi sönnunargögn“ eða „engin slembiröðuð rannsókn enn“ sem ástæðu til að fresta endalaust, þegar raunverulegur drifkraftur tafarinnar er pólitísk óþægindi eða löngun til að forðast ábyrgðarskyldu. Þetta kostar skipulagsheildina sjálft tækifærið, og það kostar sönnunargrunninn raunverulega prófun sem hefði getað leyst óvissuna, og skilur næsta ákvörðunaraðila eftir frammi fyrir nákvæmlega sama bili.

Að rugla fjarveru sönnunargagna saman við sönnun fjarveru. Efnilegt en óprófað staðbundið nýmæli er drepið eins og það hefði verið reynt og mistekist, á meðan ítrekað afsönnuð landsáætlun heldur áfram að vera fjármögnuð því enginn hefur sett sönnunargögnin fram sem neikvæða niðurstöðu frekar en bil. Báðar villur eru dýrar: önnur lokar á efnilega kosti, hin ver áætlanir sem raunsæ samantekt hefði lagt niður árum fyrr.

Að líta á verkfærakistueinkunn sem alla greininguna. Ákvörðunaraðili les eitt lástákn eða stjörnueinkunn og stoppar þar, án þess að athuga hvort undirliggjandi rannsóknir passi við samhengi hans, þýði eða umfang. Einkunnir eru vísvitandi þjappaðar fyrir aðgengi; notaðar án undirliggjandi yfirlitsgreinar geta þær framleitt öruggar ákvarðanir byggðar á þynnri sönnunargrunni en einfaldleiki einkunnarinnar gefur til kynna.

Að hunsa misleitni til hagsbóta fyrir aðalsameinuðu niðurstöðuna. Eina meðaláhrifastærð safngreiningar er vitnað í í kynningu á meðan breiði breytileikinn milli rannsóknanna sem framleiddu hana – oft upplýsandi niðurstaðan – er látinn falla niður. Þetta framleiðir falska nákvæmni: ákvörðunaraðili bregst við eins og sérhver útfærsla hegði sér á sama hátt, þegar gæði útfærslu og samhengi vinna jafn mikið verk og inngripið sjálft.

Að láta útgáfuskekkju hljóðlega móta sönnunargrunninn. Skipulagsheild les aðeins birt fræðirit þegar hún metur inngrip, og missir af óbirtum neikvæðum tilraunum og innri mötum sem komust aldrei í tímarit. Myndin af „hvað virkar“ sem af því leiðir skekkist kerfisbundið jákvætt, og ákvarðanir byggðar á henni erfa þá skekkju án þess að nokkur hafi valið hana af ásetningi.

Þroskalíkan

Gátlisti

• Kerfisbundin yfirlitsgrein eða „hvað virkar“-einkunn athuguð áður en reitt er á eina rannsókn.
• Undirliggjandi sönnunargagnayfirlitsgrein lesin, ekki aðeins samantektareinkunnin eða táknið.
• Gæði sönnunargagna og styrkur tilmæla sett fram sem tveir aðskildir dómar.
• „Engin sönnunargögn um áhrif“ á móti „sönnunargögnum um engin áhrif“ skýrt aðgreint í skriflegri skýrslu.
• Samhengissamsvörun milli yfirfarinna rannsókna og ákvörðunarinnar sem fyrir liggur athuguð (þýði, umfang, þjónustukerfi).
• Hraðmatsferli til staðar og notað þegar full yfirferð passar ekki við tímalínuna.
• Sönnunarþröskuldur fyrir ákvörðunina samþykktur áður en niðurstöður voru yfirfarnar.
• Áætlun til staðar um að birta eigið mat skipulagsheildarinnar, hver sem niðurstaðan er.
• Fast samband við viðeigandi „hvað virkar“-miðstöð eða upplýsingabanka komið á, ekki byggt frá grunni undir þrýstingi.
• Rökstuðningur að baki lokadómnum skjalfestur, þar á meðal sönnunargögn sem íhuguð voru og hafnað.
• Ákvörðun yfirfarin gegn virðistillögu og lögmætissjónarmiðum, ekki styrk sönnunargagna einum.

Helstu heimildir

• The Cochrane Handbook for Systematic Reviews of Interventions, haldið við af Cochrane, fyrir grundvallaraðferðafræðina sem starfsvenjur kerfisbundinna yfirlitsgreina þvert á geira byggja á.
• Leiðbeiningar Campbell Collaboration um kerfisbundnar yfirlitsgreinar og sönnunargagnasamantekt fyrir félags-, atferlis- og afbrotafræðilega stefnu, fyrir beina útvíkkun þeirrar aðferðafræði inn á opinber stefnusvið umfram heilbrigðismál.
• Standards Handbook frá What Works Clearinghouse (Institute of Education Sciences, Bandaríkjunum), sem útfært dæmi um hvernig landsbundinn upplýsingabanki setur skýra rannsóknarhönnunarstaðla og metur sönnunargögn gegn þeim.
• Teaching and Learning Toolkit frá Education Endowment Foundation, sem hagnýtt dæmi fyrir iðkendur um að þýða sameinuð sönnunargögn í sambærilegar einkunnir kostnaðar, áhrifa og styrks sönnunargagna.
• Starf Efnahags- og framfarastofnunarinnar (OECD) um uppbyggingu getu til sönnunargagnaupplýstrar stefnumótunar, fyrir frásögn þvert á lönd af því hvernig ríkisstjórnir skipuleggja eftirspurnar- og framboðshliðar notkunar sönnunargagna.
• What Works Centre for Crime Reduction hjá College of Policing og afbrotavarnaverkfærakista þess, sem frekara útfært dæmi um upplýsingabankamynstrið beitt utan heilbrigðis- og menntamála.

Tilvísanir

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction