Evidenssyntese og hvad der virker

Hvorfor det er vigtigt for offentlig værdi

En minister, en borgmester eller en velgørende organisations programdirektør har sjældent luksus af et enkelt, rent studie at handle på. Oftere ligger der på skrivebordet tre evalueringer, der er uenige, en litteraturoversigt, der citerer dem selektivt, en interessegruppe, der svinger det ene forsøg, der passer til dens sag, og en deadline fastsat af en budgetcyklus frem for forskningens tempo. Evidenssyntese findes, fordi enkeltstudier er støjende: stikprøver er små, kontekster varierer, og ethvert enkelt resultat kan være et tilfælde, en lokal tilpasning, der ikke rejser, eller en reel effekt. Det spørgsmål, en leder har brug for besvaret, er sjældent «hvad fandt dette ene studie?» men «på tværs af alt troværdigt, der er prøvet, hvad bør jeg forvente, hvis jeg gør dette her, nu?»

Teorien om offentlig værdi gør dette til mere end en teknisk finesse. Et program finansieret med kollektive ressourcer hviler på et værdiløfte, som borgerne, samlet set, ville bemyndige (se Emne 2.1 — Scorecard for offentlig værdi og resultatrammer for, hvordan det løfte angives og følges). Et løfte bygget på et enkelt udvalgt studie eller på ingen evidensgennemgang overhovedet er et svagere krav på legitimitet end et bygget på en omhyggelig syntese – og et svagere grundlag for operationel kapacitet, fordi personale og budgetter forpligtes på styrken af det. «Hvad virker»-bevægelsen – netværket af uafhængige organer, der bedømmer kvaliteten og styrken af politisk dokumentation – voksede direkte ud af dette problem: for mange offentlige beslutninger blev truffet på det højest råbende studie frem for det bedst understøttede.

Det sværere problem, dette emne tager fat på, er, hvad en leder gør, når selve syntesen er uafgjort, omstridt eller simpelthen ikke tilgængelig i tide. Evidenshierarkier blev bygget til at skabe orden i et rodet dokumentationsgrundlag, men brugt skødesløst bliver «dokumentationen er ikke stærk nok endnu» en permanent undskyldning for at undgå en beslutning, virkeligheden faktisk ikke vil vente på. En leder, der forstår, hvordan syntese virker, og hvor dens grænser går, kan skelne ægte usikkerhed, der berettiger forsigtighed, fra et hierarki, der bruges som dække for passivitet.

Dette emne er den naturlige opfølger til de kausale inferensmetoder, en syntese trækker på (se Emne 2.4 — Økonometri i den offentlige sektor og programevaluering), og står ved siden af, ikke i stedet for, de resultatrammer, en syntese i sidste ende tjener (se Emne 2.1 — Scorecard for offentlig værdi og resultatrammer). En leder, der kan læse et systematisk review, forstå en hvad-virker-bedømmelse og ræsonnere klart om fraværende versus negativ dokumentation, træffer bedre levende beslutninger end en, der kun kan kræve «mere dokumentation» eller acceptere det første studie, vedkommende får rakt.

Kernebegreber

Et systematisk review er en syntese af dokumentationen på et defineret spørgsmål, der bruger en eksplicit, forudspecificeret, reproducerbar metode til at finde, vurdere og kombinere studier, i modsætning til en narrativ litteraturoversigt, der vælger kilder efter forfatterens skøn (se Systematisk review). Dets definerende træk er en registreret protokol skrevet før søgningen begynder, en søgestrategi, der inkluderer ikke-udgivet og grå litteratur, eksplicitte inklusionskriterier og en standardmetode til at vurdere hvert studies risiko for bias. Det er, hvad der adskiller et systematisk review fra et velskrevet essay med fodnoter: et andet team, der følger den samme protokol, ville finde bredt den samme dokumentation og nå en bredt lignende konklusion.

Metaanalyse er den statistiske teknik, der oftest parres med et systematisk review: den pooler de kvantitative effektstørrelser fra flere uafhængige studier til et enkelt, mere præcist estimat, normalt ved at vægte hvert studie efter dets stikprøvestørrelse og kvalitet (se Metaanalyse). En metaanalyse er kun så god som de studier, der føder den; at poole fem svage studier giver et mere præcist estimat af en muligvis biased effekt, ikke et troværdigt. Analytikere rapporterer derfor heterogenitet – hvor meget studieresultater varierer ud over, hvad tilfældighed ville forudsige – fordi høj heterogenitet signalerer, at studierne ikke rigtigt afprøvede det samme, og et enkelt poolet tal kan vildlede.

Publikationsbias er tendensen til, at studier med positive, signifikante resultater udgives, mens nul- eller negative resultater ligger i en forskers skuffe, hvilket får et indgreb til at se mere konsekvent effektivt ud i litteraturen, end det i virkeligheden er (se Publikationsbias). Et stringent review korrigerer for dette ved at søge forsøgsregistre og ikke-udgivne evalueringer, ikke kun tidsskriftsartikler. En leder, der læser en syntese bygget kun på udgivne artikler, bør spørge, hvad anmelderne gjorde for at finde de studier, der aldrig kom på tryk.

Evidenshierarkiet rangerer studiedesigns efter, hvor godt de kontrollerer for confounding og bias, typisk med metaanalyser af randomiserede forsøg øverst, individuelle randomiserede kontrollerede forsøg dernæst, så kvasi-eksperimentelle og observationelle designs, og eksperters mening nederst (se Evidenshierarki). Et randomiseret kontrolleret forsøg tildeler deltagere til et indgreb eller en sammenligningsgruppe ved tilfældighed, det enkeltstående mest kraftfulde redskab til at isolere en kausal effekt fra alt andet, der foregår omkring den (se Randomiseret kontrolleret forsøg; se Emne 2.4 — Økonometri i den offentlige sektor og programevaluering for, hvordan sådanne designs bygges og analyseres). Hierarkiet er en reelt nyttig tommelfingerregel, men en tommelfingerregel, ikke en lov: et veludført observationsstudie af en sjælden eller langsomt bevægende politik kan rangere over et dårligt udført forsøg med for lav styrke, og en leder, der behandler det som en absolut rangorden, vil til tider kassere den mere relevante dokumentation til fordel for det mere prestigefyldte design.

GRADE-tilgangen – Grading of Recommendations, Assessment, Development and Evaluations – formaliserer et andet, separat skøn, hierarkiet alene ikke foretager: den vurderer både sikkerheden af dokumentationen og, uafhængigt, styrken af en anbefaling om at handle på den, fordi stærk dokumentation ikke altid berettiger en stærk anbefaling, og svag dokumentation ikke altid berettiger passivitet over for en alvorlig, presserende skade (se GRADE-tilgangen). Denne adskillelse er den enkeltstående mest nyttige idé i dette emne for en tidspresset beslutningstager: den lader en leder ærligt sige «dokumentationen her er moderat, og givet indsatsen og omkostningen ved at vente anbefaler jeg, at vi går videre» – et forsvarligt, dokumenteret skøn frem for et falsk valg mellem at vente på sikkerhed og at ignorere dokumentation helt.

Et skel, der vender konstant tilbage i levende politisk debat, er mellem fravær af dokumentation og dokumentation for fravær: mangel på studier af et indgribens effekt («ingen dokumentation for effekt») er ikke den samme påstand som et velunderbygget korpus af studier, der positivt fandt ingen effekt («dokumentation for ingen effekt») (se Evidens for fravær). Et nyt lokalt program uden evalueringer endnu er simpelthen ikke afprøvet; et velundersøgt nationalt program, der gentagne gange er fundet ikke at rykke noget resultat, er blevet afprøvet og vist ikke at virke. At blande de to sammen er en af de mest konsekvensrige fejl, en offentlig leder kan begå: at dræbe en uprøvet men lovende pilot, som om den havde svigtet, eller at blive ved med at finansiere et gentagne gange modbevist program, som om ingen havde set tæt nok på endnu.

Evidensbaseret politik er den bredere bevægelse og normative påstand om, at offentlige beslutninger bør hvile på stringent fastslået dokumentation frem for ideologi, anekdote eller intuition alene (se Evidensbaseret politik). Dens kritikere, og i stigende grad dens egne tilhængere, foretrækker «evidensinformeret politik», som indrømmer, at dokumentation er et input blandt flere – værdier, mandat, omkostning og de legitimitetsspørgsmål, denne bog behandler som grundlæggende – frem for en mekanisk beslutningsregel, dokumentation alene kan afgøre.

Ud af denne bevægelse voksede hvad-virker-centret eller clearinghouse-mønstret: et uafhængigt organ, der systematisk gennemgår dokumentationen for indgreb inden for et politikområde og offentliggør tilgængelige, sammenlignelige bedømmelser frem for at overlade hver lokal kommissionerende myndighed til at køre sit eget review. Cochrane var pioner for modellen i sundhedsvæsenet fra 1993 og vedligeholder en levende håndbog i metodologi for systematiske reviews, brugt langt ud over medicin (se Cochrane (organisation)). Campbell Collaboration udvidede den samme metodologi til socialpolitik, strafferet, uddannelse og international udvikling (se Campbell Collaboration). Nationale clearinghouses fulgte: USA's What Works Clearinghouse, drevet af dets Institute of Education Sciences siden 2002, gennemgår uddannelsesforskning mod eksplicitte designstandarder (se What Works Clearinghouse); Englands Education Endowment Foundation udgiver en bredt brugt Teaching and Learning Toolkit, der bedømmer klasseværelsesindgreb på omkostning, dokumentationsstyrke og typisk effekt i ét sammenligneligt format (se Education Endowment Foundation). Tilsvarende centre findes for kriminalitetsreduktion, tidlig indsats, hjemløshed og sund aldring – en lille international familie bygget på den samme metode: systematisk review, gennemsigtig bedømmelse og et praktikerrettet resumé, der ikke kræver en metodolog at læse.

Bedste praksis

1. Spørg efter syntesen før enkeltstudiet. Når et slående resultat lander på dit skrivebord, så spørg først, om et systematisk review eller en hvad-virker-bedømmelse allerede findes for det indgreb, ikke om studiet ser overbevisende ud isoleret.
2. Læs det underliggende review ved siden af enhver toolkit-bedømmelse, ikke i stedet for den. En enkeltlinjes bedømmelse eller et hængelåsikon opsummerer et skøn; det er ikke en erstatning for at forstå, hvilken dokumentation den hviler på, og hvor direkte den gælder i din kontekst.
3. Adskil dokumentationens kvalitet fra styrken af din anbefaling, eksplicit. Lån GRADE-logikken selv uformelt: angiv, hvor sikker dokumentationen er, og angiv så separat, hvor kraftigt den sikkerhed, kombineret med indsats og omkostning, berettiger at handle nu.
4. Nævn, om du står over for «ingen dokumentation endnu» eller «dokumentation for ingen effekt», før du beslutter. Skriv dette skel ned i hvert dokumentationsbrief, fordi de to situationer berettiger næsten modsatte svar – forsigtig pilotering versus at stoppe eller redesigne.
5. Kontrollér overensstemmelsen mellem reviewets kontekst og din egen, før du antager, at effekten vil overføres. En poolet effektstørrelse fra studier kørt andetsteds er et gennemsnit, ikke et løfte; spørg, hvad der modererede effekten oprindeligt, og om disse moderatorer er til stede her.
6. Bestil en hurtig evidensvurdering, når et fuldt systematisk review ikke passer til din tidslinje. En struktureret, tidsbegrænset gennemgang af den eksisterende litteratur – dage eller uger, ikke måneder – er en legitim mellemvej mellem ny primær forskning og intet review overhovedet.
7. Offentliggør dine egne evalueringer uanset resultatet. Nul- og negative fund er lige så værdifulde for den næste syntese som positive; at tilbageholde dem forværrer den publikationsbias, der undergraver hvert fremtidigt review på dit område.
8. Opbyg et stående forhold til et hvad-virker-center eller clearinghouse på dit område, før du får brug for et. At kolde-søge en synteseorganisations toolkit for første gang under en levende krise er langt langsommere end allerede at vide, hvad den dækker, og hvem man skal spørge om et hul.
9. Fastsæt din dokumentationstærskel, før resultaterne ankommer, ikke efter. Aftal på forhånd, hvilket niveau af dokumentation der ville berettige opskalering, yderligere pilotering eller stop, for at mindske fristelsen til at omfortolke tvetydige fund, så de passer til en allerede truffet beslutning.
10. Tidsbegræns søgningen efter et studie, der vil fjerne al tvivl. At vente på et perfekt, utvetydigt dokumentationsgrundlag er selv en beslutning, som regel om at blive ved med at gøre, hvad du allerede gør; sæt en deadline, der respekterer omkostningen ved forsinkelse såvel som omkostningen ved at handle på svag dokumentation.
11. Behandl syntese som et input til værdiløftet, ikke en erstatning for det. Det bedst understøttede indgreb er ikke automatisk det rigtige valg, når omkostning, fordelingseffekt og legitimitet vejes sammen med det (se Emne 2.1 — Scorecard for offentlig værdi og resultatrammer).
12. Dokumentér, hvilken dokumentation du overvejede, og hvorfor du vægtede den, som du gjorde. En skriftlig oversigt over de gennemgåede studier og ræsonnementet bag det endelige skøn beskytter både beslutningens legitimitet og den næste anmelders mulighed for at lære af den.

Spørgsmål at drøfte med dit team

Hvornår ændrede vi sidst en levende beslutning, fordi et systematisk review eller en hvad-virker-bedømmelse modsagde, hvad vi allerede havde planlagt at gøre? Hvis det ærlige svar er «aldrig», er det værd at sidde med, fordi det antyder, at dokumentationsgennemgang kan fungere som en bekræftelsesøvelse snarere end et ægte tjek. Drøft en nylig beslutning, hvor dokumentationsgrundlaget var blandet, og gå igennem, om det faktisk formede valget eller blev indsamlet hovedsageligt for at understøtte en på forhånd nået konklusion. Overvej, hvad der skal ændre sig i, hvordan og hvornår dokumentation når beslutningstagerne, for at den får reel indflydelse frem for symbolsk vægt.

Behandler vi nogen steder «ingen dokumentation for effekt», som om det var «dokumentation for ingen effekt», eller omvendt? Gå jeres nuværende programportefølje igennem og identificér ethvert program, I stille og roligt har nedprioriteret, fordi «dokumentationen ikke er der», og tjek, om det betyder reelt uprøvet eller reelt modbevist. Gør det samme i den anden retning: ethvert program, I fortsætter med at finansiere, fordi «ingen har vist, at det ikke virker», når ingen faktisk har kigget. Drøft, hvad der skal til for at rette de to-tre mest konsekvensrige eksempler, og hvem der bør eje den korrektion.

Hvis en beslutning krævede dokumentation inden fredag, har vi så faktisk en hurtig evidensvurderingsproces, eller ville vi improvisere en under pres? Tidspres er ikke hypotetisk; det er den normale betingelse, hvorunder de fleste reelle evidensbaserede beslutninger træffes. Drøft, om jeres organisation har en stående metode – et navngivet team, en skabelon, en kort liste over hvad-virker-centre at tjekke først – eller om hver hastende anmodning starter fra et blankt ark. Hvis det sidste, drøft hvordan en minimalt levedygtig hurtig vurderingsproces ville se ud, og hvem der ville eje den.

Hvilket evidenshierarki bruger vi faktisk, og passer det til indsatsen og reversibiliteten af denne beslutning? Forskellige domæner anvender deres dokumentationsstandarder forskelligt, og et hierarki kalibreret til uigenkaldelige beslutninger med høj indsats er ikke altid den rette tærskel for en billig, reversibel, let overvåget pilot. Drøft, om jeres organisation anvender én dokumentationsstandard ensartet uanset indsats, og om det beskytter jer mod dårlige beslutninger eller blot bremser gode. Aftal som team, hvilken standard der bør kræves for de næste tre beslutninger på jeres dagsorden, før I ved, hvad dokumentationen siger.

Hvad har vi gjort, konkret, for at forhindre vores egne evalueringer i at forsvinde ned i en skuffe? Hvert ikke-udgivet nulresultat, jeres organisation sidder på, er et hul, en anden organisation vil skulle genopdage den hårde vej. Drøft jeres historik ærligt: hvor mange af jeres sidste 10 evalueringer blev delt eksternt, og hvad skete der med dem, der ikke blev. Aftal en konkret, ressourcesat forpligtelse – en udgivelsespolitik, et fælles register – frem for en generel ambition om at være mere gennemsigtig.

Bruger vi udtrykket «vi har brug for mere dokumentation» ærligt, eller som en måde at undgå en beslutning, vi ikke ønsker at træffe? Dette er det mest ubehagelige spørgsmål i dette emne, og det fortjener at blive stillet direkte. Identificér en specifik beslutning, der aktuelt er gået i stå af dokumentationshensyn, og drøft åbent, hvad der faktisk ville ændre jeres mening, og om den dokumentation, I venter på, realistisk set kommer i tide. Hvis ikke, drøft hvordan en ærlig beslutning under ægte usikkerhed ville se ud i stedet for fortsat venten, og hvem der har myndighed til at træffe den.

I praksis: et eksempel på offentlig værdi

En regional beskæftigelsesstyrelse, en del af et nationalt ministerium med ansvar for arbejdsmarkedsprogrammer, var under pres for inden for én budgetcyklus at beslutte, om et jobtræningspilotprojekt skulle skaleres fra tre distrikter til hele regionen. Piloten kombinerede subsidierede arbejdspladser med struktureret mentoring, og styrelsens eget randomiserede forsøg på tværs af de tre pilotdistrikter fandt en beskeden men statistisk signifikant stigning i vedvarende beskæftigelse efter 12 måneder. En rivaliserende dokumentationskilde komplicerede billedet: et systematisk review udgivet året før, der poolede ni lignende programmer på tværs af flere lande, fandt en effekt tæt på nul i gennemsnit, med stor variation mellem studierne og intet klart mønster, der forklarede, hvilke programmer der virkede.

Styrelsens dokumentationsenhed havde seks uger før budgetindsendelsens frist til at forene de to fund. En junioranalytikers første instinkt var at behandle det poolede review som mere autoritativt blot fordi det kombinerede flere studier, og at anbefale at skrotte piloten. Enhedens ledende dokumentationsrådgiver gjorde indsigelse: et gennemsnit tæt på nul over reelt forskellige programmer var ikke stærk dokumentation for, at netop dette specifikke, veludførte lokale program ville svigte – det var dokumentation for, at jobtræningsprogrammer generelt er heterogene i kvalitet og tilpasning, hvilket allerede var kendt. Den høje heterogenitet, der blev rapporteret i reviewet, var i sig selv det vigtigere fund end det poolede gennemsnit.

Rådgiveren foreslog en mellemvej frem for et binært valg. Hun anbefalede en etapedelt opskalering til halvdelen af regionen, med ekspansionsdistrikter udvalgt tilfældigt, så udrulningen selv frembragte yderligere dokumentation frem for blot at bruge penge mod en antagelse (se Emne 2.4 — Økonometri i den offentlige sektor og programevaluering for, hvordan en faseopdelt udrulning kan designes som en yderligere evaluering). Hun anbefalede også at offentliggøre det oprindelige forsøg i sin helhed, metoder og rådata inkluderet, så det kunne opfanges af det næste systematiske review frem for at ligge i en intern rapport, ingen uden for styrelsen nogensinde ville se.

Ministeriets ledelse godkendte den etapedelte tilgang, eksplicit indrammet i business casen (se Emne 2.5 — Business cases og værdi for pengene) som en beslutning truffet under dokumentation med moderat sikkerhed med en indbygget mekanisme til at løse usikkerheden inden for 18 måneder, ikke som en beslutning truffet fordi dokumentationen var afgørende. Efter 18 måneder viste ekspansionsdistrikterne en effekt tæt på pilotens oprindelige, og ministeriet skalerede videre med et stærkere dokumentationsgrundlag end nogen af kilderne havde tilbudt alene – og et klart papirspor, der viste, hvorfor det havde valgt at handle frem for at vente.

Dette scenarie er illustrativt og fiktivt; det beskriver intet reelt ministeriums program eller evaluering.

Fire sektorlinser

Lokal forvaltning

En lokal myndighed har sjældent budgettet eller sagsmassen til selv at bestille et systematisk review, så dens praktiske håndværk er at omsætte nationale og internationale syntesedokumentation til en specifik lokal kontekst under reelt tidspres – at tjekke, om en toolkit-bedømt indgribens dokumentationsgrundlag ligner dens egen befolkning, tjenestesystem og finansieringsniveau, før den antager, at den bedømte effekt vil overføres. Lokale ledere sidder også tættest på omkostningen ved begge fejl, dette emne advarer imod: at handle på et indgreb, en syntese allerede har vist ikke virker, og at afvise en reelt lovende men underevalueret lokal innovation, fordi intet hvad-virker-center endnu har bedømt den.

National forvaltning

National forvaltning er, hvor de fleste hvad-virker-centre og formel vejledning om evidenshierarki sidder, hvilket giver nationale ministerier nærhed til synteseinfrastrukturen, men også den største udsættelse for at behandle et evidenshierarki som en bureaukratisk port frem for et beslutningsredskab. Den karakteristiske nationale opgave er at bestille og vedligeholde den infrastruktur – at finansiere et clearinghouse, fastsætte dets dokumentationsstandarder og sikre, at dets bedømmelser faktisk når de embedsmænd, der skriver business cases (se Emne 2.5 — Business cases og værdi for pengene), frem for at eksistere som en velrenommeret hjemmeside, politikteams sjældent konsulterer under deadlinepres.

Den sociale sektor og nonprofit

Nonprofitorganisationer og velgørende organisationer mangler typisk ressourcerne til at køre stringente evalueringer i stor skala, hvilket gør dem stærkt afhængige af eksterne synteseorganer og i stigende grad af bidragydere, der kræver tilpasning til et bedømt dokumentationsniveau som en bevillingsbetingelse. Det skaber en særlig risiko: organisationer under økonomisk pres kan fristes til at overdrive, hvor godt deres program passer til en gunstig bedømmelse – en form for evidence-washing – eller omvendt kan små men reelt effektive lokale velgørende organisationer blive presset ud af finansiering, fordi de aldrig har været store nok til at generere den dokumentation, et nationalt clearinghouse bedømmer højt (se Emne 3.8 — Ledelse af den sociale sektor og nonprofitorganisationer for de finansieringsstrukturer bag dette pres).

Multilateral og international

Multilaterale og internationale organer står over for generaliserbarhedsproblemet i dets mest akutte form: et indgreb bevist i ét lands sundhedssystem, landbrugssektor eller arbejdsmarked foreslås rutinemæssigt til en meget anderledes økonomisk og institutionel kontekst, og synteselitteraturen er bedre til at markere denne ustøttede overførsel bagefter end før. Forskningsnetværk bygget til at lukke dette hul, såsom Abdul Latif Jameel Poverty Action Lab, har skubbet udviklingspolitikken mod kontekstspecifik replikation frem for enkeltlands proof of concept, men spændingen mellem globalt sammenlignelig dokumentation og kontekstafhængige effekter forbliver et definerende træk ved syntese i denne skala.

Almindelige fejlmønstre

Evidenshierarki som undskyldning for passivitet. Et team, der står over for en vanskelig, omstridt beslutning, citerer «utilstrækkelig dokumentation» eller «intet randomiseret forsøg endnu» som grund til at udskyde på ubestemt tid, når den ærlige drivkraft bag forsinkelsen er politisk ubehag eller et ønske om at undgå ansvar. Det koster organisationen selve muligheden og koster dokumentationsgrundlaget en reel afprøvning, der kunne have løst usikkerheden, og efterlader den næste beslutningstager med præcis det samme hul.

At blande fravær af dokumentation sammen med dokumentation for fravær. En lovende men uprøvet lokal innovation dræbes, som om den var blevet prøvet og havde svigtet, mens et gentagne gange modbevist nationalt program fortsat finansieres, fordi ingen har indrammet dokumentationen som et negativt fund frem for et hul. Begge fejl er dyre: den ene lukker lovende muligheder af, den anden beskytter programmer, en klartskuende syntese ville have afviklet år tidligere.

At behandle en toolkit-bedømmelse som hele analysen. En beslutningstager læser et enkelt hængelåsikon eller en stjernebedømmelse og stopper dér, uden at tjekke, om de underliggende studier svarer til deres kontekst, befolkning eller skala. Bedømmelser er bevidst komprimerede af hensyn til tilgængelighed; brugt uden det underliggende review kan de frembringe selvsikre beslutninger bygget på et tyndere dokumentationsgrundlag, end bedømmelsens enkelhed antyder.

At ignorere heterogenitet til fordel for det poolede overskriftsresultat. En metaanalyses enkelte gennemsnitlige effektstørrelse citeres i et brief, mens den store variation mellem de studier, der frembragte den – ofte det mere informative fund – droppes. Det frembringer falsk præcision: en beslutningstager handler, som om enhver implementering opfører sig på samme måde, når implementeringskvalitet og kontekst gør lige så meget arbejde som selve indgrebet.

At lade publikationsbias stille forme dokumentationsgrundlaget. En organisation læser kun udgivet akademisk litteratur, når den vurderer et indgreb, og overser de ikke-udgivne negative forsøg og interne evalueringer, der aldrig kom i et tidsskrift. Det resulterende billede af «hvad der virker» skævvrider systematisk positivt, og beslutninger bygget på det arver den skævhed, uden at nogen har valgt den bevidst.

Modenhedsmodel

Tjekliste

• Systematisk review eller hvad-virker-bedømmelse tjekket, før man støtter sig til et enkeltstudie.
• Det underliggende dokumentationsreview læst, ikke kun resuméets bedømmelse eller ikon.
• Dokumentationens kvalitet og anbefalingens styrke angivet som to separate skøn.
• «Ingen dokumentation for effekt» versus «dokumentation for ingen effekt» eksplicit skelnet i det skriftlige brief.
• Kontekstoverensstemmelse mellem de gennemgåede studier og den foreliggende beslutning tjekket (befolkning, skala, tjenestesystem).
• Hurtig evidensvurderingsproces tilgængelig og brugt, når et fuldt review ikke passer til tidslinjen.
• Dokumentationstærskel for beslutningen aftalt, før resultaterne blev gennemgået.
• Plan på plads til at offentliggøre denne organisations egen evaluering, uanset resultatet.
• Stående forhold til et relevant hvad-virker-center eller clearinghouse etableret, ikke bygget fra bunden under pres.
• Ræsonnementet bag det endelige skøn dokumenteret, herunder overvejet og afvist dokumentation.
• Beslutningen gennemgået mod værdiløftet og legitimitetshensyn, ikke dokumentationsstyrke alene.

Centrale kilder

• Cochrane Handbook for Systematic Reviews of Interventions, vedligeholdt af Cochrane, for den grundlæggende metodologi, som systematisk reviewpraksis på tværs af sektorer er bygget på.
• Campbell Collaborations vejledning om systematiske reviews og evidenssyntese for social-, adfærds- og kriminologisk politik, for den direkte udvidelse af den metodologi til politikområder ud over sundhed.
• What Works Clearinghouse's Standards Handbook (Institute of Education Sciences, USA), for et gennemarbejdet eksempel på, hvordan et nationalt clearinghouse fastsætter eksplicitte studiedesignstandarder og bedømmer dokumentation mod dem.
• Education Endowment Foundations Teaching and Learning Toolkit, for et praktisk, praktikerrettet eksempel på at omsætte poolet dokumentation til sammenlignelige bedømmelser af omkostning, effekt og dokumentationsstyrke.
• Organisationen for Økonomisk Samarbejde og Udvikling (OECD)'s arbejde om opbygning af kapacitet til evidensinformeret politikudformning, for en tværlandsberetning om, hvordan regeringer organiserer efterspørgsels- og udbudssiden af dokumentationsbrug.
• College of Policings What Works Center for Crime Reduction og dets kriminalitetsreduktions-toolkit, for et yderligere gennemarbejdet eksempel på clearinghouse-mønstret anvendt uden for sundhed og uddannelse.

Henvisninger

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction