Evidenssyntes och vad som fungerar

Varför detta är viktigt för offentligt värde

En minister, en borgmästare eller programchefen för en välgörenhetsorganisation har sällan lyxen av en enda, ren studie att agera på. Oftare ligger det på skrivbordet tre utvärderingar som säger emot varandra, en litteraturöversikt som citerar dem selektivt, en intressegrupp som viftar med den enda studie som passar dess sak och en tidsfrist som sätts av en budgetcykel snarare än av forskningens takt. Evidenssyntes finns eftersom enskilda studier är brusiga: urvalen är små, sammanhangen skiljer sig och varje enskilt resultat kan vara en tillfällighet, en lokal passform som inte går att flytta eller en genuin effekt. Frågan en ledare behöver få besvarad är sällan ”vad fann den här ena studien?” utan ”vad ska jag förvänta mig om jag gör detta här, nu, med utgångspunkt i allt trovärdigt som har prövats?”

Teorin om offentligt värde gör detta till mer än en teknisk finess. Ett program som finansieras med kollektiva resurser vilar på ett värdeerbjudande som medborgarna, sammantaget, skulle ge sitt tillstånd till (se Ämne 2.1 — Scorecard för offentligt värde och resultatramverk för hur det erbjudandet anges och följs upp). Ett erbjudande byggt på en enda handplockad studie, eller på ingen evidensgranskning alls, är ett svagare anspråk på legitimitet än ett byggt på en noggrann syntes – och en svagare grund för operativ kapacitet, eftersom personal och budgetar binds med stöd av det. Rörelsen kring ”vad som fungerar” – nätverket av oberoende organ som bedömer kvaliteten och styrkan hos politisk evidens – växte direkt ur det här problemet: alltför många offentliga beslut fattades på den högljuddaste studien snarare än den bäst underbyggda.

Det svårare problem som det här ämnet behandlar är vad en ledare gör när själva syntesen är ofullständig, omstridd eller helt enkelt inte tillgänglig i tid. Evidenshierarkier byggdes för att ställa ordning i en rörig evidensbas, men slarvigt använda blir ”evidensen är inte stark nog än” ett permanent svepskäl för att undvika ett beslut som verkligheten faktiskt inte kommer att vänta på. En ledare som förstår hur syntes fungerar, och var dess gränser går, kan skilja genuin osäkerhet som motiverar försiktighet från en hierarki som används som skydd för passivitet.

Det här ämnet är den naturliga uppföljaren till de metoder för kausal inferens som en syntes bygger på (se Ämne 2.4 — Ekonometri i offentlig sektor och programutvärdering) och ligger vid sidan av, snarare än ersätter, de resultatramverk som en syntes i slutändan tjänar (se Ämne 2.1 — Scorecard för offentligt värde och resultatramverk). En ledare som kan läsa en systematisk översikt, förstå ett betyg för ”vad som fungerar” och resonera klart om frånvarande kontra negativ evidens fattar bättre beslut i realtid än den som bara kan kräva ”mer evidens” eller acceptera den första studie som läggs framför dem.

Grundläggande begrepp

En systematisk översikt (systematic review) är en syntes av evidensen kring en definierad fråga som använder en uttrycklig, förspecificerad, reproducerbar metod för att hitta, bedöma och kombinera studier, i motsats till en narrativ litteraturöversikt, som väljer källor efter författarens gottfinnande (se Systematic review). Dess definierande drag är ett registrerat protokoll skrivet innan sökningen börjar, en sökstrategi som inkluderar opublicerad litteratur och grå litteratur, uttryckliga inklusionskriterier och en standardmetod för att bedöma varje studies risk för bias. Det är det som skiljer en systematisk översikt från en välskriven essä med fotnoter: ett annat team som följer samma protokoll skulle hitta i stort sett samma evidens och nå en i stort sett liknande slutsats.

Metaanalys är den statistiska teknik som oftast paras med en systematisk översikt: den slår samman de kvantitativa effektstorlekarna från flera oberoende studier till en enda, mer precis skattning, vanligen med varje studie viktad efter dess urvalsstorlek och kvalitet (se Meta-analysis). En metaanalys är bara så bra som de studier som matar den; att slå samman fem svaga studier ger en mer precis skattning av en möjligen snedvriden effekt, inte en tillförlitlig. Analytiker redovisar därför heterogenitet – hur mycket studieresultaten varierar utöver vad slumpen skulle förutsäga – eftersom hög heterogenitet signalerar att studierna egentligen inte prövade samma sak, och ett enda sammanslaget tal kan vilseleda.

Publikationsbias (publication bias) är tendensen att studier med positiva, signifikanta resultat publiceras medan nollresultat eller negativa resultat blir liggande i forskarens byrålåda, vilket får en insats att se mer konsekvent effektiv ut i litteraturen än den egentligen är (se Publication bias). En stringent översikt korrigerar för detta genom att söka i studieregister och opublicerade utvärderingar, inte bara i tidskriftsartiklar. En ledare som läser en syntes byggd enbart på publicerade artiklar bör fråga vad granskarna gjorde för att hitta de studier som aldrig kom i tryck.

Evidenshierarkin (hierarchy of evidence) rangordnar studiedesigner efter hur väl de kontrollerar för störfaktorer och bias, och placerar typiskt metaanalyser av randomiserade studier överst, enskilda randomiserade kontrollerade studier därnäst, sedan kvasiexperimentella och observationella designer och expertutlåtanden längst ned (se Hierarchy of evidence). En randomiserad kontrollerad studie tilldelar deltagare till en insats- eller jämförelsegrupp genom slump, det enskilt mest kraftfulla verktyget för att isolera en kausal effekt från allt annat som pågår runt omkring (se Randomized controlled trial; se Ämne 2.4 — Ekonometri i offentlig sektor och programutvärdering för hur sådana designer byggs och analyseras). Hierarkin är en genuint användbar tumregel, men en tumregel, inte en lag: en välgenomförd observationell studie av en sällsynt eller långsamt rörlig politik kan väga tyngre än en dåligt genomförd, underdimensionerad studie, och en ledare som behandlar den som en absolut rangordning kommer ibland att kassera den mer relevanta evidensen för den mer prestigefyllda designen.

GRADE-metoden – Grading of Recommendations, Assessment, Development and Evaluations – formaliserar ett andra, separat omdöme som hierarkin ensam inte gör: den graderar både evidensens säkerhet och, oberoende av den, styrkan i en rekommendation att agera på den, eftersom stark evidens inte alltid motiverar en stark rekommendation, och svag evidens inte alltid motiverar passivitet inför en svår, brådskande skada (se GRADE approach). Den åtskillnaden är den enskilt mest användbara idén i det här ämnet för en tidspressad beslutsfattare: den låter en ledare ärligt säga ”evidensen här är måttlig, och med tanke på insatserna och kostnaden för att vänta rekommenderar jag att vi går vidare” – ett försvarbart, dokumenterat omdöme, i stället för ett falskt val mellan att vänta på säkerhet och att ignorera evidens helt.

En skillnad som ständigt återkommer i den levande politiska debatten är den mellan frånvaro av evidens och evidens för frånvaro: brist på studier av en insats effekt (”ingen evidens för effekt”) är inte samma påstående som en väldimensionerad uppsättning studier som positivt fann ingen effekt (”evidens för ingen effekt”) (se Evidence of absence). Ett nytt lokalt program utan utvärderingar än har helt enkelt inte prövats; ett välstuderat nationellt program som upprepade gånger visat sig inte påverka något utfall har prövats och visat sig inte fungera. Att blanda ihop de två är ett av de mest följdtunga felen en offentlig ledare kan göra: att döda ett oprövat men lovande pilotprojekt som om det hade misslyckats, eller att fortsätta finansiera ett upprepat motbevisat program som om ingen hade tittat tillräckligt noga än.

Evidensbaserad politik (evidence-based policy) är den bredare rörelsen och det normativa påståendet att offentliga beslut ska grundas på stringent fastställd evidens snarare än ideologi, anekdoter eller enbart intuition (se Evidence-based policy). Dess kritiker, och alltmer dess egna förespråkare, föredrar ”evidensinformerad politik”, som medger att evidens är en insats bland flera – värderingar, mandat, kostnad och de legitimitetsfrågor som den här boken behandlar som grundläggande – snarare än en mekanisk beslutsregel som enbart evidens kan avgöra.

Ur den rörelsen växte mönstret med kunskapscentrum eller kunskapsbank för vad som fungerar (what-works centre eller clearinghouse): ett oberoende organ som systematiskt granskar evidensen för insatser inom ett politikområde och publicerar lättillgängliga, jämförbara betyg, i stället för att lämna varje lokal beställare att göra sin egen översikt. Cochrane banade väg för modellen inom hälso- och sjukvården från 1993 och för en levande handbok i metodik för systematiska översikter som används långt utanför medicinen (se Cochrane (organisation)). Campbell Collaboration utvidgade samma metodik till socialpolitik, kriminalpolitik, utbildning och internationellt utvecklingsarbete (se Campbell Collaboration). Nationella kunskapsbanker följde: USA:s What Works Clearinghouse, som drivs av dess Institute of Education Sciences sedan 2002, granskar utbildningsforskning mot uttryckliga designstandarder (se What Works Clearinghouse); Englands Education Endowment Foundation publicerar en vitt använd Teaching and Learning Toolkit som betygsätter klassrumsinsatser efter kostnad, evidensstyrka och typisk effekt i ett enda jämförbart format (se Education Endowment Foundation). Motsvarande centrum finns för brottsförebyggande arbete, tidiga insatser, hemlöshet och ett gott åldrande – en liten internationell familj byggd på samma metod: systematisk översikt, transparent betygsättning och en praktikerinriktad sammanfattning som inte kräver någon metodiker för att läsas.

Bästa praxis

1. Be om syntesen före den enskilda studien. När ett slående resultat landar på ditt skrivbord, fråga först om det redan finns en systematisk översikt eller ett betyg för ”vad som fungerar” för den insatsen, inte om studien ser övertygande ut isolerat.
2. Läs den underliggande översikten vid sidan av varje verktygslådebetyg, inte i stället för det. Ett enradsbetyg eller en hänglåsikon sammanfattar ett omdöme; det ersätter inte att förstå vilken evidens det vilar på och hur direkt den gäller ditt sammanhang.
3. Skilj evidensens kvalitet från styrkan i din rekommendation, uttryckligen. Låna GRADE-logiken även informellt: ange hur säker evidensen är, ange sedan separat hur starkt den säkerheten, i kombination med insatser och kostnad, motiverar att agera nu.
4. Namnge om du står inför ”ingen evidens än” eller ”evidens för ingen effekt” innan du beslutar. Skriv ned skillnaden i varje evidensunderlag, eftersom de två situationerna motiverar nästan motsatta svar – försiktig pilotering kontra att avbryta eller omarbeta.
5. Kontrollera hur översiktens sammanhang stämmer med ditt innan du antar att effekten kommer att överföras. En sammanslagen effektstorlek från studier gjorda på annat håll är ett genomsnitt, inte ett löfte; fråga vad som modererade effekten ursprungligen och om dessa moderatorer finns här.
6. Beställ en snabb evidensbedömning när en fullständig systematisk översikt inte ryms i tidsplanen. En strukturerad, tidsbegränsad översikt av befintlig litteratur – dagar eller veckor, inte månader – är en legitim mellanväg mellan ny primärforskning och ingen översikt alls.
7. Publicera dina egna utvärderingar oavsett resultat. Nollresultat och negativa fynd är lika värdefulla för nästa syntes som positiva; att hålla inne dem förvärrar den publikationsbias som underminerar varje framtida översikt inom ditt område.
8. Bygg en stående relation med ett kunskapscentrum eller en kunskapsbank inom ditt område innan du behöver ett. Att kallsöka i ett syntesorgans verktygslåda för första gången under en akut kris går mycket långsammare än att redan veta vad den täcker och vem man frågar om en lucka.
9. Sätt din evidenströskel innan resultaten kommer, inte efter. Kom i förväg överens om vilken evidensnivå som skulle motivera uppskalning, vidare pilotering eller avbrott, för att minska frestelsen att omtolka tvetydiga fynd så att de passar ett redan fattat beslut.
10. Tidsbegränsa jakten på en studie som ska undanröja alla tvivel. Att vänta på en perfekt, entydig evidensbas är i sig ett beslut, vanligen att fortsätta göra det man redan gör; sätt en tidsfrist som respekterar kostnaden för dröjsmål såväl som kostnaden för att agera på svag evidens.
11. Behandla syntes som en insats till värdeerbjudandet, inte en ersättning för det. Den bäst underbyggda insatsen är inte automatiskt det rätta valet när kostnad, fördelningseffekt och legitimitet väger in vid sidan av den (se Ämne 2.1 — Scorecard för offentligt värde och resultatramverk).
12. Dokumentera vilken evidens du övervägde, och varför du vägde den som du gjorde. En skriftlig förteckning över granskade studier och resonemanget bakom det slutliga omdömet skyddar både beslutets legitimitet och nästa granskares möjlighet att lära av det.

Frågor att diskutera med ditt team

När ändrade vi senast ett pågående beslut därför att en systematisk översikt eller ett betyg för ”vad som fungerar” motsade det vi redan planerat att göra? Om det ärliga svaret är ”aldrig” är det värt att fundera över, eftersom det antyder att evidensgranskning kan fungera som en bekräftelseövning snarare än en genuin kontroll. Diskutera ett färskt beslut där evidensbasen var blandad och gå igenom om den faktiskt formade valet eller samlades in främst för att stödja en slutsats som redan var nådd. Fundera på vad som skulle behöva förändras i hur evidens når beslutsfattare, och när, för att den ska få verklig påverkan i stället för symbolisk tyngd.

Behandlar vi någonstans ”ingen evidens för effekt” som om det vore ”evidens för ingen effekt”, eller tvärtom? Gå igenom er nuvarande programportfölj och identifiera varje program ni i det tysta har nedprioriterat därför att ”evidensen finns inte”, och kontrollera om det betyder genuint oprövat eller genuint motbevisat. Gör detsamma åt andra hållet: varje program ni fortsätter finansiera därför att ”ingen har visat att det inte fungerar”, när ingen i själva verket har tittat. Diskutera vad som skulle krävas för att rätta till de två eller tre mest följdtunga exemplen, och vem som bör äga den rättelsen.

Om ett beslut behövde evidens till fredag, har vi då faktiskt en process för snabb evidensbedömning, eller skulle vi improvisera en under tryck? Tidspress är inte hypotetisk; det är det normala tillstånd under vilket de flesta verkliga evidensbaserade beslut fattas. Diskutera om er organisation har en stående metod – ett namngivet team, en mall, en kort lista över kunskapscentrum att kontrollera först – eller om varje brådskande förfrågan börjar på ett blankt papper. Om det senare, diskutera hur en minsta fungerande process för snabb bedömning skulle se ut och vem som skulle äga den.

Vems evidenshierarki använder vi egentligen, och passar den insatserna och möjligheten att ta tillbaka det här beslutet? Olika områden tillämpar sina evidensstandarder olika, och en hierarki kalibrerad för oåterkalleliga beslut med höga insatser är inte alltid rätt nivå för ett billigt, reversibelt, lättövervakat pilotprojekt. Diskutera om er organisation tillämpar en enda evidensstandard likformigt oavsett insatser, och om det skyddar er från dåliga beslut eller bara bromsar bra. Kom överens, som team, om vilken standard som ska krävas för de tre nästa besluten på er agenda, innan ni vet vad evidensen säger.

Vad har vi konkret gjort för att hindra våra egna utvärderingar från att försvinna i en byrålåda? Varje opublicerat nollresultat som er organisation sitter på är en lucka som någon annan organisation måste upptäcka på nytt på det svåra sättet. Diskutera er meritlista ärligt: hur många av era senaste 10 utvärderingar delades externt, och vad hände med dem som inte gjorde det. Kom överens om ett konkret, resurssatt åtagande – en publiceringspolicy, ett gemensamt register – snarare än en allmän ambition att vara mer transparenta.

Använder vi frasen ”vi behöver mer evidens” ärligt, eller som ett sätt att undvika ett beslut vi inte vill fatta? Det här är den mest obekväma frågan i det här ämnet, och den förtjänar att ställas rakt. Identifiera ett särskilt beslut som för närvarande står still av evidensskäl och diskutera uppriktigt vad som faktiskt skulle få er att ändra uppfattning, och om den evidens ni väntar på realistiskt sett kommer att anlända i tid. Om den inte gör det, diskutera hur ett ärligt beslut under genuin osäkerhet skulle se ut i stället för fortsatt väntan, och vem som har befogenhet att fatta det.

I praktiken: ett exempel på offentligt värde

En regional arbetsförmedling, del av ett nationellt departement med ansvar för arbetsmarknadsprogram, var under tryck att inom en budgetcykel besluta om ett pilotprojekt för yrkesutbildning skulle skalas upp från tre distrikt till hela regionen. Piloten kombinerade subventionerade praktikplatser med strukturerad mentorsverksamhet, och myndighetens egen randomiserade studie över de tre pilotdistrikten fann en måttlig men statistiskt signifikant ökning av varaktig sysselsättning efter 12 månader. En rivaliserande evidenskälla komplicerade bilden: en systematisk översikt som publicerats året före, som slog samman nio liknande program i flera länder, fann en genomsnittlig effekt nära noll, med stor variation mellan studier och inget tydligt mönster som förklarade vilka program som fungerade.

Myndighetens evidensenhet hade sex veckor före tidsfristen för budgetunderlaget på sig att förena de två fynden. En junioranalytikers första instinkt var att behandla den sammanslagna översikten som mer auktoritativ helt enkelt för att den kombinerade fler studier, och att rekommendera att piloten skrotades. Enhetens ledande evidensrådgivare protesterade: ett genomsnitt nära noll över genuint olika program var inte starkt belägg för att just det här välgenomförda lokala programmet skulle misslyckas – det var evidens för att yrkesutbildningsprogram i allmänhet är heterogena i kvalitet och passform, vilket redan var känt. Den höga heterogenitet som översikten rapporterade var i sig ett viktigare fynd än det sammanslagna genomsnittet.

Rådgivaren föreslog en mellanväg i stället för ett binärt val. Hon rekommenderade en etappvis uppskalning till halva regionen, med expansionsdistrikten slumpmässigt utvalda så att själva utrullningen genererade ytterligare evidens i stället för att bara spendera mot ett antagande (se Ämne 2.4 — Ekonometri i offentlig sektor och programutvärdering för hur en etappvis utrullning kan utformas som en ytterligare utvärdering). Hon rekommenderade också att den ursprungliga studien publicerades i sin helhet, med metoder och rådata, så att den kunde fångas upp av nästa systematiska översikt i stället för att ligga kvar i en intern rapport som ingen utanför myndigheten någonsin skulle se.

Departementets ledning godkände det etappvisa angreppssättet, uttryckligen ramat i affärscaset (se Ämne 2.5 — Affärscase och valuta för pengarna) som ett beslut fattat under evidens med måttlig säkerhet och med en inbyggd mekanism för att lösa osäkerheten inom 18 månader, inte som ett beslut fattat därför att evidensen var avgörande. Efter 18 månader visade expansionsdistrikten en effekt nära pilotens ursprungliga, och departementet skalade upp ytterligare med en starkare evidensbas än någondera källan hade erbjudit ensam – och med ett tydligt spår av papper som visade varför det hade valt att agera i stället för att vänta.

Det här scenariot är illustrativt och fiktivt; det beskriver inget verkligt departements program eller utvärdering.

Fyra sektorperspektiv

Lokal förvaltning

En kommun har sällan budget eller ärendevolym för att själv beställa en systematisk översikt, så dess praktiska hantverk är att översätta nationell och internationell syntesevidens till ett särskilt lokalt sammanhang under verkligt tidstryck – att kontrollera om en verktygslådebetygsatt insats evidensbas liknar den egna befolkningen, tjänstesystemet och finansieringsnivån innan man antar att den betygsatta effekten kommer att överföras. Lokala ledare står också närmast kostnaden för båda de fel som det här ämnet varnar för: att agera på en insats som en syntes redan har visat inte fungerar, och att avvisa en genuint lovande men underutvärderad lokal innovation därför att inget kunskapscentrum ännu har betygsatt den.

Nationell förvaltning

Nationell förvaltning är där de flesta kunskapscentrum och formell vägledning om evidenshierarkier finns, vilket ger nationella departement närhet till syntesinfrastrukturen men också den största exponeringen för att behandla en evidenshierarki som en byråkratisk port snarare än ett beslutsstöd. Den karakteristiska nationella uppgiften är att beställa och underhålla den infrastrukturen – att finansiera en kunskapsbank, fastställa dess evidensstandarder och se till att dess betyg faktiskt når tjänstemän som skriver affärscase (se Ämne 2.5 — Affärscase och valuta för pengarna), i stället för att existera som en väl ansedd webbplats som policyteam sällan konsulterar under tidspress.

Social sektor och ideell sektor

Ideella organisationer och välgörenhetsorganisationer saknar vanligen resurserna för att genomföra stringenta utvärderingar i stor skala, vilket gör dem starkt beroende av externa syntesorgan och alltmer av finansiärer som kräver anpassning till en betygsatt evidensnivå som bidragsvillkor. Det skapar en särskild risk: organisationer under ekonomiskt tryck kan frestas att överdriva hur väl deras program motsvarar ett gynnsamt betyg – en form av evidenstvätt (evidence-washing) – eller, omvänt, små men genuint effektiva lokala välgörenhetsorganisationer kan pressas ut ur finansieringen därför att de aldrig varit stora nog att generera den evidens som en nationell kunskapsbank betygsätter högt (se Ämne 3.8 — Ledning av socialsektorn och ideella organisationer för de finansieringsstrukturer som ligger bakom detta tryck).

Multilaterala och internationella organ

Multilaterala och internationella organ möter generaliserbarhetsproblemet i dess mest akuta form: en insats som bevisats i ett lands hälso- och sjukvårdssystem, jordbrukssektor eller arbetsmarknad föreslås rutinmässigt för ett mycket annorlunda ekonomiskt och institutionellt sammanhang, och syntesen i litteraturen är bättre på att flagga den obelagda överföringen i efterhand än i förväg. Forskningsnätverk byggda för att täppa till glappet, såsom Abdul Latif Jameel Poverty Action Lab, har drivit utvecklingspolitiken mot kontextspecifik replikering snarare än bevis på koncept i ett enda land, men spänningen mellan globalt jämförbar evidens och kontextberoende effekter förblir ett definierande drag för syntes i den här skalan.

Vanliga felmönster

Evidenshierarkin som svepskäl för passivitet. Ett team som står inför ett svårt, omstritt beslut hänvisar till ”otillräcklig evidens” eller ”ingen randomiserad studie än” som skäl att skjuta upp det på obestämd tid, när den ärliga drivkraften bakom dröjsmålet är politiskt obehag eller en önskan att undvika ansvarsutkrävande. Det kostar organisationen själva möjligheten, och det kostar evidensbasen ett verkligt test som kunde ha löst osäkerheten, vilket lämnar nästa beslutsfattare inför exakt samma glapp.

Att blanda ihop frånvaro av evidens med evidens för frånvaro. En lovande men oprövad lokal innovation läggs ned som om den hade prövats och misslyckats, medan ett upprepat motbevisat nationellt program fortsätter att finansieras därför att ingen har ramat in evidensen som ett negativt fynd snarare än en lucka. Båda felen är dyra: det ena stänger lovande alternativ, det andra skyddar program som en klarsynt syntes skulle ha avvecklat år tidigare.

Att behandla ett verktygslådebetyg som hela analysen. En beslutsfattare läser en enda hänglåsikon eller stjärnbetyg och stannar där, utan att kontrollera om de underliggande studierna motsvarar deras sammanhang, befolkning eller skala. Betyg är avsiktligt komprimerade för tillgänglighet; använda utan den underliggande översikten kan de ge självsäkra beslut byggda på en tunnare evidensbas än betygets enkelhet antyder.

Att bortse från heterogenitet till förmån för det sammanslagna rubrikresultatet. En metaanalys enda genomsnittliga effektstorlek citeras i ett underlag medan den stora variationen mellan de studier som gav den – ofta det mer informativa fyndet – utelämnas. Det ger falsk precision: en beslutsfattare agerar som om varje genomförande beter sig likadant, när genomförandekvalitet och sammanhang gör lika mycket arbete som själva insatsen.

Att låta publikationsbias i det tysta forma evidensbasen. En organisation läser bara publicerad akademisk litteratur när den bedömer en insats och missar de opublicerade negativa studier och interna utvärderingar som aldrig kom in i en tidskrift. Den resulterande bilden av ”vad som fungerar” lutar systematiskt åt det positiva, och beslut byggda på den ärver den lutningen utan att någon har valt den medvetet.

Mognadsmodell

Checklista

• Systematisk översikt eller betyg för ”vad som fungerar” kontrollerat innan en enskild studie åberopas.
• Den underliggande evidensöversikten läst, inte bara sammanfattningsbetyget eller ikonen.
• Evidensens kvalitet och rekommendationens styrka angivna som två separata omdömen.
• ”Ingen evidens för effekt” kontra ”evidens för ingen effekt” uttryckligen skilda åt i det skriftliga underlaget.
• Överensstämmelsen i sammanhang mellan de granskade studierna och det aktuella beslutet kontrollerad (befolkning, skala, tjänstesystem).
• Process för snabb evidensbedömning tillgänglig och använd när en fullständig översikt inte ryms i tidsplanen.
• Evidenströskel för beslutet överenskommen innan resultaten granskades.
• Plan på plats för att publicera den här organisationens egen utvärdering, oavsett resultat.
• Stående relation med ett relevant kunskapscentrum eller en kunskapsbank etablerad, inte uppbyggd från noll under tryck.
• Resonemanget bakom det slutliga omdömet dokumenterat, inklusive övervägd och förkastad evidens.
• Beslutet granskat mot värdeerbjudandet och legitimitetsaspekter, inte enbart evidensstyrka.

Viktiga källor

• The Cochrane Handbook for Systematic Reviews of Interventions, underhållen av Cochrane, för den grundläggande metodik som praxis för systematiska översikter över sektorer bygger på.
• Campbell Collaborations vägledning om systematiska översikter och evidenssyntes för social, beteendemässig och kriminologisk politik, för den direkta utvidgningen av den metodiken till politikområden bortom hälsa.
• What Works Clearinghouse Standards Handbook (Institute of Education Sciences, USA), för ett genomarbetat exempel på hur en nationell kunskapsbank fastställer uttryckliga studiedesignstandarder och betygsätter evidens mot dem.
• Education Endowment Foundations Teaching and Learning Toolkit, för ett praktiskt, praktikerinriktat exempel på hur sammanslagen evidens översätts till jämförbara betyg för kostnad, effekt och evidensstyrka.
• Organisationen för ekonomiskt samarbete och utveckling (OECD)s arbete om kapacitetsuppbyggnad för evidensinformerat policyskapande, för en landsövergripande redogörelse för hur regeringar organiserar efterfrågan och utbudet av evidensanvändning.
• College of Policings What Works Centre for Crime Reduction och dess verktygslåda för brottsförebyggande, för ytterligare ett genomarbetat exempel på kunskapsbanksmönstret tillämpat utanför hälsa och utbildning.

Referenser

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction