Bewijssynthese en wat werkt

Waarom dit ertoe doet bij publieke waarde

Een minister, een burgemeester of de programmadirecteur van een goed doel heeft zelden de luxe van één enkele, zuivere studie om op te handelen. Vaker liggen er drie evaluaties op het bureau die elkaar tegenspreken, een literatuuroverzicht dat ze selectief aanhaalt, een belangengroep die zwaait met de ene trial die bij haar zaak past, en een deadline die wordt bepaald door een begrotingscyclus en niet door het tempo van onderzoek. Bewijssynthese bestaat omdat individuele studies ruis bevatten: steekproeven zijn klein, contexten verschillen en elk resultaat kan een toevalstreffer zijn, een lokale pasvorm die niet reist, of een echt effect. De vraag die een leider beantwoord wil zien, is zelden “wat vond deze ene studie?” maar “wat moet ik verwachten als ik dit hier en nu doe, gegeven alles wat geloofwaardig is geprobeerd?”

De theorie van publieke waarde maakt dit meer dan een technische finesse. Een programma dat met collectieve middelen wordt gefinancierd, rust op een waardepropositie die burgers in totaal zouden machtigen (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders voor hoe die propositie wordt geformuleerd en gevolgd). Een propositie die op één selectief gekozen studie is gebouwd, of op helemaal geen bewijsbeoordeling, is een zwakkere aanspraak op legitimiteit dan een die op een zorgvuldige synthese rust – en een zwakkere grondslag voor operationele capaciteit, omdat personeel en budgetten worden vastgelegd op grond ervan. De beweging van “wat werkt” – het netwerk van onafhankelijke organen dat de kwaliteit en sterkte van beleidsbewijs beoordeelt – is rechtstreeks voortgekomen uit dit probleem: te veel publieke besluiten werden genomen op de luidste studie en niet op de best onderbouwde.

Het moeilijkere probleem dat dit onderwerp behandelt, is wat een leider doet wanneer de synthese zelf niet-sluitend, omstreden of eenvoudig niet op tijd beschikbaar is. Bewijshiërarchieën zijn gebouwd om orde te brengen in een rommelige bewijsbasis, maar onzorgvuldig gebruikt wordt “het bewijs is nog niet sterk genoeg” een permanente smoes om een besluit te vermijden waarop de werkelijkheid niet werkelijk wacht. Een leider die begrijpt hoe synthese werkt, en waar haar grenzen liggen, kan echte onzekerheid die voorzichtigheid rechtvaardigt onderscheiden van een hiërarchie die als dekmantel voor stilzitten wordt gebruikt.

Dit onderwerp is het natuurlijke vervolg op de methoden voor causale inferentie waaruit een synthese put (zie Onderwerp 2.4 — Econometrie in de publieke sector en programma-evaluatie) en staat naast, en vervangt niet, de resultatenkaders die een synthese uiteindelijk dient (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders). Een leider die een systematische review kan lezen, een beoordeling van “wat werkt” begrijpt en helder kan redeneren over afwezig versus negatief bewijs, neemt betere besluiten in de praktijk dan iemand die alleen “meer bewijs” kan eisen of de eerste studie die hem wordt aangereikt kan aanvaarden.

Kernbegrippen

Een systematische review is een synthese van het bewijs over een omschreven vraag die een expliciete, vooraf gespecificeerde, reproduceerbare methode gebruikt om studies te vinden, te beoordelen en te combineren, in tegenstelling tot een verhalend literatuuroverzicht, dat bronnen naar goeddunken van de auteur selecteert (zie Systematic review). De kenmerken zijn een geregistreerd protocol dat vóór het zoeken is geschreven, een zoekstrategie die ook ongepubliceerde en grijze literatuur omvat, expliciete inclusiecriteria en een standaardmethode om het risico op bias van elke studie te beoordelen. Dit onderscheidt een systematische review van een goed geschreven essay met voetnoten: een ander team dat hetzelfde protocol volgt, zou in grote lijnen hetzelfde bewijs vinden en tot een in grote lijnen vergelijkbare conclusie komen.

Meta-analyse is de statistische techniek die het vaakst met een systematische review wordt gecombineerd: zij voegt de kwantitatieve effectgroottes van meerdere onafhankelijke studies samen tot één preciezere schatting, doorgaans met weging van elke studie naar steekproefgrootte en kwaliteit (zie Meta-analysis). Een meta-analyse is slechts zo goed als de studies die haar voeden; vijf zwakke studies samenvoegen levert een preciezere schatting van een mogelijk vertekend effect op, geen betrouwbare. Analisten rapporteren daarom heterogeniteit – hoeveel studieresultaten meer uiteenlopen dan het toeval zou voorspellen – omdat hoge heterogeniteit aangeeft dat de studies niet werkelijk hetzelfde toetsten en één samengevoegd getal kan misleiden.

Publicatiebias is de neiging dat studies met positieve, significante resultaten worden gepubliceerd terwijl nul- of negatieve resultaten in de la van een onderzoeker blijven liggen, waardoor een interventie in de literatuur consistenter effectief lijkt dan zij werkelijk is (zie Publication bias). Een degelijke review corrigeert hiervoor door ook trialregisters en ongepubliceerde evaluaties te doorzoeken, en niet alleen tijdschriftartikelen. Een leider die een synthese leest die alleen op gepubliceerde artikelen is gebouwd, moet vragen wat de beoordelaars deden om de studies te vinden die nooit in druk verschenen.

De bewijshiërarchie rangschikt studieontwerpen naar hoe goed zij verstoring en bias beheersen, en plaatst doorgaans meta-analyses van gerandomiseerde trials bovenaan, individuele gerandomiseerde gecontroleerde trials daarna, dan quasi-experimentele en observationele ontwerpen, en de mening van deskundigen onderaan (zie Hierarchy of evidence). Een gerandomiseerde gecontroleerde trial wijst deelnemers bij toeval toe aan een interventie- of vergelijkingsgroep, het krachtigste instrument om een causaal effect te isoleren van al het andere dat eromheen gebeurt (zie Randomized controlled trial; zie Onderwerp 2.4 — Econometrie in de publieke sector en programma-evaluatie voor hoe zulke ontwerpen worden gebouwd en geanalyseerd). De hiërarchie is een werkelijk nuttige vuistregel, maar een vuistregel, geen wet: een goed uitgevoerde observationele studie van een zeldzaam of traag bewegend beleid kan zwaarder wegen dan een slecht uitgevoerde, te zwakke trial, en een leider die haar als absolute rangorde behandelt, zal soms het relevantere bewijs weggooien ten gunste van het prestigieuzere ontwerp.

De GRADE-aanpak – Grading of Recommendations, Assessment, Development and Evaluations – formaliseert een tweede, afzonderlijk oordeel dat de hiërarchie alleen niet geeft: zij beoordeelt zowel de zekerheid van het bewijs als, onafhankelijk daarvan, de sterkte van een aanbeveling om erop te handelen, omdat sterk bewijs niet altijd een sterke aanbeveling rechtvaardigt, en zwak bewijs niet altijd stilzitten tegenover een ernstige, urgente schade rechtvaardigt (zie GRADE approach). Deze scheiding is het nuttigste idee in dit onderwerp voor een beslisser onder tijdsdruk: zij laat een leider eerlijk zeggen “het bewijs hier is matig, en gezien de inzet en de kosten van wachten beveel ik aan door te gaan” – een verdedigbaar, gedocumenteerd oordeel, in plaats van een valse keuze tussen wachten op zekerheid en bewijs helemaal negeren.

Een onderscheid dat voortdurend terugkeert in het levende beleidsdebat is dat tussen afwezigheid van bewijs en bewijs van afwezigheid: een gebrek aan studies over het effect van een interventie (“geen bewijs van effect”) is niet dezelfde bewering als een goed gedimensioneerde verzameling studies die positief vond dat er geen effect is (“bewijs van geen effect”) (zie Evidence of absence). Een nieuw lokaal programma zonder evaluaties is eenvoudig nog niet getoetst; een goed bestudeerd nationaal programma waarvan herhaaldelijk is gebleken dat het geen enkele uitkomst beweegt, is getoetst en blijkt niet te werken. Beide verwarren is een van de meest ingrijpende fouten die een publieke leider kan maken: een niet-getoetste maar veelbelovende pilot schrappen alsof hij was mislukt, of een herhaaldelijk weerlegd programma blijven financieren alsof niemand nog nauwkeurig genoeg had gekeken.

Evidence-based policy (op bewijs gebaseerd beleid) is de bredere beweging en normatieve bewering dat publieke besluiten moeten worden gegrond op rigoureus vastgesteld bewijs in plaats van op ideologie, anekdote of intuïtie alleen (zie Evidence-based policy). Haar critici, en steeds vaker haar eigen voorstanders, geven de voorkeur aan “evidence-informed policy” (door bewijs geïnformeerd beleid), dat erkent dat bewijs één input is onder meer – waarden, mandaat, kosten en de legitimiteitsvragen die dit boek als fundamenteel behandelt – en niet een mechanische beslisregel die bewijs alleen kan vaststellen.

Uit deze beweging groeide het patroon van het what-works center of clearinghouse: een onafhankelijk orgaan dat systematisch het bewijs voor interventies in een beleidsdomein beoordeelt en toegankelijke, vergelijkbare beoordelingen publiceert, in plaats van elke lokale opdrachtgever zijn eigen review te laten uitvoeren. Cochrane was in 1993 de pionier van het model in de gezondheidszorg en onderhoudt een levend handboek over de methodologie van systematische reviews dat ver buiten de geneeskunde wordt gebruikt (zie Cochrane (organisation)). De Campbell Collaboration breidde dezelfde methodologie uit naar sociaal beleid, strafrecht, onderwijs en internationale ontwikkeling (zie Campbell Collaboration). Nationale clearinghouses volgden: de What Works Clearinghouse van de Verenigde Staten, sinds 2002 beheerd door het Institute of Education Sciences, beoordeelt onderwijsonderzoek aan de hand van expliciete ontwerpnormen (zie What Works Clearinghouse); de Education Endowment Foundation van Engeland publiceert een veelgebruikte Teaching and Learning Toolkit die klasinterventies beoordeelt op kosten, bewijssterkte en typisch effect in één vergelijkbaar formaat (zie Education Endowment Foundation). Vergelijkbare centra bestaan voor misdaadbestrijding, vroege interventie, dakloosheid en gezond ouder worden – een kleine internationale familie die is gebouwd op dezelfde methode: systematische review, transparante beoordeling en een voor de praktijk bedoelde samenvatting die geen methodoloog nodig heeft om te worden gelezen.

Beste praktijken

1. Vraag naar de synthese vóór de losse studie. Wanneer een opvallend resultaat op uw bureau landt, vraag dan eerst of er al een systematische review of een beoordeling van “wat werkt” bestaat voor die interventie, niet of de studie op zichzelf overtuigend lijkt.
2. Lees de onderliggende review naast elke toolkitbeoordeling, niet in plaats ervan. Een beoordeling van één regel of een hangslotpictogram vat een oordeel samen; zij is geen vervanging voor begrijpen op welk bewijs zij rust en hoe direct zij van toepassing is op uw context.
3. Scheid de kwaliteit van het bewijs expliciet van de sterkte van uw aanbeveling. Leen de GRADE-logica, ook informeel: zeg hoe zeker het bewijs is, en zeg dan afzonderlijk hoe sterk die zekerheid, gecombineerd met inzet en kosten, rechtvaardigt nu te handelen.
4. Benoem of u te maken hebt met “nog geen bewijs” of met “bewijs van geen effect” voordat u beslist. Leg dit onderscheid in elke bewijsnotitie schriftelijk vast, omdat de twee situaties bijna tegengestelde reacties rechtvaardigen – voorzichtig piloten versus stoppen of herontwerpen.
5. Controleer of de context van de review overeenkomt met de uwe voordat u aanneemt dat het effect overdraagbaar is. Een samengevoegde effectgrootte uit elders uitgevoerde studies is een gemiddelde, geen belofte; vraag wat het effect oorspronkelijk modereerde en of die moderatoren hier aanwezig zijn.
6. Bestel een snelle bewijsbeoordeling (rapid evidence assessment) wanneer een volledige systematische review niet in uw tijdlijn past. Een gestructureerde, tijdgebonden beoordeling van de bestaande literatuur – dagen of weken, geen maanden – is een legitieme middenweg tussen nieuw primair onderzoek en helemaal geen beoordeling.
7. Publiceer uw eigen evaluaties ongeacht de uitkomst. Nul- en negatieve bevindingen zijn even waardevol voor de volgende synthese als positieve; ze achterhouden verergert de publicatiebias die elke toekomstige review in uw vakgebied ondermijnt.
8. Bouw een vaste relatie op met een what-works center of clearinghouse in uw domein voordat u er een nodig hebt. Voor het eerst koud in de toolkit van een syntheseorgaan zoeken tijdens een acute crisis is veel trager dan al weten wat het dekt en wie u kunt vragen naar een leemte.
9. Stel uw bewijsdrempel vast voordat de resultaten binnenkomen, niet erna. Spreek van tevoren af welk bewijsniveau opschaling, verder piloten of stoppen zou rechtvaardigen, om de verleiding te verminderen dubbelzinnige bevindingen te herinterpreteren zodat ze bij een reeds genomen besluit passen.
10. Begrens de zoektocht naar de studie die alle twijfel wegneemt in de tijd. Wachten op een perfecte, ondubbelzinnige bewijsbasis is zelf een besluit, meestal om te blijven doen wat u al doet; stel een deadline die zowel de kosten van uitstel als de kosten van handelen op zwak bewijs respecteert.
11. Behandel synthese als input voor de waardepropositie, niet als vervanging ervan. De best onderbouwde interventie is niet automatisch de juiste keuze zodra kosten, verdelingseffecten en legitimiteit zijn meegewogen (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders).
12. Documenteer welk bewijs u hebt overwogen en waarom u het zo hebt gewogen. Een schriftelijk verslag van de bestudeerde studies en de redenering achter het eindoordeel beschermt zowel de legitimiteit van het besluit als het vermogen van de volgende beoordelaar om ervan te leren.

Vragen om met uw team te bespreken

Wanneer hebben wij voor het laatst een lopend besluit veranderd omdat een systematische review of een beoordeling van “wat werkt” tegensprak wat wij al van plan waren te doen? Als het eerlijke antwoord “nooit” is, is dat de moeite waard om bij stil te staan, omdat het suggereert dat bewijsbeoordeling mogelijk functioneert als bevestigingsoefening en niet als echte controle. Bespreek een recent besluit waarbij de bewijsbasis gemengd was en loop na of zij de keuze werkelijk vormde of vooral werd verzameld om een van tevoren bereikte conclusie te ondersteunen. Overweeg wat er zou moeten veranderen in hoe en wanneer bewijs bij beslissers komt om echte invloed te hebben in plaats van symbolisch gewicht.

Behandelen wij ergens “geen bewijs van effect” alsof het “bewijs van geen effect” is, of omgekeerd? Loop uw huidige programmaportefeuille langs en bepaal welk programma u stilletjes minder prioriteit hebt gegeven omdat “het bewijs er niet is”, en controleer of dat werkelijk ongetoetst of werkelijk weerlegd betekent. Doe hetzelfde in de andere richting: elk programma dat u blijft financieren omdat “niemand heeft aangetoond dat het niet werkt”, terwijl in feite niemand heeft gekeken. Bespreek wat nodig is om de twee of drie meest ingrijpende voorbeelden te corrigeren en wie die correctie moet bezitten.

Als een besluit vrijdag bewijs nodig had, hebben wij dan werkelijk een proces voor snelle bewijsbeoordeling, of zouden wij er onder druk een improviseren? Tijdsdruk is niet hypothetisch; het is de normale omstandigheid waaronder de meeste echte op bewijs gebaseerde besluiten worden genomen. Bespreek of uw organisatie een vaste methode heeft – een genoemd team, een sjabloon, een korte lijst van what-works centra om eerst te raadplegen – of dat elk dringend verzoek bij een leeg blad begint. Bespreek, als dat laatste zo is, hoe een minimaal werkbaar proces voor snelle beoordeling eruit zou zien en wie het zou bezitten.

Wiens bewijshiërarchie gebruiken wij eigenlijk, en past die bij de inzet en omkeerbaarheid van dit besluit? Verschillende domeinen passen hun bewijsnormen verschillend toe, en een hiërarchie die is gekalibreerd voor onomkeerbare besluiten met hoge inzet is niet altijd de juiste lat voor een goedkope, omkeerbare, gemakkelijk te volgen pilot. Bespreek of uw organisatie één bewijsnorm uniform toepast, ongeacht de inzet, en of dat u beschermt tegen slechte besluiten of simpelweg goede vertraagt. Spreek als team af welke norm vereist moet zijn voor de volgende drie besluiten op uw agenda, voordat u weet wat het bewijs zegt.

Wat hebben wij concreet gedaan om te voorkomen dat onze eigen evaluaties in een la verdwijnen? Elk ongepubliceerd nulresultaat waarop uw organisatie zit, is een leemte die een andere organisatie op de harde manier opnieuw zal moeten ontdekken. Bespreek uw staat van dienst eerlijk: hoeveel van uw laatste tien evaluaties zijn extern gedeeld, en wat is er gebeurd met degene die dat niet zijn. Spreek een concrete, van middelen voorziene verbintenis af – een publicatiebeleid, een gedeeld register – in plaats van een algemeen streven transparanter te zijn.

Gebruiken wij de zin “wij hebben meer bewijs nodig” eerlijk, of als manier om een besluit te vermijden dat wij niet willen nemen? Dit is de meest ongemakkelijke vraag van dit onderwerp en zij verdient het rechtstreeks gesteld te worden. Bepaal een specifiek besluit dat nu op bewijsgronden stilligt en bespreek openhartig wat uw mening werkelijk zou veranderen en of het bewijs waarop u wacht realistisch op tijd zal komen. Als dat niet zo is, bespreek dan hoe een eerlijk besluit onder echte onzekerheid eruit zou zien in plaats van voortdurend wachten, en wie de bevoegdheid heeft het te nemen.

In de praktijk: een voorbeeld van publieke waarde

Een regionaal werkgelegenheidsagentschap, onderdeel van een nationaal departement dat verantwoordelijk is voor arbeidsmarktprogramma’s, stond onder druk om binnen één begrotingscyclus te beslissen of een pilot voor banentraining van drie districten naar de hele regio moest worden opgeschaald. De pilot combineerde gesubsidieerde werkplekken met gestructureerde begeleiding, en de eigen gerandomiseerde trial van het agentschap in de drie pilotdistricten vond een bescheiden maar statistisch significante toename van duurzame werkgelegenheid na twaalf maanden. Een rivaliserende bewijsbron compliceerde het beeld: een systematische review die het voorgaande jaar was gepubliceerd en negen vergelijkbare programma’s in verschillende landen samenvoegde, vond een gemiddeld effect van bijna nul, met grote variatie tussen studies en zonder duidelijk patroon dat verklaarde welke programma’s werkten.

De bewijseenheid van het agentschap had zes weken vóór de deadline voor de begrotingsindiening om de twee bevindingen met elkaar te verzoenen. De eerste ingeving van een junior analist was de samengevoegde review als gezaghebbender te behandelen, eenvoudig omdat zij meer studies combineerde, en aan te bevelen de pilot te schrappen. De leidende bewijsadviseur van de eenheid sprak dat tegen: een gemiddelde van bijna nul over werkelijk verschillende programma’s was geen sterk bewijs dat dit specifieke, goed uitgevoerde lokale programma zou falen – het was bewijs dat banentrainingsprogramma’s in het algemeen heterogeen zijn in kwaliteit en passing, wat al bekend was. De hoge heterogeniteit die in de review werd gemeld, was zelf de belangrijkere bevinding dan het samengevoegde gemiddelde.

De adviseur stelde een middenweg voor in plaats van een binaire keuze. Zij beval een gefaseerde opschaling aan naar de helft van de regio, waarbij de uitbreidingsdistricten willekeurig werden geselecteerd zodat de uitrol zelf verder bewijs genereerde in plaats van louter uit te geven tegen een veronderstelling (zie Onderwerp 2.4 — Econometrie in de publieke sector en programma-evaluatie voor hoe een gefaseerde uitrol kan worden ontworpen als verdere evaluatie). Zij beval ook aan de oorspronkelijke trial volledig te publiceren, methoden en ruwe data inbegrepen, zodat die door de volgende systematische review kon worden opgepakt in plaats van in een intern rapport te liggen dat niemand buiten het agentschap ooit zou zien.

De leiding van het departement keurde de gefaseerde aanpak goed, uitdrukkelijk geformuleerd in de businesscase (zie Onderwerp 2.5 — Businesscases en value for money) als een besluit onder bewijs van gemiddelde zekerheid met een ingebouwd mechanisme om de onzekerheid binnen achttien maanden op te lossen, niet als een besluit dat werd genomen omdat het bewijs sluitend was. Na achttien maanden toonden de uitbreidingsdistricten een effect dicht bij dat van de oorspronkelijke pilot, en het departement schaalde verder op met een sterkere bewijsbasis dan beide bronnen afzonderlijk hadden geboden – en een duidelijk papieren spoor dat liet zien waarom het had gekozen te handelen in plaats van te wachten.

Dit scenario is illustratief en fictief; het beschrijft het programma of de evaluatie van geen enkel bestaand departement.

Vier sectorperspectieven

Lokale overheid

Een lokale overheid heeft zelden het budget of de caseload om een eigen systematische review te bestellen, dus haar praktische vakmanschap is nationaal en internationaal syntheseonderzoek onder reële tijdsdruk te vertalen naar een specifieke lokale context – controleren of de bewijsbasis van een in een toolkit beoordeelde interventie lijkt op de eigen bevolking, het eigen dienstenstelsel en het eigen financieringsniveau voordat wordt aangenomen dat het beoordeelde effect overdraagbaar is. Lokale leiders staan ook het dichtst bij de kosten van beide fouten waarvoor dit onderwerp waarschuwt: handelen op een interventie waarvan een synthese al heeft aangetoond dat zij niet werkt, en een werkelijk veelbelovende maar onvoldoende geëvalueerde lokale innovatie weigeren omdat geen what-works center haar al heeft beoordeeld.

Nationale overheid

De nationale overheid is waar de meeste what-works centra en formele richtlijnen voor bewijshiërarchie zijn ondergebracht, wat nationale departementen dicht bij de synthese-infrastructuur brengt maar hen ook het meest blootstelt aan het behandelen van een bewijshiërarchie als bureaucratische poort in plaats van besluithulp. De kenmerkende nationale taak is het bestellen en onderhouden van die infrastructuur – een clearinghouse financieren, zijn bewijsnormen vaststellen en ervoor zorgen dat zijn beoordelingen de ambtenaren bereiken die businesscases schrijven (zie Onderwerp 2.5 — Businesscases en value for money), in plaats van te bestaan als een gewaardeerde website die beleidsteams onder tijdsdruk zelden raadplegen.

Sociale sector en non-profit

Non-profitorganisaties en goede doelen missen doorgaans de middelen om rigoureuze evaluaties op schaal uit te voeren, wat hen sterk afhankelijk maakt van externe syntheseorganen en steeds meer van financiers die afstemming op een beoordeeld bewijsniveau als subsidievoorwaarde eisen. Dit schept een kenmerkend risico: organisaties onder financiële druk kunnen in de verleiding komen te overdrijven hoe goed hun programma bij een gunstige beoordeling past – een vorm van evidence-washing – of, omgekeerd, kleine maar werkelijk effectieve lokale goede doelen kunnen uit de financiering worden gedrukt omdat zij nooit groot genoeg waren om het bewijs te genereren dat een nationaal clearinghouse hoog beoordeelt (zie Onderwerp 3.8 — Management van de sociale sector en non-profitorganisaties voor de financieringsstructuren achter deze druk).

Multilateraal en internationaal

Multilaterale en internationale organen staan voor het generaliseerbaarheidsprobleem in zijn scherpste vorm: een interventie die in het gezondheidsstelsel, de landbouwsector of de arbeidsmarkt van het ene land bewezen is, wordt routinematig voorgesteld voor een heel andere economische en institutionele context, en de synthese-literatuur is beter in het signaleren van deze ongeoorloofde overdracht achteraf dan vooraf. Onderzoeksnetwerken die zijn gebouwd om die kloof te dichten, zoals het Abdul Latif Jameel Poverty Action Lab, hebben ontwikkelingsbeleid richting contextspecifieke replicatie geduwd in plaats van bewijs van concept in één land, maar de spanning tussen mondiaal vergelijkbaar bewijs en contextafhankelijke effecten blijft een bepalend kenmerk van synthese op deze schaal.

Veelvoorkomende faalpatronen

Bewijshiërarchie als smoes voor stilzitten. Een team dat voor een moeilijk, omstreden besluit staat, noemt “onvoldoende bewijs” of “nog geen gerandomiseerde trial” als reden om onbepaald uit te stellen, terwijl de eerlijke drijfveer van het uitstel politiek ongemak of de wens is verantwoording te ontlopen. Dit kost de organisatie de kans zelf, en het kost de bewijsbasis een echte test die de onzekerheid had kunnen oplossen, waardoor de volgende beslisser voor dezelfde leemte staat.

Afwezigheid van bewijs verwarren met bewijs van afwezigheid. Een veelbelovende maar niet-getoetste lokale innovatie wordt geschrapt alsof zij was beproefd en mislukt, terwijl een herhaaldelijk weerlegd nationaal programma wordt blijven gefinancierd omdat niemand het bewijs als negatieve bevinding heeft geformuleerd in plaats van als leemte. Beide fouten zijn duur: de ene sluit veelbelovende opties af, de andere beschermt programma’s die een heldere synthese jaren eerder had beëindigd.

Een toolkitbeoordeling als de hele analyse behandelen. Een beslisser leest één hangslotpictogram of sterrenscore en stopt daar, zonder te controleren of de onderliggende studies bij zijn context, populatie of schaal passen. Beoordelingen zijn bewust gecomprimeerd voor toegankelijkheid; zonder de onderliggende review gebruikt kunnen zij zelfverzekerde besluiten opleveren die op een dunnere bewijsbasis rusten dan de eenvoud van de beoordeling suggereert.

Heterogeniteit negeren ten gunste van het samengevoegde hoofdresultaat. De enkele gemiddelde effectgrootte van een meta-analyse wordt aangehaald in een briefing, terwijl de grote variatie tussen de studies die haar produceerden – vaak de informatievere bevinding – wordt weggelaten. Dit levert valse precisie op: een beslisser handelt alsof elke uitvoering zich hetzelfde gedraagt, terwijl uitvoeringskwaliteit en context net zoveel werk doen als de interventie zelf.

Publicatiebias ongemerkt de bewijsbasis laten vormen. Een organisatie leest bij het beoordelen van een interventie alleen gepubliceerde academische literatuur en mist de ongepubliceerde negatieve trials en interne evaluaties die nooit in een tijdschrift terechtkwamen. Het resulterende beeld van “wat werkt” helt systematisch positief, en besluiten die erop zijn gebouwd erven die scheefheid zonder dat iemand die bewust heeft gekozen.

Volwassenheidsmodel

Checklist

• Een systematische review of beoordeling van “wat werkt” gecontroleerd voordat op één studie wordt vertrouwd.
• De onderliggende bewijsreview gelezen, niet alleen de samenvattende beoordeling of het pictogram.
• Kwaliteit van het bewijs en sterkte van de aanbeveling als twee afzonderlijke oordelen vermeld.
• “Geen bewijs van effect” versus “bewijs van geen effect” expliciet onderscheiden in de schriftelijke notitie.
• Overeenkomst van context tussen de beoordeelde studies en het voorliggende besluit gecontroleerd (populatie, schaal, dienstenstelsel).
• Proces voor snelle bewijsbeoordeling beschikbaar en gebruikt wanneer een volledige review niet in de tijdlijn past.
• Bewijsdrempel voor het besluit overeengekomen voordat de resultaten werden bekeken.
• Plan om de eigen evaluatie van deze organisatie te publiceren, wat het resultaat ook is.
• Vaste relatie met een relevant what-works center of clearinghouse opgebouwd, niet onder druk vanaf nul.
• Redenering achter het eindoordeel gedocumenteerd, inclusief overwogen en verworpen bewijs.
• Besluit getoetst aan de waardepropositie en legitimiteitsoverwegingen, niet aan bewijssterkte alleen.

Belangrijkste bronnen

• Het Cochrane Handbook for Systematic Reviews of Interventions, onderhouden door Cochrane, voor de fundamentele methodologie waarop de praktijk van systematische reviews in alle sectoren is gebouwd.
• De richtlijnen van de Campbell Collaboration over systematische reviews en bewijssynthese voor sociaal, gedrags- en strafrechtelijk beleid, voor de directe uitbreiding van die methodologie naar beleidsdomeinen buiten de gezondheidszorg.
• De Standards Handbook van de What Works Clearinghouse (Institute of Education Sciences, Verenigde Staten), voor een uitgewerkt voorbeeld van hoe een nationaal clearinghouse expliciete normen voor studieontwerp vaststelt en bewijs eraan toetst.
• De Teaching and Learning Toolkit van de Education Endowment Foundation, voor een praktisch, op de praktijk gericht voorbeeld van het vertalen van samengevoegd bewijs in vergelijkbare beoordelingen van kosten, impact en bewijssterkte.
• Het werk van de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) over het opbouwen van capaciteit voor door bewijs geïnformeerd beleid, voor een landenoverstijgend verslag van hoe overheden de vraag- en aanbodzijde van bewijsgebruik organiseren.
• Het What Works Center for Crime Reduction van het College of Policing en zijn toolkit voor misdaadbestrijding, voor een verder uitgewerkt voorbeeld van het clearinghousepatroon buiten gezondheidszorg en onderwijs.

Referenties

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction