Econometrie in de publieke sector en programma-evaluatie

Waarom dit ertoe doet bij publieke waarde

Elk jaar verlengen, vergroten of beëindigen publieke organen programma’s op grond van een vergelijking van uitkomsten: deelnemers aan het banenprogramma vonden sneller werk dan niet-deelnemers; leerlingen in het bijlesprogramma scoorden hoger dan leerlingen die geen bijles kregen. Elke vergelijking is waar als beschrijving en gevaarlijk als argument, omdat geen enkele op zichzelf vertelt of het programma het verschil veroorzaakte. Mensen die zich inschrijven voor een banenprogramma zijn vaak meer gemotiveerd dan mensen die dat niet doen, en leerlingen die voor bijles worden geselecteerd, zijn vaak gekozen omdat een leraar al verwacht dat zij goed zullen reageren. De kloof tussen “de behandelde groep deed het beter” en “de behandeling zorgde ervoor dat zij het beter deden” is precies de kloof die causale inferentie wil dichten.

Dit is geen academische finesse. Een financiële commissie die wordt gevraagd de financiering van een programma te verlengen, wordt impliciet gevraagd publiek geld te machtigen op grond van een bewering van causaliteit, of iemand in de ruimte dat woord nu gebruikt of niet. Onderwerp 2.1 gaf u het resultatenkader dat vaststelt wat een programma moet veranderen (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders); dit onderwerp geeft u de methoden die toetsen of het dat werkelijk heeft veranderd, en hoeveel. Kosten-batenanalyse en kosteneffectiviteitsanalyse (zie Onderwerp 2.2 — Maatschappelijke kosten-batenanalyse en kosteneffectiviteitsanalyse) en social return on investment (zie Onderwerp 2.3 — Social return on investment en effectmeting) hebben beide een verdedigbare effectgrootte nodig om mee te werken; dit onderwerp is waar die effectgrootte vandaan komt, of waar u leert dat het getal dat u al hebt de last die erop wordt gelegd niet kan dragen.

De inzet is niet alleen financieel. Een overheid die een ineffectief programma opschaalt omdat een gebrekkige evaluatie het effectief deed lijken, heeft geld verspild en, vaak erger, een werkelijk effectief alternatief verdrongen dat nooit de kans kreeg; een overheid die een effectief programma schrapt omdat een naïeve vergelijking het nutteloos deed lijken, heeft waarde vernietigd die een beter ontworpen evaluatie had beschermd. Causale identificatie goed krijgen, en weten wanneer dat niet kan, is zelf een competentie van publieke waarde, geen zijinteresse van een specialist.

Kernbegrippen

Causale inferentie is de tak van de statistiek die zich bezighoudt met het vaststellen of, en hoeveel, de verandering van de ene variabele een verandering in een andere teweegbrengt, in onderscheid van twee variabelen die slechts samen bewegen. Zij levert de conceptuele grondslag – tegenfeitelijke redenering, de taal van behandeling en controle, de catalogus van specifieke bedreigingen voor een causale bewering – waaruit elke methode in dit onderwerp put. Wikipedia: Causal inference.

Het tegenfeitelijke scenario (counterfactual) is de uitkomst die een persoon of eenheid zou hebben ervaren als zij het programma niet had ontvangen, en het is de centrale, niet-waarneembare grootheid die elke causale methode probeert te benaderen: u kunt zien wat er met een deelnemer gebeurde, maar nooit wat er met dezelfde persoon zonder hulp zou zijn gebeurd. Elke hieronder beschreven methode is een andere strategie om een geloofwaardige vervanger voor die ontbrekende waarneming te construeren. Het causale model van Rubin, voornamelijk ontwikkeld door de statisticus Donald Rubin, formaliseert dit als het kader van “potentiële uitkomsten”: elke eenheid heeft een potentiële uitkomst onder behandeling en een onder controle, en het causale effect is het verschil daartussen, waarvan er altijd slechts één wordt waargenomen. Wikipedia: Rubin causal model.

Confounding (verstoring door een derde factor) doet zich voor wanneer een derde factor zowel beïnvloedt of een eenheid een programma ontvangt als de uitkomst die het programma moet veranderen, waardoor het lijkt alsof het programma een effect veroorzaakte dat de verstorende factor in werkelijkheid produceerde. Motivatie, eerdere bekwaamheid, lokale economische omstandigheden en rijkdom van het huishouden zijn terugkerende verstorende factoren bij de evaluatie van publieke programma’s, omdat zij routinematig zowel beïnvloeden wie een dienst afneemt als hoe die persoon of plaats het daarna doet. Wikipedia: Confounding.

Selectiebias is het specifieke geval van verstoring dat voortkomt uit hoe deelnemers in de behandelgroep terechtkomen – zelfselectie, verwijzing door personeel of toelatingsregels – zodat behandelde en onbehandelde groepen systematisch verschillen voordat het programma hen ooit raakt. Een banenprogramma waarvoor zich alleen de meest gemotiveerde werkzoekenden aanmelden, zal effectief lijken, ook al doet het niets, omdat de vergelijkingsgroep nooit een eerlijke vervanger was voor wat deelnemers zonder hulp zouden hebben gedaan. Wikipedia: Selection bias.

Correlatie impliceert geen causaliteit is de algemene waarschuwing die dit onderwerp operationaliseert: twee variabelen die samen bewegen, zijn verenigbaar met de ene die de andere veroorzaakt, met het omgekeerde, met een gedeelde gemeenschappelijke oorzaak of met toeval, en het patroon alleen kan die niet onderscheiden. Ijsverkoop en verdrinkingsdoden stijgen allebei elke zomer zonder dat de een de ander veroorzaakt, omdat warm weer beide aandrijft; de evaluatie van publieke programma’s zit vol subtielere versies van dezelfde valkuil. Wikipedia: Correlation does not imply causation.

De gerandomiseerde gecontroleerde trial (RCT), in de beleidsevaluatieliteratuur een gerandomiseerde evaluatie genoemd, wijst in aanmerking komende eenheden willekeurig toe aan een behandelgroep die het programma ontvangt en een controlegroep die dat niet doet, zodat de twee groepen gemiddeld alleen verschillen in of zij zijn behandeld. Randomisatie is krachtig omdat zij verstoring in één keer afhandelt: zij brengt zowel de verstorende factoren die u kunt meten als die u niet kunt meten in balans, zonder dat u ze van tevoren hoeft te benoemen. Wikipedia: Randomized controlled trial.

Verschil-in-verschillen (difference-in-differences, DiD) vergelijkt de verandering in uitkomsten over tijd voor een behandelde groep met de verandering over dezelfde periode voor een vergelijkingsgroep die het programma niet ontving, ervan uitgaand dat de twee groepen zonder het programma parallelle trends zouden hebben gevolgd. Het is de werkpaard-methode wanneer een programma het ene rechtsgebied eerder bereikte dan het andere en randomisatie nooit een optie was, omdat zij routinematig verzamelde administratieve gegevens kan gebruiken in plaats van een speciaal gebouwde trial. Wikipedia: Difference in differences.

Regressiediscontinuïteitsontwerp (RDD) benut een programmaregel die behandeling toewijst op grond van een gemeten score die een vaste grens overschrijdt – een uitkering die precies bij een inkomensdrempel begint, een bijspijkerklas voor leerlingen die net onder een slaaggrens scoren – en vergelijkt uitkomsten voor eenheden net boven en net onder, die verder gelijk zijn. Omdat aan welke kant van de drempel een eenheid valt in een smalle band eromheen feitelijk willekeurig is, benadert de vergelijking een lokaal gerandomiseerd experiment zonder dat iemand iets heeft gerandomiseerd. Wikipedia: Regression discontinuity design.

Schatting met instrumentele variabelen (IV) gebruikt een derde variabele, een “instrument”, die de deelname aan een programma beïnvloedt maar geen direct effect op de uitkomst heeft behalve via die deelname, om het deel van de relatie tussen behandeling en uitkomst eruit te halen dat verstoring anders zou besmetten. Een klassiek instrument in het publieke beleid is de afstand tot een voorziening, of een bij loting toegewezen plaats, die de deelname verschuift zonder zelfstandig de uitkomst te veroorzaken; het grootste deel van de moeilijkheid van de methode ligt in het verdedigen dat het instrument de uitkomst alleen via het programma beïnvloedt. Wikipedia: Instrumental variables estimation.

Een natuurlijk experiment is een situatie, ontstaan door beleid, geografie of omstandigheden in plaats van door onderzoeksontwerp, waarin sommige mensen aan een programma worden blootgesteld en vergelijkbare anderen niet, alsof er een experiment is uitgevoerd zonder dat iemand het uitvoerde. Een beleidswijziging die ingaat bij een geboortedatumgrens, een grens die bijna identieke huishoudens in verschillende rechtsgebieden plaatst, of een loting die een overtekende plaats rantsoeneert, zijn natuurlijke experimenten die RDD, IV of DiD vervolgens kunnen analyseren. Wikipedia: Natural experiment.

Het Hawthorne-effect benoemt het risico dat mensen hun gedrag veranderen louter omdat zij weten dat ze worden geobserveerd, los van de werkelijke inhoud van het programma, wat een geschat effect kan opblazen als de controlegroep niet met gelijke intensiteit wordt geobserveerd – de handeling van het meten kan zelf deel van de behandeling worden. Wikipedia: Hawthorne effect.

Statistische power is de kans dat een evaluatie een werkelijk effect van een bepaalde grootte detecteert als het bestaat, afhankelijk van vooral de steekproefgrootte, de gezochte effectgrootte en hoeveel uitkomsten binnen groepen variëren. Een te zwakke evaluatie die “geen significant effect” vindt, heeft vaak niet aangetoond dat het programma niets doet; zij heeft aangetoond dat de evaluatie te klein was om het ene of het andere te zeggen, een onderscheid dat leiders onder druk om tot een oordeel te komen vaak missen. Wikipedia: Power (statistics).

Beste praktijken

1. Bepaal het evaluatieontwerp voordat het programma start, niet erna. Een gerandomiseerde evaluatie, een gefaseerde uitrol die geschikt is voor verschil-in-verschillen, of een toelatingsdrempel die geschikt is voor regressiediscontinuïteit zijn allemaal veel gemakkelijker vanaf het begin in te bouwen dan achteraf aan te brengen wanneer de uitvoering al op ad-hocbasis is begonnen.
2. Benoem het tegenfeitelijke scenario expliciet in elke evaluatieopdracht. Schrijf in één zin op waarmee u deelnemers vergelijkt – helemaal geen programma, het vorige programma, een andere interventie – omdat een onuitgesproken tegenfeitelijk scenario meestal de plek is waar de scherpste evaluatiegeschillen zich verbergen.
3. Behandel een eenvoudige vergelijking van voor en na als beginhypothese, nooit als bevinding. Uitkomsten driften om veel redenen die los staan van uw programma – de conjunctuur, seizoenseffecten, ander beleid dat tegelijk landt – en een ontwerp met voor en na kan de bijdrage van uw programma niet van die van hen scheiden.
4. Stem de methode af op de regel die het programma werkelijk toewees, niet op de methode die u het meest vertrouwd vindt. Een programma dat bij loting wordt gerantsoeneerd, vraagt om de logica van een gerandomiseerde evaluatie, ook als u het nooit een trial noemt; een programma dat is toegewezen via een gescoorde drempel vraagt om regressiediscontinuïteit; een programma dat in sommige gebieden eerder is uitgerold dan in andere, vraagt om verschil-in-verschillen.
5. Registreer de uitkomstmaten en het analyseplan vooraf voordat u de resultaten ziet. Beslissen welke uitkomst als “succes” telt nadat u hebt gezien welke bewoog, is een goed gedocumenteerde weg naar valse positieven, en voorafgaande registratie is de standaardverdediging ertegen.
6. Dimensioneer de evaluatie voor de kleinste effectgrootte die de kosten van het programma nog zou rechtvaardigen, niet voor gemak. Een evaluatie die te klein is om een voor het beleid relevant effect te detecteren, levert een weinig zeggend resultaat van “geen significant verschil” op dat wordt gelezen als bewijs van falen.
7. Rapporteer de kenmerken van de vergelijkingsgroep naast die van de behandelgroep, niet alleen het hoofdeffect. Een geloofwaardige evaluatie laat een sceptische lezer controleren of de twee groepen vóór de behandeling gelijk waren; een evaluatie die dit verbergt, laat de lezer de balans op geloof aannemen.
8. Laat de evaluatie bestellen bij een bron die onafhankelijk is van het uitvoeringsteam, of schaard de analyse achter een firewall als dat niet kan. Een team met belang bij het succes van een programma heeft een structurele, vaak onbewuste prikkel om dubbelzinnig bewijs in het voordeel van het programma te interpreteren.
9. Scheid statistische significantie van praktische en fiscale significantie in elk rapport. Een nauwkeurig geschat klein effect en een onnauwkeurig geschat groot effect zijn verschillende bevindingen die verschillende besluiten vragen, en beide samenvouwen tot “significant” of “niet significant” wist het onderscheid dat een financieringsbesluit werkelijk nodig heeft.
10. Budgetteer voor evaluatie als vast deel van de programmakosten in de ontwerpfase, niet als wat er overblijft. Een programma dat groot genoeg is om voor publieke waarde van belang te zijn, is meestal groot genoeg om een geloofwaardige effectevaluatie te financieren, en evaluatie als discretionair behandelen is hoe zwak bewijs routine wordt.
11. Publiceer nul- en negatieve resultaten met dezelfde zichtbaarheid als positieve. Een opdrachtgevende omgeving die alleen succesvolle evaluaties publiceert, creëert een selectiebias in de gepubliceerde bewijsbasis zelf, waardoor ieders latere oordeel over “wat werkt” naar optimisme neigt.
12. Voed elke afgeronde evaluatie in de bredere bewijsbasis die uw sector onderhoudt, niet alleen in uw eigen archief. Eén evaluatie, hoe goed ontworpen ook, is één datapunt; systematische synthese over vele evaluaties maakt van een programmabevinding overdraagbare kennis (zie Onderwerp 2.6 — Bewijssynthese en wat werkt).

Vragen om met uw team te bespreken

Met welk tegenfeitelijk scenario vergelijken wij dit programma eigenlijk, en hebben wij dat hardop gezegd? Elke impactclaim impliceert een vergelijking, maar teams laten die vaak impliciet, waardoor “dit werkte” ongemerkt glijdt tussen “beter dan niets”, “beter dan wat wij eerder deden” en “beter dan het beste alternatief dat wij hadden kunnen financieren”. Vraag uw evaluatieleider het tegenfeitelijke scenario in één zin in gewone taal te formuleren en controleer dan of het bewijs dat u hebt een bewering over die specifieke vergelijking werkelijk ondersteunt. Als het eerlijke tegenfeitelijke scenario is “wij weten niet wat er anders zou zijn gebeurd”, behandel de huidige impactclaim dan als hypothese en niet als bevinding, en bespreek wat nodig is om die kloof te dichten.

Zouden de mensen of plaatsen die dit programma afnamen systematisch kunnen verschillen van wie dat niet deed, op manieren die ook de uitkomst zouden beïnvloeden? Dit is de selectiebiasvraag, en het is de moeite waard haar te stellen, ook wanneer – juist wanneer – het antwoord evident “nee” lijkt. Motivatie, eerdere omstandigheden, lokale capaciteit en verwijspatronen van personeel zijn veelvoorkomende verborgen bronnen van verschil die een misleidende impactschatting opleveren, zelfs met een grote, zorgvuldig ogende steekproef. Als het team niet kan beschrijven hoe deelnemers in het programma terechtkwamen, kan het dit niet uitsluiten, en die leemte zou u meer moeten zorgen baren dan een kleine steekproef.

Was ons evaluatieontwerp in het programma ingebouwd, of er achteraf aan vastgeschroefd, en wat kostte dat ons? Een gerandomiseerde evaluatie, een gefaseerde uitrol of een gescoorde toelatingsdrempel zijn alle veel goedkoper en geloofwaardiger wanneer ze vóór de start zijn gepland dan wanneer ze worden gereconstrueerd uit de administratieve data die toevallig bewaard zijn gebleven. Vraag welke evaluatieontwerpopties in de ontwerpfase van het programma zijn overwogen, en behandel het als er geen waren als een procesleemte die vóór het volgende programma moet worden gedicht, niet alleen als beperking van dit programma. Bespreek welke data vanaf dag één moeten bestaan om voor het volgende grote programma een geloofwaardige causale schatting te ondersteunen.

Is onze steekproef groot genoeg om een effect te detecteren dat de moeite waard is om te kennen, en zouden wij een te zwak “geen effect”-resultaat herkennen als wij er een zagen? Een evaluatie die geen statistisch significant effect meldt, vertelt u soms terecht dat het programma niet werkt, en soms alleen dat de evaluatie te klein was om een werkelijk aanwezig effect te zien. Vraag uw analisten het minimale effect te noemen waarvoor de evaluatie was gedimensioneerd en vergelijk dat met het effect dat de kosten van het programma werkelijk zou rechtvaardigen. Als die twee getallen ver uit elkaar liggen, kan het “geen effect”-resultaat weinig zeggend zijn in plaats van vernietigend, en het team moet dat duidelijk zeggen in plaats van stilte als falen te laten lezen.

Wie profiteert, professioneel of qua reputatie, als deze evaluatie positief uitvalt, en verandert dat hoeveel onafhankelijke controle zij nodig heeft? Dit is geen beschuldiging van oneerlijkheid; het is de erkenning dat mensen die een programma hebben ontworpen of uitvoeren structureel eerder geneigd zijn dubbelzinnige resultaten welwillend te interpreteren, vaak zonder te merken dat zij dat doen. Bespreek of de evaluatie is besteld, geanalyseerd of beoordeeld door iemand die onafhankelijk is van het uitvoeringsteam, en zo niet, hoe een proportionele firewall voor een programma van deze omvang eruit zou zien. Het doel is een resultaat dat ook uw meest sceptische financier zou vertrouwen, niet slechts een dat uw eigen team prettig kan verdedigen.

Als de bevinding van deze evaluatie robuust is, wat zouden wij dan werkelijk anders doen, en zijn wij bereid dat te doen? Een evaluatie die is besteld maar nooit bedoeld was een besluit te veranderen, is verzonken kosten vermomd als zorgvuldigheid, en het is de moeite waard dat risico te benoemen voordat de resultaten landen, niet erna. Bespreek vooraf wat een sterke positieve bevinding zou rechtvaardigen (opschaling, en hoeveel) en wat een nul- of negatieve bevinding zou teweegbrengen (herontwerp of beëindiging, en op welke termijn). Als niemand in de ruimte dit kan beantwoorden voordat hij de resultaten ziet, dient de evaluatie mogelijk een legitimiteitsfunctie in plaats van een besluitfunctie, en het is de moeite waard daar eerlijk over te zijn (zie Onderwerp 2.1 — De publieke-waardescorecard en resultatenkaders).

In de praktijk: een voorbeeld van publieke waarde

Fictieve illustratie. Het ministerie van Werkgelegenheidsdiensten in een middelgroot, onbenoemd land voerde een jaar lang een pilot uit van een intensieve coachingdienst voor langdurig werkloze werkzoekenden, naast de bestaande standaarddienst. Aan het einde van de pilot vergeleek een intern rapport de groep die intensieve coaching had gekregen met iedereen die in dezelfde periode uit de werkloosheid kwam: de gecoachte groep had binnen zes maanden een plaatsingspercentage van 38%, tegen 24% voor de rest van het bestand. Ministers kregen te horen dat het programma “werkte” en er ging een businesscase naar voren om het landelijk uit te rollen.

Voordat de financiering werd goedgekeurd, stelde de financiële commissie een eenvoudige vraag: hoe waren werkzoekenden in de gecoachte groep terechtgekomen? Het antwoord bleek enorm uit te maken. Consulenten hadden werkzoekenden doorverwezen naar de coachingpilot van wie zij oordeelden dat zij er “het meest baat bij zouden hebben”, een goedbedoelde triagebeslissing die in feite van meet af aan een werkgereedere groep in de behandeling had geselecteerd. De vergelijking van 38% tegen 24% was besmet door precies de selectiebias waarvoor dit onderwerp waarschuwt: het was heel goed mogelijk dat de gecoachte groep de rest van het bestand ook zonder enige coaching had overtroffen.

In plaats van de uitrol goed te keuren of af te wijzen op die vergelijking, stelde de evaluatie-eenheid van het ministerie een tweede fase met een loting voor. De vraag naar de coachingdienst overtrof al het aantal beschikbare plaatsen, dus de eenheid wees plaatsen willekeurig toe aan even geschikte kandidaten en vergeleek de plaatsingspercentages tussen de lotingswinnaars en lotingsverliezers, een toepassing van de logica van gerandomiseerde evaluatie zonder de dienst te hoeven onthouden aan iemand die haar anders niet zou hebben gekregen. Twaalf maanden later liet de lotingvergelijking een kleiner maar reëel effect zien: een verbetering van 9 procentpunt in plaatsing na zes maanden, niet de kloof van 14 punten die de oorspronkelijke vergelijking had geïmpliceerd. Het ministerie gebruikte de op loting gebaseerde schatting, samen met zijn eigen kostengegevens, om een verdedigbare kosteneffectiviteitszaak (zie Onderwerp 2.2 — Maatschappelijke kosten-batenanalyse en kosteneffectiviteitsanalyse) op te bouwen voor een opgeschaalde maar middelenbeperkte uitrol, in plaats van de grotere, onuitvoerbare uitbreiding die de gebrekkige eerste vergelijking zou hebben gerechtvaardigd.

Vier sectorperspectieven

Lokale overheid

Lokale overheden voeren doorgaans veel kleine en middelgrote programma’s uit in plaats van enkele zeer grote, wat speciaal gebouwde gerandomiseerde evaluaties duur maakt ten opzichte van de programmagrootte en lokale evaluatoren richting quasi-experimentele methoden duwt die al verzamelde administratieve gegevens hergebruiken – verschil-in-verschillen over dienstgebieden die een wijziging op verschillende tijdstippen invoerden, of regressiediscontinuïteit rond een lokale toelatingsdrempel. Verschillen in grenzen en rechtsgebieden die elders een ergernis zouden zijn, zijn vaak het beste natuurlijke experiment van een lokale evaluator, omdat twee naburige wijken of districten in beleid kunnen verschillen terwijl ze op de meeste andere punten gelijk blijven.

Nationale overheid

Nationale overheden hebben de schaal om speciaal gebouwde gerandomiseerde evaluaties te financieren en de administratieve datasets, vaak gekoppeld over belasting-, uitkerings-, gezondheids- en onderwijsregisters, om tegen lage marginale kosten geloofwaardige quasi-experimentele ontwerpen uit te voeren. Deze schaal is ook waar werkgroepen voor “wat werkt” en gecentraliseerde evaluatierichtlijnen, zoals het standaardevaluatiehandboek van een ministerie van financiën, doorgaans zijn ondergebracht, omdat alleen een nationale overheid de vaste kosten kan rechtvaardigen van het onderhouden van permanente evaluatie-infrastructuur en een gemeenschappelijke methodologische norm over veel departementen.

Sociale sector en non-profit

Non-profitorganisaties en niet-gouvernementele organisaties hebben zelden de steekproefgroottes of budgetten die een goed gedimensioneerde gerandomiseerde evaluatie nodig heeft, en hun programma’s veranderen vaak adaptief als reactie op wat personeel in de frontlinie waarneemt, wat elk ontwerp compliceert dat uitgaat van een stabiele, goed omschreven behandeling. Samenwerking met een academische onderzoeksgroep of een gespecialiseerde evaluatie-intermediair, van het soort dat rond de beweging voor gerandomiseerde evaluatie in internationale ontwikkeling is gegroeid, is vaak de enige realistische weg naar een rigoureuze causale schatting, en financiers vragen steeds vaker precies dit soort externe samenwerking voordat zij zich aan meerjarige subsidies verbinden.

Multilateraal en internationaal

Multilaterale organen financieren programma’s in veel landen met uiteenlopende datasystemen, administratieve capaciteit en normen voor ethische toetsing, wat gestandaardiseerde causale methoden moeilijker uniform toepasbaar maakt maar ook natuurlijke variatie tussen landen schept die zelf een natuurlijk experiment kan worden wanneer een beleid in sommige lidstaten eerder wordt ingevoerd dan in andere. Gerandomiseerde evaluaties in de ontwikkelingseconomie zijn op deze schaal bijzonder invloedrijk geweest en hebben bewijs opgeleverd dat bepaalde hoe internationale ontwikkelingsfinanciering wordt toegewezen, maar ze dragen ook een gedocumenteerd risico van falen van externe validiteit: een resultaat dat geldt in het onderzochte land en de onderzochte context, is niet automatisch overdraagbaar naar een andere context, een kanttekening die multilateraal programmaontwerp te vaak negeert.

Veelvoorkomende faalpatronen

De naïeve vergelijking van voor en na. Een programma wordt uitsluitend beoordeeld door uitkomsten van vóór de start te vergelijken met uitkomsten erna, zonder enige vergelijkingsgroep, zodat elke trend die al gaande was – economisch herstel, een demografische verschuiving, een afzonderlijke beleidswijziging – ten onrechte aan het programma wordt toegeschreven. De kosten zijn een zelfverzekerd causaal verhaal op een ontwerp dat het effect van het programma niet kan onderscheiden van alles wat er tegelijk gebeurde.

Selectiebias aangezien voor programma-effect. Deelnemers die zich aanmeldden, of werden doorverwezen omdat zij waarschijnlijk zouden slagen, worden vergeleken met iedereen anders, wat een impactschatting oplevert die in werkelijkheid meet wie het programma aantrok en niet wat het met hen deed. De kosten zijn een opgeschaald programma dat minder effectief lijkt, soms veel minder, zodra het een minder zelfgeselecteerde populatie bereikt.

De te zwakke evaluatie gerapporteerd als nulbevinding. Een kleine pilot vindt “geen statistisch significant effect” en wordt gelezen als bewijs dat het programma niet werkt, terwijl de steekproef in feite te klein was om een effect van de relevante grootte te detecteren. De kosten lopen beide kanten op: een werkelijk effectief programma kan worden beëindigd op grond van bewijs dat nooit had kunnen laten zien dat het werkte, of middelen gaan naar een grotere trial die niet nodig was geweest als de oorspronkelijke opdracht goed was gedimensioneerd.

Een lokale schatting buiten haar context extrapoleren. Een regressiediscontinuïteitsontwerp schat het effect correct voor eenheden nabij de toelatingsgrens, en een schatting met instrumentele variabelen schat het effect correct voor eenheden van wie de behandelstatus het instrument werkelijk verschoof, maar beide bevindingen worden daarna op de hele populatie toegepast alsof de schatting overal gold. De kosten zijn een beleid dat wordt opgeschaald op grond van een getal dat alleen ooit lokaal waar was.

Evaluatie als toneel. Een evaluatie wordt besteld om de schijn van op bewijs gebaseerde besluitvorming te wekken, maar het besluit is feitelijk al genomen en geen aannemelijke bevinding zou het hebben veranderd. De kosten zijn een verspild evaluatiebudget en, corrosiever, een langzame erosie van het vertrouwen in evaluatie zelf zodra personeel merkt dat resultaten nooit uitkomsten lijken te veranderen.

Volwassenheidsmodel

Checklist

• Formuleer het tegenfeitelijke scenario voor elke grote programma-evaluatie in één zin in gewone taal.
• Bevestig hoe deelnemers in de behandelgroep terechtkwamen en beoordeel of dat proces het uitkomstverschil zelf zou kunnen verklaren.
• Kies de evaluatiemethode (gerandomiseerde evaluatie, verschil-in-verschillen, regressiediscontinuïteit, instrumentele variabelen of natuurlijk experiment) die past bij de werkelijke toewijzingsregel, waar mogelijk vóór de start van de uitvoering.
• Bereken de statistische power die nodig is om de kleinste effectgrootte te detecteren die de kosten van het programma zou rechtvaardigen.
• Registreer uitkomstmaten en het analyseplan vooraf voordat resultaten worden gezien.
• Rapporteer de vergelijkbaarheid van behandel- en vergelijkingsgroepen naast het hoofdeffect.
• Laat de evaluatie bestellen of beoordelen door een functie die onafhankelijk is van het uitvoeringsteam.
• Scheid statistische significantie van fiscale en praktische significantie in elk rapport aan beslissers.
• Budgetteer in de ontwerpfase voor evaluatie als vast deel van de programmakosten.
• Publiceer nul- en negatieve bevindingen met dezelfde zichtbaarheid als positieve.
• Controleer of een positieve lokale schatting (uit regressiediscontinuïteit of instrumentele variabelen) niet wordt geëxtrapoleerd voorbij de populatie die zij werkelijk dekt.
• Voer afgeronde evaluaties in de bredere bewijsbasis die uw sector onderhoudt, niet alleen in uw eigen archief.

Belangrijkste bronnen

De methodologische kern van dit onderwerp put uit de toegepaste-econometrietraditie die wordt geassocieerd met Joshua D. Angrist en Jörn-Steffen Pischke, en uit het kader van potentiële uitkomsten dat door Donald Rubin is geformaliseerd. De beweging voor gerandomiseerde evaluatie in publiek beleid en ontwikkelingseconomie, geassocieerd met het Abdul Latif Jameel Poverty Action Lab (J-PAL) en zijn academische netwerk, levert een groot deel van de toegepaste praktijk waarnaar in de sectorperspectieven wordt verwezen. Overheidsnormen voor evaluatie putten uit de Magenta Book-richtlijnen van het Britse Treasury, en de praktijk van bewijssynthese put uit de normen van de Campbell Collaboration voor systematische reviews in sociaal beleid (zie Onderwerp 2.6 — Bewijssynthese en wat werkt).

Referenties

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network