Økonometri i den offentlige sektor og programevaluering

Hvorfor det er vigtigt for offentlig værdi

Hvert år fornyer, udvider eller aflyser offentlige organer programmer på grundlag af en resultatsammenligning: deltagere i jobprogrammet fandt arbejde hurtigere end ikke-deltagere; elever i vejledningsordningen scorede højere end elever, der ikke fik vejledning. Hver sammenligning er sand som beskrivelse og farlig som argument, for ingen af dem fortæller alene, om programmet forårsagede forskellen. Folk, der tilmelder sig et jobprogram, er ofte mere motiverede end folk, der ikke gør, og elever udvalgt til vejledning er ofte valgt, fordi en lærer allerede forventer, at de vil reagere godt. Kløften mellem «den behandlede gruppe klarede sig bedre» og «behandlingen fik dem til at klare sig bedre» er netop den kløft, kausal inferens findes for at lukke.

Det er ikke en akademisk pedanteri. Et økonomiudvalg, der bliver bedt om at forny et programs finansiering, bliver implicit bedt om at bemyndige brugen af offentlige penge på en påstand om kausalitet, uanset om nogen i rummet bruger det ord. Emne 2.1 gav dig det resultatrammeværk, der angiver, hvad et program skal ændre (se Emne 2.1 — Scorecard for offentlig værdi og resultatrammer); dette emne giver dig de metoder, der afprøver, om det faktisk ændrede det, og med hvor meget. Cost-benefit- og omkostningseffektivitetsanalyse (se Emne 2.2 — Samfundsøkonomisk cost-benefit- og omkostningseffektivitetsanalyse) og socialt investeringsafkast (se Emne 2.3 — Socialt investeringsafkast og effektmåling) har begge brug for en forsvarlig effektstørrelse at arbejde med; dette emne er, hvor den effektstørrelse kommer fra, eller hvor du lærer, at det tal, du allerede har, ikke kan bære den vægt, der lægges på det.

Indsatsen er ikke kun finansiel. En regering, der skalerer et ineffektivt program op, fordi en mangelfuld evaluering fik det til at se effektivt ud, har spildt penge og, ofte værre, fortrængt et reelt effektivt alternativ, der aldrig fik chancen; en regering, der aflyser et effektivt program, fordi en naiv sammenligning fik det til at se ubrugeligt ud, har ødelagt værdi, en bedre designet evaluering ville have beskyttet. At få kausal identifikation rigtig, og at vide, hvornår man ikke kan få den rigtig, er i sig selv en kompetence i offentlig værdi, ikke en specialists sidebeskæftigelse.

Kernebegreber

Kausal inferens er den gren af statistikken, der beskæftiger sig med at fastslå, om og med hvor meget en variabels ændring frembringer en ændring i en anden, adskilt fra at de to variable blot bevæger sig sammen. Den leverer det begrebsmæssige grundlag – kontrafaktisk ræsonnement, sproget om behandling og kontrol, kataloget over specifikke trusler mod en kausal påstand – som enhver metode i dette emne trækker på. Wikipedia: Kausal inferens.

Kontrafaktuel er det resultat, en person eller enhed ville have oplevet, havde de ikke modtaget programmet, og det er den centrale, uobserverbare størrelse, enhver kausal metode forsøger at tilnærme: man kan se, hvad der skete med en deltager, men aldrig hvad der ville være sket med den samme person uden hjælp. Hver metode nedenfor er en forskellig strategi til at konstruere en troværdig stedfortræder for den manglende observation. Rubins kausale model, udviklet hovedsageligt af statistikeren Donald Rubin, formaliserer dette som rammeværket «potentielle udfald»: hver enhed har et potentielt udfald under behandling og et under kontrol, og den kausale effekt er forskellen mellem dem, hvoraf kun det ene nogensinde observeres. Wikipedia: Rubins kausale model.

Confounding (sammenblanding) opstår, når en tredje faktor påvirker både, om en enhed modtager et program, og det resultat, programmet skal ændre, hvilket får det til at se ud, som om programmet forårsagede en effekt, som confounderen faktisk frembragte. Motivation, tidligere evner, lokale økonomiske forhold og husstandsformue er tilbagevendende confoundere i evaluering af offentlige programmer, fordi de rutinemæssigt påvirker både, hvem der tager en tjeneste op, og hvordan den person eller det sted klarer sig bagefter. Wikipedia: Confounding.

Selektionsbias er det specifikke tilfælde af confounding, der opstår af, hvordan deltagere overhovedet kommer til at være i behandlingsgruppen – selvselektion, personalehenvisning eller berettigelsesregler – således at behandlede og ubehandlede grupper adskiller sig systematisk, før programmet nogensinde rører dem. Et jobprogram, kun de mest motiverede jobsøgende tilmelder sig, vil se effektivt ud, selv om det ikke gør noget, fordi sammenligningsgruppen aldrig var en fair stedfortræder for, hvad deltagerne ville have gjort uden hjælp. Wikipedia: Selektionsbias.

Korrelation er ikke kausalitet er den generelle advarsel, dette emne operationaliserer: at to variable bevæger sig sammen er foreneligt med, at den ene forårsager den anden, med det omvendte, med en fælles årsag eller med tilfældighed, og mønstret alene kan ikke skelne mellem disse. Is-salg og drukneulykker stiger begge hver sommer uden at nogen af dem forårsager den anden, fordi varmt vejr driver begge; evaluering af offentlige programmer er fuld af subtilere versioner af den samme fælde. Wikipedia: Korrelation er ikke kausalitet.

Det randomiserede kontrollerede forsøg (RCT), kaldet en randomiseret evaluering i politikevalueringslitteraturen, tildeler berettigede enheder tilfældigt til en behandlingsgruppe, der modtager programmet, og en kontrolgruppe, der ikke gør, så de to grupper i gennemsnit kun adskiller sig i, om de blev behandlet. Randomisering er kraftfuld, fordi den håndterer confounding i alt: den balancerer både de confoundere, du kan måle, og dem, du ikke kan, uden at du behøver at navngive dem på forhånd. Wikipedia: Randomiseret kontrolleret forsøg.

Forskel-i-forskelle (DiD) sammenligner ændringen i resultater over tid for en behandlet gruppe med ændringen over samme periode for en sammenligningsgruppe, der ikke modtog programmet, under antagelse af at de to grupper, uden programmet, ville have fulgt parallelle tendenser. Det er arbejdshesten, når et program nåede én jurisdiktion før en anden, og randomisering aldrig var en mulighed, fordi den kan bruge rutinemæssigt indsamlede administrative data frem for et formålsbygget forsøg. Wikipedia: Forskel i forskelle.

Regressionsdiskontinuitetsdesign (RDD) udnytter en programregel, der tildeler behandling baseret på, at en målt score krydser en fast grænse – en ydelse, der begynder præcis ved en indkomstgrænse, en støtteklasse tildelt elever, der scorer lige under en beståelsesgrænse – og sammenligner resultater for enheder lige over og lige under, der ellers er ens. Fordi hvilken side af grænsen en enhed falder på reelt er vilkårligt i et smalt bånd omkring den, tilnærmer sammenligningen et lokalt randomiseret eksperiment uden at nogen har randomiseret noget. Wikipedia: Regressionsdiskontinuitetsdesign.

Instrumentvariabelestimation (IV) bruger en tredje variabel, et «instrument», der påvirker tilslutning til et program, men ikke har nogen direkte effekt på resultatet undtagen gennem den tilslutning, til at fjerne den del af behandling-resultat-forholdet, som confounding ellers ville forurene. Et klassisk instrument i offentlig politik er afstand til en facilitet eller en lodtrukket plads, som flytter deltagelsen uden selvstændigt at forårsage resultatet; det meste af metodens vanskelighed ligger i at forsvare, at instrumentet kun påvirker resultatet gennem programmet. Wikipedia: Instrumentvariabelestimation.

Et naturligt eksperiment er en situation, opstået af politik, geografi eller omstændigheder snarere end forskerdesign, hvor nogle mennesker udsættes for et program og sammenlignelige andre ikke, som om et eksperiment var blevet kørt uden at nogen kørte det. En politikændring, der træder i kraft ved en fødselsdato-grænse, en grænse der placerer næsten identiske husstande i forskellige jurisdiktioner, eller et lotteri der rationerer en overtegnet plads, er naturlige eksperimenter, som RDD, IV eller DiD så kan analysere. Wikipedia: Naturligt eksperiment.

Hawthorne-effekten navngiver risikoen for, at folk ændrer deres adfærd blot fordi de ved, at de bliver observeret, uafhængigt af programmets faktiske indhold, hvilket kan oppuste en estimeret effekt, hvis kontrolgruppen ikke observeres med samme intensitet – selve målingen kan blive en del af behandlingen. Wikipedia: Hawthorne-effekten.

Statistisk styrke er sandsynligheden for, at en evaluering vil opdage en sand effekt af en given størrelse, hvis en findes, afhængigt hovedsageligt af stikprøvestørrelsen, den søgte effektstørrelse og hvor meget resultaterne varierer inden for grupper. En evaluering med for lav styrke, der finder «ingen signifikant effekt», har ofte ikke vist, at programmet intet gør; den har vist, at evalueringen var for lille til at sige hverken eller, et skel ledere ofte overser under pres for at nå en dom. Wikipedia: Styrke (statistik).

Bedste praksis

1. Beslut evalueringsdesignet, før programmet lanceres, ikke efter. En randomiseret evaluering, en trinvis udrulning egnet til forskel-i-forskelle eller en berettigelsesgrænse egnet til regressionsdiskontinuitetsdesign er alle langt lettere at bygge ind fra starten end at eftermontere, når leveringen allerede er begyndt ad hoc.
2. Angiv kontrafaktuel eksplicit i hvert evalueringsbrief. Skriv i én sætning ned, hvad du sammenligner deltagere med – intet program, det tidligere program, et andet indgreb – for en uangivet kontrafaktuel er, hvor de skarpeste evalueringstvister som regel gemmer sig.
3. Behandl en simpel før-og-efter-sammenligning som en startshypotese, aldrig som et fund. Resultater driver af mange grunde uden relation til dit program – konjunkturen, sæsoneffekter, andre politikændringer, der lander samtidig – og et før-og-efter-design kan ikke adskille dit programs bidrag fra deres.
4. Tilpas metoden til den regel, der faktisk tildelte programmet, ikke til den metode, du finder mest velkendt. Et program rationeret ved lotteri kræver en randomiseret evaluerings logik, selv om du aldrig kalder det et forsøg; et program tildelt ved en scoret grænse kræver regressionsdiskontinuitetsdesign; et program udrullet til nogle områder før andre kræver forskel-i-forskelle.
5. Præregistrér resultatmålene og analyseplanen, før du ser resultaterne. At beslutte, hvilket resultat der tæller som «succes», efter at have set hvilket der rykkede sig, er en veldokumenteret vej til falske positive, og præregistrering er standardforsvaret mod det.
6. Giv evalueringen styrke til den mindste effektstørrelse, der stadig ville retfærdiggøre programmets omkostning, ikke efter bekvemmelighed. En evaluering for lille til at opdage en politikrelevant effekt vil frembringe et uinformativt «ingen signifikant forskel»-resultat, der misforstås som bevis for svigt.
7. Rapportér sammenligningsgruppens karakteristika ved siden af behandlingsgruppens, ikke kun overskriftseffekten. En troværdig evaluering lader en skeptisk læser kontrollere, at de to grupper var ens før behandlingen; en evaluering, der skjuler dette, får læseren til at tage balancen på tro.
8. Bestil evalueringen fra en kilde uafhængig af leveringsteamet, eller afskærm analysen, hvis du ikke kan. Et team med en interesse i et programs succes har et strukturelt, ofte ubevidst, incitament til at fortolke tvetydig dokumentation til programmets fordel.
9. Adskil statistisk signifikans fra praktisk og finansiel signifikans i hver rapport. En præcist estimeret lille effekt og en upræcist estimeret stor effekt er forskellige fund, der kræver forskellige beslutninger, og at slå begge sammen til «signifikant» eller «ikke signifikant» sletter det skel, en finansieringsbeslutning faktisk har brug for.
10. Budgetter evaluering som en fast andel af programomkostningen på designstadiet, ikke som det, der er til overs. Et program stort nok til at betyde noget for offentlig værdi er som regel stort nok til at finansiere en troværdig effektevaluering, og at behandle evaluering som skønsmæssig er, hvordan svag dokumentation bliver rutine.
11. Offentliggør nul- og negative resultater med samme synlighed som positive. Et bestillingsmiljø, der kun offentliggør vellykkede evalueringer, skaber en selektionsbias i selve det offentliggjorte dokumentationsgrundlag og vrider alles senere «hvad virker»-skøn mod optimisme.
12. Før hver afsluttet evaluering ind i det bredere dokumentationsgrundlag, din sektor vedligeholder, ikke kun dit eget arkiv. En enkelt evaluering, uanset hvor godt designet, er ét datapunkt; systematisk syntese på tværs af mange er, hvad der forvandler et programfund til overførbar viden (se Emne 2.6 — Evidenssyntese og hvad der virker).

Spørgsmål at drøfte med dit team

Hvad er den kontrafaktuel, vi faktisk sammenligner dette program med, og har vi sagt det højt? Hver effektpåstand indebærer en sammenligning, men teams lader den ofte være implicit og lader «dette virkede» stille glide mellem «bedre end ingenting», «bedre end hvad vi gjorde før» og «bedre end det bedste alternativ, vi kunne have finansieret». Bed jeres evalueringsleder om at angive kontrafaktuel som én sætning på almindeligt sprog og tjek derefter, om den dokumentation, I har, faktisk understøtter en påstand om netop den sammenligning. Hvis den ærlige kontrafaktuel er «vi ved ikke, hvad der ville være sket ellers», så behandl den nuværende effektpåstand som en hypotese, ikke et fund, og drøft, hvad der skal til for at lukke det hul.

Kunne de mennesker eller steder, der tog dette program op, adskille sig systematisk fra dem, der ikke gjorde, på måder, der også ville påvirke resultatet? Dette er selektionsbias-spørgsmålet, og det er værd at stille selv når – især når – svaret virker åbenlyst «nej». Motivation, tidligere omstændigheder, lokal kapacitet og personalets henvisningsmønstre er almindelige skjulte kilder til forskel, der frembringer et vildledende effektestimat selv med en stor, omhyggeligt udseende stikprøve. Hvis teamet ikke kan beskrive, hvordan deltagere endte i programmet, kan de ikke udelukke dette, og det hul bør bekymre jer mere end en lille stikprøve.

Var vores evalueringsdesign bygget ind i programmet eller boltet på bagefter, og hvad kostede det os? En randomiseret evaluering, en trinvis udrulning eller en scoret berettigelsesgrænse er alle langt billigere og mere troværdige, når de planlægges før lancering, end når de rekonstrueres fra de administrative data, der tilfældigvis overlevede. Spørg, hvilke evalueringsdesignmuligheder der blev overvejet på programmets designstadie, og hvis ingen blev det, så behandl det som et procesgab, der skal lukkes før næste program, ikke blot en begrænsning ved dette. Drøft, hvilke data der skal findes fra dag ét, for at det næste større program kan understøtte et troværdigt kausalt estimat.

Er vores stikprøve stor nok til at opdage en effekt, der er værd at kende, og ville vi genkende et «ingen effekt»-fund med for lav styrke, hvis vi så et? En evaluering, der rapporterer ingen statistisk signifikant effekt, fortæller af og til korrekt, at programmet ikke virker, og af og til blot, at evalueringen var for lille til at se en effekt, der reelt er der. Bed jeres analytikere angive den mindste effektstørrelse, evalueringen havde styrke til at opdage, og sammenlign med den effektstørrelse, der faktisk ville retfærdiggøre programmets omkostning. Hvis de to tal ligger langt fra hinanden, kan «ingen effekt»-fundet være uinformativt snarere end fordømmende, og teamet bør sige det klart frem for at lade tavshed blive læst som svigt.

Hvem har fordel, fagligt eller omdømmemæssigt, hvis denne evaluering kommer positivt tilbage, og ændrer det, hvor megen uafhængig granskning den har brug for? Dette er ikke en anklage om uærlighed; det er en erkendelse af, at folk, der designede eller leverer et program, er strukturelt mere tilbøjelige til at fortolke tvetydige resultater velvilligt, ofte uden at bemærke, at de gør det. Drøft, om evalueringen blev bestilt, analyseret eller gennemgået af nogen uafhængig af leveringsteamet, og hvis ikke, hvordan en proportionel afskærmning ville se ud for et program af denne størrelse. Målet er et resultat, jeres mest skeptiske bidragyder også ville stole på, ikke blot et, jeres eget team er komfortabelt med at forsvare.

Hvis denne evaluerings fund er robust, hvad ville vi så faktisk gøre anderledes, og er vi parate til at gøre det? En evaluering bestilt men aldrig tænkt til at ændre en beslutning er en tabt omkostning udklædt som due diligence, og det er værd at nævne den risiko, før resultaterne lander, frem for efter. Drøft på forhånd, hvad et stærkt positivt fund ville retfærdiggøre (opskalering, og med hvor meget), og hvad et nul- eller negativt fund ville udløse (redesign eller aflysning, og på hvilken tidslinje). Hvis ingen i rummet kan svare på dette, før de ser resultaterne, kan evalueringen tjene en legitimitetsfunktion snarere end en beslutningsfunktion, og det er værd at være ærlig om (se Emne 2.1 — Scorecard for offentlig værdi og resultatrammer).

I praksis: et eksempel på offentlig værdi

Fiktiv illustration. Beskæftigelsesministeriet i et mellemstort, unavngivet land kørte en etårig pilot af en intensiv vejledningstjeneste for langtidsledige jobsøgende ved siden af den eksisterende standardtjeneste. Ved pilotens afslutning sammenlignede en intern rapport gruppen, der modtog intensiv vejledning, med alle andre, der forlod ledighed i samme periode: den vejledte gruppe havde en jobplaceringsrate på 38 % inden for seks måneder mod 24 % for resten af sagsmassen. Ministrene fik at vide, at programmet «virkede», og en business case gik videre for at udrulle det nationalt.

Før finansieringen blev godkendt, stillede økonomiudvalget et ligefremt spørgsmål: hvordan var jobsøgende endt i den vejledte gruppe i første omgang? Svaret viste sig at betyde enormt meget. Sagsbehandlere havde henvist jobsøgende, de vurderede «mest tilbøjelige til at få gavn», til vejledningspiloten, en velment triageringsbeslutning, der reelt havde udvalgt en mere arbejdsparat gruppe til behandling fra starten. Sammenligningen 38 % mod 24 % var forurenet af netop den selektionsbias, dette emne advarer imod: det var helt muligt, at den vejledte gruppe ville have klaret sig bedre end resten af sagsmassen selv uden nogen vejledning.

I stedet for at godkende eller afvise udrulningen på den sammenligning foreslog ministeriets evalueringsenhed en anden fase med et lotteri. Efterspørgslen efter vejledningstjenesten oversteg allerede de tilgængelige pladser, så enheden tildelte tilfældigt pladser blandt lige berettigede ansøgere og sammenlignede jobplaceringsrater mellem lotterivinderne og lotteritaberne, en anvendelse af den randomiserede evaluerings logik uden at skulle tilbageholde tjenesten fra nogen, der ellers ville have modtaget den. Tolv måneder senere viste lotterisammenligningen en mindre men reel effekt: en forbedring på 9 procentpoint i seksmåneders placering, ikke det 14-punkts gab, den oprindelige sammenligning havde antydet. Ministeriet brugte det lotteribaserede estimat, sammen med sine egne omkostningsdata, til at bygge en forsvarlig omkostningseffektivitetssag (se Emne 2.2 — Samfundsøkonomisk cost-benefit- og omkostningseffektivitetsanalyse) for en skaleret men ressourcebegrænset udrulning, frem for den større, uleverbare udvidelse, den mangelfulde indledende sammenligning ville have retfærdiggjort.

Fire sektorlinser

Lokal forvaltning

Lokale myndigheder kører typisk mange små og mellemstore programmer snarere end nogle få meget store, hvilket gør formålsbyggede randomiserede evalueringer dyre i forhold til programstørrelsen og skubber lokale evaluatorer mod kvasi-eksperimentelle metoder, der genbruger administrative data, der allerede indsamles – forskel-i-forskelle på tværs af serviceområder, der indførte en ændring på forskellige tidspunkter, eller regressionsdiskontinuitetsdesign omkring en lokal berettigelsesgrænse. Grænse- og jurisdiktionsforskelle, der andre steder ville være en gene, er ofte en lokal evaluators bedste naturlige eksperiment, da to nabokvarterer eller -distrikter kan adskille sig i politik, mens de forbliver ens i det meste andet.

National forvaltning

Nationale regeringer har skalaen til at finansiere formålsbyggede randomiserede evalueringer og de administrative datasæt, ofte koblet på tværs af skatte-, ydelses-, sundheds- og uddannelsesregistre, til at køre troværdige kvasi-eksperimentelle designs til lav marginalomkostning. Denne skala er også, hvor «hvad virker»-taskforcer og central evalueringsvejledning, såsom et finansministeriums standardevalueringshåndbog, har tendens til at sidde, fordi kun en national regering kan retfærdiggøre den faste omkostning ved at vedligeholde stående evalueringsinfrastruktur og en fælles metodisk standard på tværs af mange ministerier.

Den sociale sektor og nonprofit

Nonprofitorganisationer og ikke-statslige organisationer har sjældent de stikprøvestørrelser eller budgetter, en veldrevet randomiseret evaluering kræver, og deres programmer ændres ofte adaptivt som svar på, hvad frontpersonalet observerer, hvilket komplicerer ethvert design, der forudsætter en stabil, veldefineret behandling. Partnerskab med en akademisk forskergruppe eller en specialist evalueringsformidler, af den slags der er vokset op omkring bevægelsen for randomiseret evaluering i international udvikling, er ofte den eneste realistiske vej til et stringent kausalt estimat, og bidragydere beder i stigende grad netop om den slags eksternt partnerskab, før de forpligter sig til flerårige bevillinger.

Multilateral og international

Multilaterale organer finansierer programmer på tværs af mange lande med forskellige datasystemer, administrativ kapacitet og etiske vurderingsnormer, hvilket gør standardiserede kausale metoder sværere at anvende ensartet, men også skaber naturlig variation på tværs af lande, der selv kan blive et naturligt eksperiment, når en politik vedtages i nogle medlemsstater før andre. Randomiserede evalueringer i udviklingsøkonomi har været særligt indflydelsesrige i denne skala og har frembragt dokumentation, der formede, hvordan international udviklingsfinansiering fordeles, men de bærer også en dokumenteret risiko for svigt i ekstern validitet: et resultat, der holder i det land og den kontekst, der blev undersøgt, overføres ikke automatisk til en anden kontekst, et forbehold multilateralt programdesign alt for ofte glemmer.

Almindelige fejlmønstre

Den naive før-og-efter. Et program bedømmes udelukkende ved at sammenligne resultater før dets start med resultater efter, uden nogen sammenligningsgruppe overhovedet, så enhver tendens, der allerede var i gang – økonomisk genopretning, et demografisk skift, en separat politikændring – fejltilskrives programmet. Omkostningen er en selvsikker kausal historie bygget på et design, der ikke faktisk kan skelne programmets effekt fra alt andet, der skete samtidig.

Selektionsbias forvekslet med programeffekt. Deltagere, der meldte sig til eller blev henvist, fordi de så ud til at ville få succes, sammenlignes med alle andre, hvilket frembringer et effektestimat, der i virkeligheden er et mål for, hvem programmet tiltrak, snarere end hvad det gjorde ved dem. Omkostningen er et opskaleret program, der ser mindre effektivt ud, til tider meget mindre, når det når en mindre selvvalgt befolkning.

Evalueringen med for lav styrke rapporteret som et nulfund. En lille pilot finder «ingen statistisk signifikant effekt» og læses som bevis på, at programmet ikke virker, når stikprøven faktisk var for lille til at opdage en effekt af den størrelse, der ville betyde noget. Omkostningen går i begge retninger: et reelt effektivt program kan aflyses på grundlag af dokumentation, der aldrig var i stand til at vise, at det virkede, eller ressourcer flyttes til at finansiere et større forsøg, der ikke behøvede at være nødvendigt, hvis det oprindelige brief var blevet givet korrekt styrke.

At ekstrapolere et lokalt estimat ud over dets kontekst. Et regressionsdiskontinuitetsdesign estimerer korrekt effekten for enheder nær berettigelsesgrænsen, og et instrumentvariabelestimat estimerer korrekt effekten for enheder, hvis behandlingsstatus instrumentet faktisk flyttede, men begge fund anvendes så på hele befolkningen, som om estimatet holdt overalt. Omkostningen er en politik skaleret på styrken af et tal, der kun nogensinde var lokalt sandt.

Evaluering som teater. En evaluering bestilles for at skabe udseendet af evidensbaseret beslutningstagning, men beslutningen er reelt allerede truffet, og intet plausibelt fund ville have ændret den. Omkostningen er et spildt evalueringsbudget og, mere ætsende, en langsom udhuling af tilliden til evaluering selv, når personalet bemærker, at resultater aldrig synes at ændre udfald.

Modenhedsmodel

Tjekliste

• Angiv kontrafaktuel for hver større programevaluering i én sætning på almindeligt sprog.
• Bekræft, hvordan deltagere kom i behandlingsgruppen, og vurdér, om den proces i sig selv kunne forklare resultatforskellen.
• Vælg evalueringsmetoden (randomiseret evaluering, forskel-i-forskelle, regressionsdiskontinuitetsdesign, instrumentvariable eller naturligt eksperiment) til at svare til den faktiske tildelingsregel, før leveringen begynder, hvor muligt.
• Beregn den statistiske styrke, der skal til for at opdage den mindste effektstørrelse, der ville retfærdiggøre programmets omkostning.
• Præregistrér resultatmål og analyseplan, før resultater ses.
• Rapportér sammenligneligheden af behandlings- og sammenligningsgrupper ved siden af overskriftseffekten.
• Bestil eller gennemgå evalueringen gennem en funktion uafhængig af leveringsteamet.
• Adskil statistisk signifikans fra finansiel og praktisk signifikans i hver rapport til beslutningstagere.
• Budgetter evaluering som en fast andel af programomkostningen på designstadiet.
• Offentliggør nul- og negative fund med samme synlighed som positive.
• Kontrollér, om et positivt lokalt estimat (fra regressionsdiskontinuitetsdesign eller instrumentvariable) ekstrapoleres ud over den befolkning, det faktisk dækker.
• Før afsluttede evalueringer ind i det bredere dokumentationsgrundlag, din sektor vedligeholder, ikke kun dit eget arkiv.

Centrale kilder

Dette emnes metodiske kerne bygger på den anvendte økonometriske tradition forbundet med Joshua D. Angrist og Jörn-Steffen Pischke og på potentielle-udfald-rammeværket formaliseret af Donald Rubin. Bevægelsen for randomiseret evaluering i offentlig politik og udviklingsøkonomi, forbundet med Abdul Latif Jameel Poverty Action Lab (J-PAL) og dets akademiske netværk, leverer meget af den anvendte praksis, der henvises til i sektorlinserne. Offentlige evalueringsstandarder bygger på det britiske finansministeriums Magenta Book-vejledning, og evidenssyntesepraksis bygger på Campbell Collaborations standarder for systematiske reviews i socialpolitik (se Emne 2.6 — Evidenssyntese og hvad der virker).

Henvisninger

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network