Ekonometri i offentlig sektor och programutvärdering

Varför detta är viktigt för offentligt värde

Varje år förnyar, utvidgar eller lägger offentliga organ ned program på grundval av en resultatjämförelse: deltagarna i jobbprogrammet fick arbete snabbare än icke-deltagarna; eleverna i läxhjälpsprogrammet fick högre poäng än elever som inte fick hjälp. Varje jämförelse är sann som beskrivning och farlig som argument, eftersom ingen av dem, på egen hand, säger om programmet orsakade skillnaden. Människor som anmäler sig till ett jobbprogram är ofta mer motiverade än de som inte gör det, och elever som väljs ut till läxhjälp väljs ofta för att en lärare redan förväntar sig att de ska svara väl. Glappet mellan ”den behandlade gruppen klarade sig bättre” och ”behandlingen fick dem att klara sig bättre” är exakt det glapp som kausal inferens finns för att täppa till.

Det här är ingen akademisk finess. En ekonomikommitté som ombeds förnya ett programs finansiering ombeds underförstått att godkänna utgifter av offentliga medel på ett orsakspåstående, oavsett om någon i rummet använder det ordet. Ämne 2.1 gav dig det resultatramverk som anger vad ett program är avsett att förändra (se Ämne 2.1 — Scorecard för offentligt värde och resultatramverk); det här ämnet ger dig metoderna för att pröva om det faktiskt förändrade det, och med hur mycket. Kostnads-nyttoanalys och kostnadseffektivitetsanalys (se Ämne 2.2 — Samhällsekonomisk kostnads-nyttoanalys och kostnadseffektivitetsanalys) och social avkastning på investeringar (se Ämne 2.3 — Social avkastning på investeringar och effektmätning) behöver båda en försvarbar effektstorlek att arbeta med; det här ämnet är var den effektstorleken kommer ifrån, eller där du får veta att det tal du redan har inte kan bära den tyngd som läggs på det.

Insatserna är inte bara ekonomiska. En regering som skalar upp ett ineffektivt program därför att en bristfällig utvärdering fick det att se effektivt ut har slösat pengar och, ofta värre, undanträngt ett genuint effektivt alternativ som aldrig fick chansen; en regering som lägger ned ett effektivt program därför att en naiv jämförelse fick det att se värdelöst ut har förstört värde som en bättre utformad utvärdering hade skyddat. Att få kausal identifiering rätt, och att veta när man inte kan få den rätt, är i sig en kompetens för offentligt värde, inte en specialists sidointresse.

Grundläggande begrepp

Kausal inferens är den gren av statistiken som handlar om att fastställa om, och med hur mycket, en variabels förändring ger upphov till en förändring i en annan, i skillnad från att de två variablerna bara rör sig tillsammans. Den ger den begreppsliga grunden – kontrafaktiskt resonemang, språket om behandling och kontroll, katalogen över särskilda hot mot ett orsakspåstående – som varje metod i det här ämnet bygger på. Wikipedia: Causal inference.

Kontrafaktum (the counterfactual) är det utfall en person eller enhet skulle ha upplevt om den inte hade fått programmet, och det är den centrala, icke-observerbara storhet som varje kausal metod försöker approximera: du kan se vad som hände med en deltagare, men aldrig vad som skulle ha hänt med samma person utan stöd. Varje metod nedan är en annan strategi för att konstruera en trovärdig ersättare för den saknade observationen. Rubins kausala modell (Rubin causal model), utvecklad huvudsakligen av statistikern Donald Rubin, formaliserar detta som ramverket med ”potentiella utfall”: varje enhet har ett potentiellt utfall under behandling och ett under kontroll, och den kausala effekten är skillnaden mellan dem, av vilka bara ett någonsin observeras. Wikipedia: Rubin causal model.

Confounding (störfaktorer) uppstår när en tredje faktor påverkar både om en enhet får ett program och det resultat programmet är avsett att förändra, så att det ser ut som om programmet orsakade en effekt som störfaktorn i själva verket gav upphov till. Motivation, tidigare förmåga, lokala ekonomiska förhållanden och hushållens förmögenhet är återkommande störfaktorer i utvärdering av offentliga program, eftersom de rutinmässigt påverkar både vem som tar upp en tjänst och hur den personen eller platsen sedan klarar sig. Wikipedia: Confounding.

Urvalsbias (selection bias) är det särskilda fallet av störfaktorer som uppstår genom hur deltagare över huvud taget hamnar i behandlingsgruppen – självselektion, personalens remittering eller behörighetsregler – så att behandlade och obehandlade grupper skiljer sig systematiskt åt redan innan programmet berör dem. Ett jobbprogram som bara de mest motiverade arbetssökande anmäler sig till ser effektivt ut även om det inte gör något, eftersom jämförelsegruppen aldrig var en rättvis ersättare för vad deltagarna skulle ha gjort utan stöd. Wikipedia: Selection bias.

Korrelation innebär inte kausalitet är den allmänna varning som det här ämnet operationaliserar: att två variabler rör sig tillsammans är förenligt med att den ena orsakar den andra, med det omvända, med en gemensam bakomliggande orsak eller med slump, och mönstret ensamt kan inte skilja mellan dessa. Glassförsäljning och drunkningsolyckor ökar båda varje sommar utan att någon orsakar den andra, eftersom varmt väder driver båda; utvärdering av offentliga program är full av subtilare versioner av samma fälla. Wikipedia: Correlation does not imply causation.

Den randomiserade kontrollerade studien (RCT), i litteraturen om policyutvärdering kallad randomiserad utvärdering, tilldelar behöriga enheter slumpmässigt till en behandlingsgrupp som får programmet och en kontrollgrupp som inte får det, så att de två grupperna i genomsnitt skiljer sig åt bara i om de behandlades. Randomisering är kraftfull eftersom den hanterar störfaktorer i parti och minut: den balanserar både de störfaktorer du kan mäta och de du inte kan, utan att du behöver namnge dem i förväg. Wikipedia: Randomized controlled trial.

Dubbel differens (difference-in-differences, DiD) jämför förändringen i utfall över tid för en behandlad grupp mot förändringen under samma period för en jämförelsegrupp som inte fick programmet, under antagandet att de två grupperna, utan programmet, skulle ha följt parallella trender. Det är arbetshästmetoden när ett program nådde en jurisdiktion före en annan och randomisering aldrig var ett alternativ, eftersom den kan använda rutinmässigt insamlade administrativa data i stället för en specialbyggd studie. Wikipedia: Difference in differences.

Regressionsdiskontinuitetsdesign (regression discontinuity design, RDD) utnyttjar en programregel som tilldelar behandling utifrån att en uppmätt poäng passerar ett fast tröskelvärde – en förmån som börjar exakt vid en inkomstgräns, en stödklass som tilldelas elever som får strax under godkäntgränsen – och jämför utfall för enheter strax ovanför och strax under, som i övrigt är lika. Eftersom vilken sida av tröskeln en enhet hamnar på i praktiken är godtycklig i ett smalt band runt den, approximerar jämförelsen ett lokalt randomiserat experiment utan att någon har randomiserat något. Wikipedia: Regression discontinuity design.

Instrumentvariabelskattning (instrumental variables, IV) använder en tredje variabel, ett ”instrument”, som påverkar deltagandet i ett program men saknar direkt effekt på utfallet utom genom det deltagandet, för att rensa bort den del av sambandet mellan behandling och utfall som störfaktorer annars skulle förorena. Ett klassiskt instrument i offentlig politik är avståndet till en anläggning, eller en lottad plats, som förskjuter deltagande utan att självständigt orsaka utfallet; det mesta av metodens svårighet ligger i att försvara att instrumentet påverkar utfallet enbart genom programmet. Wikipedia: Instrumental variables estimation.

Ett naturligt experiment är en situation, som uppstår genom politik, geografi eller omständigheter snarare än forskarens utformning, där vissa människor exponeras för ett program och jämförbara andra inte, som om ett experiment hade genomförts utan att någon genomförde det. En politikändring som träder i kraft vid en födelsedatumsgräns, en gräns som placerar nästan identiska hushåll i olika jurisdiktioner eller en lottning som ransonerar en övertecknad plats är naturliga experiment som RDD, IV eller DiD sedan kan analysera. Wikipedia: Natural experiment.

Hawthorne-effekten namnger risken att människor ändrar sitt beteende helt enkelt därför att de vet att de observeras, oberoende av programmets faktiska innehåll, vilket kan blåsa upp en uppskattad effekt om kontrollgruppen inte observeras med samma intensitet – själva mätningen kan bli en del av behandlingen. Wikipedia: Hawthorne effect.

Statistisk styrka (statistical power) är sannolikheten att en utvärdering upptäcker en verklig effekt av en given storlek om en sådan finns, och beror främst på urvalsstorlek, den eftersökta effektstorleken och hur mycket utfallen varierar inom grupperna. En underdimensionerad utvärdering som finner ”ingen signifikant effekt” har ofta inte visat att programmet inte gör något; den har visat att utvärderingen var för liten för att kunna avgöra åt endera hållet, en skillnad som ledare ofta missar under tryck att nå en slutsats. Wikipedia: Power (statistics).

Bästa praxis

1. Bestäm utvärderingsdesignen innan programmet startar, inte efter. En randomiserad utvärdering, en stegvis utrullning som lämpar sig för dubbel differens eller en behörighetsgräns som lämpar sig för regressionsdiskontinuitetsdesign är alla långt enklare att bygga in från början än att efterkonstruera när leveransen redan har börjat ad hoc.
2. Ange kontrafaktum uttryckligen i varje utvärderingsuppdrag. Skriv ned, i en mening, vad du jämför deltagarna mot – inget program alls, det tidigare programmet, en annan insats – eftersom ett outtalat kontrafaktum är där de skarpaste utvärderingstvisterna oftast visar sig gömma sig.
3. Behandla en enkel före-och-efter-jämförelse som en arbetshypotes, aldrig som ett fynd. Utfall driver av många skäl som inte har med ditt program att göra – konjunkturcykeln, säsongseffekter, andra politikändringar som landar samtidigt – och en före-och-efter-design kan inte skilja ditt programs bidrag från deras.
4. Låt metoden motsvara den regel som faktiskt tilldelade programmet, inte den metod du tycker är mest bekant. Ett program som ransoneras genom lottning kräver en randomiserad utvärderings logik även om du aldrig kallar det en studie; ett program som tilldelas genom en poängtröskel kräver regressionsdiskontinuitetsdesign; ett program som rullades ut i vissa områden före andra kräver dubbel differens.
5. Förregistrera resultatmåtten och analysplanen innan du ser resultaten. Att besluta vilket utfall som räknas som ”framgång” efter att ha sett vilket som rörde sig är en väldokumenterad väg till falska positiva, och förregistrering är det vanliga försvaret mot det.
6. Dimensionera utvärderingen för den minsta effektstorlek som ändå skulle motivera programmets kostnad, inte för bekvämlighet. En utvärdering som är för liten för att upptäcka en politiskt relevant effekt kommer att ge ett ointressant resultat av typen ”ingen signifikant skillnad” som missförstås som bevis på misslyckande.
7. Redovisa jämförelsegruppens egenskaper vid sidan av behandlingsgruppens, inte bara rubrikeffekten. En trovärdig utvärdering låter en skeptisk läsare kontrollera att de två grupperna var lika före behandlingen; en utvärdering som döljer detta får läsaren att ta balansen på tro.
8. Beställ utvärderingen från en källa oberoende av leveransteamet, eller brandväggsskilj analysen om du inte kan. Ett team med ett intresse i programmets framgång har ett strukturellt incitament, ofta omedvetet, att tolka tvetydig evidens till programmets fördel.
9. Skilj statistisk signifikans från praktisk och finanspolitisk signifikans i varje rapport. En exakt skattad liten effekt och en oprecist skattad stor effekt är olika fynd som kräver olika beslut, och att slå ihop båda till ”signifikant” eller ”inte signifikant” utplånar den skillnad ett finansieringsbeslut faktiskt behöver.
10. Budgetera för utvärdering som en fast andel av programkostnaden i designskedet, inte som det som blir över. Ett program som är stort nog att spela roll för offentligt värde är vanligen stort nog att finansiera en trovärdig effektutvärdering, och att behandla utvärdering som valfri är hur svag evidens blir rutin.
11. Publicera nollresultat och negativa resultat med samma synlighet som positiva. En beställningsmiljö som bara gör framgångsrika utvärderingar kända skapar en urvalsbias i själva den publicerade evidensbasen, vilket drar allas senare bedömningar av ”vad som fungerar” mot optimism.
12. Mata varje avslutad utvärdering in i den bredare evidensbas som din sektor underhåller, inte bara ditt eget arkiv. En enskild utvärdering, hur väl utformad den än är, är en datapunkt; systematisk syntes över många är det som förvandlar ett programfynd till överförbar kunskap (se Ämne 2.6 — Evidenssyntes och vad som fungerar).

Frågor att diskutera med ditt team

Vilket kontrafaktum jämför vi egentligen det här programmet mot, och har vi sagt det högt? Varje effektpåstående antyder en jämförelse, men team lämnar den ofta outtalad och låter ”detta fungerade” i det tysta glida mellan ”bättre än ingenting”, ”bättre än vad vi gjorde förut” och ”bättre än det bästa alternativ vi kunde ha finansierat”. Be er utvärderingsansvarige att ange kontrafaktum som en enda mening på klarspråk och kontrollera sedan om den evidens ni har faktiskt stöder ett påstående om just den jämförelsen. Om det ärliga kontrafaktum är ”vi vet inte vad som annars skulle ha hänt”, behandla det nuvarande effektpåståendet som en hypotes, inte ett fynd, och diskutera vad som skulle krävas för att täppa till det glappet.

Kan de människor eller platser som tog upp det här programmet skilja sig systematiskt från dem som inte gjorde det, på sätt som också skulle påverka utfallet? Det här är urvalsbiasfrågan, och den är värd att ställa även när – särskilt när – svaret verkar uppenbart ”nej”. Motivation, tidigare omständigheter, lokal kapacitet och personalens remitteringsmönster är vanliga dolda källor till skillnad som ger en vilseledande effektskattning även med ett stort, noggrant sett urval. Om teamet inte kan beskriva hur deltagarna hamnade i programmet kan de inte utesluta detta, och det glappet bör oroa er mer än ett litet urval skulle göra.

Byggdes vår utvärderingsdesign in i programmet, eller skruvades den på efteråt, och vad kostade det oss? En randomiserad utvärdering, en stegvis utrullning eller en poängsatt behörighetsgräns är alla långt billigare och mer trovärdiga när de planeras före lanseringen än när de rekonstrueras ur de administrativa data som råkade överleva. Fråga vilka utvärderingsdesignalternativ som övervägdes i programmets designskede, och om inga gjorde det, behandla det som ett processglapp att täppa till före nästa program, inte bara en begränsning för detta. Diskutera vilka data som behöver finnas från dag ett för att nästa stora program ska stödja en trovärdig kausal skattning.

Är vårt urval stort nog för att upptäcka en effekt som är värd att veta om, och skulle vi känna igen ett underdimensionerat ”ingen effekt”-fynd om vi såg ett? En utvärdering som rapporterar ingen statistiskt signifikant effekt berättar ibland korrekt att programmet inte fungerar, och ibland bara att utvärderingen var för liten för att se en effekt som verkligen finns där. Be era analytiker ange den minsta effektstorlek utvärderingen dimensionerades för att upptäcka och jämför den med den effektstorlek som faktiskt skulle motivera programmets kostnad. Om de två talen ligger långt ifrån varandra kan ”ingen effekt”-fyndet vara ointressant snarare än fördömande, och teamet bör säga det rakt ut i stället för att låta tystnaden tolkas som misslyckande.

Vem tjänar, yrkesmässigt eller ryktesmässigt, på att den här utvärderingen kommer tillbaka positiv, och förändrar det hur mycket oberoende granskning den behöver? Det här är ingen anklagelse om oärlighet; det är ett erkännande att de som utformade eller genomför ett program strukturellt sett är mer benägna att tolka tvetydiga resultat välvilligt, ofta utan att märka att de gör det. Diskutera om utvärderingen beställdes, analyserades eller granskades av någon oberoende av leveransteamet, och om inte, hur en proportionell brandvägg för ett program av den här storleken skulle se ut. Målet är ett resultat som er mest skeptiska finansiär också skulle lita på, inte bara ett som ert eget team är bekvämt med att försvara.

Om den här utvärderingens fynd är robust, vad skulle vi då faktiskt göra annorlunda, och är vi beredda att göra det? En utvärdering som beställts men aldrig var avsedd att ändra ett beslut är en sjunken kostnad förklädd till vederbörlig aktsamhet, och det är värt att namnge den risken innan resultaten landar i stället för efter. Diskutera i förväg vad ett starkt positivt fynd skulle motivera (uppskalning, och med hur mycket) och vad ett nollresultat eller negativt fynd skulle utlösa (omarbetning eller nedläggning, och inom vilken tidsram). Om ingen i rummet kan svara på detta innan resultaten ses kan utvärderingen tjäna en legitimitetsfunktion snarare än en beslutsfunktion, och det är värt att vara ärlig om (se Ämne 2.1 — Scorecard för offentligt värde och resultatramverk).

I praktiken: ett exempel på offentligt värde

Fiktiv illustration. Arbetsförmedlingsministeriet i ett ej namngivet medelstort land drev ett ettårigt pilotprojekt med en intensiv coachningstjänst för långtidsarbetslösa arbetssökande, vid sidan av den befintliga standardtjänsten. Vid pilotens slut jämförde en intern rapport den grupp som fick intensiv coachning med alla andra som lämnade arbetslösheten under samma period: den coachade gruppen hade en placeringsgrad på 38 procent inom sex månader, mot 24 procent för resten av ärendeflödet. Ministrarna fick veta att programmet ”fungerade” och ett affärscase gick vidare för nationell utrullning.

Innan finansieringen godkändes ställde ekonomikommittén en enkel fråga: hur hade arbetssökande hamnat i den coachade gruppen från första början? Svaret visade sig betyda enormt mycket. Handläggare hade remitterat arbetssökande som de bedömde ”mest sannolikt skulle ha nytta” till coachningspiloten, ett välment urvalsbeslut som i praktiken hade valt ut en mer arbetsredo grupp till behandling från början. Jämförelsen 38 mot 24 procent var förorenad av just den urvalsbias som det här ämnet varnar för: det var fullt möjligt att den coachade gruppen skulle ha presterat bättre än resten av ärendeflödet även utan coachning.

I stället för att godkänna eller avvisa utrullningen på den jämförelsen föreslog ministeriets utvärderingsenhet en andra fas med lottning. Efterfrågan på coachningstjänsten översteg redan antalet platser, så enheten fördelade slumpmässigt platserna bland lika behöriga sökande och jämförde placeringsgraden mellan lottvinnarna och lottförlorarna, en tillämpning av randomiserad utvärderings logik utan att behöva hålla inne tjänsten från någon som annars inte skulle ha fått den. Tolv månader senare visade lottningsjämförelsen en mindre men verklig effekt: en förbättring på 9 procentenheter i sexmånadersplaceringen, inte det 14-punktsgap som den ursprungliga jämförelsen hade antytt. Ministeriet använde den lottningsbaserade skattningen, tillsammans med sina egna kostnadsdata, för att bygga ett försvarbart kostnadseffektivitetsargument (se Ämne 2.2 — Samhällsekonomisk kostnads-nyttoanalys och kostnadseffektivitetsanalys) för en uppskalad men resursbegränsad utrullning, snarare än den större, ogenomförbara expansion som den bristfälliga första jämförelsen skulle ha motiverat.

Fyra sektorperspektiv

Lokal förvaltning

Kommuner driver vanligen många små och medelstora program snarare än några få mycket stora, vilket gör specialbyggda randomiserade utvärderingar dyra i förhållande till programmets storlek och driver lokala utvärderare mot kvasiexperimentella metoder som återanvänder administrativa data som redan samlas in – dubbel differens över tjänsteområden som antog en förändring vid olika tidpunkter, eller regressionsdiskontinuitetsdesign kring en lokal behörighetsgräns. Gräns- och jurisdiktionsskillnader som skulle vara ett besvär på andra håll är ofta en lokal utvärderares bästa naturliga experiment, eftersom två angränsande stadsdelar eller distrikt kan skilja sig i politik medan de förblir lika i det mesta annat.

Nationell förvaltning

Nationella regeringar har skalan att finansiera specialbyggda randomiserade utvärderingar och de administrativa dataset, ofta länkade över skatte-, förmåns-, hälso- och utbildningsregister, som krävs för att genomföra trovärdiga kvasiexperimentella designer till låg marginalkostnad. Den skalan är också där utvärderingsgrupper kring ”vad som fungerar” och centraliserad utvärderingsvägledning, såsom ett finansdepartements standardhandbok för utvärdering, tenderar att finnas, eftersom bara en nationell regering kan motivera den fasta kostnaden för att underhålla en stående utvärderingsinfrastruktur och en gemensam metodstandard över många departement.

Social sektor och ideell sektor

Ideella organisationer och icke-statliga organisationer har sällan de urvalsstorlekar eller budgetar som en väldimensionerad randomiserad utvärdering kräver, och deras program förändras ofta adaptivt som svar på vad frontpersonalen observerar, vilket försvårar varje design som förutsätter en stabil, väldefinierad behandling. Partnerskap med en akademisk forskargrupp eller en specialiserad utvärderingsintermediär, av det slag som vuxit fram kring rörelsen för randomiserad utvärdering inom internationellt utvecklingsarbete, är ofta den enda realistiska vägen till en stringent kausal skattning, och finansiärer begär alltmer just den sortens externa partnerskap innan de förbinder sig till fleråriga bidrag.

Multilaterala och internationella organ

Multilaterala organ finansierar program i många länder med olika datasystem, administrativ kapacitet och normer för etisk prövning, vilket gör standardiserade kausala metoder svårare att tillämpa enhetligt men också skapar naturlig variation mellan länder som i sig kan bli ett naturligt experiment när en politik införs i vissa medlemsstater före andra. Randomiserade utvärderingar inom utvecklingsekonomi har varit särskilt inflytelserika i den här skalan och gett evidens som format hur internationella utvecklingsmedel fördelas, men de bär också en dokumenterad risk för att den externa validiteten brister: ett resultat som håller i det land och sammanhang som studerats överförs inte automatiskt till ett annat sammanhang, ett förbehåll som utformningen av multilaterala program alltför ofta glider över.

Vanliga felmönster

Den naiva före-och-efter-jämförelsen. Ett program bedöms enbart genom att jämföra utfall före dess start med utfall efter, utan någon jämförelsegrupp alls, så att varje redan pågående trend – ekonomisk återhämtning, en demografisk förskjutning, en separat politikändring – tillskrivs programmet felaktigt. Kostnaden är en självsäker orsaksberättelse byggd på en design som faktiskt inte kan skilja programmets effekt från allt annat som hände samtidigt.

Urvalsbias förväxlad med programeffekt. Deltagare som valde att delta, eller remitterades för att de verkade sannolikt lyckas, jämförs med alla andra, vilket ger en effektskattning som i själva verket mäter vem programmet lockade snarare än vad det gjorde med dem. Kostnaden är ett uppskalat program som ser mindre effektivt ut, ibland mycket mindre, när det når en mindre självvald befolkning.

Den underdimensionerade utvärderingen som rapporteras som ett nollresultat. Ett litet pilotprojekt finner ”ingen statistiskt signifikant effekt” och läses som bevis för att programmet inte fungerar, när urvalet i själva verket var för litet för att upptäcka en effekt av den storlek som skulle spela roll. Kostnaden går åt båda håll: ett genuint effektivt program kan läggas ned på grundval av evidens som aldrig var i stånd att visa att det fungerade, eller så förs resurser vidare till en större studie som inte hade behövts om det ursprungliga uppdraget hade dimensionerats korrekt.

Att extrapolera en lokal skattning bortom sitt sammanhang. En regressionsdiskontinuitetsdesign skattar korrekt effekten för enheter nära behörighetsgränsen, och en instrumentvariabelskattning skattar korrekt effekten för enheter vars behandlingsstatus instrumentet faktiskt förskjutit, men båda fynden tillämpas sedan på hela befolkningen som om skattningen gällde överallt. Kostnaden är en politik som skalas på grundval av ett tal som bara någonsin var lokalt sant.

Utvärdering som teater. En utvärdering beställs för att skapa sken av evidensbaserat beslutsfattande, men beslutet har i praktiken redan fattats och inget tänkbart fynd skulle ha ändrat det. Kostnaden är en bortkastad utvärderingsbudget och, mer korrosivt, en långsam urholkning av förtroendet för utvärdering som sådan när personalen märker att resultaten aldrig verkar ändra utfallen.

Mognadsmodell

Checklista

• Ange kontrafaktum för varje större programutvärdering i en enkel mening på klarspråk.
• Bekräfta hur deltagare hamnade i behandlingsgruppen, och bedöm om den processen i sig kan förklara resultatskillnaden.
• Välj utvärderingsmetod (randomiserad utvärdering, dubbel differens, regressionsdiskontinuitetsdesign, instrumentvariabler eller naturligt experiment) så att den motsvarar den faktiska tilldelningsregeln, före leveransstart där det är möjligt.
• Beräkna den statistiska styrka som behövs för att upptäcka den minsta effektstorlek som skulle motivera programmets kostnad.
• Förregistrera resultatmått och analysplan innan resultaten ses.
• Redovisa jämförbarheten mellan behandlings- och jämförelsegrupper vid sidan av rubrikeffekten.
• Beställ eller granska utvärderingen genom en funktion oberoende av leveransteamet.
• Skilj statistisk signifikans från finanspolitisk och praktisk signifikans i varje rapport till beslutsfattare.
• Budgetera för utvärdering som en fast andel av programkostnaden i designskedet.
• Publicera nollresultat och negativa fynd med samma synlighet som positiva.
• Kontrollera om en positiv lokal skattning (från regressionsdiskontinuitetsdesign eller instrumentvariabler) extrapoleras bortom den population den faktiskt täcker.
• Led avslutade utvärderingar in i den bredare evidensbas som din sektor underhåller, inte bara ditt eget arkiv.

Viktiga källor

Ämnets metodiska kärna bygger på den tillämpade ekonometriska traditionen förknippad med Joshua D. Angrist och Jörn-Steffen Pischke, och på ramverket med potentiella utfall som formaliserats av Donald Rubin. Rörelsen för randomiserad utvärdering inom offentlig politik och utvecklingsekonomi, förknippad med Abdul Latif Jameel Poverty Action Lab (J-PAL) och dess akademiska nätverk, ger mycket av den tillämpade praxis som hänvisas till i sektorperspektiven. Statliga utvärderingsstandarder bygger på brittiska HM Treasurys vägledning Magenta Book, och praxis för evidenssyntes bygger på Campbell Collaborations standarder för systematiska översikter inom socialpolitik (se Ämne 2.6 — Evidenssyntes och vad som fungerar).

Referenser

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network