Avaliku sektori ökonomeetria ja programmide hindamine

Miks see avaliku väärtuse jaoks oluline on

Igal aastal uuendavad, laiendavad või tühistavad avalikud organid programme tulemuste võrdluse põhjal: tööprogrammis osalejad leidsid tööd kiiremini kui mitteosalejad; juhendamisskeemi õpilased said kõrgemaid hindeid kui õpilased, keda ei juhendatud. Iga võrdlus on kirjeldusena tõene ja argumendina ohtlik, sest ükski neist ei ütle üksi, kas programm põhjustas erinevuse. Inimesed, kes tööprogrammi registreeruvad, on sageli motiveeritumad kui need, kes seda ei tee, ja juhendamiseks valitud õpilased on sageli valitud seetõttu, et õpetaja juba ootab, et nad reageerivad hästi. Lõhe „ravitud rühmal läks paremini" ja „ravi pani neil paremini minema" vahel on täpselt see lõhe, mille sulgemiseks põhjuslik järeldamine eksisteerib.

See ei ole akadeemiline peenus. Rahanduskomiteelt, keda palutakse programmi rahastust uuendada, palutakse kaudselt volitada avaliku raha kulutamist põhjuslikule väitele, olenemata sellest, kas keegi ruumis seda sõna kasutab. Teema 2.1 andis teile tulemusraamistiku, mis sätestab, mida programm peab muutma (vt Teema 2.1 — Avaliku väärtuse tulemuskaart ja tulemusraamistikud); see teema annab teile meetodid, mis testivad, kas see seda tegelikult muutis ja kui palju. Kulu-tulu ja kulutõhususe analüüs (vt Teema 2.2 — Sotsiaalne kulu-tulu ja kulutõhususe analüüs) ning sotsiaalne investeeringutasuvus (vt Teema 2.3 — Sotsiaalne investeeringutasuvus ja mõju mõõtmine) vajavad mõlemad kaitstavat mõjusuurust, millega töötada; see teema on koht, kust see mõjusuurus tuleb, või kus õpite, et number, mis teil juba on, ei kanna kaalu, mida sellele asetatakse.

Panused ei ole ainult rahalised. Valitsus, mis skaleerib ebatõhusat programmi, sest vigane hindamine näitas seda tõhusana, on raisanud raha ja, sageli hullem, tõrjunud välja tõeliselt tõhusa alternatiivi, mis ei saanud kunagi võimalust; valitsus, mis tühistab tõhusa programmi, sest naiivne võrdlus näitas seda kasutuna, on hävitanud väärtuse, mida paremini kavandatud hindamine oleks kaitsnud. Põhjusliku identifitseerimise õigesti saamine ja teadmine, millal seda õigesti saada ei saa, on ise avaliku väärtuse pädevus, mitte spetsialisti kõrvalhuvi.

Põhimõisted

Põhjuslik järeldamine on statistika haru, mis tegeleb sellega, kas ja kui palju ühe muutuja muutus tekitab teise muutuja muutuse, erinevalt kahe muutuja lihtsalt koos liikumisest. See annab kontseptuaalse aluse – kontrafaktuaalne arutlus, ravi ja kontrolli keel, konkreetsete ohtude kataloog põhjuslikule väitele –, millele iga selle teema meetod tugineb. Vikipeedia: Põhjuslik järeldamine.

Kontrafaktuaal on tulemus, mida inimene või üksus oleks kogenud, kui nad poleks programmi saanud, ja see on keskne, jälgimatu suurus, mida iga põhjuslik meetod püüab lähendada: te saate vaadata, mis juhtus osalejaga, kuid mitte kunagi seda, mis oleks sama inimesega ilma abita juhtunud. Iga allpool olev meetod on erinev strateegia selle puuduva vaatluse jaoks usutava asendaja ehitamiseks. Rubini põhjusliku mudel, mille töötas peamiselt välja statistik Donald Rubin, formaliseerib selle „potentsiaalsete tulemuste" raamistikuna: igal üksusel on potentsiaalne tulemus ravi all ja üks kontrolli all ning põhjuslik mõju on nende erinevus, millest ainult üht kunagi täheldatakse. Vikipeedia: Rubini põhjuslik mudel.

Segav tegur (confounding) tekib, kui kolmas tegur mõjutab nii seda, kas üksus saab programmi, kui ka tulemust, mida programm peab muutma, pannes selle näima, nagu oleks programm põhjustanud mõju, mille segav tegur tegelikult tootis. Motivatsioon, varasem võimekus, kohalikud majandustingimused ja majapidamise jõukus on korduvad segavad tegurid avaliku programmi hindamisel, sest need mõjutavad rutiinselt nii seda, kes teenust kasutab, kui ka seda, kuidas see inimene või koht hiljem hakkama saab. Vikipeedia: Segav tegur.

Valikukallutatus on segava teguri spetsiifiline juhtum, mis tuleneb sellest, kuidas osalejad üldse ravirühma satuvad – isevalik, töötaja suunamine või kõlblikkusreeglid –, nii et ravitud ja ravimata rühmad erinevad süstemaatiliselt enne, kui programm neid üldse puudutab. Tööprogramm, millele registreeruvad ainult kõige motiveeritumad tööotsijad, näib tõhus isegi siis, kui see ei tee midagi, sest võrdlusrühm ei olnud kunagi õiglane asendaja sellele, mida osalejad oleksid ilma abita teinud. Vikipeedia: Valikukallutatus.

Korrelatsioon ei tähenda põhjuslikkust on üldine hoiatus, mida see teema rakendab: kahe muutuja koos liikumine on kooskõlas ühega, mis põhjustab teist, vastupidisega, ühise põhjusega või juhusega ning mustrit üksi ei saa nende vahel eristada. Jäätisemüük ja uppumissurmad tõusevad mõlemad igal suvel, ilma et kumbki teist põhjustaks, sest soe ilm juhib mõlemat; avaliku programmi hindamine on täis sama lõksu peenemaid versioone. Vikipeedia: Korrelatsioon ei tähenda põhjuslikkust.

Randomiseeritud kontrollitud katse (RCT), mida poliitika hindamise kirjanduses nimetatakse randomiseeritud hindamiseks, määrab kõlblikud üksused juhuslikult ravirühma, mis saab programmi, ja kontrollrühma, mis ei saa, nii et keskmiselt erinevad kaks rühma ainult selle poolest, kas neid raviti. Randomiseerimine on võimas, sest see tegeleb segavate teguritega hulgi: see tasakaalustab nii need segavad tegurid, mida te mõõta saate, kui ka need, mida ei saa, ilma vajaduseta neid ette nimetada. Vikipeedia: Randomiseeritud kontrollitud katse.

Erinevuste erinevus (DiD) võrdleb ravitud rühma tulemuste muutust aja jooksul muutusega sama perioodi jooksul võrdlusrühmas, mis programmi ei saanud, eeldades, et ilma programmita oleksid kaks rühma järginud paralleelseid suundumusi. See on tööhobune meetod, kui programm jõudis ühte jurisdiktsiooni enne teist ja randomiseerimine ei olnud kunagi võimalus, sest see saab kasutada rutiinselt kogutud haldusandmeid, mitte spetsiaalselt ehitatud katset. Vikipeedia: Erinevuste erinevus.

Regressioonikatkestuse disain (RDD) kasutab ära programmireeglit, mis määrab ravi mõõdetud skoori ületamise alusel kindlast lävendist – toetus, mis algab täpselt sissetulekulävendil, järelabiklass, mis määratakse õpilastele, kes skoorivad just allpool läbimispunkti –, ja võrdleb tulemusi üksuste vahel just üle ja just alla, kes on muidu sarnased. Kuna see, kummale poole lävendit üksus langeb, on selle ümbruses kitsas ribas tegelikult meelevaldne, lähendab võrdlus kohalikku randomiseeritud eksperimenti, ilma et keegi midagi randomiseeriks. Vikipeedia: Regressioonikatkestuse disain.

Instrumentaalmuutujate (IV) hindamine kasutab kolmandat muutujat, „instrumenti", mis mõjutab programmi kasutuselevõttu, kuid millel puudub otsene mõju tulemusele peale selle kasutuselevõtu kaudu, et eraldada ravi-tulemuse seose osa, mida segav tegur muidu rikuks. Klassikaline avaliku poliitika instrument on kaugus rajatisest või loteriiga jaotatud koht, mis nihutab osalust, põhjustamata iseseisvalt tulemust; enamik meetodi raskusi seisneb selle kaitsmises, et instrument mõjutab tulemust ainult programmi kaudu. Vikipeedia: Instrumentaalmuutujate hindamine.

Loomulik eksperiment on olukord, mis tekib poliitikast, geograafiast või asjaoludest, mitte teadlase kavandist, milles mõned inimesed puutuvad kokku programmiga ja võrreldavad teised mitte, nagu oleks eksperiment läbi viidud ilma, et keegi seda läbi viiks. Poliitika muutus, mis jõustub sünnikuupäeva lävendil, piir, mis paneb peaaegu identsed majapidamised erinevatesse jurisdiktsioonidesse, või loterii, mis normeerib ülemerkitud kohta, on loomulikud eksperimendid, mida RDD, IV või DiD saavad seejärel analüüsida. Vikipeedia: Loomulik eksperiment.

Hawthorne'i efekt nimetab riski, et inimesed muudavad oma käitumist lihtsalt seetõttu, et nad teavad, et neid jälgitakse, sõltumatult programmi tegelikust sisust, mis võib hinnatud mõju täis puhuda, kui kontrollrühma ei jälgita võrdse intensiivsusega – mõõtmise akt võib ise saada osaks ravist. Vikipeedia: Hawthorne'i efekt.

Statistiline võimsus on tõenäosus, et hindamine tuvastab tõelise antud suurusega mõju, kui see eksisteerib, sõltudes peamiselt valimi suurusest, taotletud mõjusuurusest ja sellest, kui palju tulemused rühmade sees varieeruvad. Alavõimsa hindamise, mis leiab „olulist mõju ei ole", puhul ei ole sageli näidatud, et programm ei tee midagi; see on näidanud, et hindamine oli liiga väike kummagi suunas ütlemiseks, erinevus, mida juhid kohtuotsuse tegemise surve all sageli ei märka. Vikipeedia: Võimsus (statistika).

Parimad tavad

1. Otsustage hindamisdisain enne programmi käivitamist, mitte pärast. Randomiseeritud hindamine, erinevuste erinevusele sobiv etapiviisiline kasutuselevõtt või regressioonikatkestuse disainile sobiv kõlblikkuslävend on kõik palju lihtsamad algusest peale sisse ehitada kui tagantjärele kohandada, kui tarne on juba ad hoc alustatud.
2. Nimetage kontrafaktuaal selgesõnaliselt iga hindamisülesande kirjelduses. Kirjutage ühe lausega üles, millega te osalejaid võrdlete – üldse mitte programm, eelmine programm, teistsugune sekkumine –, sest nimetamata kontrafaktuaal on koht, kus kõige teravamad hindamisvaidlused tavaliselt end peidavad.
3. Käsitlege lihtsat enne-ja-pärast võrdlust lähtehüpoteesina, mitte kunagi leiuna. Tulemused triivivad paljudel põhjustel, mis ei ole teie programmiga seotud – majandustsükkel, hooajalised mõjud, teised samal ajal jõustunud poliitikamuutused –, ja enne-ja-pärast disain ei suuda eraldada teie programmi panust nendest.
4. Sobitage meetod reegliga, mis programmi tegelikult määras, mitte meetodiga, mida peate kõige tuttavamaks. Loteriiga normeeritud programm nõuab randomiseeritud hindamise loogikat, isegi kui te seda katseks kunagi ei nimeta; skoori lävendi järgi määratud programm nõuab regressioonikatkestuse disaini; programm, mis jõudis mõnda piirkonda enne teisi, nõuab erinevuste erinevust.
5. Registreerige tulemusmõõdikud ja analüüsiplaan eelnevalt, enne tulemuste nägemist. Otsustamine, milline tulemus loeb „edu" iseloomuks, pärast seda, kui on näha, milline liikus, on hästi dokumenteeritud tee valepositiivsete tulemusteni ja eelregistreerimine on standardkaitse selle vastu.
6. Andke hindamisele võimsus väikseima mõjusuuruse jaoks, mis programmi kulu ikkagi õigustaks, mitte mugavuse jaoks. Hindamine, mis on liiga väike poliitikaga seotud mõju tuvastamiseks, toodab infotu „olulist erinevust ei ole" tulemuse, mida loetakse valesti ebaõnnestumise tõendina.
7. Esitage võrdlusrühma omadused koos ravirühma omadustega, mitte ainult pealkirja mõju. Usaldusväärne hindamine laseb skeptilisel lugejal kontrollida, et kaks rühma olid enne ravi sarnased; hindamine, mis seda varjab, paneb lugeja tasakaalu usu pealt võtma.
8. Tellige hindamine allikast, mis on tarnemeeskonnast sõltumatu, või eraldage analüüs tulemüüriga, kui te ei saa. Meeskonnal, kellel on huvi programmi edus, on struktuurne stiimul, sageli teadvustamata, tõlgendada ebaselget tõendit programmi kasuks.
9. Eraldage statistiline olulisus praktilisest ja fiskaalsest olulisusest igas aruandes. Täpselt hinnatud väike mõju ja ebatäpselt hinnatud suur mõju on erinevad leiud, mis nõuavad erinevaid otsuseid, ja mõlema kokkusurumine „oluliseks" või „mitteoluliseks" kustutab erinevuse, mida rahastusotsus tegelikult vajab.
10. Eelarvestage hindamine programmi kulu kindla osana kavandamisetapis, mitte kui seda, mis üle jääb. Programm, mis on piisavalt suur avaliku väärtuse jaoks oluline olema, on tavaliselt piisavalt suur usutava mõju hindamise rahastamiseks ja hindamise käsitlemine valikulisena on viis, kuidas nõrgad tõendid muutuvad rutiiniks.
11. Avaldage null- ja negatiivsed tulemused sama nähtavusega kui positiivsed. Tellimiskeskkond, mis avalikustab ainult edukaid hindamisi, loob valikukallutatuse avaldatud tõendusbaasis endas, kallutades kõigi hilisemat „mis toimib" otsustust optimismi poole.
12. Suunake iga lõpetatud hindamine laiemasse tõendusbaasi, mida teie sektor hoiab, mitte ainult oma arhiivi. Üks hindamine, olgu see kuitahes hästi kavandatud, on üks andmepunkt; süstemaatiline süntees paljude üle on see, mis muudab programmi leiu ülekantavaks teadmiseks (vt Teema 2.6 — Tõendite süntees ja see, mis toimib).

Küsimused arutamiseks oma meeskonnaga

Millise kontrafaktuaaliga me seda programmi tegelikult võrdleme ja kas me oleme seda valjusti öelnud? Iga mõjuväide eeldab võrdlust, kuid meeskonnad jätavad selle sageli väljaütlemata, lastes „see toimis" vaikselt libiseda „parem kui mitte midagi", „parem kui see, mida me varem tegime" ja „parem kui parim alternatiiv, mida oleksime saanud rahastada" vahel. Paluge oma hindamisjuhil sõnastada kontrafaktuaal ühe lausega lihtsas keeles, seejärel kontrollige, kas tõendid, mis teil on, toetavad tegelikult väidet selle konkreetse võrdluse kohta. Kui aus kontrafaktuaal on „me ei tea, mis oleks muidu juhtunud", käsitlege praegust mõjuväidet hüpoteesina, mitte leiuna, ja arutage, mida oleks vaja selle lõhe sulgemiseks.

Kas inimesed või kohad, kes selle programmi kasutusele võtsid, võisid erineda süstemaatiliselt neist, kes ei võtnud, viisil, mis mõjutaks ka tulemust? See on valikukallutatuse küsimus ja seda tasub esitada isegi siis – eriti siis –, kui vastus tundub ilmselt „ei". Motivatsioon, varasemad olud, kohalik suutlikkus ja töötajate suunamismustrid on levinud varjatud erinevuse allikad, mis toodavad eksitava mõjuhinnangu isegi suure, hoolika välimusega valimiga. Kui meeskond ei suuda kirjeldada, kuidas osalejad programmi sattusid, ei saa nad seda välistada, ja see lõhe peaks muretsema teid rohkem kui väike valimi suurus.

Kas meie hindamisdisain ehitati programmi sisse või lisati sellele hiljem ja mis see meile maksis? Randomiseeritud hindamine, etapiviisiline kasutuselevõtt või skooritud kõlblikkuslävend on kõik palju odavamad ja usaldusväärsemad, kui need on kavandatud enne käivitamist, kui rekonstrueeritud sellest, mis haldusandmetest juhtus säilima. Küsige, milliseid hindamisdisaini võimalusi programmi kavandamisetapis kaaluti, ja kui ühtegi ei kaalutud, käsitlege seda protsessilõhena, mis tuleb sulgeda enne järgmist programmi, mitte ainult selle programmi piiranguna. Arutage, millised andmed peaksid algusest peale olemas olema, et järgmine suur programm toetaks usaldusväärset põhjuslikku hinnangut.

Kas meie valim on piisavalt suur, et tuvastada väärt teadmist mõju, ja kas me tunneksime ära alavõimsa „mõju ei ole" leiu, kui seda näeksime? Hindamine, mis teatab statistiliselt olulise mõju puudumisest, ütleb mõnikord õigesti, et programm ei toimi, ja mõnikord ütleb ainult, et hindamine oli liiga väike, et näha mõju, mis tegelikult olemas on. Paluge oma analüütikutel nimetada minimaalne mõjusuurus, mille tuvastamiseks hindamine oli võimsustatud, ja võrrelge seda mõjusuurusega, mis programmi kulu tegelikult õigustaks. Kui need kaks numbrit on kaugel üksteisest, võib „mõju ei ole" leid olla infotu, mitte hukkamõistev, ja meeskond peaks seda selgelt ütlema, selle asemel et lasta vaikusel ebaõnnestumisena lugeda.

Kes saab professionaalselt või maine mõttes kasu, kui see hindamine tuleb positiivne, ja kas see muudab seda, kui palju sõltumatut kontrolli see vajab? See ei ole süüdistus ebaaususes; see on tunnustus, et inimesed, kes programmi kavandasid või pakuvad, kalduvad struktuurselt tõlgendama ebaselgeid tulemusi heldelt, sageli märkamata, et nad seda teevad. Arutage, kas hindamise tellis, analüüsis või vaatas üle keegi tarnemeeskonnast sõltumatu, ja kui mitte, milline näeks välja proportsionaalne tulemüür selle suurusega programmi jaoks. Eesmärk on tulemus, mida teie kõige skeptilisem rahastaja samuti usaldaks, mitte ainult selline, mida teie enda meeskond on mugav kaitsta.

Kui selle hindamise leid on vastupidav, mida me tegelikult teisiti teeksime ja kas oleme selleks valmis? Hindamine, mis on tellitud, kuid mida ei kavatsetud kunagi otsust muuta, on uputuskulu, mis on riietatud hoolsuskohustuseks, ja selle riski nimetamine enne tulemuste saabumist, mitte pärast, on seda väärt. Arutage ette, mida tugev positiivne leid õigustaks (skaleerimine, ja kui palju) ja mida null- või negatiivne leid käivitaks (ümberkavandamine või tühistamine ja millise ajakavaga). Kui keegi ruumis ei suuda sellele enne tulemuste nägemist vastata, võib hindamine teenida legitiimsusfunktsiooni, mitte otsustusfunktsiooni, ja seda tasub ausalt tunnistada (vt Teema 2.1 — Avaliku väärtuse tulemuskaart ja tulemusraamistikud).

Praktikas: avaliku väärtuse näide

Väljamõeldud illustratsioon. Keskmise suurusega, nimetamata riigi tööhõiveteenuste ministeerium käitas aastast pilootprojekti intensiivse juhendamisteenuse jaoks pikaajalistele töötutele tööotsijatele, olemasoleva standardteenuse kõrval. Pilootprojekti lõpus võrdles sisemine aruanne intensiivset juhendamist saanud rühma kõigiga, kes samal perioodil töötusest lahkusid: juhendatud rühma töökoha leidmise määr kuue kuu jooksul oli 38%, ülejäänud juhtumikoormuse 24% vastu. Ministritele öeldi, et programm „toimis" ja ärijuhtum läks edasi, et see üleriigiliselt käivitada.

Enne rahastuse heakskiitmist esitas rahanduskomitee otsekohese küsimuse: kuidas olid tööotsijad üldse juhendatud rühma sattunud? Vastus osutus ülimalt oluliseks. Juhtumikorraldajad olid suunanud pilootprojekti juhendamisse tööotsijaid, keda nad hindasid „kõige tõenäolisemalt kasu saavaks" – heade kavatsustega triaažiotsus, mis oli tegelikult valinud töövalmima rühma ravi alla algusest peale. Võrdlus 38% vs 24% oli saastatud täpselt valikukallutatusest, mille eest see teema hoiatab: oli täiesti võimalik, et juhendatud rühm oleks ülejäänud juhtumikoormusest üle teinud ka ilma igasuguse juhendamiseta.

Selle võrdluse põhjal laienduse heakskiitmise või tagasilükkamise asemel tegi ministeeriumi hindamisüksus ettepaneku teiseks faasiks loterii abil. Nõudlus juhendamisteenuse järele ületas juba saadaolevaid kohti, nii et üksus jaotas kohad juhuslikult võrdselt kõlblike taotlejate vahel ja võrdles töökoha leidmise määrasid loterii võitjate ja loterii kaotajate vahel, randomiseeritud hindamise loogika rakendus, mis ei nõudnud teenuse keelamist kellelegi, kes seda muidu poleks saanud. Kaksteist kuud hiljem näitas loteriivõrdlus väiksemat, kuid tõelist mõju: 9-protsendipunktiline paranemine kuue kuu töökoha leidmises, mitte 14-punktiline lõhe, mida algne võrdlus oli vihjanud. Ministeerium kasutas loteriipõhist hinnangut koos oma kuluandmetega, et ehitada kaitstav kulutõhususe juhtum (vt Teema 2.2 — Sotsiaalne kulu-tulu ja kulutõhususe analüüs) skaleeritud, kuid ressursspiiratud kasutuselevõtuks, mitte suuremaks, teostamatuks laienduseks, mida vigane algne võrdlus oleks õigustanud.

Neli sektoriläätse

Kohalik omavalitsus

Kohalikud omavalitsused käitavad tavaliselt palju väikeseid ja keskmise suurusega programme, mitte mõnda väga suurt, mis teeb spetsiaalselt ehitatud randomiseeritud hindamised programmi suurusega võrreldes kalliks ja suunab kohalikke hindajaid kvaasieksperimentaalsete meetodite poole, mis taaskasutavad juba kogutavaid haldusandmeid – erinevuste erinevus teenindusalade vahel, mis võtsid muutuse kasutusele erinevatel aegadel, või regressioonikatkestuse disain kohaliku kõlblikkuslävendi ümber. Piiri- ja jurisdiktsioonierinevused, mis oleksid mujal tüütus, on sageli kohaliku hindaja parim loomulik eksperiment, kuna kaks naaberlinnaosa või ringkonda võivad poliitikas erineda, jäädes samas enamikus teistes aspektides sarnaseks.

Riigivalitsus

Riigivalitsustel on ulatus rahastada spetsiaalselt ehitatud randomiseeritud hindamisi ja haldusandmekogumid, sageli seotud maksu-, toetuste-, tervise- ja haridusregistrite vahel, et käitada usaldusväärseid kvaasieksperimentaalseid disaine madala piirkuluga. See ulatus on ka koht, kus „mis toimib" hindamise töörühmad ja tsentraliseeritud hindamisjuhised, nagu rahandusosakonna standardne hindamiskäsiraamat, kipuvad asuma, sest ainult riigivalitsus saab õigustada püsiva hindamistaristu ja ühise metodoloogilise standardi hoidmise püsikulu paljude osakondade vahel.

Sotsiaalsektor ja mittetulundussektor

Mittetulundusühingutel ja valitsusvälistel organisatsioonidel on harva valimimahud või eelarved, mida hästi võimsustatud randomiseeritud hindamine vajab, ja nende programmid muutuvad sageli adaptiivselt vastusena sellele, mida rindetöötajad täheldavad, mis keerukamaks teeb iga disaini, mis eeldab stabiilset, hästi määratletud ravi. Partnerlus akadeemilise uurimisrühma või spetsialiseerunud hindamisvahendajaga, sellisega, mis on kasvanud randomiseeritud hindamise liikumise ümber rahvusvahelises arengus, on sageli ainus realistlik tee ranguse põhjusliku hinnanguni ja rahastajad küsivad üha enam just sellist välist partnerlust enne mitmeaastaste toetuste andmist.

Mitmepoolne ja rahvusvaheline

Mitmepoolsed organid rahastavad programme paljudes riikides erinevate andmesüsteemide, halduse suutlikkuse ja eetikaülevaatuse normidega, mis teeb standardiseeritud põhjuslikud meetodid raskemini ühtlaselt rakendatavaks, kuid loob ka loomuliku riikidevahelise variatsiooni, mis võib ise saada loomulikuks eksperimendiks, kui poliitika võetakse kasutusele mõnes liikmesriigis enne teisi. Randomiseeritud hindamised arengumajanduses on olnud sellises mõõtkavas eriti mõjukad, tootes tõendeid, mis kujundasid, kuidas rahvusvahelist arenguraha jaotatakse, kuid need kannavad ka dokumenteeritud välise kehtivuse ebaõnnestumise riski: tulemus, mis kehtib uuritud riigis ja kontekstis, ei kandu automaatselt üle teise konteksti, hoiatus, mida mitmepoolsed programmikavandid liiga sageli ignoreerivad.

Levinud ebaõnnestumisviisid

Naiivne enne-ja-pärast. Programmi hinnatakse ainult tulemuste võrdlemisega enne selle algust ja pärast, ilma võrdlusrühmata üldse, nii et iga juba käimasolev suundumus – majanduse taastumine, demograafiline nihe, eraldi poliitikamuutus – omistatakse valesti programmile. Kulu on enesekindel põhjuslik lugu, mis on ehitatud disainile, mis ei suuda programmi mõju tegelikult eristada kõigest muust, mis samal ajal juhtus.

Valikukallutatus, mida peetakse programmi mõjuks. Osalejaid, kes valisid sisenemise või suunati sisse, sest tundusid tõenäoliselt edukad, võrreldakse kõigi teistega, tootes mõjuhinnangu, mis on tegelikult mõõt sellest, keda programm ligi tõmbas, mitte sellest, mida see neile tegi. Kulu on skaleeritud programm, mis näib vähem tõhus, mõnikord palju vähem, kui see jõuab vähem isevalitud populatsioonini.

Alavõimsa hindamise esitamine nullleiuna. Väike pilootprojekt leiab „statistiliselt olulist mõju ei ole" ja seda loetakse tõendina, et programm ei toimi, kui valim oli tegelikult liiga väike, et tuvastada mõju, mis oleks oluline. Kulu kulgeb mõlemas suunas: tõeliselt tõhus programm võib tühistada tõendite põhjal, mis ei olnud kunagi võimelised näitama, et see toimis, või ressursid liiguvad suurema katse rahastamiseks, mida poleks vaja olnud, kui algne ülesanne oleks olnud õigesti võimsustatud.

Kohaliku hinnangu ekstrapoleerimine väljapoole selle konteksti. Regressioonikatkestuse disain hindab õigesti mõju üksustele kõlblikkuslävendi lähedal ja instrumentaalmuutuja hinnang hindab õigesti mõju üksustele, kelle ravistaatust instrument tegelikult nihutas, kuid mõlemad leiud rakendatakse seejärel kogu populatsioonile, nagu kehtiks hinnang kõikjal. Kulu on poliitika, mis on skaleeritud numbri alusel, mis oli alati ainult kohalikult tõene.

Hindamine kui teater. Hindamine tellitakse tõenduspõhise otsustamise ilme loomiseks, kuid otsus on tegelikult juba tehtud ja ükski usutav leid poleks seda muutnud. Kulu on raisatud hindamiseelarve ja, söövitavamalt, usalduse aeglane erosioon hindamise enda vastu, kui töötajad märkavad, et tulemused ei näi kunagi tulemusi muutvat.

Küpsusmudel

Kontrollnimekiri

• Nimetage iga suure programmihindamise kontrafaktuaal ühe lihtsas keeles lausega.
• Kinnitage, kuidas osalejad ravirühma sattusid, ja hinnake, kas see protsess ise võiks tulemuste erinevust selgitada.
• Valige hindamismeetod (randomiseeritud hindamine, erinevuste erinevus, regressioonikatkestuse disain, instrumentaalmuutujad või loomulik eksperiment) vastavalt tegelikule määramisreeglile, võimaluse korral enne tarne algust.
• Arvutage statistiline võimsus, mis on vajalik väikseima mõjusuuruse tuvastamiseks, mis programmi kulu õigustaks.
• Registreerige tulemusmõõdikud ja analüüsiplaan eelnevalt, enne tulemuste nägemist.
• Esitage ravi- ja võrdlusrühmade võrreldavus pealkirja mõju kõrval.
• Tellige või vaadake hindamine üle tarnemeeskonnast sõltumatu funktsiooni kaudu.
• Eraldage statistiline olulisus fiskaalsest ja praktilisest olulisusest igas otsustajatele mõeldud aruandes.
• Eelarvestage hindamine programmi kulu kindla osana kavandamisetapis.
• Avaldage null- ja negatiivsed leiud sama nähtavusega, mis on antud positiivsetele.
• Kontrollige, kas positiivset kohalikku hinnangut (regressioonikatkestuse disainist või instrumentaalmuutujatest) ekstrapoleeritakse kaugemale populatsioonist, mida see tegelikult katab.
• Suunake lõpetatud hindamised laiemasse tõendusbaasi, mida teie sektor hoiab, mitte ainult oma arhiivi.

Põhiallikad

Selle teema metodoloogiline tuum tugineb rakendusökonomeetria traditsioonile, mis on seotud Joshua D. Angristi ja Jörn-Steffen Pischkega, ning Donald Rubini formaliseeritud potentsiaalsete tulemuste raamistikule. Randomiseeritud hindamise liikumine avalikus poliitikas ja arengumajanduses, mis on seotud Abdul Latif Jameel Poverty Action Labi (J-PAL) ja selle akadeemilise võrgustikuga, annab suure osa sektoriläätsedes viidatud rakendatud praktikast. Valitsuse hindamisstandardid tuginevad Ühendkuningriigi rahandusministeeriumi Magenta Book juhistele ja tõendite sünteesi praktika tugineb Campbell Collaboration'i sotsiaalpoliitika süstemaatilise ülevaate standarditele (vt Teema 2.6 — Tõendite süntees ja see, mis toimib).

Viited

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network