Econometreg y Sector Cyhoeddus a Gwerthuso Rhaglenni

Pam mae hyn yn bwysig i werth cyhoeddus

Bob blwyddyn, mae cyrff cyhoeddus yn adnewyddu, ehangu, neu ganslo rhaglenni ar gryfder cymhariaeth canlyniadau: cafodd cyfranogwyr yn y rhaglen swyddi waith yn gyflymach na nad-gyfranogwyr; sgoriodd disgyblion yn y cynllun tiwtora'n uwch na disgyblion na chawsant diwtora. Mae pob cymhariaeth yn wir fel disgrifiad ac yn beryglus fel dadl, oherwydd nid oes yr un, ar ei ben ei hun, yn dweud wrthych a achosodd y rhaglen y gwahaniaeth. Mae pobl sy'n cofrestru mewn rhaglen swyddi'n aml yn fwy cymhellol na phobl nad ydynt, ac mae disgyblion a ddewiswyd ar gyfer tiwtora'n aml yn cael eu dewis oherwydd bod athro eisoes yn disgwyl iddynt ymateb yn dda. Y bwlch rhwng 'gwnaeth y grŵp a driniwyd yn well' a 'gwnaeth y driniaeth iddynt wneud yn well' yw'n union y bwlch y mae casgliad achosol yn bodoli i'w gau.

Nid manylder academaidd yw hyn. Mae pwyllgor cyllid a ofynnir i adnewyddu ariannu rhaglen yn cael ei ofyn yn ymhlyg i awdurdodi gwario arian cyhoeddus ar honiad o achosiaeth, p'un a yw unrhyw un yn yr ystafell yn defnyddio'r gair hwnnw ai peidio. Rhoddodd Pwnc 2.1 i chi'r fframwaith canlyniadau sy'n nodi beth mae rhaglen i fod i'w newid (gweler Pwnc 2.1 — Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau); mae'r pwnc hwn yn rhoi i chi'r dulliau sy'n profi a wnaeth ei newid mewn gwirionedd, a faint. Mae angen maint effaith amddiffynadwy ar ddadansoddiad cost-budd ac effeithiolrwydd cost (gweler Pwnc 2.2 — Dadansoddiad Cost-Budd Cymdeithasol ac Effeithiolrwydd Cost) ac adenillion cymdeithasol o fuddsoddi (gweler Pwnc 2.3 — Adenillion Cymdeithasol o Fuddsoddi a Mesur Effaith) ill dau i weithio ag ef; dyma lle daw'r maint effaith hwnnw, neu lle rydych yn dysgu na all y rhif sydd gennych eisoes gario'r pwysau sy'n cael ei roi arno.

Nid ariannol yn unig yw'r peryglon. Mae llywodraeth sy'n graddio rhaglen aneffeithiol i fyny oherwydd bod gwerthusiad diffygiol wedi gwneud iddi edrych yn effeithiol wedi gwastraffu arian ac, yn aml yn waeth, wedi dadleoli dewis arall gwirioneddol effeithiol na chafodd erioed y cyfle; mae llywodraeth sy'n canslo rhaglen effeithiol oherwydd bod cymhariaeth naïf wedi gwneud iddi edrych yn ddiwerth wedi dinistrio gwerth y byddai gwerthusiad wedi'i ddylunio'n well wedi'i ddiogelu. Mae cael dynodiad achosol yn iawn, a gwybod pryd na allwch ei gael yn iawn, yn gymhwysedd gwerth cyhoeddus ynddo'i hun, nid diddordeb ochr arbenigwr.

Cysyniadau craidd

Mae casgliad achosol yn gangen o ystadegaeth sy'n ymwneud â sefydlu a yw, a faint, newid un newidyn yn cynhyrchu newid mewn un arall, yn wahanol i'r ddau newidyn yn symud gyda'i gilydd yn unig. Mae'n cyflenwi'r sylfaen gysyniadol — rhesymu gwrthffeithiol, iaith triniaeth a rheolaeth, y catalog o fygythiadau penodol i honiad achosol — y mae pob dull yn y pwnc hwn yn tynnu arno. Wicipedia: Causal inference.

Y gwrthffeithiol yw'r canlyniad y byddai person neu uned wedi'i brofi pe na baent wedi derbyn y rhaglen, a dyma'r maint canolog, na ellir ei arsylwi y mae pob dull achosol yn ceisio ei amcangyfrif: gallwch wylio beth ddigwyddodd i gyfranogwr, ond byth beth fyddai wedi digwydd i'r un person heb gymorth. Mae pob dull isod yn strategaeth wahanol ar gyfer adeiladu safle credadwy ar gyfer yr arsylwad coll hwnnw. Mae'r model achosol Rubin, wedi'i ddatblygu'n bennaf gan yr ystadegydd Donald Rubin, yn ffurfioli hyn fel y fframwaith 'canlyniadau potensial': mae gan bob uned ganlyniad potensial o dan driniaeth ac un o dan reolaeth, a'r effaith achosol yw'r gwahaniaeth rhyngddynt, dim ond un ohonynt sy'n cael ei arsylwi byth. Wicipedia: Rubin causal model.

Mae cymysgu yn digwydd pan mae trydydd ffactor yn dylanwadu ar y ddau p'un a yw uned yn derbyn rhaglen a'r canlyniad y mae'r rhaglen i fod i'w newid, gan wneud iddi edrych fel pe bai'r rhaglen wedi achosi effaith a gynhyrchwyd mewn gwirionedd gan y cymysgwr. Mae cymhelliant, gallu blaenorol, amodau economaidd lleol, a chyfoeth cartref yn gymysgwyr sy'n ailddigwydd mewn gwerthuso rhaglen gyhoeddus, oherwydd eu bod yn rheolaidd yn effeithio ar bwy sy'n cymryd i fyny gwasanaeth a sut mae'r person neu le hwnnw'n ffynnu wedyn. Wicipedia: Confounding.

Tuedd dethol yw'r achos penodol o gymysgu sy'n codi o sut mae cyfranogwyr yn dod i mewn i'r grŵp triniaeth o gwbl — hunan-ddethol, atgyfeiriad staff, neu reolau cymhwysedd — fel bod grwpiau wedi'u trin a heb eu trin yn wahanol yn systematig cyn i'r rhaglen erioed eu cyffwrdd. Bydd rhaglen swyddi y mae dim ond y ceiswyr gwaith mwyaf cymhellol yn cofrestru amdani'n edrych yn effeithiol hyd yn oed os nad yw'n gwneud dim byd, oherwydd nid oedd y grŵp cymhariaeth erioed yn safle teg ar gyfer beth fyddai cyfranogwyr wedi'i wneud heb gymorth. Wicipedia: Selection bias.

Nid yw cydberthyniad yn awgrymu achosiaeth yw'r rhybudd cyffredinol y mae'r pwnc hwn yn ei weithredu: mae dau newidyn yn symud gyda'i gilydd yn gyson ag un yn achosi'r llall, â'r gwrthwyneb, â achos cyffredin a rennir, neu â chyd-ddigwyddiad, ac ni all y patrwm ar ei ben ei hun wahaniaethu rhwng y rhain. Mae gwerthiannau hufen iâ a marwolaethau boddi'n codi bob haf heb i'r naill achosi'r llall, oherwydd bod tywydd cynnes yn gyrru'r ddau; mae gwerthuso rhaglen gyhoeddus yn llawn fersiynau mwy cynnil o'r un fagl. Wicipedia: Correlation does not imply causation.

Mae'r treial rheoledig ar hap (RCT), a elwir yn werthusiad ar hap yn llenyddiaeth gwerthuso polisi, yn dyrannu unedau cymwys ar hap i grŵp triniaeth sy'n derbyn y rhaglen a grŵp rheolaeth nad yw'n ei derbyn, fel bod y ddau grŵp yn wahanol ar gyfartaledd dim ond o ran p'un a gawsant eu trin. Mae hapddyrannu'n bwerus oherwydd ei fod yn ymdrin â chymysgu'n gyfan gwbl: mae'n cydbwyso'r cymysgwyr y gallwch eu mesur a'r rhai na allwch, heb fod angen eu henwi ymlaen llaw. Wicipedia: Randomized controlled trial.

Mae gwahaniaeth-mewn-gwahaniaethau (DiD) yn cymharu'r newid mewn canlyniadau dros amser ar gyfer grŵp a driniwyd yn erbyn y newid dros yr un cyfnod ar gyfer grŵp cymhariaeth na dderbyniodd y rhaglen, gan dybio, heb y rhaglen, y byddai'r ddau grŵp wedi dilyn tueddiadau cyfochrog. Dyma'r dull ceffyl-gwaith pan mae rhaglen wedi cyrraedd un awdurdodaeth cyn un arall ac na fu hapddyrannu byth yn opsiwn, oherwydd gall ddefnyddio data gweinyddol a gasglwyd yn rheolaidd yn hytrach na threial pwrpas-adeiledig. Wicipedia: Difference in differences.

Mae dyluniad datgysylltiad atchweliad (RDD) yn manteisio ar reol rhaglen sy'n dyrannu triniaeth yn seiliedig ar sgôr wedi'i fesur yn croesi trothwy sefydlog — budd-dal yn dechrau'n union ar drothwy incwm, dosbarth adferol wedi'i neilltuo i ddisgyblion sy'n sgorio'n union islaw marc pasio — ac yn cymharu canlyniadau ar gyfer unedau ychydig uwchben ac ychydig islaw, sydd fel arall yn debyg. Oherwydd bod pa ochr o'r trothwy y mae uned yn disgyn arni'n effeithiol yn fympwyol mewn band cul o'i amgylch, mae'r gymhariaeth yn dynesu at arbrawf ar hap lleol heb i unrhyw un hapddyrannu unrhyw beth. Wicipedia: Regression discontinuity design.

Mae amcangyfrif newidynnau offerynnol (IV) yn defnyddio trydydd newidyn, 'offeryn', sy'n effeithio ar gymryd-i-fyny rhaglen ond nad oes ganddo effaith uniongyrchol ar y canlyniad ac eithrio drwy'r cymryd-i-fyny hwnnw, i dynnu allan y rhan o'r berthynas triniaeth-canlyniad y byddai cymysgu fel arall yn ei halogi. Offeryn polisi-cyhoeddus clasurol yw pellter i gyfleuster, neu le wedi'i ddyrannu drwy loteri, sy'n symud cyfranogiad heb achosi'r canlyniad yn annibynnol; mae'r rhan fwyaf o anhawster y dull yn gorwedd mewn amddiffyn bod yr offeryn yn effeithio ar y canlyniad drwy'r rhaglen yn unig. Wicipedia: Instrumental variables estimation.

Mae arbrawf naturiol yn sefyllfa, sy'n codi o bolisi, daearyddiaeth, neu amgylchiad yn hytrach na dyluniad ymchwilydd, lle mae rhai pobl yn agored i raglen ac eraill cymharadwy nid ydynt, fel pe bai arbrawf wedi'i redeg heb i unrhyw un ei redeg. Mae newid polisi'n dod i rym ar drothwy dyddiad-geni, ffin sy'n rhoi cartrefi bron-unfath mewn awdurdodaethau gwahanol, neu loteri'n dogni lle gor-danysgrifiedig yn arbrofion naturiol y gall RDD, IV, neu DiD wedyn eu dadansoddi. Wicipedia: Natural experiment.

Mae'r effaith Hawthorne yn enwi'r risg bod pobl yn newid eu hymddygiad yn syml oherwydd eu bod yn gwybod eu bod yn cael eu harsylwi, yn annibynnol ar gynnwys gwirioneddol y rhaglen, a all chwyddo effaith wedi'i amcangyfrif os na chaiff y grŵp rheolaeth ei arsylwi â'r un dwyster — gall y weithred o fesur ei hun ddod yn rhan o'r driniaeth. Wicipedia: Hawthorne effect.

Pŵer ystadegol yw'r tebygolrwydd y bydd gwerthusiad yn canfod effaith wirioneddol o faint penodol os yw'n bodoli, gan ddibynnu'n bennaf ar faint sampl, y maint effaith a geisir, a faint mae canlyniadau'n amrywio o fewn grwpiau. Mae gwerthusiad â phŵer annigonol sy'n canfod 'dim effaith arwyddocaol' yn aml heb ddangos nad yw'r rhaglen yn gwneud dim; mae wedi dangos bod y gwerthusiad yn rhy fach i ddweud naill ffordd, gwahaniaeth y mae arweinwyr yn ei fethu'n aml o dan bwysau i gyrraedd dyfarniad. Wicipedia: Power (statistics).

Arferion gorau

1. Penderfynwch ddyluniad y gwerthusiad cyn i'r rhaglen lansio, nid ar ei ôl. Mae gwerthusiad ar hap, cyflwyniad wedi'i raddio sy'n addas ar gyfer gwahaniaeth-mewn-gwahaniaethau, neu drothwy cymhwysedd sy'n addas ar gyfer dyluniad datgysylltiad atchweliad i gyd yn llawer haws eu hadeiladu i mewn o'r dechrau na'u hôl-ffitio unwaith y mae cyflenwi eisoes wedi dechrau ar sail ad hoc.
2. Nodwch y gwrthffeithiol yn benodol ym mhob briff gwerthuso. Ysgrifennwch i lawr, mewn un frawddeg, beth rydych yn ei gymharu cyfranogwyr yn ei erbyn — dim rhaglen o gwbl, y rhaglen flaenorol, ymyrraeth wahanol — oherwydd bod gwrthffeithiol heb ei nodi lle mae'r anghydfodau gwerthuso miniocaf fel arfer yn troi allan i fod yn cuddio.
3. Trinwch gymhariaeth cyn-ac-ar-ôl syml fel hypothesis cychwynnol, byth fel canfyddiad. Mae canlyniadau'n drifftio am lawer o resymau heb gysylltiad â'ch rhaglen — y cylch economaidd, effeithiau tymhorol, newidiadau polisi eraill yn glanio ar yr un pryd — ac ni all dyluniad cyn-ac-ar-ôl wahanu cyfraniad eich rhaglen oddi wrth eu heiddo hwy.
4. Cyfatebwch y dull â'r rheol a ddyrannodd y rhaglen mewn gwirionedd, nid â'r dull rydych yn ei gael fwyaf cyfarwydd. Mae rhaglen a ddognir drwy loteri'n galw am resymeg gwerthusiad ar hap hyd yn oed os na fyddwch byth yn ei alw'n dreial; mae rhaglen wedi'i dyrannu drwy drothwy wedi'i sgorio'n galw am ddyluniad datgysylltiad atchweliad; mae rhaglen a gyflwynwyd i rai ardaloedd cyn eraill yn galw am wahaniaeth-mewn-gwahaniaethau.
5. Rhag-gofrestrwch y mesurau canlyniad a'r cynllun dadansoddi cyn edrych ar y canlyniadau. Mae penderfynu pa ganlyniad sy'n cyfrif fel 'llwyddiant' ar ôl gweld pa un a symudodd yn llwybr wedi'i ddogfennu'n dda i ganlyniadau ffug-gadarnhaol, ac mae rhag-gofrestru'n amddiffyniad safonol yn ei erbyn.
6. Powerwch y gwerthusiad ar gyfer y maint effaith lleiaf a fyddai'n dal i gyfiawnhau cost y rhaglen, nid am gyfleustra. Bydd gwerthusiad rhy fach i ganfod effaith berthnasol-i-bolisi'n cynhyrchu canlyniad 'dim gwahaniaeth arwyddocaol' anwybodus sy'n cael ei gamddehongli fel prawf o fethiant.
7. Adroddwch nodweddion y grŵp cymhariaeth ochr yn ochr â rhai'r grŵp triniaeth, nid dim ond yr effaith bennawd. Mae gwerthusiad credadwy'n gadael i ddarllenydd amheus wirio bod y ddau grŵp yn debyg cyn triniaeth; mae gwerthusiad sy'n cuddio hyn yn gwneud i'r darllenydd gymryd cydbwysedd ar ffydd.
8. Comisiynwch y gwerthusiad o ffynhonnell annibynnol ar y tîm cyflenwi, neu firewaliwch y dadansoddiad os na allwch. Mae gan dîm â rhan yn llwyddiant rhaglen gymhelliant strwythurol, yn aml anymwybodol, i ddehongli tystiolaeth amwys o blaid y rhaglen.
9. Gwahanwch arwyddocâd ystadegol oddi wrth arwyddocâd ymarferol a chyllidol ym mhob adroddiad. Mae effaith fach wedi'i hamcangyfrif yn fanwl gywir ac effaith fawr wedi'i hamcangyfrif yn amherffaith yn ganfyddiadau gwahanol sy'n gofyn am benderfyniadau gwahanol, ac mae cwympo'r ddau i mewn i 'arwyddocaol' neu 'ddim yn arwyddocaol' yn dileu'r gwahaniaeth y mae penderfyniad ariannu mewn gwirionedd ei angen.
10. Cyllidwch werthuso fel cyfran benodol o gost rhaglen ar gam dylunio, nid fel beth bynnag sydd ar ôl. Mae rhaglen ddigon mawr i fod yn bwysig ar gyfer gwerth cyhoeddus fel arfer yn ddigon mawr i ariannu gwerthusiad effaith credadwy, ac mae trin gwerthuso fel un dewisol yn sut mae tystiolaeth wan yn dod yn arferol.
11. Cyhoeddwch ganlyniadau di-effaith a negyddol â'r un gwelededd â rhai cadarnhaol. Mae amgylchedd comisiynu sy'n cyhoeddi dim ond gwerthusiadau llwyddiannus yn creu tuedd dethol yn y sylfaen dystiolaeth gyhoeddedig ei hun, gan wyro barn 'beth sy'n gweithio' pawb yn ddiweddarach tuag at optimistiaeth.
12. Bwydwch bob gwerthusiad wedi'i gwblhau i mewn i'r sylfaen dystiolaeth ehangach y mae eich sector yn ei chynnal, nid dim ond eich archif eich hun. Un pwynt data yw un gwerthusiad, ni waeth pa mor dda ei ddylunio; cyfuno systematig ar draws llawer sy'n troi canfyddiad rhaglen yn wybodaeth drosglwyddadwy (gweler Pwnc 2.6 — Cyfuno Tystiolaeth a'r Hyn sy'n Gweithio).

Cwestiynau i'w trafod gyda'ch tîm

Beth yw'r gwrthffeithiol rydym mewn gwirionedd yn cymharu'r rhaglen hon yn ei erbyn, ac ydym ni wedi dweud hynny'n uchel? Mae pob honiad effaith yn awgrymu cymhariaeth, ond mae timau'n aml yn ei adael yn ymhlyg, gan adael i 'gweithiodd hyn' lithro'n dawel rhwng 'gwell na dim', 'gwell na'r hyn a wnaethom o'r blaen', a 'gwell na'r dewis arall gorau y gallem fod wedi'i ariannu'. Gofynnwch i'ch arweinydd gwerthuso nodi'r gwrthffeithiol fel un frawddeg mewn iaith blaen, yna gwiriwch a yw'r dystiolaeth sydd gennych mewn gwirionedd yn cefnogi honiad am y gymhariaeth benodol honno. Os yw'r gwrthffeithiol gonest yn "nid ydym yn gwybod beth fyddai wedi digwydd fel arall", triniwch yr honiad effaith cyfredol fel hypothesis, nid canfyddiad, a thrafodwch beth fyddai ei angen i gau'r bwlch hwnnw.

A allai'r bobl neu leoedd a gymerodd i fyny'r rhaglen hon fod yn systematig wahanol i'r rhai na wnaethant, mewn ffyrdd a fyddai hefyd yn effeithio ar y canlyniad? Dyma'r cwestiwn tuedd-dethol, ac mae'n werth ei ofyn hyd yn oed pan — yn enwedig pan — mae'r ateb yn edrych yn amlwg yn 'na'. Mae cymhelliant, amgylchiadau blaenorol, capasiti lleol, a phatrymau atgyfeirio staff yn ffynonellau cudd cyffredin o wahaniaeth sy'n cynhyrchu amcangyfrif effaith camarweiniol hyd yn oed â sampl fawr, gofalus-yr-olwg. Os na all y tîm ddisgrifio sut y daeth cyfranogwyr i mewn i'r rhaglen, ni allant ddiystyru hyn, a dylai'r bwlch hwnnw eich poeni'n fwy nag y byddai maint sampl bach.

A adeiladwyd ein dyluniad gwerthuso i mewn i'r rhaglen, neu ei folltio ymlaen wedyn, a beth gostiodd hynny i ni? Mae gwerthusiad ar hap, cyflwyniad wedi'i raddio, neu drothwy cymhwysedd wedi'i sgorio i gyd yn llawer rhatach ac yn fwy credadwy pan gânt eu cynllunio cyn lansiad na phan gânt eu hail-adeiladu o ba bynnag ddata gweinyddol a oroesodd. Gofynnwch pa opsiynau dyluniad gwerthuso a ystyriwyd ar gam dylunio'r rhaglen, ac os na wnaeth unrhyw un, triniwch hynny fel bwlch proses i'w gau cyn y rhaglen nesaf, nid dim ond cyfyngiad hon. Trafodwch pa ddata fyddai angen bodoli o'r dydd cyntaf i'r rhaglen fawr nesaf gefnogi amcangyfrif achosol credadwy.

A yw ein sampl yn ddigon mawr i ganfod effaith sy'n werth ei gwybod, ac a fyddem yn adnabod canfyddiad 'dim effaith' â phŵer annigonol pe baem yn ei weld? Weithiau mae gwerthusiad sy'n adrodd dim effaith ystadegol arwyddocaol yn dweud wrthych yn gywir nad yw'r rhaglen yn gweithio, ac weithiau dim ond yn dweud wrthych fod y gwerthusiad yn rhy fach i weld effaith sy'n wirioneddol yno. Gofynnwch i'ch dadansoddwyr nodi'r maint effaith lleiaf yr oedd y gwerthusiad wedi'i bweru i'w ganfod, a chymharwch hynny â'r maint effaith a fyddai mewn gwirionedd yn cyfiawnhau cost y rhaglen. Os yw'r ddau rif hynny ymhell ar wahân, gall y canfyddiad 'dim effaith' fod yn anwybodus yn hytrach na damniol, a dylai'r tîm ddweud hynny'n glir yn hytrach na gadael i ddistawrwydd gael ei ddarllen fel methiant.

Pwy sy'n elwa, yn broffesiynol neu o ran enw da, os yw'r gwerthusiad hwn yn dod yn ôl yn gadarnhaol, ac a yw hynny'n newid faint o graffu annibynnol sydd ei angen? Nid cyhuddiad o anonestrwydd yw hyn; mae'n gydnabyddiaeth bod pobl a ddyluniodd neu sy'n cyflenwi rhaglen yn strwythurol yn fwy tebygol o ddehongli canlyniadau amwys yn elusennol, yn aml heb sylwi eu bod yn ei wneud. Trafodwch a gomisiynwyd, dadansoddwyd, neu adolygwyd y gwerthusiad gan unrhyw un annibynnol ar y tîm cyflenwi, ac os na, sut olwg fyddai ar firewal cymesur ar gyfer rhaglen o'r maint hwn. Y nod yw canlyniad y byddai eich cyllidwr mwyaf amheus hefyd yn ymddiried ynddo, nid dim ond un y mae eich tîm eich hun yn gyfforddus yn ei amddiffyn.

Os yw canfyddiad y gwerthusiad hwn yn gadarn, beth fyddem mewn gwirionedd yn ei wneud yn wahanol, ac ydym ni'n barod i'w wneud? Mae gwerthusiad a gomisiynwyd ond nas bwriadwyd erioed i newid penderfyniad yn gost suddedig wedi'i wisgo fel diwydrwydd dyladwy, ac mae'n werth enwi'r risg honno cyn i'r canlyniadau lanio yn hytrach na wedyn. Trafodwch, ymlaen llaw, beth fyddai canfyddiad cadarnhaol cryf yn ei gyfiawnhau (graddio i fyny, a faint) a beth fyddai canfyddiad di-effaith neu negyddol yn ei sbarduno (ailddylunio, neu ganslo, a ar ba amserlen). Os na all neb yn yr ystafell ateb hyn cyn gweld y canlyniadau, gall y gwerthusiad fod yn gwasanaethu swyddogaeth cyfreithlondeb yn hytrach na swyddogaeth benderfynu, ac mae hynny'n werth bod yn onest yn ei gylch (gweler Pwnc 2.1 — Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau).

Yn ymarferol: enghraifft gwerth cyhoeddus

Darluniad dychmygol. Rhedodd Gweinyddiaeth Gwasanaethau Cyflogaeth mewn gwlad ddienw, canolig ei maint, beilot blwyddyn o wasanaeth hyfforddi dwys ar gyfer ceiswyr gwaith di-waith hirdymor, ochr yn ochr â'r gwasanaeth safonol presennol. Ar ddiwedd y peilot, cymharodd adroddiad mewnol y grŵp a dderbyniodd hyfforddi dwys yn erbyn pawb arall a adawodd ddiweithdra yn ystod yr un cyfnod: roedd gan y grŵp a hyfforddwyd gyfradd lleoli swyddi o 38% o fewn chwe mis, yn erbyn 24% ar gyfer gweddill y baich achos. Dywedwyd wrth weinidogion fod y rhaglen 'wedi gweithio' ac aeth achos busnes ymlaen i'w chyflwyno'n genedlaethol.

Cyn arwyddo'r ariannu, gofynnodd y pwyllgor cyllid gwestiwn syml: sut roedd ceiswyr gwaith wedi dod i ben i fyny yn y grŵp a hyfforddwyd yn y lle cyntaf? Trodd yr ateb allan i fod yn bwysig yn aruthrol. Roedd gweithwyr achos wedi atgyfeirio ceiswyr gwaith yr oeddent yn eu barnu 'fwyaf tebygol o elwa' i mewn i'r peilot hyfforddi, penderfyniad triage â bwriadau da a oedd, mewn effaith, wedi dethol grŵp mwy parod-i-weithio i mewn i driniaeth o'r dechrau. Roedd y gymhariaeth 38% yn erbyn 24% wedi'i halogi gan yn union y duedd dethol y mae'r pwnc hwn yn rhybuddio amdani: roedd yn gwbl bosibl y byddai'r grŵp a hyfforddwyd wedi rhagori ar weddill y baich achos hyd yn oed heb unrhyw hyfforddi o gwbl.

Yn hytrach na chymeradwyo neu wrthod y cyflwyniad ar y gymhariaeth honno, cynigiodd uned werthuso'r weinyddiaeth ail gam gan ddefnyddio loteri. Roedd galw am y gwasanaeth hyfforddi eisoes yn fwy na'r lleoedd a oedd ar gael, felly dyrannodd yr uned leoedd ar hap ymhlith ymgeiswyr cyfartal eu cymhwysedd a chymharu cyfraddau lleoli swyddi rhwng enillwyr y loteri a chollwyr y loteri, cymhwysiad o resymeg gwerthusiad-ar-hap heb fod angen atal y gwasanaeth rhag unrhyw un na fyddai fel arall wedi'i dderbyn. Ddeuddeg mis yn ddiweddarach, dangosodd cymhariaeth y loteri effaith lai ond real: gwelliant 9-pwynt-canran mewn lleoliad chwe mis, nid y bwlch 14-pwynt yr oedd y gymhariaeth wreiddiol wedi'i awgrymu. Defnyddiodd y weinyddiaeth yr amcangyfrif seiliedig-ar-loteri, ochr yn ochr â'i data cost ei hun, i adeiladu achos effeithiolrwydd cost amddiffynadwy (gweler Pwnc 2.2 — Dadansoddiad Cost-Budd Cymdeithasol ac Effeithiolrwydd Cost) ar gyfer cyflwyniad wedi'i raddio ond wedi'i gyfyngu gan adnoddau, yn hytrach na'r ehangiad mwy, na ellid ei gyflawni y byddai'r gymhariaeth wreiddiol ddiffygiol wedi'i gyfiawnhau.

Pedwar lens sector

Llywodraeth leol

Mae awdurdodau lleol fel arfer yn rhedeg llawer o raglenni bach a chanolig yn hytrach na nifer fach iawn ohonynt, sy'n gwneud gwerthusiadau ar hap pwrpas-adeiledig yn ddrud o'i gymharu â maint rhaglen ac yn gwthio gwerthuswyr lleol tuag at ddulliau lled-arbrofol sy'n ailddefnyddio data gweinyddol sydd eisoes yn cael ei gasglu — gwahaniaeth-mewn-gwahaniaethau ar draws ardaloedd gwasanaeth a fabwysiadodd newid ar wahanol adegau, neu ddyluniad datgysylltiad atchweliad o amgylch trothwy cymhwysedd lleol. Mae gwahaniaethau ffin ac awdurdodaeth a fyddai'n niwsans mewn man arall yn aml yn arbrawf naturiol gorau gwerthuswr lleol, gan y gall dwy ward neu ardal gyfagos wahaniaethu mewn polisi tra'n aros yn debyg mewn y rhan fwyaf o agweddau eraill.

Llywodraeth genedlaethol

Mae gan lywodraethau cenedlaethol y raddfa i ariannu gwerthusiadau ar hap pwrpas-adeiledig a'r setiau data gweinyddol, yn aml wedi'u cysylltu ar draws cofnodion treth, budd-daliadau, iechyd, ac addysg, i redeg dyluniadau lled-arbrofol credadwy ar gost ymylol isel. Dyma hefyd lle mae'n tueddu i eistedd tasglu gwerthuso 'beth sy'n gweithio' a chanllawiau gwerthuso canoledig, fel llawlyfr gwerthuso safonol adran drysorlys, oherwydd dim ond llywodraeth genedlaethol all gyfiawnhau'r gost sefydlog o gynnal seilwaith gwerthuso sefydlog a safon fethodolegol gyffredin ar draws llawer o adrannau.

Sector cymdeithasol a di-elw

Anaml y mae gan sefydliadau di-elw ac anllywodraethol y meintiau sampl neu'r cyllidebau y mae gwerthusiad ar hap â phŵer da eu hangen, ac mae eu rhaglenni'n aml yn newid yn addasol mewn ymateb i beth mae staff rheng flaen yn ei arsylwi, sy'n cymhlethu unrhyw ddyluniad sy'n tybio triniaeth sefydlog, wedi'i diffinio'n dda. Mae partneriaeth â grŵp ymchwil academaidd neu gyfryngwr gwerthuso arbenigol, o'r math sydd wedi tyfu o amgylch y mudiad gwerthusiad-ar-hap mewn datblygiad rhyngwladol, yn aml yn unig lwybr realistig i amcangyfrif achosol trylwyr, ac mae cyllidwyr fwyfwy'n gofyn am yn union y math hwn o bartneriaeth allanol cyn ymrwymo grantiau aml-flwyddyn.

Amlochrog a rhyngwladol

Mae cyrff amlochrog yn ariannu rhaglenni ar draws llawer o wledydd â systemau data, capasiti gweinyddol, a normau adolygiad moesegol gwahanol, sy'n gwneud dulliau achosol safonedig yn anos eu cymhwyso'n unffurf ond hefyd yn creu amrywiad traws-wladol naturiol a all ei hun ddod yn arbrawf naturiol pan fabwysiedir polisi mewn rhai aelod-wladwriaethau cyn eraill. Mae gwerthusiadau ar hap mewn economeg datblygu wedi bod yn arbennig o ddylanwadol ar y raddfa hon, gan gynhyrchu tystiolaeth a siapiodd sut mae ariannu datblygu rhyngwladol yn cael ei ddyrannu, ond maent hefyd yn cario risg wedi'i dogfennu o fethiant dilysrwydd allanol: nid yw canlyniad sy'n dal yn y wlad a'r cyd-destun a astudiwyd yn trosglwyddo'n awtomatig i gyd-destun gwahanol, cafeat y mae dyluniad rhaglen amlochrog yn rhy aml yn ei esgeuluso.

Moddau methiant cyffredin

Y cyn-ac-ar-ôl naïf. Caiff rhaglen ei barnu'n unig drwy gymharu canlyniadau cyn iddi ddechrau â chanlyniadau ar ei ôl, heb unrhyw grŵp cymhariaeth o gwbl, felly caiff unrhyw duedd sydd eisoes ar waith — adferiad economaidd, symudiad demograffig, newid polisi ar wahân — ei chamdrigo i'r rhaglen. Y gost yw stori achosol hyderus wedi'i hadeiladu ar ddyluniad na all mewn gwirionedd wahanu effaith y rhaglen oddi wrth bopeth arall a ddigwyddodd ar yr un pryd.

Tuedd dethol wedi'i chamgymryd am effaith rhaglen. Caiff cyfranogwyr a ddewisodd i mewn, neu a atgyfeiriwyd i mewn oherwydd eu bod yn ymddangos yn debygol o lwyddo, eu cymharu yn erbyn pawb arall, gan gynhyrchu amcangyfrif effaith sydd mewn gwirionedd yn fesur o bwy a atynnodd y rhaglen yn hytrach na beth a wnaeth iddynt. Y gost yw rhaglen wedi'i graddio i fyny sy'n edrych yn llai effeithiol, weithiau'n llawer llai, unwaith y mae'n cyrraedd poblogaeth lai hunan-ddewisedig.

Y gwerthusiad â phŵer annigonol wedi'i adrodd fel canfyddiad di-effaith. Mae peilot bach yn canfod 'dim effaith ystadegol arwyddocaol' ac yn cael ei ddarllen fel prawf nad yw'r rhaglen yn gweithio, pan oedd y sampl mewn gwirionedd yn rhy fach i ganfod effaith o'r maint a fyddai'n bwysig. Mae'r gost yn rhedeg i'r ddau gyfeiriad: gellir canslo rhaglen wirioneddol effeithiol ar gryfder tystiolaeth na fu erioed yn gallu dangos ei bod yn gweithio, neu mae adnoddau'n symud ymlaen i ariannu treial mwy nad oedd angen bod yn angenrheidiol pe bai'r briff gwreiddiol wedi'i bweru'n gywir.

Estrapolio amcangyfrif lleol y tu hwnt i'w gyd-destun. Mae dyluniad datgysylltiad atchweliad yn amcangyfrif y effaith yn gywir ar gyfer unedau ger y trothwy cymhwysedd, ac mae amcangyfrif newidyn offerynnol yn amcangyfrif y effaith yn gywir ar gyfer unedau y symudodd yr offeryn eu statws triniaeth mewn gwirionedd, ond yna caiff y ddau ganfyddiad eu cymhwyso i'r boblogaeth gyfan fel pe bai'r amcangyfrif yn dal ym mhobman. Y gost yw polisi wedi'i raddio ar gryfder rhif nad oedd erioed yn wir yn lleol yn unig.

Gwerthuso fel theatr. Comisiynir gwerthusiad i greu ymddangosiad o wneud penderfyniadau seiliedig-ar-dystiolaeth, ond mae'r penderfyniad wedi'i wneud eisoes i bob pwrpas, a ni fyddai unrhyw ganfyddiad credadwy wedi'i newid. Y gost yw cyllideb werthuso wedi'i gwastraffu ac, yn fwy erydol, erydiad araf o ymddiriedaeth mewn gwerthuso ei hun unwaith y mae staff yn sylwi nad yw canlyniadau byth i'w gweld yn newid canlyniadau.

Model aeddfedrwydd

Rhestr wirio

• Nodwch y gwrthffeithiol ar gyfer pob prif werthusiad rhaglen mewn un frawddeg iaith-blaen.
• Cadarnhewch sut y daeth cyfranogwyr i ben i fyny yn y grŵp triniaeth, a asesiwch a allai'r broses honno ei hun egluro'r gwahaniaeth canlyniad.
• Dewiswch y dull gwerthuso (gwerthusiad ar hap, gwahaniaeth-mewn-gwahaniaethau, dyluniad datgysylltiad atchweliad, newidynnau offerynnol, neu arbrawf naturiol) i gyfateb â'r rheol ddyrannu wirioneddol, cyn i gyflenwi ddechrau lle bynnag y bo modd.
• Cyfrifwch y pŵer ystadegol sydd ei angen i ganfod y maint effaith lleiaf a fyddai'n cyfiawnhau cost y rhaglen.
• Rhag-gofrestrwch fesurau canlyniad a'r cynllun dadansoddi cyn gweld canlyniadau.
• Adroddwch gymharedd grwpiau triniaeth a chymhariaeth ochr yn ochr â'r effaith bennawd.
• Comisiynwch neu adolygwch y gwerthusiad drwy swyddogaeth annibynnol ar y tîm cyflenwi.
• Gwahanwch arwyddocâd ystadegol oddi wrth arwyddocâd cyllidol ac ymarferol ym mhob adroddiad i benderfynwyr.
• Cyllidwch werthuso fel cyfran benodol o gost rhaglen ar gam dylunio.
• Cyhoeddwch ganfyddiadau di-effaith a negyddol â'r un gwelededd â rhai cadarnhaol.
• Gwiriwch a yw amcangyfrif lleol cadarnhaol (o ddyluniad datgysylltiad atchweliad neu newidynnau offerynnol) yn cael ei estrapolio y tu hwnt i'r boblogaeth y mae mewn gwirionedd yn ei chwmpasu.
• Llwybrwch werthusiadau wedi'u cwblhau i mewn i'r sylfaen dystiolaeth ehangach y mae eich sector yn ei chynnal, nid dim ond eich archif eich hun.

Ffynonellau allweddol

Mae craidd methodolegol y pwnc hwn yn tynnu ar y traddodiad econometreg gymhwysol sy'n gysylltiedig â Joshua D. Angrist a Jörn-Steffen Pischke, ac ar y fframwaith canlyniadau-potensial a ffurfiolwyd gan Donald Rubin. Mae'r mudiad gwerthusiad-ar-hap mewn polisi cyhoeddus ac economeg datblygu, sy'n gysylltiedig â Labordy Gweithredu Tlodi Abdul Latif Jameel (J-PAL) a'i rwydwaith academaidd, yn cyflenwi llawer o'r ymarfer cymhwysol y cyfeirir ato yn y lensys sector. Mae safonau gwerthuso llywodraeth yn tynnu ar ganllawiau Llyfr Magenta Trysorlys y DU, ac mae ymarfer cyfuno tystiolaeth yn tynnu ar safonau Cydweithrediad Campbell ar gyfer adolygiad systematig mewn polisi cymdeithasol (gweler Pwnc 2.6 — Cyfuno Tystiolaeth a'r Hyn sy'n Gweithio).

Cyfeiriadau

1. Causal inference — Wicipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wicipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wicipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wicipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wicipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wicipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wicipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wicipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wicipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wicipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wicipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wicipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, a Christel M. J. Vermeersch, Banc y Byd — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist a Jörn-Steffen Pischke, Gwasg Prifysgol Princeton — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — Trysorlys EM — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — Swyddfa'r Cabinet DU — https://www.gov.uk/guidance/what-works-network