Cyfuno Tystiolaeth a'r Hyn sy'n Gweithio

Pam mae hyn yn bwysig i werth cyhoeddus

Anaml y mae gan weinidog, maer, neu gyfarwyddwr rhaglen elusen y moethusrwydd o un astudiaeth lân i weithredu arni. Yn amlach mae'r ddesg yn dal tair gwerthusiad sy'n anghytuno, adolygiad llenyddiaeth sy'n eu dyfynnu'n ddewisol, grŵp pwyso'n chwifio'r un treial sy'n gweddu ei achos, a dyddiad cau wedi'i osod gan gylch cyllideb yn hytrach na chyflymder ymchwil. Mae cyfuno tystiolaeth yn bodoli oherwydd bod astudiaethau unigol yn swnllyd: mae meintiau sampl yn fach, mae cyd-destunau'n gwahaniaethu, a gallai unrhyw un canlyniad fod yn hap, ffit lleol na fydd yn teithio, neu effaith wirioneddol. Anaml y mae'r cwestiwn y mae angen i arweinydd ei ateb yn 'beth ganfu'r un astudiaeth hon?' ond 'ar draws popeth credadwy sydd wedi'i drio, beth ddylwn i ddisgwyl os gwnaf hyn yma, nawr?'

Mae theori gwerth cyhoeddus yn gwneud hyn yn fwy na manylder technegol. Mae rhaglen a ariennir ag adnoddau cyffredin yn gorffwys ar gynnig gwerth y byddai dinasyddion, gyda'i gilydd, yn ei awdurdodi (gweler Pwnc 2.1 — Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau am sut mae'r cynnig hwnnw'n cael ei nodi a'i olrhain). Mae cynnig wedi'i adeiladu ar un astudiaeth wedi'i ddewis yn ofalus, neu ar ddim adolygiad tystiolaeth o gwbl, yn honiad gwannach ar gyfreithlondeb nag un wedi'i adeiladu ar gyfuniad gofalus — ac yn sail wannach ar gyfer capasiti gweithredol, oherwydd caiff staff a chyllidebau eu hymrwymo ar ei gryfder. Tyfodd y mudiad 'beth sy'n gweithio' — y rhwydwaith o gyrff annibynnol sy'n graddio ansawdd a chryfder tystiolaeth polisi — yn uniongyrchol allan o'r broblem hon: gwnaed gormod o benderfyniadau cyhoeddus ar yr astudiaeth swnllyd yn hytrach na'r un a gefnogwyd orau.

Y broblem anos y mae'r pwnc hwn yn ei thrin yw beth mae arweinydd yn ei wneud pan mae'r cyfuniad ei hun yn amhendant, yn ddadleuol, neu ddim ond ddim ar gael mewn pryd. Adeiladwyd hierarchaethau tystiolaeth i ddod â threfn i sylfaen dystiolaeth flêr, ond wedi'i ddefnyddio'n ddiofal, mae 'nid yw'r dystiolaeth yn ddigon cryf eto' yn dod yn esgus parhaol i osgoi penderfyniad na fydd realiti mewn gwirionedd yn aros amdano. Gall arweinydd sy'n deall sut mae cyfuno'n gweithio, a lle mae ei gyfyngiadau, ddweud ansicrwydd gwirioneddol sy'n gwarantu gofal ar wahân i hierarchaeth sy'n cael ei defnyddio fel cochl dros anweithredu.

Mae'r pwnc hwn yn ddilyniant naturiol i'r dulliau casgliad-achosol y mae cyfuniad yn tynnu arnynt (gweler Pwnc 2.4 — Econometreg y Sector Cyhoeddus a Gwerthuso Rhaglenni) ac yn eistedd ochr yn ochr â, yn hytrach na disodli, y fframweithiau canlyniadau y mae cyfuniad yn eu gwasanaethu yn y pen draw (gweler Pwnc 2.1 — Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau). Mae arweinydd sy'n gallu darllen adolygiad systematig, deall graddiad beth-sy'n-gweithio, a rhesymu'n glir am dystiolaeth absennol yn erbyn negyddol yn gwneud penderfyniadau byw gwell nag un sydd ond yn gallu galw am 'fwy o dystiolaeth' neu dderbyn yr astudiaeth gyntaf a roddir iddynt.

Cysyniadau craidd

Mae adolygiad systematig yn gyfuniad o'r dystiolaeth ar gwestiwn diffiniedig sy'n defnyddio dull eglur, wedi'i bennu ymlaen llaw, y gellir ei ailadrodd i ddod o hyd i, asesu, a chyfuno astudiaethau, mewn cyferbyniad ag adolygiad llenyddiaeth naratif, sy'n dewis ffynonellau yn ôl disgresiwn yr awdur (gweler Systematic review). Ei nodweddion diffiniol yw protocol wedi'i gofrestru wedi'i ysgrifennu cyn i chwilio ddechrau, strategaeth chwilio sy'n cynnwys llenyddiaeth heb ei chyhoeddi a llwyd, meini prawf cynhwysiant eglur, a dull safonol ar gyfer asesu risg tuedd pob astudiaeth. Dyma'r hyn sy'n gwahanu adolygiad systematig oddi wrth draethawd wedi'i ysgrifennu'n dda â throednodiadau: byddai tîm arall yn dilyn yr un protocol yn dod o hyd i'r un dystiolaeth yn fras ac yn cyrraedd casgliad tebyg yn fras.

Mae meta-ddadansoddiad yn dechneg ystadegol a barir amlaf ag adolygiad systematig: mae'n cyfuno meintiau effaith meintiol o sawl astudiaeth annibynnol i mewn i un amcangyfrif mwy manwl gywir, fel arfer yn pwyso pob astudiaeth yn ôl ei maint sampl ac ansawdd (gweler Meta-analysis). Nid yw meta-ddadansoddiad ond cystal â'r astudiaethau sy'n ei fwydo; mae cyfuno pum astudiaeth wan yn cynhyrchu amcangyfrif mwy manwl gywir o effaith bosibl duedd, nid un dibynadwy. Mae dadansoddwyr felly'n adrodd heterogenedd — faint mae canlyniadau astudiaeth yn amrywio y tu hwnt i'r hyn y byddai hap yn ei ragfynegi — oherwydd bod heterogenedd uchel yn arwyddo nad oedd yr astudiaethau mewn gwirionedd yn profi'r un peth, a gall un rhif wedi'i gyfuno gamarwain.

Mae tuedd cyhoeddi yn dueddiad astudiaethau â chanlyniadau cadarnhaol, arwyddocaol i gael eu cyhoeddi tra bo canlyniadau di-effaith neu negyddol yn eistedd yn nrôr ffeil ymchwilydd, gan wneud i ymyrraeth edrych yn fwy gyson effeithiol yn y llenyddiaeth nag ydyw mewn gwirionedd (gweler Publication bias). Mae adolygiad trylwyr yn cywiro ar gyfer hyn drwy chwilio cofrestrfeydd treial a gwerthusiadau heb eu cyhoeddi, nid dim ond erthyglau cyfnodolyn. Dylai arweinydd sy'n darllen cyfuniad wedi'i adeiladu ar bapurau cyhoeddedig yn unig ofyn beth wnaeth yr adolygwyr i ddod o hyd i'r astudiaethau na wnaethant erioed gyrraedd print.

Mae'r hierarchaeth tystiolaeth yn graddio dyluniadau astudiaeth yn ôl pa mor dda y maent yn rheoli ar gyfer cymysgu a thuedd, fel arfer yn gosod meta-ddadansoddiadau treialon ar hap ar y brig, treialon rheoledig ar hap unigol nesaf, yna dyluniadau lled-arbrofol ac arsylwadol, a barn arbenigwr ar y gwaelod (gweler Hierarchy of evidence). Mae treial rheoledig ar hap yn dyrannu cyfranogwyr i ymyrraeth neu grŵp cymhariaeth ar hap, yr offeryn mwyaf pwerus sengl ar gyfer ynysu effaith achosol oddi wrth bopeth arall sy'n digwydd o'i amgylch (gweler Randomized controlled trial; gweler Pwnc 2.4 — Econometreg y Sector Cyhoeddus a Gwerthuso Rhaglenni ar gyfer sut mae dyluniadau o'r fath yn cael eu hadeiladu a'u dadansoddi). Mae'r hierarchaeth yn heuristig wirioneddol ddefnyddiol, ond heuristig, nid cyfraith: gall astudiaeth arsylwadol wedi'i chynnal yn dda o bolisi prin neu araf-symud ragori ar dreial â phŵer annigonol, wedi'i gynnal yn wael, a bydd arweinydd sy'n ei drin fel graddiad absoliwt weithiau'n taflu i ffwrdd y dystiolaeth fwy perthnasol dros y dyluniad mwy bri.

Mae'r dull GRADE — Graddio Argymhellion, Asesu, Datblygu a Gwerthusiadau — yn ffurfioli ail farn, ar wahân, nad yw'r hierarchaeth ar ei phen ei hun yn ei gwneud: mae'n graddio sicrwydd y dystiolaeth ac, yn annibynnol, gryfder argymhelliad i weithredu arni, oherwydd nid yw tystiolaeth gref bob amser yn cyfiawnhau argymhelliad cryf, ac nid yw tystiolaeth wan bob amser yn cyfiawnhau anweithredu yn erbyn niwed difrifol, brys (gweler GRADE approach). Y gwahaniad hwn yw'r syniad mwyaf defnyddiol sengl yn y pwnc hwn ar gyfer penderfynwr dan bwysau amser: mae'n gadael i arweinydd ddweud, yn onest, 'mae'r dystiolaeth yma'n gymedrol, ac o ystyried y peryglon a chost aros, rwy'n argymell ein bod yn bwrw ymlaen' — barn amddiffynadwy, wedi'i dogfennu, yn hytrach na dewis ffug rhwng aros am sicrwydd ac anwybyddu tystiolaeth yn gyfan gwbl.

Mae gwahaniaeth sy'n ailddigwydd yn gyson mewn dadl polisi byw rhwng absenoldeb tystiolaeth a thystiolaeth absenoldeb: nid yr un honiad yw diffyg astudiaethau ar effaith ymyrraeth ('dim tystiolaeth o effaith') â chorff astudiaethau â phŵer da a ganfu'n bositif ddim effaith ('tystiolaeth o ddim effaith') (gweler Evidence of absence). Nid yw rhaglen leol newydd heb unrhyw werthusiadau eto ond heb ei phrofi; mae rhaglen genedlaethol sydd wedi'i hastudio'n dda a ganfuwyd dro ar ôl tro i beidio â symud unrhyw ganlyniad wedi'i phrofi a'i dangos i beidio â gweithio. Mae cyfuno'r ddau'n un o'r camgymeriadau mwyaf canlyniadol y gall arweinydd cyhoeddus ei wneud: lladd peilot heb ei brofi ond addawol fel pe bai wedi methu, neu barhau i ariannu rhaglen a wrthbrofwyd dro ar ôl tro fel pe na bai neb wedi edrych yn ddigon agos eto.

Mae polisi seiliedig-ar-dystiolaeth yn fudiad ehangach ac yn honiad normadol y dylai penderfyniadau cyhoeddus fod wedi'u seilio ar dystiolaeth wedi'i sefydlu'n drylwyr yn hytrach nag ideoleg, anecdot, neu reddf yn unig (gweler Evidence-based policy). Mae ei feirniaid, a fwyfwy ei gefnogwyr ei hun, yn ffafrio 'polisi wedi'i hysbysu-gan-dystiolaeth', sy'n cydnabod bod tystiolaeth yn un mewnbwn ymhlith sawl un — gwerthoedd, mandad, cost, a'r cwestiynau cyfreithlondeb y mae'r llyfr hwn yn eu trin fel sylfaenol — yn hytrach na rheol benderfynu fecanyddol y gall tystiolaeth yn unig ei setlo.

Allan o'r mudiad hwn tyfodd y patrwm canolfan neu dŷ-clirio beth-sy'n-gweithio: corff annibynnol sy'n adolygu tystiolaeth ar gyfer ymyriadau mewn maes polisi'n systematig ac yn cyhoeddi graddiadau hygyrch, cymharadwy, yn hytrach na gadael i bob comisiynydd lleol redeg ei adolygiad ei hun. Arloesodd Cochrane y model mewn gofal iechyd o 1993, gan gynnal llawlyfr byw o fethodoleg adolygiad systematig a ddefnyddir ymhell y tu hwnt i feddygaeth (gweler Cochrane (organisation)). Estynodd Cydweithrediad Campbell yr un fethodoleg i bolisi cymdeithasol, cyfiawnder troseddol, addysg, a datblygiad rhyngwladol (gweler Campbell Collaboration). Dilynodd tai-clirio cenedlaethol: mae What Works Clearinghouse Unol Daleithiau, a redir gan ei Sefydliad Gwyddorau Addysg ers 2002, yn adolygu ymchwil addysg yn erbyn safonau dyluniad eglur (gweler What Works Clearinghouse); mae Sefydliad Gwaddol Addysg Lloegr yn cyhoeddi Pecyn Cymorth Addysgu a Dysgu a ddefnyddir yn eang sy'n graddio ymyriadau ystafell ddosbarth ar gost, cryfder tystiolaeth, ac effaith nodweddiadol mewn un fformat cymharadwy (gweler Education Endowment Foundation). Mae canolfannau cyfatebol yn bodoli ar gyfer lleihau trosedd, ymyrraeth gynnar, digartrefedd, a heneiddio'n dda — teulu rhyngwladol bach wedi'i adeiladu ar yr un dull: adolygiad systematig, graddio tryloyw, a chrynodeb wynebu-ymarferwr nad oes angen methodolegwr i'w ddarllen.

Arferion gorau

1. Gofynnwch am y cyfuniad cyn yr un astudiaeth. Pan mae canlyniad trawiadol yn glanio ar eich desg, gofynnwch yn gyntaf a yw adolygiad systematig neu raddiad beth-sy'n-gweithio eisoes yn bodoli ar gyfer yr ymyrraeth honno, nid a yw'r astudiaeth yn edrych yn argyhoeddiadol ar ei phen ei hun.
2. Darllenwch yr adolygiad sylfaenol ochr yn ochr ag unrhyw raddiad pecyn cymorth, nid yn lle hynny. Mae graddiad un-llinell neu eicon clo'n crynhoi barn; nid yw'n ddisodliad ar gyfer deall pa dystiolaeth y mae'n gorffwys arni a pha mor uniongyrchol y mae'n gymwys i'ch cyd-destun.
3. Gwahanwch ansawdd y dystiolaeth oddi wrth gryfder eich argymhelliad, yn benodol. Benthycwch resymeg GRADE hyd yn oed yn anffurfiol: nodwch pa mor sicr yw'r dystiolaeth, yna nodwch ar wahân pa mor gryf mae'r sicrwydd hwnnw, wedi'i gyfuno â pheryglon a chost, yn cyfiawnhau gweithredu nawr.
4. Enwch a ydych yn wynebu 'dim tystiolaeth eto' neu 'dystiolaeth o ddim effaith' cyn i chi benderfynu. Rhowch y gwahaniaeth hwn yn ysgrifenedig ym mhob briff tystiolaeth, oherwydd bod y ddwy sefyllfa'n gwarantu ymatebion bron i'r gwrthwyneb — peilota gofalus yn erbyn stopio neu ailddylunio.
5. Gwiriwch y cyfatebiaeth rhwng cyd-destun yr adolygiad a'ch un chi cyn tybio y bydd yr effaith yn trosglwyddo. Cyfartaledd yw maint effaith wedi'i gyfuno o astudiaethau a redwyd mewn mannau eraill, nid addewid; gofynnwch beth wnaeth gymedroli'r effaith yn wreiddiol ac a yw'r cymedrolwyr hynny'n bresennol yma.
6. Comisiynwch asesiad tystiolaeth cyflym pan na fydd adolygiad systematig llawn yn ffitio'ch amserlen. Mae adolygiad strwythuredig, amser-bocsiedig o'r llenyddiaeth bresennol — dyddiau neu wythnosau, nid misoedd — yn lwybr canol dilys rhwng ymchwil gynradd newydd a dim adolygiad o gwbl.
7. Cyhoeddwch eich gwerthusiadau eich hun ni waeth beth yw'r canlyniad. Mae canfyddiadau di-effaith a negyddol mor werthfawr i'r cyfuniad nesaf â rhai cadarnhaol; mae eu dal yn ôl yn gwaethygu'r duedd cyhoeddi sy'n tanseilio pob adolygiad yn y dyfodol yn eich maes.
8. Adeiladwch berthynas sefydlog â chanolfan neu dŷ-clirio beth-sy'n-gweithio yn eich maes cyn i chi ei angen. Mae chwilio oer trwy becyn cymorth corff cyfuno am y tro cyntaf yn ystod argyfwng byw'n llawer arafach na gwybod eisoes beth mae'n ei gwmpasu a phwy i'w ofyn am fwlch.
9. Gosodwch eich trothwy tystiolaeth cyn i'r canlyniadau gyrraedd, nid ar eu hôl. Cytunwch ymlaen llaw pa lefel o dystiolaeth a fyddai'n cyfiawnhau graddio i fyny, peilota ymhellach, neu stopio, i leihau'r demtasiwn i ail-ddehongli canfyddiadau amwys i ffitio penderfyniad a wnaed eisoes.
10. Amser-bocsiwch y chwiliad am astudiaeth a fydd yn dileu pob amheuaeth. Mae aros am sylfaen dystiolaeth berffaith, ddiamwys ei hun yn benderfyniad, fel arfer i barhau i wneud beth bynnag rydych eisoes yn ei wneud; gosodwch ddyddiad cau sy'n parchu cost oedi yn ogystal â chost gweithredu ar dystiolaeth wan.
11. Trinwch gyfuniad fel mewnbwn i'r cynnig gwerth, nid disodliad ar ei gyfer. Nid yr ymyrraeth â'r gefnogaeth orau'n awtomatig y dewis cywir unwaith y pwysir cost, effaith ddosrannol, a chyfreithlondeb ochr yn ochr ag ef (gweler Pwnc 2.1 — Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau).
12. Dogfennwch pa dystiolaeth a ystyriwyd, a pham y'i pwysoch fel y gwnaethoch. Mae cofnod ysgrifenedig o'r astudiaethau a adolygwyd a'r rhesymeg y tu ôl i'r farn derfynol yn diogelu cyfreithlondeb y penderfyniad a gallu'r adolygydd nesaf i ddysgu ohono.

Cwestiynau i'w trafod gyda'ch tîm

Pryd wnaethom ni newid penderfyniad byw ddiwethaf oherwydd bod adolygiad systematig neu raddiad beth-sy'n-gweithio'n gwrthddweud yr hyn yr oeddem eisoes wedi'i gynllunio i'w wneud? Os yw'r ateb gonest yn 'byth', mae hynny'n werth eistedd ag ef, oherwydd mae'n awgrymu y gall adolygiad tystiolaeth weithredu fel ymarfer cadarnhau yn hytrach na gwiriad gwirioneddol. Trafodwch benderfyniad diweddar lle roedd y sylfaen dystiolaeth yn gymysg ac ewch drwy a wnaeth mewn gwirionedd siapio'r dewis neu ei gasglu'n bennaf i gefnogi casgliad a gyrhaeddwyd ymlaen llaw. Ystyriwch beth fyddai angen newid yn sut mae tystiolaeth yn cyrraedd penderfynwyr, a phryd, iddi gael dylanwad go iawn yn hytrach na phwysau symbolaidd.

Ydym ni'n unrhyw le'n trin 'dim tystiolaeth o effaith' fel pe bai'n 'dystiolaeth o ddim effaith', neu i'r gwrthwyneb? Ewch drwy eich portffolio rhaglen gyfredol a nodwch unrhyw raglen yr ydych wedi'i tan-flaenoriaethu'n dawel oherwydd "nid yw'r dystiolaeth yno", a gwiriwch a yw hynny'n golygu heb ei phrofi mewn gwirionedd neu wedi'i gwrthbrofi mewn gwirionedd. Gwnewch yr un peth i'r cyfeiriad arall: unrhyw raglen rydych yn parhau i'w hariannu oherwydd "nid oes neb wedi dangos nad yw'n gweithio", pan mewn gwirionedd nid oes neb wedi edrych. Trafodwch beth fyddai ei angen i gywiro'r ddau neu dri enghraifft fwyaf canlyniadol, a phwy ddylai fod yn berchen ar y cywiriad hwnnw.

Pe bai angen tystiolaeth ar benderfyniad erbyn dydd Gwener, a oes gennym mewn gwirionedd broses asesiad tystiolaeth cyflym, neu a fyddem yn improfeisio un o dan bwysau? Nid yw pwysau amser yn ddamcaniaethol; dyma'r amod arferol y mae'r rhan fwyaf o benderfyniadau seiliedig-ar-dystiolaeth go iawn yn cael eu gwneud oddi tano. Trafodwch a oes gan eich sefydliad ddull sefydlog — tîm wedi'i enwi, templed, rhestr fer o ganolfannau beth-sy'n-gweithio i'w gwirio yn gyntaf — neu a yw pob cais brys yn dechrau o dudalen wag. Os yr olaf, trafodwch sut olwg fyddai ar broses asesiad-cyflym hyfyw isafswm a phwy fyddai'n berchen arni.

Hierarchaeth tystiolaeth pwy ydym mewn gwirionedd yn ei defnyddio, ac a yw'n cyfateb â pheryglon ac adferedd y penderfyniad hwn? Mae gwahanol feysydd yn cymhwyso eu safonau tystiolaeth yn wahanol, ac nid yw hierarchaeth wedi'i chalibro ar gyfer penderfyniadau anadferadwy, risg-uchel bob amser yn far cywir ar gyfer peilot rhad, adferadwy, hawdd ei fonitro. Trafodwch a yw eich sefydliad yn cymhwyso un safon tystiolaeth yn unffurf ni waeth beth yw'r peryglon, ac a yw hynny'n eich amddiffyn rhag penderfyniadau gwael neu ddim ond yn arafu rhai da. Cytunwch, fel tîm, pa safon ddylai fod ei hangen ar gyfer y tri phenderfyniad nesaf ar eich agenda, cyn i chi wybod beth mae'r dystiolaeth yn ei ddweud.

Beth ydym wedi'i wneud, yn benodol, i atal ein gwerthusiadau ein hunain rhag diflannu i mewn i ddrôr ffeil? Mae pob canlyniad di-effaith heb ei gyhoeddi y mae eich sefydliad yn eistedd arno'n fwlch y bydd rhyw sefydliad arall yn gorfod ei ailddarganfod y ffordd galed. Trafodwch eich record trac yn onest: faint o'ch 10 gwerthusiad diwethaf a rannwyd yn allanol, a beth ddigwyddodd i'r rhai na wnaethant. Cytunwch ymrwymiad penodol, wedi'i adnoddu — polisi cyhoeddi, cofrestrfa a rennir — yn hytrach na dyhead cyffredinol i fod yn fwy tryloyw.

Ydym ni'n defnyddio'r ymadrodd 'mae angen mwy o dystiolaeth arnom' yn onest, neu fel ffordd o osgoi penderfyniad nad ydym eisiau ei wneud? Dyma'r cwestiwn mwyaf anghyfforddus yn y pwnc hwn, ac mae'n haeddu cael ei ofyn yn uniongyrchol. Nodwch benderfyniad penodol sy'n stopio ar hyn o bryd ar sail tystiolaeth a thrafodwch, yn agored, beth fyddai mewn gwirionedd yn newid eich meddwl, ac a yw'r dystiolaeth rydych yn aros amdani mewn gwirionedd yn mynd i gyrraedd mewn pryd. Os nad ydyw, trafodwch sut olwg fyddai ar benderfyniad gonest o dan ansicrwydd gwirioneddol yn lle aros parhaus, a phwy sydd ag awdurdod i'w wneud.

Yn ymarferol: enghraifft gwerth cyhoeddus

Roedd asiantaeth gyflogaeth ranbarthol, rhan o adran llywodraeth genedlaethol sy'n gyfrifol am raglenni marchnad-lafur, o dan bwysau i benderfynu o fewn un cylch cyllideb a ddylid graddio peilot hyfforddi swyddi o dair ardal i'r rhanbarth cyfan. Roedd y peilot yn cyfuno lleoliadau gwaith wedi'u cymorthdaliannu â mentora strwythuredig, a chanfu treial ar hap yr asiantaeth ei hun ar draws y tair ardal beilot gynnydd cymedrol ond ystadegol arwyddocaol mewn cyflogaeth gynaliadwy ar 12 mis. Cymhlethodd ffynhonnell dystiolaeth wrthwynebus y darlun: canfu adolygiad systematig a gyhoeddwyd y flwyddyn flaenorol, gan gyfuno naw rhaglen debyg ar draws sawl gwlad, effaith gyfartalog ger-sero, gydag amrywiad eang rhwng astudiaethau a dim patrwm clir yn egluro pa raglenni a weithiodd.

Roedd gan uned dystiolaeth yr asiantaeth chwe wythnos cyn dyddiad cau cyflwyniad y gyllideb i gysoni'r ddau ganfyddiad. Greddf gyntaf dadansoddwr iau oedd trin yr adolygiad wedi'i gyfuno fel un mwy awdurdodol yn syml oherwydd ei fod yn cyfuno mwy o astudiaethau, ac argymell diddymu'r peilot. Gwrthwynebodd arweinydd ymgynghorol tystiolaeth yr uned: nid oedd cyfartaledd wedi'i gyfuno ger-sero ar draws rhaglenni gwirioneddol wahanol yn dystiolaeth gref na fyddai'r rhaglen leol benodol, wedi'i gweithredu'n dda hon yn methu — roedd yn dystiolaeth bod rhaglenni hyfforddi swyddi'n gyffredinol yn heterogenaidd o ran ansawdd a ffit, a oedd eisoes yn hysbys. Roedd yr heterogenedd uchel a adroddwyd yn yr adolygiad ei hun yn ganfyddiad pwysicach na'r cyfartaledd wedi'i gyfuno.

Cynigiodd yr ymgynghorydd lwybr canol yn hytrach na dewis deuaidd. Argymhellodd graddio graddedig i hanner y rhanbarth, gyda'r ardaloedd ehangu wedi'u dewis ar hap fel bod y cyflwyniad ei hun yn cynhyrchu tystiolaeth bellach yn hytrach na dim ond gwario yn erbyn tybiaeth (gweler Pwnc 2.4 — Econometreg y Sector Cyhoeddus a Gwerthuso Rhaglenni ar gyfer sut y gellir dylunio cyflwyniad graddedig fel gwerthusiad pellach). Argymhellodd hefyd gyhoeddi'r treial gwreiddiol yn llawn, dulliau a data crai wedi'u cynnwys, fel y gellid ei godi gan yr adolygiad systematig nesaf yn hytrach nag eistedd mewn adroddiad mewnol na fyddai neb y tu allan i'r asiantaeth byth yn ei weld.

Cymeradwyodd arweinyddiaeth yr adran y dull graddedig, wedi'i fframio'n benodol yn yr achos busnes (gweler Pwnc 2.5 — Achosion Busnes a Gwerth am Arian) fel penderfyniad a wnaed o dan dystiolaeth sicrwydd cymedrol â mecanwaith adeiledig i ddatrys yr ansicrwydd o fewn 18 mis, nid fel penderfyniad a wnaed oherwydd bod y dystiolaeth yn derfynol. Ar ôl 18 mis, dangosodd yr ardaloedd ehangu effaith yn agos at un y peilot gwreiddiol, a graddiodd yr adran ymhellach â sylfaen dystiolaeth gryfach nag y byddai'r naill ffynhonnell na'r llall wedi'i chynnig ar ei phen ei hun — a llwybr papur clir yn dangos pam yr oedd wedi dewis gweithredu yn hytrach nag aros.

Mae'r senario hwn yn enghreifftiol ac yn ddychmygol; nid yw'n disgrifio rhaglen neu werthusiad unrhyw adran go iawn.

Pedwar lens sector

Llywodraeth leol

Anaml y mae gan awdurdod lleol y gyllideb neu'r baich achos i gomisiynu ei adolygiad systematig ei hun, felly ei grefft ymarferol yw cyfieithu tystiolaeth cyfuno cenedlaethol a rhyngwladol i mewn i gyd-destun lleol penodol o dan bwysau amser gwirioneddol — gwirio a yw sylfaen dystiolaeth ymyrraeth wedi'i graddio-mewn-pecyn-cymorth yn debyg i'w boblogaeth ei hun, system wasanaeth, a lefel ariannu cyn tybio y bydd yr effaith wedi'i graddio'n trosglwyddo. Mae arweinwyr lleol hefyd agosaf at gost y ddau gamgymeriad y mae'r pwnc hwn yn rhybuddio amdanynt: gweithredu ar ymyrraeth y mae cyfuniad eisoes wedi dangos nad yw'n gweithio, a gwrthod arloesedd lleol addawol mewn gwirionedd ond wedi'i dan-werthuso oherwydd nad oes unrhyw ganolfan beth-sy'n-gweithio wedi ei raddio eto.

Llywodraeth genedlaethol

Llywodraeth genedlaethol yw lle mae'r rhan fwyaf o ganolfannau beth-sy'n-gweithio a chanllawiau hierarchaeth-tystiolaeth ffurfiol yn eistedd, gan roi i adrannau cenedlaethol agosrwydd at y seilwaith cyfuno ond hefyd yr amlygiad mwyaf i drin hierarchaeth tystiolaeth fel porth biwrocrataidd yn hytrach na chymorth penderfynu. Y dasg genedlaethol nodweddiadol yw comisiynu a chynnal y seilwaith hwnnw — ariannu tŷ-clirio, gosod ei safonau tystiolaeth, a sicrhau bod ei raddiadau mewn gwirionedd yn cyrraedd swyddogion sy'n ysgrifennu achosion busnes (gweler Pwnc 2.5 — Achosion Busnes a Gwerth am Arian), yn hytrach na bodoli fel gwefan barchus y mae timau polisi anaml yn ymgynghori ag ef o dan bwysau dyddiad cau.

Sector cymdeithasol a di-elw

Fel arfer mae gan sefydliadau di-elw ac elusennau ddiffyg adnoddau i redeg gwerthusiadau trylwyr ar raddfa, gan eu gwneud yn ddibynnol yn drwm ar gyrff cyfuno allanol a fwyfwy ar gyllidwyr sy'n gofyn am aliniad â haen dystiolaeth wedi'i graddio fel amod grant. Mae hyn yn creu risg nodedig: gall sefydliadau o dan bwysau ariannol gael eu temtio i orddatgan pa mor dda mae eu rhaglen yn mapio ar raddiad ffafriol — math o olchi-tystiolaeth — neu, i'r gwrthwyneb, gall elusennau lleol bach ond gwirioneddol effeithiol gael eu gwasgu allan o ariannu oherwydd na fuont erioed yn ddigon mawr i gynhyrchu'r dystiolaeth y mae tŷ-clirio cenedlaethol yn ei raddio'n uchel (gweler Pwnc 3.8 — Rheoli'r Sector Cymdeithasol a Sefydliadau Dielw ar gyfer y strwythurau ariannu y tu ôl i'r pwysau hwn).

Amlochrog a rhyngwladol

Mae cyrff amlochrog a rhyngwladol yn wynebu'r broblem generaliadwyedd yn ei ffurf fwyaf acíwt: caiff ymyrraeth a brofwyd mewn system iechyd, sector amaethyddol, neu farchnad lafur un wlad ei chynnig yn rheolaidd ar gyfer cyd-destun economaidd a sefydliadol gwahanol iawn, ac mae'r llenyddiaeth cyfuno'n well am fflagio'r trosglwyddiad heb ei gefnogi hwn ar ôl y ffaith na chyn hynny. Mae rhwydweithiau ymchwil wedi'u hadeiladu i gau'r bwlch hwn, fel Labordy Gweithredu Tlodi Abdul Latif Jameel, wedi gwthio polisi datblygu tuag at ailadrodd cyd-destun-benodol yn hytrach na phrawf-cysyniad un-wlad, ond mae'r tyndra rhwng tystiolaeth gymharadwy'n fyd-eang ac effeithiau cyd-destun-ddibynnol yn parhau'n nodwedd ddiffiniol o gyfuniad ar y raddfa hon.

Moddau methiant cyffredin

Hierarchaeth tystiolaeth fel esgus dros anweithredu. Mae tîm sy'n wynebu penderfyniad anodd, dadleuol yn dyfynnu 'tystiolaeth annigonol' neu 'dim treial ar hap eto' fel rheswm i ohirio'n ddiddiwedd, pan mai'r gyrrwr gonest y tu ôl i'r oedi yw anghysur gwleidyddol neu awydd i osgoi atebolrwydd. Mae hyn yn costio i'r sefydliad y cyfle ei hun, ac mae'n costio i'r sylfaen dystiolaeth brawf byd-go-iawn a allai fod wedi datrys yr ansicrwydd, gan adael i'r penderfynwr nesaf wynebu'n union yr un bwlch.

Cyfuno absenoldeb tystiolaeth â thystiolaeth absenoldeb. Caiff arloesedd lleol addawol ond heb ei brofi ei ladd fel pe bai wedi'i drio a methu, tra bo rhaglen genedlaethol a wrthbrofwyd dro ar ôl tro'n parhau i gael ei hariannu oherwydd nad oes neb wedi fframio'r dystiolaeth fel canfyddiad negyddol yn hytrach na bwlch. Mae'r ddau gamgymeriad yn ddrud: mae un yn cau opsiynau addawol, mae'r llall yn amddiffyn rhaglenni y byddai cyfuniad clir wedi'u hymddeol flynyddoedd ynghynt.

Trin graddiad pecyn cymorth fel y dadansoddiad cyfan. Mae penderfynwr yn darllen un eicon clo neu raddiad seren ac yn stopio yno, heb wirio a yw'r astudiaethau sylfaenol yn cyfateb â'u cyd-destun, poblogaeth, neu raddfa. Caiff graddiadau eu cywasgu'n fwriadol ar gyfer hygyrchedd; wedi'u defnyddio heb yr adolygiad sylfaenol, gallant gynhyrchu penderfyniadau hyderus wedi'u hadeiladu ar sylfaen dystiolaeth deneuach na'r hyn y mae symlrwydd y graddiad yn ei awgrymu.

Anwybyddu heterogenedd o blaid y canlyniad cyfun pennawd. Caiff maint effaith cyfartalog sengl meta-ddadansoddiad ei ddyfynnu mewn briffio tra bo'r amrywiad eang rhwng yr astudiaethau a'i cynhyrchodd — yn aml y canfyddiad mwy gwybodus — yn cael ei ollwng. Mae hyn yn cynhyrchu manwl gywirdeb ffug: mae penderfynwr yn gweithredu fel pe bai pob gweithrediad yn ymddwyn yr un ffordd, pan mae ansawdd gweithrediad a chyd-destun yn gwneud cymaint o waith â'r ymyrraeth ei hun.

Gadael i duedd cyhoeddi siapio'r sylfaen dystiolaeth yn dawel. Mae sefydliad yn darllen dim ond llenyddiaeth academaidd gyhoeddedig wrth asesu ymyrraeth, gan golli'r treialon negyddol heb eu cyhoeddi a'r gwerthusiadau mewnol na wnaethant erioed gyrraedd cyfnodolyn. Mae'r darlun canlyniadol o 'beth sy'n gweithio'n sgiwio'n systematig gadarnhaol, ac mae penderfyniadau wedi'u hadeiladu arno'n etifeddu'r sgiw honno heb i unrhyw un ei dewis yn fwriadol.

Model aeddfedrwydd

Rhestr wirio

• Adolygiad systematig neu raddiad beth-sy'n-gweithio wedi'i wirio cyn dibynnu ar un astudiaeth.
• Adolygiad tystiolaeth sylfaenol wedi'i ddarllen, nid dim ond y graddiad crynodeb neu eicon.
• Ansawdd tystiolaeth a chryfder argymhelliad wedi'u nodi fel dau farn ar wahân.
• 'Dim tystiolaeth o effaith' yn erbyn 'tystiolaeth o ddim effaith' wedi'u gwahaniaethu'n benodol yn y briff ysgrifenedig.
• Cyfatebiaeth cyd-destun rhwng yr astudiaethau adolygwyd a'r penderfyniad dan sylw wedi'i gwirio (poblogaeth, graddfa, system wasanaeth).
• Proses asesiad tystiolaeth cyflym ar gael ac wedi'i defnyddio pan na fydd adolygiad llawn yn ffitio'r amserlen.
• Trothwy tystiolaeth ar gyfer y penderfyniad wedi'i gytuno cyn i ganlyniadau gael eu hadolygu.
• Cynllun ar waith i gyhoeddi gwerthusiad y sefydliad hwn ei hun, beth bynnag y canlyniad.
• Perthynas sefydlog â chanolfan neu dŷ-clirio beth-sy'n-gweithio perthnasol wedi'i sefydlu, heb ei hadeiladu o'r dechrau o dan bwysau.
• Rhesymeg y tu ôl i'r farn derfynol wedi'i dogfennu, gan gynnwys tystiolaeth a ystyriwyd ac a wrthodwyd.
• Penderfyniad wedi'i adolygu yn erbyn y cynnig gwerth ac ystyriaethau cyfreithlondeb, nid cryfder tystiolaeth yn unig.

Ffynonellau allweddol

• Llawlyfr Cochrane ar gyfer Adolygiadau Systematig o Ymyriadau, wedi'i gynnal gan Cochrane, ar gyfer y fethodoleg sylfaenol y mae ymarfer adolygiad systematig ar draws sectorau wedi'i adeiladu arni.
• Canllawiau Cydweithrediad Campbell ar adolygiadau systematig a chyfuno tystiolaeth ar gyfer polisi cymdeithasol, ymddygiadol, a throseddegol, ar gyfer estyniad uniongyrchol y fethodoleg honno i mewn i feysydd polisi cyhoeddus y tu hwnt i iechyd.
• Llawlyfr Safonau What Works Clearinghouse (Sefydliad Gwyddorau Addysg, Unol Daleithiau), ar gyfer enghraifft waith o sut mae tŷ-clirio cenedlaethol yn gosod safonau dyluniad astudiaeth eglur ac yn graddio tystiolaeth yn eu herbyn.
• Pecyn Cymorth Addysgu a Dysgu Sefydliad Gwaddol Addysg, ar gyfer enghraifft ymarferol, wynebu-ymarferwr o gyfieithu tystiolaeth wedi'i chyfuno i mewn i raddiadau cost, effaith, a chryfder-tystiolaeth cymharadwy.
• Gwaith Sefydliad Cydweithrediad a Datblygiad Economaidd (OECD) ar feithrin gallu ar gyfer llunio polisi wedi'i hysbysu-gan-dystiolaeth, ar gyfer cyfrif traws-wladol o sut mae llywodraethau'n trefnu ochrau galw a chyflenwad defnydd tystiolaeth.
• Canolfan Beth Sy'n Gweithio Coleg Plismona ar gyfer Lleihau Trosedd a'i becyn cymorth lleihau trosedd, ar gyfer enghraifft waith bellach o'r patrwm tŷ-clirio wedi'i gymhwyso y tu allan i iechyd ac addysg.

Cyfeiriadau

1. Systematic review — Wicipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wicipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wicipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wicipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wicipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wicipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wicipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wicipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wicipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wicipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wicipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wicipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Sefydliad Gwyddorau Addysg, Adran Addysg UDA — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Sefydliad Gwaddol Addysg — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — Coleg Plismona — https://www.college.police.uk/research/what-works-centre-crime-reduction