Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau

Pam mae hyn yn bwysig i werth cyhoeddus

Gall y rhan fwyaf o arweinwyr sector cyhoeddus a chymdeithasol gynhyrchu dogfen strategaeth sy'n siarad yn rhugl am ganlyniadau. Gall llawer llai gynhyrchu, flwyddyn yn ddiweddarach, y dystiolaeth sy'n dangos a symudodd y canlyniadau hynny mewn gwirionedd. Nid prinder data yw'r bwlch rhwng y ddau fel arfer — mae'r rhan fwyaf o sefydliadau'n casglu cyfeintiau enfawr ohono — ond prinder strwythur disgybledig sy'n troi cyfrifon gweithgaredd crai yn honiad amddiffynadwy am werth wedi'i greu. Gosododd Pwnc 1.2 — Y Triongl Strategol: Cyfreithlondeb, Gwerth, a Chapasiti gyfreithlondeb a chefnogaeth, y cynnig gwerth, a chapasiti gweithredol fel y tair coes y mae'n rhaid i strategaeth sefydliad eu bodloni ar unwaith (gweler Pwnc 1.2 — Y Triongl Strategol: Cyfreithlondeb, Gwerth, a Chapasiti). Mae'r pwnc hwn yn ymwneud â'r offer sy'n gwneud y tair coes hynny'n fesuradwy yn hytrach na dim ond eu honni.

Mae'r peryglon yn uniongyrchol ac yn ailddigwydd. Mae cyllidwr neu ddeddfwrfa'n gofyn, yn y rownd gyllideb nesaf, 'beth gawsom ni am yr arian hwn' — ac nid oes gan sefydliad â dim ond cyfrifon allbwn (clinigau wedi'u hagor, achosion wedi'u prosesu, sesiynau hyfforddi wedi'u rhedeg) unrhyw ateb i'r cwestiwn canlyniad oddi tano. Mae tîm rhaglen yn credu ei fod yn llwyddo oherwydd bod gweithgaredd yn uchel ac yn brysur, heb fod wedi gwahanu gweithgaredd oddi wrth y newid yn y byd yr oedd y gweithgaredd i fod i'w achosi. Mae bwrdd yn cymeradwyo menter newydd ar gryfder naratif perswadiol, yna nid oes ganddo unrhyw sail y cytunwyd arni flwyddyn yn ddiweddarach ar gyfer penderfynu a ddylid parhau, graddio, neu stopio. Mae pob un o'r rhain yn fethiant mesur â chanlyniadau strategol, nid anghyfleustra technegol.

Nid yw'r offer yn y pwnc hwn — Sgorfwrdd Gwerth Cyhoeddus Mark Moore, y model rhesymeg, ac atebolrwydd yn seiliedig ar ganlyniadau a'i berthnasau — yn datrys pob problem fesur y mae sefydliad sector cyhoeddus neu gymdeithasol yn ei wynebu. Mae penodau diweddarach yn ymdrin â'r haenau anos, mwy technegol: ariannoli canlyniadau drwy ddadansoddiad cost-budd ac effeithiolrwydd cost (gweler Pwnc 2.2 — Dadansoddiad Cost-Budd Cymdeithasol ac Effeithiolrwydd Cost), gwerthfawrogi canlyniadau sy'n gwrthsefyll ariannoli drwy adenillion cymdeithasol o fuddsoddi (gweler Pwnc 2.3 — Adenillion Cymdeithasol o Fuddsoddi a Mesur Effaith), a sefydlu bod rhaglen wedi achosi newid a arsylwyd mewn gwirionedd drwy werthuso rhaglenni ffurfiol (gweler Pwnc 2.4 — Econometreg y Sector Cyhoeddus a Gwerthuso Rhaglenni). Yr hyn y mae'r pwnc hwn yn ei gyflenwi yw'r haen o dan y tri: eirfa a rennir a nifer fach o fframweithiau hirbarhaol ar gyfer nodi, cyn i unrhyw un o'r gwaith technegol hwnnw ddechrau, beth y mae sefydliad mewn gwirionedd yn ceisio ei newid, ar gyfer pwy, a sut y bydd yn gwybod.

Cysyniadau craidd

Y Sgorfwrdd Gwerth Cyhoeddus yw cynnig Mark H. Moore ar gyfer olrhain pob coes o'r triongl strategol â'i set ei hun o ddangosyddion, yn hytrach na diofyn i'r mesurau ariannol a gweithredol y byddai sgorfwrdd cytbwys sector preifat yn eu defnyddio. Addasodd Moore y sgorfwrdd cytbwys — offeryn Robert Kaplan a David Norton ar gyfer olrhain busnes ar draws safbwyntiau ariannol, cwsmer, proses-fewnol, a dysgu — oherwydd na all un llinell waelod ariannol gynrychioli sefydliad y mae ei brif honiad i fodoli mai ei fod yn creu gwerth nad yw unrhyw bris marchnad yn ei ddal. Yn lle hynny mae'r Sgorfwrdd Gwerth Cyhoeddus yn gofyn i sefydliad bennu mesurau o dan dri phennawd sy'n adlewyrchu'r triongl: cyfrif cyfreithlondeb-a-chefnogaeth (a yw'r amgylchedd awdurdodi wedi'i fodloni — cyllidwyr, goruchwylwyr, y cyhoedd), cyfrif gwerth-cyhoeddus (a yw'r cynnig gwerth yn cael ei wireddu — canlyniadau ar gyfer dinasyddion a chleientiaid), a chyfrif capasiti-gweithredol (a yw'r sefydliad yn gallu cynnal a gwella cyflenwi — staff, systemau, cyllid, partneriaethau). Mae'r ddisgyblaeth yn gwrthod gadael i unrhyw un cyfrif sefyll yn lle'r cyfan; nid yw sefydliad sy'n adrodd dim ond effeithlonrwydd ariannol, neu ddim ond boddhad cleient, wedi adrodd yn erbyn y triongl o gwbl.

Mae modelau rhesymeg yn rhoi i gyfrif gwerth y sgorfwrdd ei strwythur mewnol. Mae model rhesymeg yn gosod allan y gadwyn achosol y mae rhaglen yn honni ei rhedeg: mewnbynnau (yr arian, staff, ac adnoddau eraill wedi'u hymrwymo), gweithgareddau (yr hyn y mae'r sefydliad yn ei wneud â hwy), allbynnau (cynhyrchion uniongyrchol, cyfrifadwy'r gweithgareddau hynny — sesiynau wedi'u cyflenwi, trwyddedau wedi'u cyhoeddi, cartrefi wedi'u hymweld), canlyniadau (y newidiadau mewn gwybodaeth, ymddygiad, cyflwr, neu statws y mae allbynnau i fod i'w hachosi, fel arfer dros fisoedd neu ychydig flynyddoedd), ac effaith (y newid tymor hwy, yn aml ar lefel poblogaeth y mae'r canlyniadau i fod i gyfrannu ato, fel arfer wedi'i rannu ag actorion eraill ac yn anos ei briodoli i unrhyw un rhaglen). Y gwahaniaeth rhwng allbwn a chanlyniad yw'r un mwyaf canlyniadol yn y pwnc hwn: mae allbwn yn rhywbeth a wnaeth y sefydliad; mae canlyniad yn rhywbeth a newidiodd i rywun arall o ganlyniad. Allbwn rhaglen hyfforddi yw nifer y bobl a hyfforddwyd; ei chanlyniad yw beth y gall y bobl hynny ei wneud wedyn, neu sut mae eu hamgylchiadau'n newid, na allent o'r blaen.

Mae damcaniaeth newid yn ddisgyblaeth agos gysylltiedig o wneud y tybiaethau y tu ôl i fodel rhesymeg yn benodol yn hytrach nag ymhlyg — pam mae'r sefydliad yn credu y bydd gweithgaredd A mewn gwirionedd yn cynhyrchu canlyniad B, ac o dan ba amodau y gallai'r honiad achosol hwnnw fethu. Nid yw damcaniaeth newid yn syml yn fodel rhesymeg mwy manwl; mae'n rhoi blaenoriaeth i'r rhesymu 'os... yna... oherwydd' a'r tybiaethau cyd-destunol y mae diagram bocsys-a-saethau model rhesymeg yn tueddu i'w gadael heb eu nodi. Mae Pwnc 2.3 yn defnyddio damcaniaeth newid fel man cychwyn ar gyfer mesur effaith yn y sector cymdeithasol yn fwy manwl (gweler Pwnc 2.3 — Adenillion Cymdeithasol o Fuddsoddi a Mesur Effaith); yma, mae'n bwysig yn bennaf fel y ddisgyblaeth sy'n cadw model rhesymeg yn onest ynghylch beth y mae'n honni ei achosi mewn gwirionedd, yn wahanol i'r hyn y mae'n gobeithio'n unig ei ddilyn.

Mae atebolrwydd yn seiliedig ar ganlyniadau (RBA) yn aelod mwyaf adnabyddus o deulu o fframweithiau seiliedig-ar-ganlyniadau a ddefnyddir ar draws llywodraethau a'r sector cymdeithasol i gysylltu canlyniadau lefel-poblogaeth â pherfformiad rhaglenni penodol. Wedi'i ddatblygu gan Mark Friedman a'i osod allan yn ei lyfr Trying Hard Is Not Good Enough, mae RBA yn gwahanu dau fath gwahanol o atebolrwydd y mae sefydliadau'n eu cyfuno'n rheolaidd. Mae atebolrwydd poblogaeth yn gofyn sut mae cymuned neu awdurdodaeth gyfan yn ffynnu ar gyflwr o les — tlodi plant, diogelwch cymunedol, cyrhaeddiad addysgol — gan ddefnyddio nifer fach o ddangosyddion pennawd nad oes unrhyw un asiantaeth sengl yn eu perchen na'u rheoli'n llawn. Mae atebolrwydd perfformiad yn gofyn pa mor dda y mae rhaglen neu asiantaeth benodol yn ei wneud, gan ddefnyddio tri math o ddangosydd perfformiad y mae fframwaith Friedman yn mynnu eu gwahaniaethu: faint a wnaed (ymdrech — y cyfrif allbwn), pa mor dda y'i gwnaed (ansawdd), ac a yw unrhyw un yn well ei fyd (effaith — y canlyniad). Mae dull ymarferol RBA, a elwir weithiau'n ddadansoddiad 'troi'r gromlin', yn gweithio'n ôl o ddangosydd a ddewiswyd — gan ofyn pa stori y mae'r data'n ei hadrodd, beth sy'n achosi'r stori honno, pwy yw'r partneriaid â rôl wrth ei newid, beth a fyddai'n gweithio, a beth y mae'r sefydliad yn cynnig ei wneud — fersiwn strwythuredig o'r rhesymu y mae model rhesymeg a damcaniaeth newid yn ei ffurfioli ar wahân. Mae RBA yn un enghraifft o batrwm ehangach o reolaeth seiliedig-ar-ganlyniadau, sy'n gysylltiedig yn agos ag ymarfer rheolaidd monitro a gwerthuso a ddefnyddir ar draws datblygiad rhyngwladol a gweinyddiaeth gyhoeddus, wedi'i hyrwyddo mewn amryw ffurfiau gan lywodraethau cenedlaethol, cyllidwyr dyngarol, a chyrff amlochrog fel disgyblaeth a rennir ar gyfer cysylltu gwariant â chanlyniadau yn hytrach nag allbynnau yn unig.

Allbynnau, canlyniadau, a'r sgorfwrdd gyda'i gilydd. Y rheswm bod y fframweithiau hyn yn perthyn mewn un pwnc, yn hytrach na thair, yw eu bod yn ateb yr un cwestiwn sylfaenol ar wahanol bwyntiau yng nghylch cynllunio ac adrodd sefydliad. Caiff y model rhesymeg ei dynnu ar amser dylunio, i nodi'r honiad achosol. Cymhwysir atebolrwydd yn seiliedig ar ganlyniadau a fframweithiau cymharadwy ar amser adrodd, i gadw mesurau perfformiad yn onest am y gwahaniaeth rhwng ymdrech ac effaith. Mae'r Sgorfwrdd Gwerth Cyhoeddus yn eistedd uwchben y ddau, fel y strwythur sefydlog sy'n sicrhau bod tystiolaeth canlyniad — sut bynnag y'i cynhyrchwyd — yn mewn gwirionedd yn cyrraedd y sgyrsiau cyfreithlondeb a chapasiti lle gwneir penderfyniadau cyllideb a mandad, yn hytrach na aros y tu mewn i adrodd tîm rhaglen ei hun. Gyda'i gilydd, y tri fframwaith yw'r hyn sy'n troi gwerth cyhoeddus o honiad y mae sefydliad yn ei wneud amdano'i hun i honiad y gall ei amddiffyn â thystiolaeth.

Arferion gorau

1. Tynnwch y model rhesymeg cyn y dangosyddion, nid ar ei ôl. Mae dewis beth i'w fesur cyn cytuno beth rydych yn honni ei achosi'n cynhyrchu rhestr o beth bynnag sy'n hawdd ei gyfrif; tynnwch y gadwyn mewnbynnau-i-effaith yn gyntaf, yna dewiswch fesurau sy'n profi pob cyswllt ynddi.
2. Adroddwch yn erbyn pob un o'r tri chyfrif sgorfwrdd gyda'i gilydd, nid un ar y tro. Mae diweddariad cyfreithlondeb heb unrhyw dystiolaeth canlyniad, neu adroddiad canlyniad heb unrhyw gyfrif capasiti o beth a gostiodd i'w gynnal, y ddau ohonynt ond yn adrodd rhan o'r stori y mae cyllidwr neu oruchwyliwr ei angen i wneud penderfyniad go iawn.
3. Gwahanwch ymdrech, ansawdd, ac effaith yn benodol ym mhob adroddiad perfformiad. Benthycwch rhaniad tair-ffordd Friedman hyd yn oed y tu allan i weithrediad RBA ffurfiol; bydd adroddiad sy'n cyfuno 'sesiynau wedi'u cyflenwi' â 'bywydau wedi'u gwella' heb eu gwahaniaethu bob amser yn diofyn i ba bynnag sy'n haws ei chwyddo.
4. Dewiswch nifer fach o ddangosyddion poblogaeth pennawd a'u dal am flynyddoedd, nid chwarteri. Mae amodau lefel-poblogaeth yn symud yn araf ac yn cael eu heffeithio gan lawer o actorion; mae newid y mesur pennawd bob cylch adrodd yn ei gwneud yn amhosibl dweud a yw'r gromlin mewn gwirionedd yn troi.
5. Enwch, yn uchel, beth nad yw'r sefydliad yn ei reoli. Mae model rhesymeg sy'n awgrymu bod un rhaglen sengl yn achosi canlyniad lefel-poblogaeth yn llawn yn gwahodd yn union yr amheuaeth sy'n tanseilio cyfreithlondeb pan nad yw'r canlyniad yn symud yn ôl yr amserlen; nodwch y ffactorau cyfrannu eraill o'r dechrau.
6. Cyhoeddwch y fframwaith canlyniadau cyn y rownd gyllideb, nid ar ei ôl. Mae fframwaith canlyniadau a gynhyrchwyd i gyfiawnhau penderfyniad cyllideb a wnaed eisoes yn darllen fel rhesymoli ôl-hoc; mae un a gyhoeddwyd cyn y rownd yn dystiolaeth bod penderfyniad go iawn yn cael ei brofi yn ei erbyn.
7. Cadwch y sgorfwrdd a'r model rhesymeg yn ddogfennau byw, wedi'u hail-ymweld pan mae'r cyd-destun yn newid, nid arteffactau blynyddol. Gall model rhesymeg a dynnwyd ar gyfer un amgylchedd polisi stopio cyfateb â realiti'n dawel — deddf newydd, symudiad demograffig, newid ariannu — ymhell cyn i adolygiad wedi'i drefnu ei ddal; triniwch y ddau fel eiddo timau cyflawni, nid ymarfer cydymffurfio ar gyfer swyddfa ganolog.
8. Cadwch fesurau'r cyfrif perfformiad yn agos at y bobl a all weithredu arnynt. Gall tîm rhaglen wella mesurau ansawdd ac ymdrech yn uniongyrchol; rhowch iddynt dargedau canlyniad lefel-poblogaeth na allant eu symud ar eu pen eu hunain, a bydd y mesur yn dod yn ffynhonnell digalondid yn hytrach na chyfeiriad.
9. Trinwch darged canlyniad a gollwyd fel anogaeth i ofyn pam, nid dyfarniad i'w guddio. Mae arferiad 'troi'r gromlin' o ofyn beth sy'n achosi'r duedd cyn dyrannu bai'n cadw adrodd canlyniadau'n ddefnyddiol; mae diwylliant sy'n cosbi targedau a gollwyd yn dysgu staff i amddiffyn y rhif yn hytrach na'r canlyniad.
10. Gwnewch y tybiaethau yn y ddamcaniaeth newid yn ffalsiadwy. Nid yw tybiaeth wedi'i hysgrifennu mor amwys fel na allai unrhyw dystiolaeth ei gwrth-ddweud byth yn ychwanegu trylwyredd at y model rhesymeg; ysgrifennwch dybiaethau'n benodol ddigon y gallai gwerthusiad yn y dyfodol ddangos eu bod yn anghywir.

Cwestiynau i'w trafod gyda'ch tîm

A allwn ni ar hyn o bryd wahaniaethu, ar gyfer ein rhaglen bwysicaf, rhwng allbwn a chanlyniad — ac a yw ein staff ein hunain yn defnyddio'r ddau air hynny'n gywir? Mae llawer o sefydliadau'n adrodd cyfrifon gweithgaredd gan ddefnyddio iaith canlyniadau heb sylwi ar yr amnewid, sy'n erydu'n dawel y gwahaniaeth y mae'r pwnc hwn yn ei drin fel sylfaenol. Defnyddiwch y cwestiwn hwn i dynnu adroddiad cyfredol go iawn a gwiriwch, linell wrth linell, pa rifau sy'n disgrifio beth a wnaeth y sefydliad yn erbyn beth a newidiodd i rywun arall. Trafodwch lle mae'r iaith wedi drifftio, ac a yw'r drifft hwnnw'n adlewyrchu dryswch gwirioneddol am resymeg y rhaglen neu ddim ond bod data canlyniad yn anos ei gael na data allbwn. Os yw'r ateb gonest yn ail, mae hynny ei hun yn ganfyddiad gwerth ei gofnodi, nid rheswm i barhau i ddefnyddio iaith allbwn wedi'i gwisgo fel canlyniadau.

Ble mae ein hadrodd cyfredol yn cwympo ymdrech, ansawdd, ac effaith i mewn i un rhif sengl, a beth mae'r rhif hwnnw mewn gwirionedd yn ei ddweud wrth ddarllenydd? Mae rhaniad tair-ffordd Friedman yn bodoli oherwydd bod sefydliadau'n rheolaidd yn diofyn i adrodd ymdrech — yr hawsaf o'r tri i'w chyfrif — tra'n awgrymu eu bod wedi adrodd effaith. Defnyddiwch y cwestiwn hwn i nodi un metrig blaenllaw y mae'r sefydliad yn ei adrodd ar hyn o bryd a gweithiwch allan, fel grŵp, pa un o'r tri y mae mewn gwirionedd yn ei fesur. Trafodwch beth fyddai ei angen i adrodd y tri ar wahân ar gyfer y metrig hwnnw, ac a fyddai gwneud hynny'n newid sut mae'r sefydliad yn cael ei ganfod gan y bobl sydd ar hyn o bryd ond yn gweld y rhif wedi'i gyfuno.

Os nad yw ein canlyniad poblogaeth pennawd yn symud am ddau gylch adrodd arall, beth fyddem yn ei wneud yn wahanol, a beth na fyddem yn ei newid? Mae'r cwestiwn hwn yn profi a yw'r sefydliad yn wirioneddol ddefnyddio ei fframwaith canlyniadau i lywio, neu dim ond yn ei gynhyrchu fel rhwymedigaeth adrodd. Defnyddiwch ef i wahaniaethu pa rannau o'r strategaeth gyfredol sy'n ddibynnol ar y data canlyniad a pha rai sy'n sefydlog ni waeth beth mae'r data'n ei ddangos. Trafodwch yn onest a fyddai unrhyw ran o'r rhaglen gyfredol yn goroesi'n ddigyfnewid hyd yn oed pe bai'r dystiolaeth yn troi'n gadarn yn ei herbyn, gan mai dyna'r rhan nad yw mewn gwirionedd yn cael ei rheoli gan y fframwaith.

A yw ein Sgorfwrdd Gwerth Cyhoeddus, os oes gennym un, yn adrodd pob un o dair coes y triongl, neu a yw wedi dod yn dawel yn sgorfwrdd ar gyfer un goes yn unig? Mae'n gyffredin i fframwaith canlyniadau ddechrau ag uchelgais tair-coes gwirioneddol a drifftio, o dan bwysau adrodd, i mewn i ddogfen ganlyniadau-yn-unig neu gyllid-yn-unig. Defnyddiwch y cwestiwn hwn i archwilio'r dau neu dri adroddiad ffurfiol diwethaf yn erbyn strwythur tri-chyfrif y pwnc hwn. Trafodwch pa goes sy'n tueddu i gael ei gollwng gyntaf o dan bwysau amser, a beth mae hynny'n ei ddweud am ba goes y mae'r sefydliad yn ei thrin yn ymhlyg fel un ddewisol.

Pwy y tu allan i'r sefydliad hwn fyddai angen cytuno â'n model rhesymeg iddo fod yn gredadwy, ac ydym ni mewn gwirionedd wedi gofyn iddynt? Gall model rhesymeg a dynnwyd yn gyfan gwbl gan y tîm rhaglen a ddyluniodd yr ymyrraeth godio'n dawel dybiaethau optimistaidd nad oes neb y tu allan i'r ystafell wedi'i leoli i'w herio. Defnyddiwch y cwestiwn hwn i nodi pa actorion allanol — cyllidwyr, partneriaid cyflawni, y bobl y mae'r rhaglen yn eu gwasanaethu — sydd â rhan yn a yw'r gadwyn achosol yn gywir, ac a yw unrhyw un ohonynt mewn gwirionedd wedi'i hadolygu. Trafodwch beth a newidiodd, os o gwbl, y tro diwethaf y gwahoddwyd persbectif allanol i mewn i'r adolygiad hwnnw.

Beth yw'r set leiaf o ddangosyddion poblogaeth a pherfformiad y gallem eu hadrodd a fyddai'n dal i adael i rywun allanol farnu a yw'r sefydliad hwn yn creu gwerth cyhoeddus? Mae systemau mesur yn tueddu i gronni dangosyddion dros amser yn llawer cyflymach nag y maent yn eu hymddeol, hyd nes bod y fframwaith yn dod yn rhy fawr i unrhyw un ei ddefnyddio mewn gwirionedd mewn penderfyniad. Defnyddiwch y cwestiwn hwn i geisio, fel ymarfer, torri'r set ddangosyddion gyfredol yn ei hanner heb golli'r gallu i ateb y cwestiynau atebolrwydd-poblogaeth ac atebolrwydd-perfformiad y mae'r pwnc hwn yn eu disgrifio. Trafodwch pa wrthwynebiad y mae'r ymarfer hwnnw'n ei ddatgelu, gan fod gwrthwynebiad i dorri dangosydd penodol yn aml yn arwydd o'r hyn y mae'r sefydliad mewn gwirionedd yn cael ei ddwyn yn atebol amdano, p'un a yw hynny'n cyfateb â'i strategaeth nodedig ai peidio.

Yn ymarferol: enghraifft gwerth cyhoeddus

Roedd rhwydwaith rhanbarthol o elusennau cymorth i deuluoedd — dychmygol, yn enghreifftiol o batrwm yn hytrach nag adroddiad ar unrhyw sefydliad go iawn — wedi treulio degawd yn rhedeg rhaglenni ymweld â chartrefi ar gyfer rhieni newydd mewn cymdogaethau incwm isel. Roedd ei adroddiadau blynyddol i gyllidwyr yn fanwl ac, yn ôl mesurau allbwn, yn drawiadol: miloedd o ymweliadau cartref wedi'u cwblhau bob blwyddyn, presenoldeb uchel mewn gweithdai rhianta, sgoriau boddhad cryf gan deuluoedd a gymerodd ran. Ar gryfder y record honno, roedd y rhwydwaith wedi tyfu'n gyson, gan ychwanegu canghennau lleol newydd yn fras bob dwy flynedd.

Gofynnodd cyllidwr cenedlaethol newydd, yn ystyried grant aml-flwyddyn digon mawr i ddyblu cyrhaeddiad y rhwydwaith, gwestiwn nad oedd bwrdd y rhwydwaith ei hun erioed wedi'i osod yn ffurfiol i reolwyr: pa dystiolaeth a ddangosodd fod plant mewn teuluoedd a dderbyniodd yr ymweliadau cartref mewn gwirionedd yn gwneud yn well, yn ddiweddarach, na phlant cymharadwy nad oedd eu teuluoedd wedi derbyn. Sylweddolodd arweinyddiaeth y rhwydwaith, wrth weithio drwy'r cwestiwn, na fu ei adrodd erioed wedi gwahanu ymdrech oddi wrth effaith. Roedd cyfrifon ymweliad a sgoriau boddhad yn dystiolaeth wirioneddol bod y rhaglen yn cael ei chyflenwi ac yn cael ei derbyn yn dda; nid oedd yr un ohonynt yn dystiolaeth ei fod yn newid canlyniadau datblygiadol plentyn, sef yr honiad wedi'i ymgorffori yn natganiad cenhadaeth y rhwydwaith ei hun ac, yn ymhlyg, ym mhob cais grant y mae erioed wedi'i ysgrifennu.

Adeiladodd y rhwydwaith fodel rhesymeg o'r dechrau, gan ddechrau o'r canlyniadau yr oedd mewn gwirionedd eu heisiau — dangosyddion datblygiad plentyn cynnar wedi'u gwella, achosion llai o esgeulustod plant wedi'u sylweddoli, hyder rhieni cryfach — a gweithio'n ôl i'r gweithgareddau a'r allbynnau yr oedd pob un i fod i ddibynnu arnynt, gan enwi'r tybiaethau rhyngddynt yn benodol. Mabwysiadodd strwythur atebolrwydd yn seiliedig ar ganlyniadau symlach: dangosyddion poblogaeth wedi'u holrhain ar lefel gymdogaeth ac wedi'u rhannu ag ysgolion a gwasanaethau iechyd lleol, ochr yn ochr â dangosyddion perfformiad y gallai ei dimau ei hun weithredu arnynt yn uniongyrchol — amlder ymweliad, cwblhau gweithdy, a hyder rhianta wedi'i asesu gan staff ar dri a deuddeg mis. Ni symudodd dau o'r pum dangosydd canlyniad fel y gobeithiwyd mewn un gymdogaeth yn y cylch adrodd cyntaf. Yn hytrach na atal y canlyniad, defnyddiodd y rhwydwaith ei broses 'troi'r gromlin' ei hun i ymchwilio, gan ganfod bod newid mewn staffio ymwelwyr iechyd lleol wedi tarfu ar lwybrau atgyfeirio, ac addasodd ei drefniadau partneriaeth yn hytrach na'i fodel craidd. Adnewyddodd a ehangodd y cyllidwr y grant, gan enwi gonestrwydd yr adrodd, nid absenoldeb diffyg, fel y rheswm dros hyder.

Pedwar lens sector

Llywodraeth leol

Mae fframwaith canlyniadau awdurdod lleol fel arfer yn eistedd y tu mewn i set ehangach o ddangosyddion wedi'u diffinio'n genedlaethol na wnaeth ei ddewis ond y mae'n rhaid iddo adrodd yn eu herbyn, ochr yn ochr â mesurau wedi'u dewis yn lleol sy'n adlewyrchu blaenoriaethau ei gyngor ei hun. Mae'r strwythur deuol hwn yn golygu bod sgorfwrdd lleol yn aml yn gorfod cysoni dau gynulleidfa â chwestiynau gwahanol — arolygydd cenedlaethol yn gofyn am gydymffurfiaeth â set dangosyddion safonol, a thrigolion lleol yn gofyn am gyflwr lleol penodol, gweladwy, fel stryd neu wasanaeth penodol. Mae modelau rhesymeg ar raddfa llywodraeth-leol fel arfer hawsaf eu hadeiladu ar gyfer un gwasanaeth (newid casglu ailgylchu, ailddyluniad llyfrgell) ac anoddaf eu hadeiladu'n gredadwy ar gyfer canlyniadau traws-doriadol fel cydlyniant cymunedol, lle mae llawer o actorion y tu allan i reolaeth y cyngor hefyd yn cyfrannu.

Llywodraeth genedlaethol

Mae fframweithiau canlyniadau cenedlaethol yn gweithredu ar raddfa lle mae'r gwahaniaeth atebolrwydd-poblogaeth ac atebolrwydd-perfformiad o atebolrwydd yn seiliedig ar ganlyniadau'n dod yn hanfodol yn hytrach nag yn ddewisol: mae dangosydd iechyd neu addysg cenedlaethol yn cael ei effeithio gan gannoedd o raglenni, ychydig ohonynt y mae unrhyw un adran yn eu hariannu'n uniongyrchol, felly anaml y mae un weinyddiaeth yn hawlio credyd sengl neu fai sengl am duedd genedlaethol yn amddiffynadwy. Llywodraethau cenedlaethol hefyd yw'r ffynhonnell fwyaf cyffredin o fframweithiau canlyniadau mawr, wedi'u mandadu'n ganolog y mae'n rhaid i gyrff cyflawni ymhellach i lawr y gadwyn eu mabwysiadu, sy'n creu'r risg ailddigwydd bod y fframwaith wedi'i ddylunio ar gyfer cyfuno a chymharu ar draws adrannau yn hytrach nag ar gyfer llywio cyflenwi unrhyw un rhaglen mewn gwirionedd.

Sector cymdeithasol a di-elw

Mae sefydliadau di-elw ac anllywodraethol (NGOs) yn amlach yn adeiladu eu modelau rhesymeg a'u theorïau newid eu hunain o egwyddorion cyntaf na mabwysiadu fframwaith a drosglwyddwyd gan awdurdodwr, oherwydd bod eu cyllidwyr yn aml yn gofyn am yr achos achosol yn hytrach na chyflenwi templed safonol. Mae hyn yn rhoi mwy o ryddid i sefydliadau'r sector cymdeithasol ddylunio fframwaith canlyniadau sy'n cyfateb â rhesymeg eu rhaglen wirioneddol, ond hefyd fwy o amlygiad i flinder mesur wedi'i yrru gan gyllidwr, lle mae gan bob grant ei ofynion adrodd ei hun ac mae sefydliad yn dod i gynnal sawl fframwaith canlyniadau cyfochrog ar gyfer yr un gwaith sylfaenol. Mae rhaniad poblogaeth-yn-erbyn-perfformiad atebolrwydd yn seiliedig ar ganlyniadau'n arbennig o ddefnyddiol yma, gan ei fod yn rhoi iaith i sefydliad di-elw i ddweud yn glir wrth gyllidwr y gellir ei ddwyn yn atebol am ei fesurau perfformiad ei hun ond nid, ar ei ben ei hun, am ddangosydd poblogaeth y mae llawer o actorion eraill hefyd yn dylanwadu arno.

Amlochrog a rhyngwladol

Mae cyrff amlochrog yn gweithredu rheolaeth seiliedig-ar-ganlyniadau ar raddfa lle mae tybiaethau'r model rhesymeg yn teithio ar draws dwsinau o gyd-destunau cenedlaethol ar unwaith, felly gall rhesymeg ymyrraeth sy'n dal mewn un wlad fethu'n dawel mewn un arall heb i'r dangosydd byd-eang pennawd ddatgelu pa gyd-destun yw'r broblem. Yn aml caiff fframweithiau canlyniadau yn y lleoliad hwn eu hadeiladu i fodloni sawl llywodraeth roddwr ar yr un pryd, pob un â'i ffafriaethau adrodd ei hun, sy'n gwthio tuag at setiau dangosydd safonedig (o'r math a hyrwyddir drwy ganllawiau rheolaeth seiliedig-ar-ganlyniadau rhyngwladol) ar gost penodoldeb lleol. Mae'r bwlch rhwng allbwn y gall partner gweithredu ei adrodd yn gyflym — hyfforddiannau wedi'u cyflenwi, clinigau wedi'u cyflenwi — a chanlyniad nad yw ond yn ymddangos mewn arolwg cenedlaethol flynyddoedd yn ddiweddarach ar ei ehangaf yma, gan wneud y ddisgyblaeth o nodi'r gadwyn achosol dybiedig yn benodol, yn hytrach na'i thybio, yn arbennig o bwysig.

Moddau methiant cyffredin

Allbwn yn ymddangos fel canlyniad. Mae sefydliad yn adrodd cyfrifon gweithgaredd gan ddefnyddio iaith canlyniad — 'diogelwch cymunedol wedi'i wella' pan mai'r mesur gwirioneddol yw patrolau wedi'u cynnal — naill ai o gyfuniad gwirioneddol neu oherwydd bod data canlyniad yn anos ac yn arafach ei gasglu. Mae'r gost yn ymddangos pan mae adolygydd allanol yn gofyn am y dystiolaeth canlyniad yn uniongyrchol ac yn canfod dim ond allbynnau y tu ôl i'r honiad, gan niweidio hygrededd y sefydliad yn fwy na fyddai canlyniad cymedrol, wedi'i adrodd yn onest wedi'i wneud.

Lluosogi dangosyddion. Mae sgorfwrdd neu fodel rhesymeg yn cronni mesurau'n gyflymach nag y mae'n eu hymddeol, wedi'i yrru gan bob cais rhanddeiliad newydd yn ychwanegu un llinell arall yn hytrach na disodli un sy'n bodoli. Y canlyniad terfynol yw fframwaith rhy fawr i unrhyw reolwr ei ddefnyddio mewn gwirionedd mewn penderfyniad, sy'n dawel yn dychwelyd y sefydliad i farn anffurfiol tra bo'r fframwaith swyddogol yn dod yn arteffact adrodd nad oes neb yn ymgynghori ag ef.

Meddiannu targed. Mae mesur perfformiad, unwaith y'i cysylltir ag ariannu neu wobr, yn dod yn beth y mae staff yn ei optimeiddio'n uniongyrchol yn hytrach na'r canlyniad yr oedd i fod i'w broci ar ei gyfer — y patrwm y mae cyfraith Goodhart yn ei ddisgrifio, lle mae mesur a ddefnyddir fel targed yn stopio bod yn fesur dibynadwy. Mae cartref y pwnc hwn ar gyfer y dynameg honno yn y sector cyhoeddus yn benodol, gan gynnwys sut mae cyfundrefnau ansawdd yn ceisio ei ganfod a'i gyfyngu, mewn man arall (gweler Pwnc 3.11 — Ansawdd, Diogelwch, a Rheoli Perfformiad); yma mae'n bwysig fel rheswm i gadw mesurau ymdrech, ansawdd, ac effaith ar wahân ac i ail-ymweld â thargedau cyn iddynt ystumio ymddygiad.

Gor-gyrraedd priodoliad. Mae adrodd rhaglen yn awgrymu cyfrifoldeb achosol sengl am ganlyniad lefel-poblogaeth y mae llawer o actorion eraill hefyd yn dylanwadu arno, naill ai drwy iaith ddiofal neu gred wirioneddol. Pan nad yw'r canlyniad yn symud — yn aml am resymau y tu allan i reolaeth y rhaglen — mae'r sefydliad yn amsugno bai anghymesur i'w gyfraniad gwirioneddol, sydd wedyn yn digalonni adrodd gonest o ddiffygion mewn cylchoedd yn y dyfodol.

Fframwaith heb adborth. Mae sefydliad yn adeiladu model rhesymeg a fframwaith canlyniadau wedi'i ddylunio'n wirioneddol dda, yna byth yn ail-ymweld ag ef yn erbyn canlyniadau gwirioneddol, felly mae'n caledu'n ddogfen sefydlog yn hytrach nag offeryn rheolaeth byw. Mae'r strategaeth oddi tano'n parhau i redeg ar y tybiaethau gwreiddiol flynyddoedd ar ôl i dystiolaeth fod wedi cyfiawnhau eu diwygio, ar gost yr union addasadwyedd yr oedd y fframwaith i fod i'w alluogi.

Model aeddfedrwydd

Rhestr wirio

• Tynnwch fodel rhesymeg (mewnbynnau, gweithgareddau, allbynnau, canlyniadau, effaith) ar gyfer pob prif raglen cyn cwblhau ei dangosyddion.
• Ysgrifennwch dybiaethau achosol y ddamcaniaeth newid yn benodol ddigon y gallai tystiolaeth eu gwrth-ddweud.
• Gwahanwch fesurau ymdrech, ansawdd, ac effaith ym mhob adroddiad perfformiad, hyd yn oed y tu allan i weithrediad atebolrwydd yn seiliedig ar ganlyniadau ffurfiol.
• Adeiladwch neu ddiweddarwch y Sgorfwrdd Gwerth Cyhoeddus fel bod pob un o'r tair coes — cyfreithlondeb, gwerth, capasiti — yn cael eu hadrodd gyda'i gilydd, nid ar wahân.
• Dewiswch set fach, sefydlog o ddangosyddion poblogaeth pennawd ac ymrwymwch i'w dal ar draws sawl cylch adrodd.
• Gwiriwch adroddiadau cyfredol am iaith sy'n disgrifio allbwn gan ddefnyddio geiriau canlyniad, a'i chywiro.
• Cyhoeddwch y fframwaith canlyniadau cyn y rownd gyllideb neu ariannu nesaf, nid fel ei ganlyniad.
• Enwch yn benodol beth nad yw'r sefydliad yn ei reoli'n unig ar gyfer unrhyw honiad lefel-poblogaeth y mae'n ei adrodd.
• Gosodwch gylch penodol ar gyfer ail-ymweld â modelau rhesymeg yn erbyn tystiolaeth wirioneddol, nid dim ond mewn gwerthusiad ffurfiol wedi'i drefnu.
• Nodwch o leiaf un rhanddeiliad allanol i adolygu tybiaethau'r model rhesymeg cyn iddo gael ei gwblhau.
• Archwiliwch y set ddangosydd gyfredol am gyfleoedd i ymddeol mesurau nad oes neb yn eu defnyddio mewn penderfyniad gwirioneddol.
• Cytunwch, ymlaen llaw, beth fydd y sefydliad yn ei wneud yn wahanol os nad yw canlyniad pennawd yn symud am ddau gylch adrodd.

Ffynonellau allweddol

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) a Recognizing Public Value (2013) — y testunau gwreiddiol ar gyfer y Sgorfwrdd Gwerth Cyhoeddus, yn addasu'r traddodiad sgorfwrdd cytbwys i dair coes y triongl strategol.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — y testun gwreiddiol ar gyfer atebolrwydd yn seiliedig ar ganlyniadau, gan gynnwys y gwahaniaeth atebolrwydd-poblogaeth/atebolrwydd-perfformiad a dadansoddiad 'troi'r gromlin'.
• Llenyddiaeth sgorfwrdd cytbwys Robert Kaplan a David Norton — y ffynhonnell sector preifat yr addasodd Moore ar gyfer y cyd-destun gwerth cyhoeddus.
• Canllawiau'r OECD ar reolaeth seiliedig-ar-ganlyniadau a therminoleg gwerthuso, a ddefnyddir ar draws ymarfer datblygu a gweinyddiaeth gyhoeddus i safoni iaith canlyniad ac effaith.
• Canllawiau Grŵp Gwerthuso Annibynnol Banc y Byd ar fframweithiau canlyniadau a theorïau newid ar gyfer gweithrediadau datblygu.
• Cyfrif cyhoeddus Asiantaeth Gwasanaethau Dynol Vermont o gymhwyso atebolrwydd yn seiliedig ar ganlyniadau ar lefel wladwriaeth a chymuned — un enghraifft o'r fframwaith mewn defnydd llywodraeth byw.

Cyfeiriadau

1. Mark H. Moore — Wicipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wicipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wicipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wicipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wicipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wicipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wicipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wicipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wicipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, proffil cyfadran — Ysgol Kennedy Harvard — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Asiantaeth Gwasanaethau Dynol Vermont — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — Grŵp Gwerthuso Annibynnol Banc y Byd — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf