Ansawdd, Diogelwch, a Rheoli Perfformiad

Pam mae hyn yn bwysig i werth cyhoeddus

Mae pob sefydliad cyhoeddus a sector-cymdeithasol o unrhyw faint bellach yn rhedeg ar rifau: amseroedd aros, llwythi achos wedi'u cau, munudau ymateb, cyfraddau pasio, sgorau boddhad, graddiadau arolygu. Nid gosodiad o'r tu allan i reolaeth gyhoeddus yw targedau wedi'u hadeiladu o'r rhifau hyn; dyma sut mae cyfreithlondeb a chefnogaeth yn cael eu dangos i gyllidwyr, deddfwrfeydd, byrddau, a dinasyddion na allant fel arall weld i mewn i weithrediadau dyddiol (gweler Pwnc 1.2 — Y Triongl Strategol: Cyfreithlondeb, Gwerth, a Chapasiti). Mae arweinydd na all bwyntio at rif a symudodd i'r cyfeiriad cywir yn ei chael hi'n anodd amddiffyn cyllideb, mandad, neu ddiwygiad.

Yr anhawster yw nad yw rhif wedi'i adeiladu i gynrychioli ansawdd yr un peth ag ansawdd ei hun, ac mae'r ddau'n gwahanu'n dawel yr eiliad y mae'r rhif yn dechrau bod yn bwysicach na'r realiti y tu ôl iddo. Gall heddlu ostwng trosedd wedi'i gofnodi trwy newid sut mae swyddogion yn dosbarthu digwyddiadau yn hytrach na thrwy leihau niwed. Gall ysbyty daro targed amser-aros trwy ailddosbarthu pa gleifion mae'r cloc yn gymwys iddynt yn hytrach na thrwy drin pobl yn gyflymach. Nid yw'r naill newid na'r llall yn ymddangos yn y ffigwr cyhoeddedig, sef yn union y broblem y mae'r pwnc hwn yn bodoli i fynd i'r afael â hi.

Mae'r pwnc hwn yn driniaeth gartref y broblem honno yn y sector cyhoeddus: dangosyddion perfformiad a'r cymhellion gwyrdroëdig y maent yn eu creu, cyfundrefnau sicrhau ansawdd wedi'u hadeiladu i gadw safonau'n gyson ni waeth beth mae unrhyw darged sengl yn ei ddweud, a chyrff arolygu a graddio annibynnol sy'n gwirio'r realiti y tu ôl i'r rhifau o'r tu allan i'r gadwyn orchymyn a'u cynhyrchodd. Mae Pwnc 2.1 yn ymdrin â ble dylai dangosyddion ddod ohonynt yn y lle cyntaf — fframweithiau canlyniadau a modelau rhesymeg sy'n cysylltu mesur yn ôl â honiad achosol gwirioneddol am werth (gweler Pwnc 2.1 — Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau). Mae'r pwnc hwn yn ymdrin â beth sy'n digwydd unwaith y caiff y dangosyddion hynny eu troi'n dargedau byw y mae staff yn cael eu rheoli yn eu herbyn, a sut mae sefydliad yn cadw ei system fesur ei hun yn onest.

Mae'r peryglon yn codi gyda pha mor gyhoeddus y defnyddir rhif. Mae metrig mewnol preifat sy'n drifftio o realiti'n gwastraffu amser rheolwr. Gall targed perfformiad cyhoeddus, graddiad arolygu pennawd, neu ystadegyn diogelwch sy'n drifftio o realiti gostio bywydau, camddyrannu adnoddau am flynyddoedd, ac — pan mae'r bwlch rhwng y rhif a adroddwyd a'r profiad bywyd yn dod yn weladwy yn y pen draw — dinistrio'n union y cyfreithlondeb y cyhoeddwyd y rhif i'w adeiladu (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb).

Cysyniadau craidd

Mae dangosydd perfformiad yn newidyn mesuradwy a ddewiswyd i sefyll yn lle agwedd ar berfformiad sefydliad na ellir ei arsylwi'n uniongyrchol ac yn barhaus ei hun (gweler performance indicator). Mae dangosyddion yn brocsïau trwy adeiladwaith: ni all neb fesur 'ansawdd gofal' na 'diogelwch cymunedol' yn uniongyrchol, felly mae sefydliad yn mesur rhywbeth culach a mwy cyfrifadwy — amser aros, cyfradd trosedd wedi'i gofnodi — ac yn trin symudiad ynddo fel tystiolaeth o symudiad yn y peth ehangach y mae'n sefyll drosto. Ni fydd y bwlch hwnnw rhwng procsi a realiti byth yn cau; mae'r pwnc hwn am ei reoli yn hytrach nag anghofio ei fod yn bodoli.

Mae cyfraith Goodhart yn nodi, yn ei fformwleiddiad sector-cyhoeddus mwyaf cyffredin, pan mae mesur yn dod yn darged, mae'n peidio â bod yn fesur da. Enwir y gyfraith ar ôl yr economegydd Prydeinig Charles Goodhart, a fformwleiddiodd y mewnwelediad sylfaenol ym 1975 yng nghyd-destun polisi ariannol: unwaith y mae banc canolog yn dechrau targedu mesur penodol o'r cyflenwad arian, mae'r perthnasoedd ystadegol a wnaeth y mesur hwnnw'n ddefnyddiol yn dechrau chwalu, oherwydd bod pobl yn newid eu hymddygiad mewn ymateb i'r targed ei hun. Ailddatganodd y anthropolegydd Marilyn Strathern y syniad ar gyfer cynulleidfa sector-cyhoeddus mewn astudiaeth 1997 eang ei dyfyniad o ddiwylliant archwilio prifysgol Brydeinig, gan roi iddo'r geiriad cryno a ddyfynnir amlaf bellach: 'pan mae mesur yn dod yn darged, mae'n peidio â bod yn fesur da.' Cyflwynodd Pwnc 3.1 y ddeinameg hon yn fyr yng nghyd-destun dibyniaeth Rheolaeth Gyhoeddus Newydd ar dargedau eglur; y pwnc hwn yw ei driniaeth gartref lawn (gweler Pwnc 3.1 — Systemau a Modelau Gweinyddiaeth Gyhoeddus). Nid yw cyfraith Goodhart yn ddadl yn erbyn mesur — mae'n ddadl na ellir cyfuno mesur a gwobr yn ddiofal heb newid yr hyn sy'n cael ei fesur.

Mae cymhellion gwyrdroëdig yn fecanwaith y mae cyfraith Goodhart yn gwneud ei niwed drwyddo: strwythur cymhelliant sy'n cynhyrchu canlyniadau'n groes i'r hyn a fwriadodd ei ddylunwyr, oherwydd bod y bobl sy'n ymateb iddo'n optimeiddio ar gyfer llythyren y wobr yn hytrach na'r pwrpas y tu ôl iddi (gweler perverse incentive). Mae targed ynghlwm ag ariannu, enw-da, neu yrfa'n creu cymhelliant gwyrdroëdig pryd bynnag y mae ffordd yn bodoli i wella'r rhif a adroddwyd heb wella'r canlyniad sylfaenol — ac mewn gwasanaeth a draddodir trwy filoedd o ddyfarniadau unigol, mae ffordd o'r fath bron bob amser yn bodoli unwaith y mae pobl yn dechrau chwilio amdani.

Deipoleg o ymatebion afluniaidd i dargedau. Cataloguodd yr economegydd Peter Smith, mewn astudiaeth ddylanwadol 1995 o ddata perfformiad sector-cyhoeddus, y ffyrdd y mae targedau cyhoeddedig yn ystumio ymddygiad, y mae sawl un ohonynt yn dal yn eirfa safonol ar gyfer diagnosio system ddangosydd sy'n straffaglu. Golwg twnnel yw crynhoi ymdrech ar yr hyn a fesurir ar draul yr hyn na fesurir, hyd yn oed pan mae'r agweddau heb eu mesur yr un mor bwysig neu fwy pwysig. Obsesiwn mesur yw trin llwyddiant ar y dangosydd fel llwyddiant ar yr amcan sylfaenol, fel bod y procsi'n disodli'n dawel y peth yr oedd i fod i'w gynrychioli yn sylw pawb — y patrwm y tu ôl i addysgu ar gyfer y prawf mewn systemau addysg, lle mae addysgu'n culhau i beth bynnag mae asesiad safonol yn ei gwmpasu yn hytrach na'r dysgu ehangach yr oedd yr asesiad i fod i'w arwyddo. Camgyflwyniad yw trin data a adroddwyd yn fwriadol — ailddosbarthu achos, addasu cloc, dewis enwadur mwy ffafriol — fel bod y ffigurau'n gwella heb i'r realiti newid o gwbl. Asgwrneiddiad yw dirywiad araf targed i mewn i amherthnasedd wrth ei adael heb ei ddiwygio ymhell ar ôl i'r amgylchedd gweithredu y'i dyluniwyd ar ei gyfer newid. Dangosodd astudiaeth 2006 gysylltiedig o dargedau yn system gofal iechyd cyhoeddus Lloegr gan Gwyn Bevan a Christopher Hood pa mor bell y gall y dynameg hyn redeg pan mae targed wedi'i barïo â chanlyniadau difrifol am ei fethu, gan fathu'r ymadrodd 'targedau ac arswyd' ar gyfer cyfundrefn sy'n cynhyrchu'n union yr ymddygiad gemio y'i dyluniwyd i'w ddileu.

Mae sicrhau ansawdd yn ddisgyblaeth systematig, wedi'i pherchen gan y sefydliad o sicrhau bod cynnyrch neu wasanaeth yn bodloni safon ddiffiniedig yn gyson, trwy atal diffygion wedi'i adeiladu i mewn i'r broses yn hytrach nag arolygiad o'r allbwn gorffenedig yn unig (gweler quality assurance). Lle mae targed perfformiad yn mesur canlyniad ar ôl y ffaith, mae sicrhau ansawdd wedi'i ddylunio i wneud canlyniad gwael yn llai tebygol o ddigwydd yn y lle cyntaf, fel arfer trwy weithdrefnau safonol, rhestrau gwirio, adolygiad cymheiriaid, a dadansoddiad achos-gwraidd o fethiannau. Mae rheolaeth ansawdd cyfan yn athroniaeth reoli ehangach wedi'i hadeiladu ar y ddisgyblaeth hon, sy'n trin gwelliant parhaus mewn ansawdd fel cyfrifoldeb pawb yn hytrach na swyddogaeth arbenigol wedi'i folltio ar ddiwedd proses (gweler total quality management), ac mae teulu ISO 9000 o safonau rhyngwladol a gyhoeddwyd gan y Sefydliad Rhyngwladol dros Safoni (ISO), a gyhoeddwyd gyntaf ym 1987, yn rhoi i sefydliadau fframwaith ardystiadwy ar gyfer dangos bod system reoli o'r fath yn bodoli. Gall corff gael ei ardystio i safon rheoli-ansawdd, a phasio pob gwiriad sicrwydd-ansawdd mewnol, tra'n dal i gemio ei dargedau perfformiad a adroddir yn allanol; mae'r ddwy system yn ateb cwestiynau gwahanol ac nid yw'r naill yn disodli'r llall.

Mae dangosyddion diogelwch a diwylliant diogelwch yn haeddu triniaeth ar wahân i ddangosyddion perfformiad cyffredin oherwydd yn aml mae'r niwed o gymhelliant gwyrdroëdig yn anadferadwy. Mewn gofal iechyd, mae arfer diogelwch cleifion wedi dysgu, yn aml ar gost uchel, bod cosbi staff am adrodd gwall yn atal yn union y wybodaeth y mae system ddiogelwch ei hangen i atal y nesaf — mewnwelediad sydd wedi lledaenu o leoliadau clinigol i mewn i hedfan, trafnidiaeth, a gwasanaethau cyhoeddus canlyniad-uchel eraill. Mae amgylchedd adrodd 'di-fai' neu 'ddiwylliant teg' yn trin bron-fethiant a adroddwyd yn onest fel pwynt data gwerthfawr yn hytrach na chyfaddefiad o euogrwydd, sef gwrthwyneb sut mae'r rhan fwyaf o dargedau perfformiad cyffredin wedi'u dylunio i weithio: mae cyfundrefn berfformiad yn gwobrwyo'r rhif da, tra bo'n rhaid i gyfundrefn ddiogelwch wobrwyo'r rhif gonest hyd yn oed pan mae'n wael.

Mae cyrff arolygu a graddio annibynnol yn darparu gwiriad ar y cyfan uchod sy'n dod o'r tu allan i'r gadwyn orchymyn a asesir. Mae arolygiaeth — fel Ofsted Lloegr, sy'n arolygu darparwyr addysg a gwasanaethau-plant, neu Comisiwn Ansawdd Gofal, sy'n arolygu ac yn graddio darparwyr gofal iechyd a chymdeithasol — yn anfon aseswyr sy'n arsylwi arfer yn uniongyrchol, yn arfer dyfarniad proffesiynol, ac yn cyhoeddi graddiad nad yw'r corff a arolygwyd yn ei reoli. Mae hyn yn wahanol yn strwythurol i reoli perfformiad mewnol: gall ffigwr amser-aros hunan-adroddedig gael ei gemio gan y bobl y mae eu cymhelliant i'w gemio, ond mae arolygydd sy'n cerdded y wardiau neu'n arsylwi'r dosbarth yn edrych ar y realiti yr oedd y rhif i fod i'w gynrychioli. Mae arolygiaeth yn ffurf o atebolrwydd llorweddol — craffu gan gorff o statws annibynnol yn hytrach na chan etholwyr neu farchnad (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb) — ac mae'n ennill y rôl honno dim ond i'r graddau y mae ei hannibyniaeth, mewn cyllid, penodiad, a chyhoeddi, wedi'i hamddiffyn mewn gwirionedd.

Arferion gorau

1. Deilliwch ddangosyddion o'r model rhesymeg, nid o'r hyn sydd eisoes yn hawdd ei gyfrif. Dewis mesur oherwydd bod y data eisoes yn bodoli, yn hytrach nag oherwydd ei fod yn olrhain cysylltiad gwirioneddol yn y gadwyn achosol, yw sut mae obsesiwn mesur a golwg twnnel yn dechrau (gweler Pwnc 2.1 — Y Sgorfwrdd Gwerth Cyhoeddus a Fframweithiau Canlyniadau).
2. Parwch bob targed allbwn neu weithgaredd ag o leiaf un mesur cydbwyso a fyddai'n datgelu'r strategaeth gemio fwyaf tebygol. Os gellir gemio targed amser-aros trwy ailddosbarthu achosion, olrheiniwch y gyfradd ailddosbarthu ochr yn ochr â'r ffigwr pennawd, nid fel ôl-ystyriaeth unwaith y mae sgandal yn gorfodi'r cwestiwn.
3. Triniwch darged sydd wedi'i daro am sawl cyfnod olynol fel anogaeth i ymchwilio, nid dim ond i ddathlu. Mae rhif sy'n stopio gwahaniaethu rhwng perfformiad da a gwael naill ai wedi datrys y broblem mewn gwirionedd neu wedi'i gemio i mewn i amherthnasedd, ac mae'r ddau'n edrych yn union yr un fath o'r dangosfwrdd yn unig.
4. Gwahanwch pwy sy'n gosod targed oddi wrth pwy sy'n cael ei fesur yn ei erbyn oddi wrth pwy sy'n gwirio'r canlyniad yn annibynnol. Mae cywasgu'r tair rôl hyn i mewn i un rhan o'r sefydliad yn tynnu'r tyndra strwythurol sy'n cadw system fesur yn onest.
5. Diwygiwch neu ymddeolwch darged ar gylch sefydlog, nid dim ond ar ôl methiant gweladwy. Asgwrneiddiad yw tynged ddiofyn targed; mae adolygiad wedi'i drefnu sy'n gofyn a yw'r targed yn dal i olrhain rhywbeth ystyrlon yn dal y dirywiad cyn i argyfwng wneud.
6. Adeiladwch sianel adrodd di-fai ar gyfer bron-fethiannau a gwallau diogelwch-berthnasol, wedi'i chadw'n strwythurol ar wahân i benderfyniadau gwobr-berfformiad. Bydd gan system ddiogelwch sy'n cosbi adrodd gonest yr un gyfradd o wall sylfaenol o hyd — bydd yn syml yn stopio dod o hyd iddo hyd nes bod y niwed yn fwy ac yn anos ei guddio.
7. Rhowch i arolygwyr a chyrff graddio annibynnol fynediad gwirioneddol, cyllid wedi'i amddiffyn, a hawliau cyhoeddi na all y corff a arolygwyd eu feto. Mae arolygiaeth sy'n dibynnu ar ewyllys da'r sefydliad y mae'n ei raddio am ei chyllideb neu ei mynediad yn perfformio craffu, nid ei ddarparu.
8. Defnyddiwch ddyfarniad proffesiynol i ddehongli sgôr feintiol, yn hytrach na gadael i'r sgôr sefyll ar ei phen ei hun. Mae un graddiad cyfansawdd yn cywasgu realiti cyfoethog, anwastad i mewn i un ffigwr; cyhoeddwch y naratif ansoddol y tu ôl i raddiad arolygu ochr yn ochr â'r graddiad ei hun, fel y gall darllenydd weld beth mae'r rhif yn ei grynhoi.
9. Dyluniwch dargedau â'r staff rheng-flaen a gaiff eu mesur yn eu herbyn, nid ar eu cyfer yn unig. Fel arfer mae pobl agosaf at y gwaith yn gwybod y strategaeth gemio hawsaf cyn i unrhyw ddadansoddwr wneud; mae eu cynnwys mewn dylunio'n dwyn y risg honno i'r amlwg yn gynnar yn hytrach nag ar ôl i'r targed fod yn fyw eisoes.
10. Ardystiwch broses rheoli-ansawdd systematig, fel un wedi'i hadeiladu ar deulu safonau ISO 9000, fel llawr yn hytrach na disodliad ar gyfer mesur canlyniad. Mae ardystiad yn dangos bod proses gyson yn bodoli; nid yw ynddo'i hun yn dangos bod y broses yn cynhyrchu canlyniad da, ac mae trin y dystysgrif fel tystiolaeth ddigonol o ansawdd yn ffurf ei hun o obsesiwn mesur.
11. Cyhoeddwch gyfyngiadau hysbys targed ochr yn ochr â'r targed ei hun. Mae enwi, yn yr un adroddiad â'r ffigwr, beth nad yw'r mesur yn ei ddal a sut y gellid ei gemio'n gredadwy'n rhagflaenu'n union y darganfyddiad a fyddai fel arall yn niweidio cyfreithlondeb yn ddiweddarach (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb).

Cwestiynau i'w trafod gyda'ch tîm

Pa rai o'n targedau cyhoeddedig cyfredol y gellid eu taro heb i'r canlyniad sylfaenol wella o gwbl? Dyma'r cymhwysiad mwyaf uniongyrchol o gyfraith Goodhart sydd ar gael i unrhyw dîm, ac mae bron pob sefydliad sydd wedi rhedeg targedau rhifiadol am fwy na blwyddyn neu ddwy yn cario o leiaf un enghraifft fyw. Cerddwch trwy eich dangosyddion pennawd un ar y tro a gofynnwch, yn benodol, pa ymddygiad y mae pob un yn ei wobrwyo yn hytrach na beth y'i dyluniwyd i'w fesur. Trafodwch a yw staff rheng-flaen eisoes yn gwybod ffordd haws o symud y rhif na'r un a fwriadwyd, gan eu bod fel arfer yn gwneud ymhell cyn iddo gyrraedd arweinwyr uwch. Trinwch 'ni fyddai neb yn gwneud hynny yma' hyderus, heb ei archwilio fel rhywbeth sy'n werth ei ymchwilio ynddo'i hun yn hytrach na thawelwch meddwl.

Ble ydym wedi gadael allbwn hawdd-ei-gyfrif sefyll yn dawel yn lle dyfarniad ansawdd neu ddiogelwch gwirioneddol? Mae allbynnau bron bob amser yn rhatach ac yn gyflymach i'w casglu na chanlyniadau, sy'n creu temtasiwn barhaol i adrodd y cyntaf gan ddefnyddio iaith yr ail. Nodwch un dangosydd blaenllaw y mae eich sefydliad yn ei adrodd ar hyn o bryd a gofynnwch, fel grŵp, a yw'n mewn gwirionedd yn mesur ansawdd yr hyn a ddigwyddodd neu ddim ond cyfaint y gweithgaredd a gymerodd le. Trafodwch beth fyddai mesur ansawdd gwirioneddol ar gyfer yr un gweithgaredd yn ei ofyn i'w gasglu, a beth sydd wedi atal y sefydliad rhag ei gasglu hyd yn hyn. Yn aml mae'r cwestiwn hwn yn datgelu mai adnoddu yw'r rhwystr yn hytrach nag anhawster diffiniad.

Pe bai aelod o staff yn adrodd eu bron-fethiant neu wall eu hunain yn onest heddiw, beth fyddai'n digwydd iddynt mewn gwirionedd? Nid yw bodolaeth polisi di-fai'n dystiolaeth bod pobl yn credu ei fod yn gymwys iddynt yn bersonol. Trafodwch achos diweddar, gwirioneddol neu ddamcaniaethol, lle byddai datgeliad gonest o wall wedi profi'r polisi, a byddwch yn benodol am beth oedd y canlyniadau neu beth fyddent yn debygol o fod. Ystyriwch a yw eich adrodd diogelwch-berthnasol yn eistedd yn yr un system â'ch penderfyniadau gwobr-berfformiad, gan mai cymysgu'r ddau yw'r ffordd fwyaf cyffredin y mae diwylliant di-fai enwol yn cosbi didwylledd yn dawel beth bynnag. Mae'r cwestiwn hwn yn anghyfforddus yn ôl dyluniad; mae tîm na all ei drafod yn agored eisoes wedi'i ateb.

A oes gan ein corff arolygu neu raddio annibyniaeth wirioneddol oddi wrth y sefydliad y mae'n ei asesu, neu annibyniaeth ffurfiol yn unig? Mae annibyniaeth mewn enw'n gyffredin; mae annibyniaeth mewn cyllid, mynediad, a'r hawl i gyhoeddi canfyddiad anghroesawgar yn brinnach ac yn haws ei erydu'n raddol. Rhestrwch y perthnasoedd arolygu neu raddio y mae eich sefydliad yn ddarostyngedig iddynt a graddiwch bob un yn onest ar a fyddai'n goroesi ymgais benderfynol gan y corff a arolygwyd i siapio'r canlyniad. Trafodwch beth ddigwyddodd y tro diwethaf i arolygiad gynhyrchu canlyniad gwirioneddol anghroesawgar, ac a oedd yr ymateb yn trwsio'r broblem sylfaenol neu'n rheoli'r berthynas â'r arolygydd.

Pa un o ymatebion afluniaidd Smith i dargedau — golwg twnnel, obsesiwn mesur, camgyflwyniad, asgwrneiddiad — sydd fwyaf gweladwy ar hyn o bryd yn ein hadrodd ein hunain? Mae enwi'r modd methiant penodol, yn hytrach na thrafod gemio'n haniaethol, yn gwneud y sgwrs yn ddigon diriaethol i weithredu arni. Ewch trwy'r pedwar patrwm a gofynnwch pa un mae'r tîm yn ei adnabod yn ei brofiad diweddar ei hun, yn hytrach na thybio bod y sefydliad wedi'i eithrio oherwydd nad oes sgandal wedi digwydd eto. Trafodwch sut olwg fyddai ar gam cywiro ar gyfer y patrwm penodol hwnnw yn y cylch adrodd nesaf, nid fel ymrwymiad cyffredinol i 'wneud yn well ar fesur.'

Pe baem yn stopio adrodd ein targed pennawd cyfredol yn gyhoeddus am flwyddyn, beth fyddem yn ei golli mewn gwirionedd, a beth y gallem ei ennill? Mae'r cwestiwn hwn yn profi a yw targed yn gwirioneddol lywio penderfyniadau neu a yw wedi dod yn ddiben ynddo'i hun na fyddai neb yn ei amddiffyn pe gofynnwyd iddo ei gyfiawnhau o egwyddorion cyntaf. Trafodwch yn onest pa benderfyniad, os o gwbl, sydd wedi newid yn y flwyddyn ddiwethaf oherwydd y rhif penodol hwn, yn wahanol i benderfyniadau a fyddai wedi'u gwneud beth bynnag. Ystyriwch pa amser staff ac ystumiad ymddygiadol y mae'r targed yn ei gostio ar hyn o bryd, ac a fyddai mesur gwahanol, anoddach-ei-gemio'n gwasanaethu'r un pwrpas atebolrwydd yn well. Nid dadl dros gefnu ar fesur yw hon — disgyblaeth ar gyfer cadw dim ond y mesur sy'n ennill ei le ydyw.

Yn ymarferol: enghraifft gwerth cyhoeddus

Roedd gwasanaeth ambiwlans rhanbarth metropolitan o faint canolig — dychmygol, yn eglurhaol o batrwm yn hytrach nag adroddiad ar unrhyw gorff go iawn — wedi gweithredu am flynyddoedd o dan darged cyhoeddedig yn gofyn am ymateb brys o fewn wyth munud i'r galwadau mwyaf bygythiol-bywyd. Roedd y targed wedi'i osod â bwriad da, wedi'i gefnogi gan dystiolaeth glinigol bod cyflymder ymateb yn wirioneddol effeithio ar oroesiad ar gyfer categori diffiniedig o argyfyngau, ac roedd bwrdd y gwasanaeth yn trin canran gyhoeddedig y galwadau'n bodloni'r targed fel ei ddangosydd llwyddiant sefydliadol pwysicaf sengl.

Dros dair blynedd, gwellodd y ffigwr a adroddwyd yn gyson, o ychydig uwch na hanner y galwadau cymwys i bron naw o bob deg, a chyflwynodd arweinyddiaeth uwch y duedd ym mhob cyfarfod bwrdd fel tystiolaeth glir bod diwygiadau gweithredol yn gweithio. Yr hyn na ddangosodd y ffigwr pennawd oedd sut y cyflawnwyd y gwelliant mewn gwirionedd. Roedd trinwyr galwadau, yn ymwybodol bod eu perfformiad eu hunain yn cael ei asesu'n rhannol ar sail faint o alwadau y gwnaethant eu dosbarthu i mewn i'r categori targed-yn-cario, wedi dechrau — yn raddol, heb unrhyw benderfyniad sengl i wneud hynny — israddio cyfran gynyddol o alwadau gwirioneddol ddifrifol i mewn i gategori blaenoriaeth-is nad oedd y cloc wyth-munud yn gymwys iddo, yn syml oherwydd bod pwll llai, wedi'i ddiffinio'n dynnach o alwadau'n haws taro'r targed yn ei erbyn. Ar wahân, roedd criwiau wedi dysgu bod y cloc yn stopio'r eiliad yr oedd cerbyd yn cyrraedd y safle, nid pan gyrhaeddwyd claf mewn gwirionedd, a greodd gymhelliant bach ond gwirioneddol i barcio wrth y ffin yn hytrach na chyrraedd y claf gyflymaf.

Nid oedd yr un o'r arferion yn dwyllodrus yn yr ystyr o ffugio cofnod; roedd pob un yn ymateb resymegol yn lleol i darged yr oedd ei ddiffiniad yn creu lle ar gyfer yn union y drifft hon — enghraifft llyfr-testun o obsesiwn mesur a chamgyflwyniad yn gweithredu gyda'i gilydd. Daeth y broblem i'r amlwg nid trwy adrodd y gwasanaeth ei hun, a barhaodd i ddangos gwelliant, ond trwy arolygiad rheolaidd arolygiaeth iechyd ranbarthol annibynnol, a gyfunodd adolygiad ffeil-achos ag arsylwad uniongyrchol o drin galwadau a chanfod dosbarthiadau wedi'u israddio'n anghyson â'r manylder clinigol a gofnodwyd yn yr un galwadau. Syrthiodd graddiad yr arolygiaeth yn siarp, o ddisgrifiad cyfwerth â 'da' i 'angen gwelliant', er gwaethaf ffigwr amser-ymateb cyhoeddedig y gwasanaeth ei hun yn well nag y bu erioed.

Gwnaeth ymateb cychwynnol y gwasanaeth — pwyntio at ei ffigurau gwella ei hun — y broblem hygrededd yn waeth, oherwydd atebodd gwestiwn nad oedd yr arolygiaeth wedi'i ofyn; nid oedd yr arolygiad erioed wedi dadlau'r rhifyddeg, dim ond beth roedd y rhifyddeg yn ei fesur. Roedd ei ymateb mwy effeithiol yn ail-ddylunio'r gyfres ddangosydd o'r model rhesymeg sylfaenol yn hytrach na phatsio'r targed presennol: ailddiffiniwyd amser ymateb i eiliad cyswllt claf yn hytrach na chyrraedd cerbyd, archwiliwyd dosbarthiad galwadau'n annibynnol ar sampl treiglol yn hytrach na'i ymddiried i gofnod y trinwr ei hun, a chyflwynwyd mesur canlyniad-clinigol cyfochrog — goroesiad i dderbyniad ysbyty — oherwydd ei fod yn llawer anos ei gemio trwy ailddosbarthu'n unig. Syrthiodd y ganran amser-ymateb a adroddwyd yn y flwyddyn gyntaf o dan y diffiniad newydd, yr oedd y bwrdd wedi paratoi ei gyllidwyr i'w ddisgwyl; dangosodd y mesur canlyniad-clinigol, wedi'i olrhain am y tro cyntaf ar sail gymharadwy, welliant llai ond gwirioneddol na wnaeth y targed gwreiddiol erioed ei ddangos y naill ffordd na'r llall.

Pedwar lens sector

Llywodraeth leol

Fel arfer mae gwasanaethau lleol fel tân ac achub, gofal cymdeithasol oedolion, a chasglu gwastraff yn cael eu mesur yn erbyn cymysgedd o ddangosyddion cenedlaethol-mandadol na ddewisodd yr awdurdod lleol a mesurau wedi'u dewis yn lleol yn adlewyrchu blaenoriaethau cyngor penodol ei hun, felly gall un gwasanaeth gael ei farnu'n llwyddiant yn erbyn un set ddangosydd a phryder yn erbyn un arall. Yn aml caiff arolygu ar lefel leol ei draddodi gan gorff cenedlaethol neu ranbarthol â chylch gwaith statudol yn cwmpasu llawer o awdurdodau lleol ar unwaith, sy'n rhoi persbectif cymharol defnyddiol ond llai o gyd-destun lleol manwl na'r sefydliad y mae'n ei arolygu. Mae aelodau etholedig lleol a phwyllgorau craffu'n ychwanegu haen gyflymach, fwy uniongyrchol o atebolrwydd, ac yn aml y cyntaf i glywed gan breswylwyr pan mae ffigwr cyhoeddedig a phrofiad bywyd yn gwyro.

Llywodraeth genedlaethol

Fel arfer mae gan lywodraeth genedlaethol y cyfundrefnau perfformiad mwyaf a mwyaf gweladwy'n wleidyddol, oherwydd bod targed cenedlaethol — safon amser-aros, nod lleihau-trosedd, amcan cyfradd-pasio-arholiad — yn dod yn brocsi mewn dadl gyhoeddus ar gyfer cymhwysedd llywodraeth y dydd, sy'n codi'r peryglon ar gemio ymhell y tu hwnt i'r lefel weithredol. Dyma'r lleoliad lle mae dynameg 'targedau ac arswyd' Bevan a Hood yn cael ei wireddu fwyaf llawn, oherwydd fel arfer mae targedau cenedlaethol wedi'u parïo â chanlyniadau gwleidyddol gweladwy am eu methu, gan finiogi'r cymhelliant i reoli'r rhif yn hytrach na'r realiti y tu ôl iddo. Mae arolygiaethau cenedlaethol, yn union oherwydd eu bod yn gweithredu hyd braich oddi wrth y gweinidogaethau y gall graddiad effeithio ar eu ffortiwn gwleidyddol, yn cario cyfran anghymesur o'r baich ar gyfer dwyn y bwlch rhwng perfformiad a adroddwyd a gwirioneddol i'r amlwg (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb).

Sector cymdeithasol a di-elw

Yn amlach mae sefydliadau dielw a sefydliadau anllywodraethol yn wynebu sicrhau ansawdd a achrediad fel disgyblaeth wirfoddol neu wedi'i gorfodi-gan-gyllidwr yn hytrach nag fel cyfundrefn arolygu statudol, gan mai anaml y mae awdurdodaeth yn rhedeg arolygiaeth annibynnol bwrpasol ar gyfer y sector yn ei gyfanrwydd. Mae hyn yn gadael sicrhau ansawdd sector-cymdeithasol yn fwy darniog — gwahanol gyllidwyr yn gosod gofynion gwahanol ar yr un sefydliad — ond hefyd yn fwy hyblyg, gan y gall sefydliad dielw'n aml ddylunio ei gyfres ddangosydd ei hun o amgylch ei damcaniaeth newid wirioneddol yn hytrach na set o fesurau wedi'u gosod o'r tu allan. Mae absenoldeb arolygydd allanol gorfodol yn codi pwysigrwydd cymharol bwrdd annibynnol ac archwiliad allanol fel disodliad atebolrwydd-llorweddol y sector ei hun (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb), gan mai arweinyddiaeth sefydliad dielw ei hun fel arall yw'r mesurydd a'r hyn a fesurir ill dau.

Amlochrog a rhyngwladol

Mae cyrff amlochrog a'r mynegeion cymharol y maent yn eu cyhoeddi neu'n dibynnu arnynt — safleoedd traws-wlad o ansawdd llywodraethiant, hawddineb gwneud busnes, neu berfformiad gwasanaeth-cyhoeddus — yn wynebu cyfraith Goodhart ar raddfa llywodraethau cenedlaethol cyfan, lle gall gwlad wella ei safle trwy ddiwygiadau wedi'u targedu'n gul at y meini prawf a fesurwyd yn hytrach na'r cyflwr ehangach y mae'r mynegai'n honni ei gynrychioli. Nid oes gan arolygiad annibynnol yn yr ystyr domestig a ddefnyddir mewn mannau eraill yn y pwnc hwn gyfatebol gwirioneddol ar draws ffiniau sofran, gan nad oes unrhyw wladwriaeth yn derbyn arolygiaeth allanol â'r statws gorfodol sydd gan gorff cenedlaethol dros asiantaeth y mae'n ei goruchwylio; mae sicrhau ansawdd amlochrog yn lle hynny'n dibynnu ar adolygiad cymheiriaid, hunan-adrodd wedi'i ddilysu gan genadau technegol, a chost enw-da graddiad cyhoeddedig. Mae hyn yn gwneud annibyniaeth a hygrededd technegol y corff sy'n llunio unrhyw ddangosydd traws-wlad yn arbennig o bwysig, gan mai dyna'r unig wiriad sydd ar gael yn aml.

Moddau methiant cyffredin

Golwg twnnel. Mae sefydliad yn crynhoi ymdrech ac adnodd ar beth bynnag a fesurir, ar draul uniongyrchol agweddau heb eu mesur o'r un gwasanaeth sydd yr un mor bwysig i'r bobl y mae'n eu gwasanaethu. Mae'r gost yn wasanaeth sy'n edrych fel pe bai'n gwella ym mhob adroddiad cyhoeddedig tra bo dimensiwn heb ei fesur — urddas claf, cymhlethdod achos, canlyniadau tymor-hir — yn dirywio'n dawel, heb ei sylwi hyd nes bod yn argyfwng digon mawr i orfodi mesur newydd.

Obsesiwn mesur. Daw llwyddiant ar y dangosydd i gael ei drin, y tu mewn i'r sefydliad, yn gyfwerth â llwyddiant ar yr amcan sylfaenol, fel bod y procsi'n disodli'r nod yn sylw gwirioneddol pawb hyd yn oed tra bo'r datganiad cenhadaeth ffurfiol yn dal i enwi'r nod. Mae'r gost yn fwlch cynyddol, hunan-atgyfnerthol rhwng perfformiad a adroddwyd a realiti bywyd, oherwydd nid oes neb y tu mewn i'r sefydliad bellach yn gwylio'r realiti'n uniongyrchol.

Camgyflwyniad. Addasir data — cloc wedi'i stopio'n gynnar, achos wedi'i ailddosbarthu, enwadur wedi'i ddewis am effaith ffafriol — fel bod y ffigwr a adroddwyd yn gwella heb i'r realiti sylfaenol newid o gwbl, fel yn yr enghraifft waith uchod. Mae'r gost, unwaith y'i darganfyddir, yn anghymesur i'r ystumiad gwreiddiol, oherwydd mae camgyflwyniad yn niweidio nid dim ond y ffigwr penodol ond hygrededd pob rhif arall y mae'r un sefydliad erioed wedi'i gyhoeddi (gweler Pwnc 3.4 — Atebolrwydd, Tryloywder, a Chyfreithlondeb).

Asgwrneiddiad. Caiff targed a osodwyd ar gyfer cyd-destun gweithredu penodol ei adael heb ei ddiwygio ymhell ar ôl i'r cyd-destun hwnnw newid, felly mae'n parhau i gael ei adrodd a'i reoli yn ei erbyn er nad yw bellach yn gwahaniaethu rhwng perfformiad gwirioneddol dda a gwirioneddol wael. Mae'r gost yn anweledig am flynyddoedd, oherwydd mae targed asgwrneiddiedig yn dal i gynhyrchu rhif; mae'r rhif yn syml wedi stopio golygu unrhyw beth, ac mae sylw rheoli gwirioneddol y sefydliad fel arfer eisoes wedi symud i rywle arall heb i unrhyw un ymddeol y mesur yn ffurfiol.

Daliad arolygiaeth. Mae corff arolygu neu raddio annibynnol yn dod yn raddol ddibynnol ar ewyllys da, mynediad, neu gydweithrediad parhaus y sefydliadau y mae'n eu harolygu, boed trwy drefniadau ariannu, llwybrau gyrfa sy'n symud staff rhwng arolygydd a'r hyn a arolygir, neu berthnasoedd anffurfiol wedi'u hadeiladu dros arolygiadau ailadroddol. Mae'r gost yn golled araf o annibyniaeth wirioneddol nad yw siarter neu statud ffurfiol yn ei atal ynddo'i hun, ac fel arfer dim ond pan mae methiant mawr yn mynd trwy system raddio a ddylai fod wedi ei ddal y daw i'r amlwg.

Adrodd diogelwch wedi'i yrru gan fai. Mae system adrodd gwall neu fron-fethiant diogelwch-berthnasol yn enwol yn ddi-fai ond, mewn ymarfer, yn ddigon agos wedi'i chysylltu ag arfarniad perfformiad neu broses ddisgyblaethol fel bod staff yn dysgu bod adrodd camgymeriad gonest yn cario risg bersonol. Nid llai o wallau yw'r gost — llai o adroddiadau am y gwallau sy'n parhau i ddigwydd, sy'n tynnu'n union y signal rhybudd-cynnar y mae system ddiogelwch yn bodoli i'w ddarparu cyn i'r digwyddiad nesaf, mwy difrifol ddigwydd.

Model aeddfedrwydd

Rhestr wirio

• Olrhain pob dangosydd perfformiad pennawd yn ôl i'r model rhesymeg neu fframwaith canlyniadau y mae i fod i'w gynrychioli.
• Nodi'r ffordd fwyaf credadwy y gellid gemio pob targed cyhoeddedig, ac enwi mesur cydbwyso a fyddai'n ei ddatgelu.
• Cadarnhau nad yw pwy bynnag sy'n gosod targed, pwy bynnag a fesurir yn ei erbyn, a phwy bynnag sy'n gwirio'r canlyniad yn annibynnol i gyd yn rhan yr un o'r sefydliad.
• Amserlennu adolygiad cylch-sefydlog o bob targed byw, yn annibynnol ar unrhyw fethiant gweladwy'n ei sbarduno.
• Cadarnhau bod y sianel adrodd diogelwch-berthnasol yn strwythurol ar wahân i benderfyniadau gwobr-berfformiad a disgyblaethol.
• Profi a yw staff yn credu y byddai gwall neu fron-fethiant a adroddwyd yn onest yn cael ei drin heb fai, nid dim ond a yw polisi'n dweud hynny.
• Cadarnhau bod gan unrhyw gorff arolygu neu raddio sy'n asesu'r sefydliad gyllid, mynediad, a hawliau cyhoeddi wedi'u hamddiffyn.
• Cyhoeddi cyfyngiadau hysbys pob targed pennawd ochr yn ochr â'r ffigwr ei hun.
• Gwirio a yw unrhyw ddangosydd wedi'i daro'n gyson am sawl cyfnod heb ymchwiliad cyfatebol i pam.
• Cynnwys staff rheng-flaen yn nylunio unrhyw darged newydd cyn iddo fynd yn fyw.
• Cadarnhau bod ardystiad rheoli-ansawdd, lle mae un yn bodoli, yn cael ei drin fel llawr ac nid ei ddyfynnu fel tystiolaeth o ganlyniadau da ar ei ben ei hun.

Ffynonellau allweddol

• Fformwleiddiad 1975 Charles Goodhart o'r hyn a ddaeth yn hysbys fel cyfraith Goodhart, wedi'i ddatblygu yng nghyd-destun targedu polisi ariannol.
• Marilyn Strathern, ''Improving ratings': audit in the British university system', European Review, 5(3) (1997), 305–321 — yr ailddatganiad sector-cyhoeddus eang ei ddyfyniad o gyfraith Goodhart.
• Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector', International Journal of Public Administration, 18(2–3) (1995), 277–310 — ffynhonnell deipoleg golwg-twnnel, obsesiwn-mesur, camgyflwyniad, ac asgwrneiddiad y mae'r pwnc hwn yn tynnu arni.
• Gwyn Bevan a Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System', Public Administration, 84(3) (2006), 517–538 — yr astudiaeth 'targedau ac arswyd' o gemio o dan ganlyniadau difrifol.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — cyfrif eang o fethiant mesur ar draws addysg, gofal iechyd, busnes, a llywodraeth.
• Swyddfa Archwilio Genedlaethol y DU, 'Performance measurement by regulators', a chanllawiau Government Accountability Office UDA yn gwahaniaethu mesurau perfformiad oddi wrth werthuso rhaglenni.
• Comisiwn Ansawdd Gofal ac Ofsted, fel enghreifftiau o gyrff arolygu a graddio annibynnol yn gweithredu hyd braich oddi wrth y sefydliadau y maent yn eu hasesu.

Cyfeiriadau

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted