Tõendite süntees ja see, mis toimib

Miks see avaliku väärtuse jaoks oluline on

Ministril, linnapeal või heategevusorganisatsiooni programmijuhil on harva luksus tegutseda ühe, puhta uuringu põhjal. Sagedamini on laual kolm hindamist, mis on omavahel vastuolus, kirjanduse ülevaade, mis neid valikuliselt tsiteerib, huvigrupp, kes vehib ühe katsega, mis sobib selle asjaga, ja tähtaeg, mille on seadnud eelarvetsükkel, mitte uurimistöö tempo. Tõendite süntees eksisteerib, sest üksikud uuringud on mürarikkad: valimid on väikesed, kontekstid erinevad ja iga tulemus võib olla juhus, kohalik sobivus, mis ei reisi, või tõeline mõju. Küsimus, millele juht vastust vajab, on harva „mida see üks uuring leidis?", vaid „kõige selle põhjal, mis usutavat on proovitud, mida peaksin ootama, kui teen seda siin, praegu?"

Avaliku väärtuse teooria teeb sellest enamat kui tehnilise peenuse. Kollektiivsete ressurssidega rahastatud programm toetub väärtuspakkumisele, mille kodanikud koos volitaksid (vt Teema 2.1 — Avaliku väärtuse tulemuskaart ja tulemusraamistikud, kuidas seda pakkumist sõnastatakse ja jälgitakse). Pakkumine, mis on ehitatud ühele valikuliselt sobivale uuringule või üldse mitte mingile tõendite ülevaatele, on nõrgem legitiimsuse väide kui hoolikale sünteesile ehitatu – ja nõrgem alus tegevussuutlikkusele, sest töötajad ja eelarved pühendatakse selle põhjal. „Mis toimib" liikumine – sõltumatute organite võrgustik, mis hindavad poliitikatõendite kvaliteeti ja tugevust – kasvas otse sellest probleemist: liiga paljud avalikud otsused tehti kõige valjema, mitte kõige paremini toetatud uuringu põhjal.

Raskem probleem, mida see teema käsitleb, on see, mida juht teeb, kui süntees ise on ebaselge, vaidlustatud või lihtsalt õigeaegselt kättesaamatu. Tõendite hierarhiad ehitati korra loomiseks segases tõendusbaasis, kuid hooletult kasutatuna muutub „tõendid ei ole veel piisavalt tugevad" püsivaks ettekäändeks vältida otsust, mida tegelikkus tegelikult ei oota. Juht, kes mõistab, kuidas süntees toimib ja kus on selle piirid, suudab eristada tõelist ebakindlust, mis õigustab ettevaatust, hierarhiast, mida kasutatakse tegevusetuse katteks.

See teema on loomulik jätk põhjusliku järeldamise meetoditele, millele süntees tugineb (vt Teema 2.4 — Avaliku sektori ökonomeetria ja programmide hindamine), ning asub tulemusraamistike kõrval, mitte nende asemel, mida süntees lõpuks teenib (vt Teema 2.1 — Avaliku väärtuse tulemuskaart ja tulemusraamistikud). Juht, kes suudab lugeda süstemaatilist ülevaadet, mõista „mis toimib" hinnangut ja arutleda selgelt puuduvate versus negatiivsete tõendite üle, teeb paremaid reaalajas otsuseid kui see, kes suudab ainult nõuda „rohkem tõendeid" või aktsepteerida esimest talle ulatatud uuringut.

Põhimõisted

Süstemaatiline ülevaade on tõendite süntees määratletud küsimuse kohta, mis kasutab selgesõnalist, eelnevalt täpsustatud, reprodutseeritavat meetodit uuringute leidmiseks, hindamiseks ja kombineerimiseks, erinevalt narratiivsest kirjanduse ülevaatest, mis valib allikaid autori äranägemisel (vt Süstemaatiline ülevaade). Selle määratlevad tunnused on registreeritud protokoll, mis on kirjutatud enne otsingu algust, otsingustrateegia, mis hõlmab avaldamata ja hallikirjandust, selgesõnalised kaasamiskriteeriumid ja standardmeetod iga uuringu kallutatuse riski hindamiseks. See on see, mis eraldab süstemaatilise ülevaate hästi kirjutatud esseest joonealuste märkustega: teine meeskond, kes järgib sama protokolli, leiaks laias laastus samad tõendid ja jõuaks laias laastus sarnase järelduseni.

Metaanalüüs on statistiline tehnika, mida kõige sagedamini seotakse süstemaatilise ülevaatega: see koondab kvantitatiivsed mõjusuurused mitmest sõltumatust uuringust üheks täpsemaks hinnanguks, tavaliselt kaaludes iga uuringut selle valimi suuruse ja kvaliteedi järgi (vt Metaanalüüs). Metaanalüüs on ainult nii hea kui seda toitvad uuringud; viie nõrga uuringu koondamine toodab täpsema hinnangu võimalikult kallutatud mõjule, mitte usaldusväärse. Analüütikud annavad seetõttu aru heterogeensusest – kui palju uuringu tulemused varieeruvad üle selle, mida juhus ennustaks –, sest kõrge heterogeensus annab märku, et uuringud ei testinud tegelikult sama asja, ja üks koondatud arv võib eksitada.

Avaldamiskallutatus on kalduvus, et positiivsete, oluliste tulemustega uuringud avaldatakse, samal ajal kui null- või negatiivsed tulemused istuvad teadlase sahtlis, muutes sekkumise kirjanduses järjepidevamalt tõhusaks, kui see tegelikult on (vt Avaldamiskallutatus). Range ülevaade korrigeerib seda, otsides katseregistreid ja avaldamata hindamisi, mitte ainult ajakirjaartikleid. Lugeja, kes loeb sünteesi, mis on ehitatud ainult avaldatud töödele, peaks küsima, mida ülevaatajad tegid, et leida uuringud, mis ei jõudnud kunagi trükki.

Tõendite hierarhia järjestab uuringudisainid selle järgi, kui hästi nad kontrollivad segavaid tegureid ja kallutatust, asetades tavaliselt randomiseeritud katsete metaanalüüsid tippu, järgmiseks üksikud randomiseeritud kontrollitud katsed, seejärel kvaasieksperimentaalsed ja vaatlusdisainid, ning eksperdiarvamuse põhja (vt Tõendite hierarhia). Randomiseeritud kontrollitud katse jaotab osalejad sekkumis- või võrdlusrühma juhuse alusel, ainus kõige võimsam vahend põhjusliku mõju isoleerimiseks kõigest muust, mis ümberringi toimub (vt Randomiseeritud kontrollitud katse; vt Teema 2.4 — Avaliku sektori ökonomeetria ja programmide hindamine, kuidas selliseid disaine ehitatakse ja analüüsitakse). Hierarhia on tõeliselt kasulik heuristika, kuid heuristika, mitte seadus: hästi läbi viidud vaatlusuuring harvaesineva või aeglaselt liikuva poliitika kohta võib ületada halvasti läbi viidud, alavõimsa katse ja juht, kes käsitleb seda absoluutse järjestusena, jätab mõnikord kõrvale asjakohasema tõendi prestiižsema disaini kasuks.

GRADE lähenemine – Grading of Recommendations, Assessment, Development and Evaluations – formaliseerib teise, eraldi otsustuse, mida hierarhia üksi ei tee: see hindab nii tõendite kindlust kui ka, sõltumatult, soovituse tugevust selle põhjal tegutsemiseks, sest tugevad tõendid ei õigusta alati tugevat soovitust ja nõrgad tõendid ei õigusta alati tegevusetust tõsise, pakilise kahju vastu (vt GRADE lähenemine). See eraldus on selle teema üks kõige kasulikum idee ajapuuduses otsustajale: see laseb juhil ausalt öelda „tõendid siin on mõõdukad ja arvestades panuseid ning ootamise kulu, soovitan jätkata" – kaitstav, dokumenteeritud otsustus, mitte vale valik kindluse ootamise ja tõendite täieliku ignoreerimise vahel.

Eristus, mis kordub pidevalt elavas poliitikadebatis, on tõendite puudumise ja puudumise tõendi vahel: uuringute puudumine sekkumise mõju kohta („mõju tõendid puuduvad") ei ole sama väide kui hästi võimsustatud uuringute kogum, mis positiivselt leidis mõju puudumise („tõend mõju puudumise kohta") (vt Puudumise tõend). Uus kohalik programm, millel pole veel hindamisi, on lihtsalt testimata; hästi uuritud riiklik programm, mille kohta on korduvalt leitud, et see ei liiguta ühtegi tulemust, on testitud ja näidatud mitte toimivat. Nende kahe segiajamine on üks kõige tagajärjerikkamaid vigu, mida avaliku sektori juht saab teha: testimata, kuid paljutõotava pilootprojekti tapmine, justkui oleks see ebaõnnestunud, või korduvalt ümberlükatud programmi rahastamise jätkamine, justkui poleks keegi piisavalt lähedalt vaadanud.

Tõenduspõhine poliitika on laiem liikumine ja normatiivne väide, et avalikud otsused peaksid tuginema rangelt kindlaks tehtud tõenditele, mitte ideoloogiale, anekdootidele ega ainuüksi intuitsioonile (vt Tõenduspõhine poliitika). Selle kriitikud ja üha enam selle enda pooldajad eelistavad „tõendustega teavitatud poliitikat", mis tunnistab, et tõendid on üks sisend mitme seas – väärtused, mandaat, kulu ja legitiimsuse küsimused, mida see raamat käsitleb alusena –, mitte mehaaniline otsustusreegel, mille tõendid üksi lahendada saavad.

Sellest liikumisest kasvas välja „mis toimib" keskuse või teabekeskuse muster: sõltumatu organ, mis süstemaatiliselt vaatab üle poliitikavaldkonna sekkumiste tõendid ja avaldab ligipääsetavad, võrreldavad hinnangud, selle asemel et lasta igal kohalikul tellijal oma ülevaade läbi viia. Cochrane oli selle mudeli teerajaja tervishoius alates 1993. aastast, hoides elavat metoodikakäsiraamatut süstemaatiliste ülevaadete jaoks, mida kasutatakse kaugele meditsiinist väljapoole (vt Cochrane (organisatsioon)). Campbell Collaboration laiendas sama metoodikat sotsiaalpoliitikale, kriminaalõigusele, haridusele ja rahvusvahelisele arengule (vt Campbell Collaboration). Riiklikud teabekeskused järgnesid: Ameerika Ühendriikide What Works Clearinghouse, mida juhib selle Institute of Education Sciences alates 2002. aastast, vaatab üle haridusuuringud selgesõnaliste disainistandardite vastu (vt What Works Clearinghouse); Inglismaa Education Endowment Foundation avaldab laialdaselt kasutatavat Teaching and Learning Toolkit'i, mis hindab klassiruumi sekkumisi kulu, tõendite tugevuse ja tüüpilise mõju alusel ühes võrreldavas vormingus (vt Education Endowment Foundation). Samaväärsed keskused eksisteerivad kuritegevuse vähendamiseks, varajaseks sekkumiseks, kodutuse vastu ja tervena vananemiseks – väike rahvusvaheline perekond, mis on ehitatud samale meetodile: süstemaatiline ülevaade, läbipaistev hinnang ja praktikule suunatud kokkuvõte, mille lugemiseks ei ole vaja metoodikut.

Parimad tavad

1. Küsige sünteesi enne üksikut uuringut. Kui silmatorkav tulemus ilmub teie lauale, küsige esmalt, kas selle sekkumise kohta eksisteerib juba süstemaatiline ülevaade või „mis toimib" hinnang, mitte seda, kas uuring paistab eraldi veenev.
2. Lugege aluseks olevat ülevaadet koos mis tahes tööriistakomplekti hinnanguga, mitte selle asemel. Ühe rea hinnang või lukuikoon võtab otsustuse kokku; see ei ole asendus mõistmisele, millistele tõenditele see tugineb ja kui otseselt see teie konteksti kehtib.
3. Eraldage tõendite kvaliteet oma soovituse tugevusest selgesõnaliselt. Laenake GRADE loogika isegi mitteametlikult: öelge, kui kindlad tõendid on, seejärel öelge eraldi, kui tugevalt see kindlus koos panuste ja kuluga õigustab kohest tegutsemist.
4. Nimetage, kas teil on tegemist „tõendid pole veel" või „tõend mõju puudumise kohta" enne otsustamist. Pange see eristus kirjalikult igasse tõenditeadetesse, sest kaks olukorda õigustavad peaaegu vastupidiseid vastuseid – ettevaatlik pilootimine versus peatamine või ümberkavandamine.
5. Kontrollige ülevaate konteksti ja oma konteksti vastavust enne eeldamist, et mõju kandub üle. Mujal läbi viidud uuringutest koondatud mõjusuurus on keskmine, mitte lubadus; küsige, mis algselt mõju moduleeris ja kas need moduleerijad on siin olemas.
6. Tellige kiire tõendite hindamine, kui täielik süstemaatiline ülevaade ei mahu teie ajakavasse. Olemasoleva kirjanduse struktureeritud, ajapiiranguga ülevaade – päevad või nädalad, mitte kuud – on legitiimne keskmine tee uue esmaste uuringute ja ülevaate puudumise vahel.
7. Avaldage oma hindamised olenemata tulemusest. Null- ja negatiivsed leiud on järgmisele sünteesile sama väärtuslikud kui positiivsed; nende tagasihoidmine süvendab avaldamiskallutatust, mis õõnestab igat tulevast ülevaadet teie valdkonnas.
8. Looge püsiv suhe „mis toimib" keskuse või teabekeskusega oma valdkonnas enne, kui seda vajate. Sünteesiorgani tööriistakomplekti külma otsimine esimest korda reaalajas kriisi ajal on palju aeglasem kui juba teada, mida see katab ja keda lünga kohta küsida.
9. Seadke oma tõendiläve enne tulemuste saabumist, mitte pärast. Leppige ette kokku, milline tõendite tase õigustaks skaleerimist, edasist pilootimist või peatamist, et vähendada kiusatust tõlgendada ebaselgeid leide ümber, et need sobiksid juba tehtud otsusega.
10. Piirake aega, mille kulutate uuringu otsimisele, mis kõrvaldaks kogu kahtluse. Täiusliku, ühemõttelise tõendusbaasi ootamine on ise otsus, tavaliselt jätkata sellega, mida juba teete; seadke tähtaeg, mis austab viivituse kulu sama palju kui nõrkade tõendite põhjal tegutsemise kulu.
11. Käsitlege sünteesi väärtuspakkumise sisendina, mitte selle asendajana. Parimini toetatud sekkumine ei ole automaatselt õige valik, kui kulu, jaotuslik mõju ja legitiimsus on selle kõrval kaalutud (vt Teema 2.1 — Avaliku väärtuse tulemuskaart ja tulemusraamistikud).
12. Dokumenteerige, milliseid tõendeid te kaalusite ja miks kaalusite neid nii, nagu kaalusite. Kirjalik ülevaade vaadeldud uuringutest ja lõpliku otsustuse arutlus kaitseb nii otsuse legitiimsust kui ka järgmise ülevaataja võimet sellest õppida.

Küsimused arutamiseks oma meeskonnaga

Millal me viimati muutsime elavat otsust, sest süstemaatiline ülevaade või „mis toimib" hinnang oli vastuolus sellega, mida me juba teha kavatsesime? Kui aus vastus on „mitte kunagi", väärib see seal istumist, sest see viitab sellele, et tõendite ülevaade võib toimida kinnitusharjutusena, mitte tõelise kontrollina. Arutage hiljutist otsust, kus tõendusbaas oli segane, ja käige läbi, kas see tegelikult valikut kujundas või koguti peamiselt toetamaks eelnevalt tehtud järeldust. Kaaluge, mis peaks muutuma selles, kuidas tõendid otsustajateni jõuavad ja millal, et nad omaksid tõelist mõju, mitte sümboolset kaalu.

Kas me käsitleme kusagil „mõju tõendite puudumist" justkui oleks see „tõend mõju puudumise kohta" või vastupidi? Käige läbi oma praegune programmiportfell ja tuvastage iga programm, mille olete vaikselt madalama prioriteediga muutnud, sest „tõendeid pole", ning kontrollige, kas see tähendab tõeliselt testimata või tõeliselt ümber lükatud. Tehke sama teises suunas: iga programm, mida jätkate rahastamist, sest „keegi pole näidanud, et see ei toimi", kui tegelikult pole keegi vaadanud. Arutage, mis oleks vaja kahe-kolme tagajärjerikkama näite parandamiseks ja kes peaks selle parandamist omama.

Kui otsus vajaks tõendeid reedeks, kas meil on tegelikult kiire tõendite hindamise protsess või improviseeriksime selle surve all? Ajasurve ei ole hüpoteetiline; see on tavaline tingimus, mille all enamik tegelikke tõenduspõhiseid otsuseid tehakse. Arutage, kas teie organisatsioonil on püsiv meetod – nimetatud meeskond, mall, lühike nimekiri „mis toimib" keskustest, mida esmalt kontrollida – või alustab iga kiireloomuline taotlus tühjalt lehelt. Kui viimane, arutage, milline näeks välja minimaalselt elujõuline kiire hindamise protsess ja kes seda omaks.

Kelle tõendite hierarhiat me tegelikult kasutame ja kas see sobib selle otsuse panuste ja tagasipööratavusega? Erinevad valdkonnad rakendavad oma tõendistandardeid erinevalt ning pöördumatute, kõrge panusega otsuste jaoks kalibreeritud hierarhia ei ole alati õige lävi odava, pööratava, hõlpsasti jälgitava pilootprojekti jaoks. Arutage, kas teie organisatsioon rakendab ühte tõendistandardit ühtlaselt olenemata panustest ja kas see kaitseb teid halbade otsuste eest või aeglustab lihtsalt häid. Leppige meeskonnana kokku, millist standardit tuleks nõuda teie päevakorra järgmise kolme otsuse jaoks, enne kui te teate, mida tõendid ütlevad.

Mida me oleme konkreetselt teinud, et peatada oma hindamiste kadumine sahtlisse? Iga avaldamata nullleid, millel teie organisatsioon istub, on lünk, mida mõni teine organisatsioon peab raskel teel uuesti avastama. Arutage ausalt oma kogemust: mitu teie viimasest 10 hindamisest jagati väliselt ja mis juhtus nendega, mida ei jagatud. Leppige kokku konkreetne, ressursseeritud kohustus – avaldamispoliitika, jagatud register – mitte üldine püüdlus olla läbipaistvam.

Kas me kasutame fraasi „vajame rohkem tõendeid" ausalt või viisina vältida otsust, mida me ei taha teha? See on selle teema kõige ebamugavam küsimus ja see väärib otse küsimist. Tuvastage konkreetne otsus, mis praegu tõendipõhjustel seisab, ja arutage avameelselt, mis teie meelt tegelikult muudaks ning kas tõendid, mida ootate, saabuvad realistlikult õigeaegselt. Kui ei, arutage, milline näeks välja aus otsus tõelise ebakindluse all jätkuva ootamise asemel ja kellel on volitus see teha.

Praktikas: avaliku väärtuse näide

Piirkondlik tööhõiveamet, tööturuprogrammide eest vastutava riikliku valitsusosakonna osa, oli surve all otsustada ühe eelarvetsükli jooksul, kas skaleerida töökoolituse pilootprojekt kolmest piirkonnast kogu regioonini. Pilootprojekt ühendas subsideeritud töökohapraktika ja struktureeritud mentorluse ning ameti enda randomiseeritud katse kolmes pilootpiirkonnas leidis tagasihoidliku, kuid statistiliselt olulise püsiva tööhõive kasvu 12 kuu möödudes. Rivaalitsev tõendiallikas muutis pildi keerulisemaks: eelmisel aastal avaldatud süstemaatiline ülevaade, mis koondas üheksa sarnast programmi mitmes riigis, leidis peaaegu nullilähedase keskmise mõju, suure variatsiooniga uuringute vahel ja ilma selge mustrita, mis selgitaks, millised programmid toimisid.

Ameti tõendiüksusel oli kuus nädalat eelarve esitamise tähtajani, et kahte leidu ühitada. Noorema analüütiku esimene instinkt oli käsitleda koondatud ülevaadet autoriteetsemana lihtsalt seetõttu, et see kombineeris rohkem uuringuid, ja soovitada pilootprojekt lõpetada. Üksuse juhtiv tõendinõustaja astus vastu: peaaegu nullilähedane koondatud keskmine tõeliselt erinevate programmide vahel ei olnud tugev tõend, et see konkreetne, hästi teostatud kohalik programm ebaõnnestuks – see oli tõend, et töökoolitusprogrammid üldiselt on kvaliteedilt ja sobivuselt heterogeensed, mis oli juba teada. Ülevaates teatatud kõrge heterogeensus oli ise olulisem leid kui koondatud keskmine.

Nõustaja pakkus välja keskmise tee, mitte binaarse valiku. Ta soovitas etapiviisilist skaleerimist pooleni regioonist, laienduspiirkondadega, mis valiti juhuslikult, nii et kasutuselevõtt ise tekitas edasisi tõendeid, mitte ainult ei kulutanud eelduse vastu (vt Teema 2.4 — Avaliku sektori ökonomeetria ja programmide hindamine, kuidas etapiviisilist kasutuselevõttu saab kavandada edasise hindamisena). Ta soovitas ka avaldada algse katse täielikult, meetodid ja töötlemata andmed kaasa arvatud, et selle saaks üles võtta järgmine süstemaatiline ülevaade, mitte istuda sisemises aruandes, mida keegi väljaspool ametit kunagi ei näeks.

Osakonna juhtkond kiitis heaks etapiviisilise lähenemise, mis oli selgesõnaliselt raamitud ärijuhtumis (vt Teema 2.5 — Ärijuhtumid ja raha eest saadav väärtus) otsusena, mis tehti mõõduka kindlusega tõendite all, sisseehitatud mehhanismiga ebakindluse lahendamiseks 18 kuu jooksul, mitte otsusena, mis tehti, sest tõendid olid otsustavad. 18 kuu pärast näitasid laienduspiirkonnad algse pilootprojekti lähedast mõju ja osakond skaleeris edasi tugevama tõendusbaasiga kui kumbki allikas üksi oli pakkunud – ja selge paberiloo, mis näitas, miks see oli valinud tegutsemise ootamise asemel.

See stsenaarium on illustratiivne ja väljamõeldud; see ei kirjelda ühegi tegeliku osakonna programmi ega hindamist.

Neli sektoriläätse

Kohalik omavalitsus

Kohalikul omavalitsusel on harva eelarvet või juhtumikoormust oma süstemaatilise ülevaate tellimiseks, nii et selle praktiline oskus on riikliku ja rahvusvahelise sünteesi tõendite tõlkimine konkreetsesse kohalikku konteksti reaalse ajasurve all – kontrollides, kas tööriistakomplektiga hinnatud sekkumise tõendusbaas sarnaneb selle enda elanikkonna, teenindussüsteemi ja rahastustasemega, enne kui eeldatakse, et hinnatud mõju kandub üle. Kohalikud juhid on ka lähimal mõlema selle teema hoiatatud vea kulule: tegutsemine sekkumise põhjal, mida süntees on juba näidanud mitte toimivat, ja tõeliselt paljutõotava, kuid alahinnatud kohaliku uuenduse tagasilükkamine, sest ükski „mis toimib" keskus pole seda veel hinnanud.

Riigivalitsus

Riigivalitsus on koht, kus asub enamik „mis toimib" keskusi ja ametlikke tõendite hierarhia juhiseid, andes riiklikele osakondadele läheduse sünteesitaristule, kuid ka suurima eksponeerituse tõendite hierarhia käsitlemisele bürokraatliku väravana, mitte otsuseabina. Iseloomulik riiklik ülesanne on selle taristu tellimine ja hooldamine – teabekeskuse rahastamine, selle tõendistandardite seadmine ja tagamine, et selle hinnangud jõuavad tegelikult ärijuhtumeid kirjutavate ametnikeni (vt Teema 2.5 — Ärijuhtumid ja raha eest saadav väärtus), selle asemel, et eksisteerida hästi hinnatud veebisaiduna, mida poliitikameeskonnad tähtaja surve all harva konsulteerivad.

Sotsiaalsektor ja mittetulundussektor

Mittetulundusühingutel ja heategevusorganisatsioonidel puuduvad tavaliselt ressursid rangete hindamiste läbiviimiseks suures mõõtkavas, mis teeb neid tugevalt sõltuvaks välistest sünteesiorganitest ja üha enam rahastajatest, kes nõuavad vastavust hinnatud tõendustasemega toetuse tingimusena. See loob eristava riski: finantssurve all olevad organisatsioonid võivad kiusatuda liialdama, kui hästi nende programm soodsale hinnangule kaardistub – tõendite pesemise vorm –, või vastupidi, väikesed, kuid tõeliselt tõhusad kohalikud heategevusorganisatsioonid võivad rahastusest välja pigistatud saada, sest nad ei ole kunagi olnud piisavalt suured, et genereerida tõendeid, mida riiklik teabekeskus kõrgelt hindab (vt Teema 3.8 — Sotsiaalsektori ja mittetulundussektori juhtimine selle surve taga olevate rahastamisstruktuuride kohta).

Mitmepoolne ja rahvusvaheline

Mitmepoolsed ja rahvusvahelised organid seisavad silmitsi üldistatavuse probleemiga selle kõige teravamal kujul: ühe riigi tervishoiusüsteemis, põllumajandussektoris või tööturul tõestatud sekkumist pakutakse rutiinselt väga erinevasse majanduslikku ja institutsionaalsesse konteksti ning sünteesikirjandus on parem selle toetamata ülekande märkamisel pärast tõsiasja kui enne. Uurimisvõrgustikud, mis on ehitatud selle lõhe sulgemiseks, näiteks Abdul Latif Jameel Poverty Action Lab, on lükanud arengupoliitikat kontekstispetsiifilise kordamise poole, mitte ühe riigi kontseptsiooni tõestuse poole, kuid pinge globaalselt võrreldavate tõendite ja kontekstist sõltuvate mõjude vahel jääb sünteesi määravaks tunnuseks selles mõõtkavas.

Levinud ebaõnnestumisviisid

Tõendite hierarhia ettekäändena tegevusetuseks. Meeskond, mis seisab silmitsi keerulise, vaidlustatud otsusega, tsiteerib „ebapiisavaid tõendeid" või „randomiseeritud katset veel pole" põhjusena edasi lükata määramata ajaks, kui viivituse aus ajend on poliitiline ebamugavus või soov vältida vastutust. See maksab organisatsioonile võimaluse enda ja tõendusbaasile reaalse maailma testi, mis oleks võinud ebakindluse lahendada, jättes järgmise otsustaja silmitsi täpselt sama lõhega.

Tõendite puudumise segiajamine puudumise tõendiga. Paljutõotav, kuid testimata kohalik uuendus tapetakse, justkui oleks seda proovitud ja see oleks ebaõnnestunud, samal ajal kui korduvalt ümber lükatud riiklikku programmi rahastatakse edasi, sest keegi pole tõendeid raaminud negatiivse leiuna, mitte lüngana. Mõlemad vead on kallid: üks sulgeb paljutõotavad valikud, teine kaitseb programme, mida selge pilguga süntees oleks aastaid varem pensionile saatnud.

Tööriistakomplekti hinnangu käsitlemine kogu analüüsina. Otsustaja loeb ühe lukuikooni või tärnihinnangu ja peatub seal, kontrollimata, kas aluseks olevad uuringud vastavad tema kontekstile, elanikkonnale või mõõtkavale. Hinnangud on tahtlikult ligipääsetavuse nimel kokku surutud; ilma aluseks oleva ülevaateta kasutatuna võivad need tekitada enesekindlaid otsuseid, mis on ehitatud õhemale tõendusbaasile, kui hinnangu lihtsus viitab.

Heterogeensuse ignoreerimine koondatud pealkirja tulemuse kasuks. Metaanalüüsi üksik keskmine mõjusuurus tsiteeritakse ettekandes, samal ajal kui selle tootnud uuringute vaheline lai variatsioon – sageli informatiivsem leid – jäetakse välja. See toodab valetäpsust: otsustaja tegutseb, justkui käituks iga rakendus ühtemoodi, kui rakenduse kvaliteet ja kontekst teevad sama palju tööd kui sekkumine ise.

Avaldamiskallutatuse vaikne tõendusbaasi kujundamine. Organisatsioon loeb sekkumise hindamisel ainult avaldatud akadeemilist kirjandust, jättes märkamata avaldamata negatiivsed katsed ja sisemised hindamised, mis ei jõudnud kunagi ajakirja. Saadud pilt „mis toimib" kaldub süstemaatiliselt positiivse poole ja sellele ehitatud otsused pärivad selle kalde, ilma et keegi seda tahtlikult valiks.

Küpsusmudel

Kontrollnimekiri

• Süstemaatiline ülevaade või „mis toimib" hinnang on kontrollitud enne üksiku uuringu najal tegutsemist.
• Aluseks olev tõendite ülevaade on loetud, mitte ainult kokkuvõtlik hinnang või ikoon.
• Tõendite kvaliteet ja soovituse tugevus on esitatud kahe eraldi otsustusena.
• „Mõju tõendid puuduvad" versus „tõend mõju puudumise kohta" on kirjalikus ettekandes selgesõnaliselt eristatud.
• Ülevaadatud uuringute ja käsilolevate otsuste vaheline kontekstivastavus on kontrollitud (elanikkond, mõõtkava, teenindussüsteem).
• Kiire tõendite hindamise protsess on olemas ja seda kasutatakse, kui täielik ülevaade ajakavasse ei mahu.
• Otsuse tõendiläve on kokku lepitud enne tulemuste ülevaatamist.
• On olemas plaan oma organisatsiooni hindamise avaldamiseks, olenemata tulemusest.
• Püsiv suhe asjakohase „mis toimib" keskuse või teabekeskusega on loodud, mitte ehitatud nullist surve all.
• Lõpliku otsustuse põhjendus on dokumenteeritud, sealhulgas kaalutud ja tagasi lükatud tõendid.
• Otsust on vaadatud väärtuspakkumise ja legitiimsuse kaalutluste vastu, mitte ainult tõendite tugevuse alusel.

Põhiallikad

• Cochrane Handbook for Systematic Reviews of Interventions, mida haldab Cochrane, põhimetoodika jaoks, millele süstemaatiliste ülevaadete praktika sektorites tugineb.
• Campbell Collaboration'i juhised süstemaatiliste ülevaadete ja tõendite sünteesi kohta sotsiaal-, käitumis- ja kriminoloogilise poliitika jaoks, selle metoodika otsese laienduse jaoks avaliku poliitika valdkondadesse väljaspool tervishoidu.
• What Works Clearinghouse'i Standards Handbook (Institute of Education Sciences, Ameerika Ühendriigid), töötatud näide selle kohta, kuidas riiklik teabekeskus seab selgesõnalised uuringudisaini standardid ja hindab tõendeid nende vastu.
• Education Endowment Foundation'i Teaching and Learning Toolkit, praktiline, praktikule suunatud näide koondatud tõendite tõlkimisest võrreldavateks kulu-, mõju- ja tõendite tugevuse hinnanguteks.
• Majanduskoostöö ja Arengu Organisatsiooni (OECD) töö tõendustega teavitatud poliitikakujunduse suutlikkuse ülesehitamise kohta, riikidevaheline ülevaade sellest, kuidas valitsused korraldavad tõendite kasutamise nõudluse ja pakkumise poolt.
• College of Policing'i What Works Center for Crime Reduction ja selle kuritegevuse vähendamise tööriistakomplekt, veel üks töötatud näide teabekeskuse mustrist, mida rakendatakse väljaspool tervishoidu ja haridust.

Viited

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction