Muunganisho wa Ushahidi na Kinachofanya Kazi

Kwa nini hili ni muhimu katika thamani ya umma

Waziri, meya, au mkurugenzi wa programu wa shirika la hisani mara chache ana anasa ya utafiti mmoja, safi wa kutegemea. Mara nyingi zaidi dawati lina tathmini tatu zinazokinzana, mapitio ya fasihi yanayozitaja kwa kuchagua, kikundi cha shinikizo kinachopeperusha jaribio moja linalofaa hoja yake, na tarehe ya mwisho iliyowekwa na mzunguko wa bajeti badala ya kasi ya utafiti. Muunganisho wa ushahidi upo kwa sababu tafiti binafsi zina kelele: ukubwa wa sampuli ni mdogo, muktadha hutofautiana, na matokeo yoyote moja yanaweza kuwa bahati nasibu, ufaafu wa mahali usiosafiri, au athari ya kweli. Swali ambalo kiongozi anahitaji kujibiwa mara chache ni "utafiti huu mmoja ulipata nini?" bali "katika yote yanayoaminika ambayo yamejaribiwa, napaswa kutarajia nini nikifanya hili hapa, sasa?"

Nadharia ya thamani ya umma inafanya hili kuwa zaidi ya nuksi ya kiufundi. Programu iliyofadhiliwa kwa rasilimali za pamoja inategemea pendekezo la thamani ambalo wananchi, kwa jumla, wangeliidhinisha (tazama Mada 2.1 — Kadi ya Alama ya Thamani ya Umma na Mifumo ya Matokeo kwa jinsi pendekezo hilo linavyoelezwa na kufuatiliwa). Pendekezo lililojengwa juu ya utafiti mmoja uliochaguliwa kwa kuchagua, au bila mapitio ya ushahidi kabisa, ni dai dhaifu zaidi la uhalali kuliko lililojengwa juu ya muunganisho makini — na msingi dhaifu zaidi wa uwezo wa kiutendaji, kwa sababu wafanyakazi na bajeti hujitolea kwa nguvu yake. Harakati ya "kinachofanya kazi" — mtandao wa vyombo huru vinavyokadiria ubora na nguvu ya ushahidi wa sera — ilikua moja kwa moja kutoka tatizo hili: maamuzi mengi mno ya umma yalifanywa kwa utafiti wenye sauti kubwa zaidi badala ya ule uliounga mkono zaidi.

Tatizo gumu zaidi ambalo mada hii inashughulikia ni kile kiongozi anachofanya muunganisho wenyewe unapokuwa hauna hitimisho, una mabishano, au haupatikani kwa wakati. Ngazi za ushahidi zilijengwa kuleta utaratibu katika msingi wa ushahidi uliochanganyikiwa, lakini zikitumika kwa uzembe, "ushahidi bado haujatosha" unakuwa kisingizio cha kudumu cha kuepuka uamuzi ambao uhalisia hautasubiri kwa kweli. Kiongozi anayeelewa jinsi muunganisho unavyofanya kazi, na mipaka yake ilipo, anaweza kutofautisha kutokuwa na uhakika kwa kweli kunakostahili tahadhari na ngazi ya ushahidi inayotumika kama kificho cha kutofanya.

Mada hii ni mfuatano wa asili wa mbinu za uhitimisho wa kisababishi ambazo muunganisho unazitegemea (tazama Mada 2.4 — Uchumimetria ya Sekta ya Umma na Tathmini ya Programu) na inakaa kando, badala ya kuchukua nafasi ya, mifumo ya matokeo ambayo muunganisho hatimaye unaihudumia (tazama Mada 2.1 — Kadi ya Alama ya Thamani ya Umma na Mifumo ya Matokeo). Kiongozi anayeweza kusoma mapitio ya kimfumo, kuelewa kiwango cha "kinachofanya kazi", na kufikiri wazi kuhusu ushahidi unaokosekana dhidi ya ushahidi hasi anafanya maamuzi bora ya moja kwa moja kuliko anayeweza tu kudai "ushahidi zaidi" au kukubali utafiti wa kwanza aliokabidhiwa.

Dhana kuu

Mapitio ya kimfumo ni muunganisho wa ushahidi kuhusu swali lililobainishwa unaotumia mbinu wazi, iliyobainishwa mapema, inayoweza kurudiwa ya kupata, kutathmini, na kuunganisha tafiti, kinyume na mapitio ya fasihi ya kisimulizi, yanayochagua vyanzo kwa hiari ya mwandishi (tazama Systematic review). Sifa zake za kufafanua ni itifaki iliyosajiliwa iliyoandikwa kabla utafutaji haujaanza, mkakati wa utafutaji unaojumuisha fasihi isiyochapishwa na ya kijivu, vigezo wazi vya kujumuisha, na mbinu ya kawaida ya kutathmini hatari ya upendeleo ya kila utafiti. Hii ndiyo inayotenganisha mapitio ya kimfumo na insha iliyoandikwa vizuri yenye tanbihi: timu nyingine inayofuata itifaki ile ile ingepata ushahidi unaofanana kwa upana na kufikia hitimisho linalofanana kwa upana.

Uchambuzi-meta ndio mbinu ya kitakwimu inayooanishwa mara nyingi zaidi na mapitio ya kimfumo: huunganisha ukubwa wa athari wa kiasi kutoka tafiti kadhaa huru kuwa makadirio moja, sahihi zaidi, kwa kawaida ikipima kila utafiti kwa ukubwa wa sampuli na ubora (tazama Meta-analysis). Uchambuzi-meta ni mzuri kadiri ya tafiti zinazoulisha; kuunganisha tafiti tano dhaifu kunazalisha makadirio sahihi zaidi ya athari yenye upendeleo unaowezekana, si ya kuaminika. Wachambuzi kwa hivyo huripoti utofauti — kiasi gani matokeo ya tafiti yanatofautiana zaidi ya kile bahati nasibu ingetabiri — kwa sababu utofauti wa juu unaashiria kwamba tafiti hazikuwa zikijaribu kitu kile kile kweli, na nambari moja iliyounganishwa inaweza kupotosha.

Upendeleo wa uchapishaji ni mwelekeo wa tafiti zenye matokeo chanya, yenye maana kuchapishwa huku matokeo sifuri au hasi yakikaa kwenye faili la mtafiti, na kufanya uingiliaji uonekane kuwa na ufanisi thabiti zaidi katika fasihi kuliko ulivyo kweli (tazama Publication bias). Mapitio yenye ukali yanasahihisha hili kwa kutafuta sajili za majaribio na tathmini zisizochapishwa, si makala za majarida tu. Kiongozi anayesoma muunganisho uliojengwa kwa karatasi zilizochapishwa tu anapaswa kuuliza wakaguzi walifanya nini kupata tafiti ambazo hazikuingia kwenye chapa kamwe.

Ngazi ya ushahidi inapanga miundo ya tafiti kwa jinsi inavyodhibiti vizuri mchanganyiko wa vigezo na upendeleo, kwa kawaida ikiweka uchambuzi-meta wa majaribio ya nasibu juu, majaribio ya nasibu yenye udhibiti binafsi yanayofuata, kisha miundo ya nusu-majaribio na ya uchunguzi, na maoni ya wataalamu chini (tazama Hierarchy of evidence). Jaribio la nasibu lenye udhibiti linagawa washiriki kwenye uingiliaji au kundi la ulinganisho kwa bahati, zana yenye nguvu zaidi ya pekee ya kutenganisha athari ya kisababishi na kila kitu kingine kinachoendelea kuizunguka (tazama Randomized controlled trial; tazama Mada 2.4 — Uchumimetria ya Sekta ya Umma na Tathmini ya Programu kwa jinsi miundo kama hiyo inavyojengwa na kuchambuliwa). Ngazi hiyo ni kanuni ya kuongoza yenye manufaa kweli, lakini kanuni ya kuongoza, si sheria: utafiti wa uchunguzi ulioendeshwa vizuri wa sera adimu au inayosonga polepole unaweza kuzidi jaribio lililoendeshwa vibaya, lenye nguvu ndogo, na kiongozi anayeichukulia ngazi kama mpangilio kamili wakati mwingine ataacha ushahidi unaofaa zaidi kwa ajili ya muundo wenye heshima zaidi.

Mbinu ya GRADE — Grading of Recommendations, Assessment, Development and Evaluations — inarasimisha hukumu ya pili, tofauti ambayo ngazi peke yake haifanyi: inakadiria uhakika wa ushahidi na, kwa kujitegemea, nguvu ya pendekezo la kuchukua hatua kwayo, kwa sababu ushahidi imara hauhalalishi kila mara pendekezo imara, na ushahidi dhaifu hauhalalishi kila mara kutofanya dhidi ya madhara makubwa, ya dharura (tazama GRADE approach). Utenganishaji huu ndio wazo la manufaa zaidi la pekee katika mada hii kwa mfanya uamuzi mwenye muda mfupi: unamruhusu kiongozi kusema, kwa uaminifu, "ushahidi hapa ni wa wastani, na kutokana na hatari na gharama ya kusubiri, napendekeza tuendelee" — hukumu inayoweza kutetewa, iliyoandikwa, badala ya chaguo la uongo kati ya kusubiri uhakika na kupuuza ushahidi kabisa.

Tofauti inayojirudia mara kwa mara katika mjadala wa sera wa moja kwa moja ni kati ya kutokuwepo kwa ushahidi na ushahidi wa kutokuwepo: ukosefu wa tafiti kuhusu athari ya uingiliaji ("hakuna ushahidi wa athari") si dai lile lile kama mkusanyiko wa tafiti zenye nguvu zilizopata kweli hakuna athari ("ushahidi wa kutokuwa na athari") (tazama Evidence of absence). Programu mpya ya mahali isiyo na tathmini bado haijajaribiwa kabisa; programu ya kitaifa iliyosomwa vizuri iliyopatikana mara kwa mara kutosogeza matokeo yoyote imejaribiwa na kuonyeshwa haifanyi kazi. Kuchanganya hivi viwili ni mojawapo ya makosa yenye matokeo makubwa zaidi ambayo kiongozi wa umma anaweza kufanya: kuua jaribio linalotia matumaini lakini lisilojaribiwa kana kwamba lilijaribiwa na kushindwa, au kuendelea kufadhili programu iliyokanushwa mara kwa mara kana kwamba hakuna aliyeangalia kwa makini bado.

Sera inayotegemea ushahidi ni harakati pana na dai la kimaadili kwamba maamuzi ya umma yanapaswa kutegemea ushahidi uliothibitishwa kwa ukali badala ya itikadi, hadithi, au silika peke yake (tazama Evidence-based policy). Wakosoaji wake, na zaidi na zaidi wafuasi wake wenyewe, wanapendelea "sera inayoarifiwa na ushahidi", inayokubali kwamba ushahidi ni pembejeo moja kati ya kadhaa — maadili, mamlaka, gharama, na maswali ya uhalali ambayo kitabu hiki kinayachukulia kama ya msingi — badala ya kanuni ya kimakanika ya uamuzi ambayo ushahidi peke yake unaweza kuitatua.

Kutoka harakati hii ilikua mfumo wa kituo cha kinachofanya kazi au ghala la ushahidi: chombo huru kinachopitia kwa kimfumo ushahidi wa uingiliaji katika eneo la sera na kuchapisha makadirio yanayofikika, yanayolinganishwa, badala ya kumwacha kila mwagizaji wa mtaa kuendesha mapitio yake mwenyewe. Cochrane ilianzisha mfano huo katika huduma za afya kuanzia 1993, ikidumisha mwongozo hai wa mbinu ya mapitio ya kimfumo unaotumika zaidi ya dawa (tazama Cochrane (organisation)). Campbell Collaboration ilipanua mbinu ile ile hadi sera ya jamii, haki ya jinai, elimu, na maendeleo ya kimataifa (tazama Campbell Collaboration). Maghala ya kitaifa yalifuata: What Works Clearinghouse ya Marekani, inayoendeshwa na Taasisi yake ya Sayansi za Elimu tangu 2002, inapitia utafiti wa elimu dhidi ya viwango wazi vya usanifu (tazama What Works Clearinghouse); Education Endowment Foundation ya Uingereza inachapisha Teaching and Learning Toolkit inayotumika sana inayokadiria uingiliaji wa darasani kwa gharama, nguvu ya ushahidi, na athari ya kawaida katika muundo mmoja unaolinganishwa (tazama Education Endowment Foundation). Vituo vinavyolingana vipo kwa kupunguza uhalifu, uingiliaji wa mapema, ukosefu wa makazi, na uzee mzuri — familia ndogo ya kimataifa iliyojengwa juu ya mbinu ile ile: mapitio ya kimfumo, kukadiria kwa uwazi, na muhtasari unaowalenga watendaji usiohitaji mtaalamu wa mbinu kuusoma.

Mazoea bora

1. Omba muunganisho kabla ya utafiti mmoja. Matokeo ya kuvutia yanapofika dawatini, uliza kwanza kama mapitio ya kimfumo au kiwango cha kinachofanya kazi tayari vipo kwa uingiliaji huo, si kama utafiti unaonekana wa kushawishi peke yake.
2. Soma mapitio ya msingi pamoja na kiwango chochote cha zana, si badala yake. Kiwango cha mstari mmoja au ikoni ya kufuli inafupisha hukumu; si badala ya kuelewa ushahidi gani unatokana nao na jinsi unavyotumika moja kwa moja kwa muktadha wako.
3. Tenganisha ubora wa ushahidi na nguvu ya pendekezo lako, waziwazi. Kopa mantiki ya GRADE hata kwa njia isiyo rasmi: eleza ushahidi ni wa uhakika kiasi gani, kisha eleza kando uhakika huo, ukichanganywa na hatari na gharama, unahalalisha kuchukua hatua sasa kwa nguvu gani.
4. Taja kama unakabiliwa na "bado hakuna ushahidi" au "ushahidi wa kutokuwa na athari" kabla ya kuamua. Weka tofauti hii kwa maandishi katika kila muhtasari wa ushahidi, kwa sababu hali hizo mbili zinastahili majibu karibu kinyume — kujaribu kwa tahadhari dhidi ya kusimamisha au kubuni upya.
5. Kagua ulinganifu kati ya muktadha wa mapitio na wako kabla ya kudhani athari itahamia. Ukubwa wa athari uliounganishwa kutoka tafiti zilizoendeshwa mahali pengine ni wastani, si ahadi; uliza nini kilirekebisha athari awali na kama vigezo hivyo vipo hapa.
6. Agiza tathmini ya haraka ya ushahidi pale mapitio kamili ya kimfumo hayatatosha ratiba yako. Mapitio yaliyopangwa, yenye kikomo cha muda ya fasihi iliyopo — siku au wiki, si miezi — ni njia halali ya kati kati ya utafiti mpya wa msingi na kutokuwa na mapitio kabisa.
7. Chapisha tathmini zako mwenyewe bila kujali matokeo. Matokeo sifuri na hasi ni ya thamani kwa muunganisho unaofuata kama chanya; kuyazuia kunazidisha upendeleo wa uchapishaji unaodhoofisha kila mapitio ya baadaye katika sekta yako.
8. Jenga uhusiano wa kudumu na kituo cha kinachofanya kazi au ghala la ushahidi katika eneo lako kabla hujakihitaji. Kutafuta kwa baridi kwenye zana ya chombo cha muunganisho kwa mara ya kwanza wakati wa mgogoro wa moja kwa moja ni polepole zaidi kuliko kujua tayari kinafunika nini na nani wa kuuliza kuhusu pengo.
9. Weka kizingiti chako cha ushahidi kabla matokeo hayajafika, si baada. Kubaliana mapema ni kiwango gani cha ushahidi kingehalalisha kupanua, kujaribu zaidi, au kusimamisha, ili kupunguza jaribu la kufasiri upya matokeo yasiyo wazi kulingana na uamuzi uliokwisha kufanywa.
10. Weka kikomo cha muda kwa utafutaji wa utafiti utakaoondoa shaka yote. Kusubiri msingi kamili wa ushahidi usio na utata ni uamuzi wenyewe, kwa kawaida wa kuendelea kufanya chochote unachofanya tayari; weka tarehe ya mwisho inayoheshimu gharama ya kuchelewa pamoja na gharama ya kutenda kwa ushahidi dhaifu.
11. Chukulia muunganisho kama pembejeo ya pendekezo la thamani, si badala yake. Uingiliaji unaoungwa mkono vyema zaidi si kiotomatiki chaguo sahihi gharama, athari ya mgawanyo, na uhalali vinapopimwa pamoja (tazama Mada 2.1 — Kadi ya Alama ya Thamani ya Umma na Mifumo ya Matokeo).
12. Andika ni ushahidi gani ulizingatia, na kwa nini uliupa uzito huo. Rekodi iliyoandikwa ya tafiti zilizopitiwa na hoja nyuma ya hukumu ya mwisho inalinda uhalali wa uamuzi na uwezo wa mkaguzi anayefuata kujifunza kutoka kwake.

Maswali ya kujadili na timu yako

Ni lini mara ya mwisho tulibadilisha uamuzi hai kwa sababu mapitio ya kimfumo au kiwango cha kinachofanya kazi kilipingana na kile tulichokuwa tumepanga kufanya? Kama jibu la uaminifu ni "kamwe", hilo linastahili kutafakariwa, kwa sababu linadokeza kwamba mapitio ya ushahidi yanaweza kufanya kazi kama zoezi la uthibitisho badala ya ukaguzi wa kweli. Jadilini uamuzi wa hivi karibuni ambapo msingi wa ushahidi ulikuwa mchanganyiko na mpitie kama kweli uliunda chaguo au ulikusanywa hasa kuunga mkono hitimisho lililofikiwa mapema. Fikirini nini kingehitaji kubadilika katika jinsi ushahidi unavyowafikia wafanya maamuzi, na lini, ili uwe na ushawishi halisi badala ya uzito wa ishara tu.

Je, mahali popote tunachukulia "hakuna ushahidi wa athari" kana kwamba ni "ushahidi wa kutokuwa na athari," au kinyume chake? Pitia jalada lako la sasa la programu na utambue programu yoyote ambayo umeipa kipaumbele cha chini kimya kimya kwa sababu "ushahidi haupo", na ukague kama hiyo inamaanisha haijajaribiwa kweli au imekanushwa kweli. Fanya vivyo hivyo upande mwingine: programu yoyote unayoendelea kuifadhili kwa sababu "hakuna aliyeonyesha haifanyi kazi", wakati kwa kweli hakuna aliyeangalia. Jadilini nini kingehitajika kusahihisha mifano miwili au mitatu yenye matokeo makubwa zaidi, na nani anapaswa kumiliki marekebisho hayo.

Kama uamuzi ulihitaji ushahidi ifikapo Ijumaa, je, tuna mchakato wa tathmini ya haraka ya ushahidi kweli, au tungebuni mmoja chini ya shinikizo? Shinikizo la muda si la dhahania; ni hali ya kawaida ambayo maamuzi mengi halisi yanayotegemea ushahidi hufanywa. Jadilini kama shirika lenu lina mbinu ya kudumu — timu iliyotajwa, kiolezo, orodha fupi ya vituo vya kinachofanya kazi vya kuangalia kwanza — au kila ombi la dharura linaanza kutoka ukurasa mtupu. Kama ni la pili, jadilini mchakato wa chini kabisa wa tathmini ya haraka wenye manufaa ungeonekanaje na nani angeumiliki.

Ngazi ya ushahidi ya nani tunayotumia kweli, na je, inafaa hatari na uwezekano wa kubatilishwa wa uamuzi huu? Maeneo tofauti hutumia viwango vyao vya ushahidi tofauti, na ngazi iliyosawazishwa kwa maamuzi yasiyobatilishika, yenye hatari kubwa si kiwango sahihi kila mara kwa jaribio la bei nafuu, linaloweza kubatilishwa, linalofuatiliwa kwa urahisi. Jadilini kama shirika lenu linatumia kiwango kimoja cha ushahidi kwa uthabiti bila kujali hatari, na kama hiyo inalinda dhidi ya maamuzi mabaya au inapunguza kasi ya mazuri tu. Kubalianeni, kama timu, kiwango gani kinapaswa kuhitajika kwa maamuzi matatu yajayo kwenye ajenda yenu, kabla hamjajua ushahidi unasema nini.

Tumefanya nini, kwa uhakika, kuzuia tathmini zetu wenyewe kupotea kwenye faili la droo? Kila matokeo sifuri ambayo shirika lako linakaa nayo ni pengo ambalo shirika jingine litalazimika kuligundua upya kwa njia ngumu. Jadilini rekodi yenu kwa uaminifu: tathmini ngapi kati ya 10 zenu za mwisho zilishirikishwa nje, na nini kilitokea kwa zile ambazo hazikushirikishwa. Kubalianeni ahadi ya kweli, yenye rasilimali — sera ya uchapishaji, sajili ya pamoja — badala ya matamanio ya jumla ya kuwa wazi zaidi.

Je, tunatumia maneno "tunahitaji ushahidi zaidi" kwa uaminifu, au kama njia ya kuepuka uamuzi tusiotaka kufanya? Hili ndilo swali lisilofurahisha zaidi katika mada hii, na linastahili kuulizwa moja kwa moja. Tambua uamuzi mahususi uliokwama kwa sababu za ushahidi sasa na jadilini, kwa uwazi, nini kingebadilisha mawazo yenu kweli, na kama ushahidi mnaousubiri utafika kwa kweli kwa wakati. Kama hautafika, jadilini uamuzi wa uaminifu chini ya kutokuwa na uhakika kwa kweli ungeonekanaje badala ya kuendelea kusubiri, na nani ana mamlaka ya kuufanya.

Kwa vitendo: mfano wa thamani ya umma

Wakala wa ajira wa kikanda, sehemu ya idara ya serikali ya kitaifa inayowajibika kwa programu za soko la ajira, ulikuwa chini ya shinikizo kuamua ndani ya mzunguko mmoja wa bajeti kama kupanua jaribio la mafunzo ya ajira kutoka wilaya tatu hadi mkoa mzima. Jaribio liliunganisha uwekaji wa kazi wenye ruzuku na ukufunzi uliopangwa, na jaribio la nasibu la wakala wenyewe katika wilaya tatu za majaribio lilipata ongezeko dogo lakini lenye maana kitakwimu katika ajira endelevu katika miezi 12. Chanzo hasimu cha ushahidi kilitatiza picha: mapitio ya kimfumo yaliyochapishwa mwaka uliopita, yakiunganisha programu tisa zinazofanana katika nchi kadhaa, yalipata athari ya wastani karibu na sifuri, yenye tofauti kubwa kati ya tafiti na hakuna mfumo ulio wazi unaoeleza ni programu zipi zilifanya kazi.

Kitengo cha ushahidi cha wakala kilikuwa na wiki sita kabla ya tarehe ya mwisho ya kuwasilisha bajeti kupatanisha matokeo hayo mawili. Msukumo wa kwanza wa mchambuzi mdogo ulikuwa kuchukulia mapitio yaliyounganishwa kuwa na mamlaka zaidi kwa sababu tu yaliunganisha tafiti nyingi zaidi, na kupendekeza kufuta jaribio. Mshauri mkuu wa ushahidi wa kitengo alipinga: wastani uliounganishwa karibu na sifuri katika programu tofauti kweli haukuwa ushahidi imara kwamba programu hii mahususi ya mahali, iliyotekelezwa vizuri ingeshindwa — ulikuwa ushahidi kwamba programu za mafunzo ya ajira kwa jumla ni za utofauti katika ubora na ufaafu, jambo lililojulikana tayari. Utofauti wa juu ulioripotiwa katika mapitio ulikuwa wenyewe matokeo muhimu zaidi kuliko wastani uliounganishwa.

Mshauri alipendekeza njia ya kati badala ya chaguo la mbili. Alipendekeza kupanua kwa awamu hadi nusu ya mkoa, wilaya za upanuzi zikichaguliwa kwa nasibu ili utoaji wenyewe uzalishe ushahidi zaidi badala ya kutumia tu dhidi ya dhana (tazama Mada 2.4 — Uchumimetria ya Sekta ya Umma na Tathmini ya Programu kwa jinsi utoaji wa awamu unavyoweza kubuniwa kama tathmini ya ziada). Pia alipendekeza kuchapisha jaribio la awali kikamilifu, mbinu na data ghafi vikijumuishwa, ili liweze kuchukuliwa na mapitio ya kimfumo yanayofuata badala ya kukaa katika ripoti ya ndani ambayo hakuna mtu nje ya wakala angeiona kamwe.

Uongozi wa idara uliidhinisha mbinu ya awamu, iliyoelezwa waziwazi katika hoja ya kibiashara (tazama Mada 2.5 — Hoja za Kibiashara na Thamani ya Fedha) kama uamuzi uliofanywa chini ya ushahidi wa uhakika wa wastani wenye utaratibu uliojengwa ndani wa kutatua kutokuwa na uhakika ndani ya miezi 18, si uamuzi uliofanywa kwa sababu ushahidi ulikuwa wa mwisho. Baada ya miezi 18, wilaya za upanuzi zilionyesha athari karibu na ya jaribio la awali, na idara ilipanua zaidi ikiwa na msingi imara wa ushahidi kuliko chanzo chochote kati ya hivyo kilichotoa peke yake — na njia wazi ya karatasi inayoonyesha kwa nini ilichagua kutenda badala ya kusubiri.

Tukio hili ni la kielelezo na la kubuni; halielezi programu au tathmini ya idara yoyote halisi.

Mitazamo minne ya sekta

Serikali za mitaa

Mamlaka ya mtaa mara chache ina bajeti au idadi ya kesi ya kuagiza mapitio yake ya kimfumo, kwa hivyo ufundi wake wa vitendo ni kutafsiri ushahidi wa muunganisho wa kitaifa na kimataifa katika muktadha mahususi wa mahali chini ya shinikizo halisi la muda — kukagua kama msingi wa ushahidi wa uingiliaji uliokadiriwa kwa zana unafanana na idadi yake ya watu, mfumo wa huduma, na kiwango cha ufadhili kabla ya kudhani athari iliyokadiriwa itahamia. Viongozi wa mitaa pia wako karibu zaidi na gharama ya makosa yote mawili ambayo mada hii inaonya kuyahusu: kutenda kwa uingiliaji ambao muunganisho tayari umeonyesha haufanyi kazi, na kukataa uvumbuzi wa mahali unaotia matumaini kweli lakini ambao haujatathminiwa vya kutosha kwa sababu hakuna kituo cha kinachofanya kazi kilichoukadiria bado.

Serikali ya kitaifa

Serikali ya kitaifa ndipo vituo vingi vya kinachofanya kazi na mwongozo rasmi wa ngazi ya ushahidi vinakaa, ikizipa idara za kitaifa ukaribu na miundombinu ya muunganisho lakini pia mfiduo mkubwa zaidi wa kuchukulia ngazi ya ushahidi kama lango la urasimu badala ya msaada wa uamuzi. Kazi ya kawaida ya kitaifa ni kuagiza na kutunza miundombinu hiyo — kufadhili ghala la ushahidi, kuweka viwango vyake vya ushahidi, na kuhakikisha makadirio yake yanawafikia maafisa wanaoandika hoja za kibiashara (tazama Mada 2.5 — Hoja za Kibiashara na Thamani ya Fedha), badala ya kuwepo kama tovuti inayoheshimika ambayo timu za sera mara chache huiangalia chini ya shinikizo la tarehe ya mwisho.

Sekta ya kijamii na mashirika yasiyo ya faida

Mashirika yasiyo ya faida na ya hisani kwa kawaida hayana rasilimali za kuendesha tathmini zenye ukali kwa kiwango, na kuyafanya yategemee sana vyombo vya muunganisho vya nje na zaidi na zaidi wafadhili wanaohitaji ulinganifu na ngazi ya ushahidi iliyokadiriwa kama sharti la ruzuku. Hili linaunda hatari mahususi: mashirika yaliyo chini ya shinikizo la kifedha yanaweza kujaribiwa kudharau jinsi programu yao inavyolingana na kiwango kinachopendelewa — aina ya kuosha-ushahidi — au, kinyume chake, mashirika madogo ya mahali yenye ufanisi kweli yanaweza kubanwa nje ya ufadhili kwa sababu hayajawahi kuwa makubwa vya kutosha kuzalisha ushahidi ambao ghala la kitaifa linaukadiria juu (tazama Mada 3.8 — Usimamizi wa Sekta ya Kijamii na Mashirika Yasiyo ya Faida kwa miundo ya ufadhili iliyo nyuma ya shinikizo hili).

Ya pande nyingi na ya kimataifa

Vyombo vya pande nyingi na vya kimataifa vinakabiliana na tatizo la ujumlishaji katika hali yake kali zaidi: uingiliaji ulioonyeshwa kuwa wa kweli katika mfumo wa afya, sekta ya kilimo, au soko la ajira la nchi moja mara kwa mara unapendekezwa kwa muktadha tofauti sana wa kiuchumi na kitaasisi, na fasihi ya muunganisho ni bora zaidi katika kuashiria uhamishaji huu usioungwa mkono baada ya tukio kuliko kabla. Mitandao ya utafiti iliyojengwa kuziba pengo hili, kama Abdul Latif Jameel Poverty Action Lab, imesukuma sera ya maendeleo kuelekea urudiaji mahususi wa muktadha badala ya uthibitisho wa dhana wa nchi moja, lakini mvutano kati ya ushahidi unaolinganishwa kimataifa na athari zinazotegemea muktadha unabaki sifa ya kufafanua ya muunganisho katika kiwango hiki.

Njia za kawaida za kushindwa

Ngazi ya ushahidi kama kisingizio cha kutofanya. Timu inayokabiliwa na uamuzi mgumu, wenye mabishano inataja "ushahidi usiotosha" au "bado hakuna jaribio la nasibu" kama sababu ya kuahirisha bila kikomo, wakati kichocheo cha kweli cha kuchelewa ni usumbufu wa kisiasa au nia ya kuepuka uwajibikaji. Hii inagharimu shirika fursa yenyewe, na inagharimu msingi wa ushahidi jaribio la ulimwengu halisi ambalo lingeweza kutatua kutokuwa na uhakika, ikimwacha mfanya uamuzi anayefuata akikabiliwa na pengo lile lile.

Kuchanganya kutokuwepo kwa ushahidi na ushahidi wa kutokuwepo. Uvumbuzi wa mahali unaotia matumaini lakini ambao haujajaribiwa unauawa kana kwamba ulijaribiwa na kushindwa, wakati programu ya kitaifa iliyokanushwa mara kwa mara inaendelea kufadhiliwa kwa sababu hakuna aliyeuweka ushahidi kama matokeo hasi badala ya pengo. Makosa yote mawili ni ghali: moja linafunga chaguzi zinazotia matumaini, jingine linalinda programu ambazo muunganisho wenye macho wazi ungezistaafisha miaka mingi mapema.

Kuchukulia kiwango cha zana kama uchambuzi mzima. Mfanya uamuzi anasoma ikoni moja ya kufuli au kiwango cha nyota na kuishia hapo, bila kukagua kama tafiti za msingi zinalingana na muktadha, idadi ya watu, au kiwango chake. Makadirio yanafupishwa kwa makusudi kwa ufikiaji; yakitumika bila mapitio ya msingi, yanaweza kuzalisha maamuzi ya kujiamini yaliyojengwa juu ya msingi mwembamba wa ushahidi kuliko urahisi wa kiwango unavyodokeza.

Kupuuza utofauti kwa ajili ya matokeo makuu yaliyounganishwa. Ukubwa wa athari wa wastani mmoja wa uchambuzi-meta unanukuliwa katika maelezo mafupi huku tofauti pana kati ya tafiti zilizouzalisha — mara nyingi matokeo muhimu zaidi — ikiachwa. Hii inazalisha usahihi wa uongo: mfanya uamuzi anatenda kana kwamba kila utekelezaji unafanya kazi kwa njia ile ile, wakati ubora wa utekelezaji na muktadha unafanya kazi nyingi kama uingiliaji wenyewe.

Kuruhusu upendeleo wa uchapishaji kuunda msingi wa ushahidi kimya kimya. Shirika linasoma fasihi ya kitaaluma iliyochapishwa tu wakati wa kutathmini uingiliaji, likikosa majaribio hasi yasiyochapishwa na tathmini za ndani ambazo hazikuingia kwenye jarida kamwe. Picha inayotokana ya "kinachofanya kazi" inapinda chanya kimfumo, na maamuzi yaliyojengwa juu yake yanarithi upotofu huo bila mtu yeyote kuuchagua kwa makusudi.

Kielelezo cha ukomavu

Orodha ya ukaguzi

• Mapitio ya kimfumo au kiwango cha kinachofanya kazi vimekaguliwa kabla ya kutegemea utafiti mmoja.
• Mapitio ya msingi ya ushahidi yamesomwa, si kiwango cha muhtasari au ikoni tu.
• Ubora wa ushahidi na nguvu ya pendekezo vimeelezwa kama hukumu mbili tofauti.
• "Hakuna ushahidi wa athari" dhidi ya "ushahidi wa kutokuwa na athari" vimetofautishwa waziwazi katika muhtasari ulioandikwa.
• Ulinganifu wa muktadha kati ya tafiti zilizopitiwa na uamuzi uliopo umekaguliwa (idadi ya watu, kiwango, mfumo wa huduma).
• Mchakato wa tathmini ya haraka ya ushahidi upo na unatumika pale mapitio kamili hayatatosha ratiba.
• Kizingiti cha ushahidi kwa uamuzi kimekubaliwa kabla matokeo hayajapitiwa.
• Mpango upo wa kuchapisha tathmini ya shirika hili lenyewe, bila kujali matokeo.
• Uhusiano wa kudumu na kituo husika cha kinachofanya kazi au ghala la ushahidi umeanzishwa, haujajengwa kuanzia mwanzo chini ya shinikizo.
• Hoja nyuma ya hukumu ya mwisho imeandikwa, ikijumuisha ushahidi uliozingatiwa na kukataliwa.
• Uamuzi umepitiwa dhidi ya pendekezo la thamani na masuala ya uhalali, si nguvu ya ushahidi peke yake.

Vyanzo muhimu

• The Cochrane Handbook for Systematic Reviews of Interventions, inayotunzwa na Cochrane, kwa mbinu ya msingi ambayo mazoezi ya mapitio ya kimfumo katika sekta mbalimbali yamejengwa juu yake.
• Mwongozo wa Campbell Collaboration kuhusu mapitio ya kimfumo na muunganisho wa ushahidi kwa sera ya kijamii, ya kitabia, na ya jinai, kwa upanuzi wa moja kwa moja wa mbinu hiyo hadi maeneo ya sera ya umma zaidi ya afya.
• Standards Handbook ya What Works Clearinghouse (Taasisi ya Sayansi za Elimu, Marekani), kwa mfano uliofanyiwa kazi wa jinsi ghala la kitaifa linavyoweka viwango wazi vya usanifu wa tafiti na kukadiria ushahidi dhidi yake.
• Teaching and Learning Toolkit ya Education Endowment Foundation, kwa mfano wa vitendo, unaowalenga watendaji wa kutafsiri ushahidi uliounganishwa kuwa makadirio yanayolinganishwa ya gharama, athari, na nguvu ya ushahidi.
• Kazi ya Shirika la Ushirikiano wa Kiuchumi na Maendeleo (OECD) kuhusu kujenga uwezo wa uundaji sera unaoarifiwa na ushahidi, kwa maelezo ya nchi mbalimbali ya jinsi serikali zinavyopanga upande wa mahitaji na wa usambazaji wa matumizi ya ushahidi.
• What Works Center for Crime Reduction ya College of Policing na zana yake ya kupunguza uhalifu, kwa mfano zaidi uliofanyiwa kazi wa mfumo wa ghala la ushahidi ukitumika nje ya afya na elimu.

Marejeo

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction