Uchumimetria ya Sekta ya Umma na Tathmini ya Programu

Kwa nini hili ni muhimu katika thamani ya umma

Kila mwaka, vyombo vya umma hufanya upya, hupanua, au hufuta programu kwa nguvu ya ulinganisho wa matokeo: washiriki wa programu ya ajira walipata kazi haraka kuliko wasioshiriki; wanafunzi katika mpango wa kufundishwa kwa ziada walipata alama za juu kuliko wanafunzi wasiofundishwa. Kila ulinganisho ni wa kweli kama maelezo na hatari kama hoja, kwa sababu hakuna hata mmoja, peke yake, unaokuambia kama programu ilisababisha tofauti. Watu wanaojiandikisha katika programu ya ajira mara nyingi wana motisha zaidi kuliko wale wasiojiandikisha, na wanafunzi waliochaguliwa kufundishwa mara nyingi huchaguliwa kwa sababu mwalimu tayari anatarajia watajibu vizuri. Pengo kati ya "kundi lililotibiwa lilifanya vizuri zaidi" na "tiba iliwafanya wafanye vizuri zaidi" ndilo hasa pengo ambalo uhitimisho wa kisababishi upo kuliziba.

Hii si nuksi ya kitaaluma. Kamati ya fedha inayoombwa kufanya upya ufadhili wa programu inaombwa kwa dokezo kuidhinisha matumizi ya fedha za umma kwa dai la kisababishi, iwe mtu yeyote chumbani anatumia neno hilo au la. Mada 2.1 ilikupa mfumo wa matokeo unaoeleza programu inakusudiwa kubadilisha nini (tazama Mada 2.1 — Kadi ya Alama ya Thamani ya Umma na Mifumo ya Matokeo); mada hii inakupa mbinu zinazojaribu kama kweli ilibadilisha, na kwa kiasi gani. Uchambuzi wa gharama na manufaa na wa ufanisi wa gharama (tazama Mada 2.2 — Uchambuzi wa Gharama na Manufaa ya Kijamii na wa Ufanisi wa Gharama) na faida ya kijamii ya uwekezaji (tazama Mada 2.3 — Faida ya Kijamii ya Uwekezaji na Upimaji wa Athari) zote zinahitaji ukubwa wa athari unaoweza kutetewa wa kufanya nao kazi; mada hii ndiyo mahali ambapo ukubwa huo wa athari unatoka, au mahali unapojifunza kwamba nambari ambayo tayari unayo haiwezi kubeba uzito unaowekwa juu yake.

Hatari si za kifedha tu. Serikali inayopanua programu isiyofaa kwa sababu tathmini yenye dosari ilifanya ionekane inafaa imepoteza fedha na, mara nyingi mbaya zaidi, imetoa nafasi ya mbadala unaofaa kweli ambao haukupata nafasi; serikali inayofuta programu inayofaa kwa sababu ulinganisho wa kijinga ulifanya ionekane haina maana imeharibu thamani ambayo tathmini iliyobuniwa vizuri zaidi ingeilinda. Kupata utambuzi wa kisababishi sawa, na kujua wakati huwezi kuupata sawa, ni umahiri wa thamani ya umma wenyewe, si maslahi ya pembeni ya mtaalamu.

Dhana kuu

Uhitimisho wa kisababishi ni tawi la takwimu linalohusika na kuthibitisha kama, na kwa kiasi gani, mabadiliko ya kigezo kimoja yanazalisha mabadiliko katika kingine, tofauti na vigezo viwili kusogea pamoja tu. Linatoa msingi wa kidhana — hoja ya hali mbadala, lugha ya tiba na udhibiti, katalogi ya vitisho mahususi kwa dai la kisababishi — ambao kila mbinu katika mada hii inautegemea. Wikipedia: Causal inference.

Hali mbadala ni matokeo ambayo mtu au kitengo kingepata kama hakikupokea programu, na ndiyo kiasi cha kati, kisichoonekana ambacho kila mbinu ya kisababishi inajaribu kukikadiria: unaweza kutazama kilichompata mshiriki, lakini kamwe hutaweza kuona kingempata mtu yule yule bila msaada. Kila mbinu iliyo hapa chini ni mkakati tofauti wa kujenga kisimamo cha kuaminika cha uchunguzi huo uliokosekana. Mfano wa visababishi wa Rubin, ulioendelezwa hasa na mtakwimu Donald Rubin, unarasimisha hili kama mfumo wa "matokeo yanayowezekana": kila kitengo kina matokeo yanayowezekana chini ya tiba na moja chini ya udhibiti, na athari ya kisababishi ni tofauti kati yao, ni moja tu kati ya hayo huonekana. Wikipedia: Rubin causal model.

Mchanganyiko wa vigezo hutokea pale kigezo cha tatu kinaposhawishi kama kitengo kinapokea programu na matokeo ambayo programu inakusudiwa kubadilisha, kikifanya ionekane kana kwamba programu ilisababisha athari ambayo kigezo hicho kilizalisha kwa kweli. Motisha, uwezo wa awali, hali za kiuchumi za mahali, na utajiri wa kaya ni vigezo vinavyojirudia katika tathmini ya programu za umma, kwa sababu mara kwa mara huathiri nani anachukua huduma na jinsi mtu huyo au mahali hapo palivyoendelea baadaye. Wikipedia: Confounding.

Upendeleo wa uteuzi ni kesi mahususi ya mchanganyiko wa vigezo unaotokana na jinsi washiriki wanavyofika kuwa katika kundi la tiba kabisa — kujichagua, rufaa ya wafanyakazi, au kanuni za ustahiki — kiasi kwamba makundi yaliyotibiwa na yasiyotibiwa yanatofautiana kimfumo kabla programu haijawagusa. Programu ya ajira ambayo wanaotafuta kazi wenye motisha zaidi tu hujiandikisha itaonekana yenye ufanisi hata kama haifanyi chochote, kwa sababu kundi la ulinganisho halikuwa kisimamo cha haki cha kile washiriki wangefanya bila msaada. Wikipedia: Selection bias.

Uhusiano hauthibitishi kisababishi ni onyo la jumla ambalo mada hii inalitekeleza: vigezo viwili kusogea pamoja kunaendana na mmoja kusababisha mwingine, na kinyume, na sababu ya pamoja, au bahati nasibu, na mfumo peke yake hauwezi kutofautisha kati ya hizi. Mauzo ya aiskrimu na vifo vya kuzama maji vyote hupanda kila kiangazi bila mojawapo kusababisha lingine, kwa sababu hali ya hewa ya joto huendesha vyote viwili; tathmini ya programu za umma imejaa matoleo ya hila zaidi ya mtego ule ule. Wikipedia: Correlation does not imply causation.

Jaribio la nasibu lenye udhibiti (RCT), linaloitwa tathmini ya nasibu katika fasihi ya tathmini ya sera, linagawa vitengo vinavyostahili kwa nasibu kwenye kundi la tiba linalopokea programu na kundi la udhibiti lisilopokea, ili kwa wastani makundi hayo mawili yatofautiane tu kwa kutibiwa au la. Kupanga kwa nasibu kuna nguvu kwa sababu kunashughulikia mchanganyiko wa vigezo kwa jumla: kunasawazisha vigezo vya mchanganyiko unavyoweza kupima na vile usivyoweza, bila kuhitaji kuvitaja mapema. Wikipedia: Randomized controlled trial.

Tofauti-katika-tofauti (DiD) inalinganisha mabadiliko ya matokeo kwa muda kwa kundi lililotibiwa dhidi ya mabadiliko katika kipindi kile kile kwa kundi la ulinganisho lisilopokea programu, ikidhani kwamba, bila programu, makundi hayo mawili yangefuata mielekeo sambamba. Ndiyo mbinu ya kazi nzito pale programu ilipofikia mamlaka moja kabla ya nyingine na upangaji wa nasibu haukuwa chaguo kamwe, kwa sababu inaweza kutumia data za kiutawala zinazokusanywa mara kwa mara badala ya jaribio lililojengwa kwa kusudi. Wikipedia: Difference in differences.

Muundo wa kukatika kwa mrejeo (RDD) unatumia kanuni ya programu inayogawa tiba kwa msingi wa alama iliyopimwa kuvuka kikomo kilichowekwa — faida inayoanza hasa kwenye kizingiti cha kipato, darasa la urekebishaji linalogawiwa kwa wanafunzi wanaopata alama chini kidogo ya alama ya kufaulu — na kulinganisha matokeo ya vitengo vilivyo juu kidogo na chini kidogo, ambavyo vinginevyo vinafanana. Kwa sababu upande gani wa kizingiti kitengo kinaangukia ni wa nasibu kimsingi katika bendi nyembamba kuzunguka, ulinganisho unakadiria jaribio la nasibu la ndani bila mtu kupanga kitu chochote kwa nasibu. Wikipedia: Regression discontinuity design.

Ukadiriaji wa vigezo vya zana (IV) unatumia kigezo cha tatu, "zana," kinachoathiri kupokelewa kwa programu lakini hakina athari ya moja kwa moja kwa matokeo isipokuwa kupitia kupokelewa huko, kuondoa sehemu ya uhusiano wa tiba-matokeo ambayo mchanganyiko wa vigezo ungeichafua. Zana ya kawaida ya sera ya umma ni umbali hadi kituo, au nafasi iliyogawiwa kwa bahati nasibu, ambayo inabadilisha ushiriki bila kusababisha matokeo kwa kujitegemea; ugumu mwingi wa mbinu uko katika kutetea kwamba zana inaathiri matokeo kupitia programu tu. Wikipedia: Instrumental variables estimation.

Jaribio la asili ni hali, inayotokana na sera, jiografia, au mazingira badala ya muundo wa mtafiti, ambapo baadhi ya watu wanaathiriwa na programu na wengine wanaolingana hawaathiriwi, kana kwamba jaribio lingeendeshwa bila mtu kuliendesha. Mabadiliko ya sera yanayoanza kutumika kwenye kikomo cha tarehe ya kuzaliwa, mpaka unaoweka kaya zinazofanana karibu kabisa katika mamlaka tofauti, au bahati nasibu inayogawa nafasi iliyo na waombaji wengi kuliko nafasi ni majaribio ya asili ambayo RDD, IV, au DiD zinaweza kuchambua. Wikipedia: Natural experiment.

Athari ya Hawthorne inataja hatari kwamba watu wanabadilisha tabia zao kwa sababu tu wanajua wanaangaliwa, bila kujali maudhui halisi ya programu, jambo linaloweza kupandisha athari iliyokadiriwa kama kundi la udhibiti halionekani kwa ukali ule ule — kitendo cha kupima chenyewe kinaweza kuwa sehemu ya tiba. Wikipedia: Hawthorne effect.

Nguvu ya kitakwimu ni uwezekano kwamba tathmini itagundua athari ya kweli ya ukubwa fulani ikiwepo, ikitegemea hasa ukubwa wa sampuli, ukubwa wa athari unaotafutwa, na kiasi gani matokeo yanatofautiana ndani ya makundi. Tathmini yenye nguvu ndogo inayopata "hakuna athari ya maana kitakwimu" mara nyingi haijaonyesha kwamba programu haifanyi chochote; imeonyesha kwamba tathmini ilikuwa ndogo mno kujua kwa njia yoyote, tofauti ambayo viongozi mara nyingi huikosa chini ya shinikizo la kufikia hukumu. Wikipedia: Power (statistics).

Mazoea bora

1. Amua muundo wa tathmini kabla programu haijazinduliwa, si baada. Tathmini ya nasibu, utoaji wa awamu unaofaa tofauti-katika-tofauti, au kizingiti cha ustahiki kinachofaa muundo wa kukatika kwa mrejeo vyote ni rahisi zaidi kujengwa mwanzoni kuliko kurekebishwa baada ya utoaji kuanza kwa njia ya hapa na pale.
2. Eleza hali mbadala waziwazi katika kila muhtasari wa tathmini. Andika, kwa sentensi moja, unachowalinganisha washiriki nacho — hakuna programu kabisa, programu ya awali, uingiliaji tofauti — kwa sababu hali mbadala isiyotajwa ndipo mabishano makali zaidi ya tathmini kwa kawaida hujificha.
3. Chukulia ulinganisho rahisi wa kabla-na-baada kama dhana ya kuanzia, kamwe si matokeo. Matokeo huteleza kwa sababu nyingi zisizohusiana na programu yako — mzunguko wa uchumi, athari za msimu, mabadiliko mengine ya sera yanayofika wakati mmoja — na muundo wa kabla-na-baada hauwezi kutenganisha mchango wa programu yako na wa hayo.
4. Linganisha mbinu na kanuni iliyogawa programu kweli, si mbinu unayoifahamu zaidi. Programu iliyogawiwa kwa bahati nasibu inahitaji mantiki ya tathmini ya nasibu hata usipoliita jaribio; programu iliyogawiwa kwa kizingiti cha alama inahitaji muundo wa kukatika kwa mrejeo; programu iliyozinduliwa katika baadhi ya maeneo kabla ya mengine inahitaji tofauti-katika-tofauti.
5. Sajili mapema vipimo vya matokeo na mpango wa uchambuzi kabla ya kuona matokeo. Kuamua matokeo gani yanahesabika kama "mafanikio" baada ya kuona lipi lilisogea ni njia iliyoandikwa vizuri ya chanya za uongo, na usajili wa mapema ndio kinga ya kawaida dhidi yake.
6. Pima nguvu ya tathmini kwa ukubwa mdogo zaidi wa athari ambao bado ungehalalisha gharama ya programu, si kwa urahisi. Tathmini ndogo mno kugundua athari inayofaa kwa sera itazalisha matokeo yasiyo na taarifa ya "hakuna tofauti ya maana" ambayo husomwa vibaya kama uthibitisho wa kushindwa.
7. Ripoti sifa za kundi la ulinganisho kando ya za kundi la tiba, si athari kuu tu. Tathmini ya kuaminika inamruhusu msomaji mwenye shaka kukagua kama makundi hayo mawili yalifanana kabla ya tiba; tathmini inayoficha hili inamfanya msomaji achukue usawa kwa imani.
8. Agiza tathmini kutoka chanzo huru dhidi ya timu ya utoaji, au tenga uchambuzi kwa ukuta kama huwezi. Timu yenye maslahi katika mafanikio ya programu ina motisha ya kimuundo, mara nyingi bila kujua, ya kufasiri ushahidi usio wazi kwa upendeleo wa programu.
9. Tenganisha umuhimu wa kitakwimu na umuhimu wa vitendo na wa kifedha katika kila ripoti. Athari ndogo iliyokadiriwa kwa usahihi na athari kubwa iliyokadiriwa kwa kutokuwa na usahihi ni matokeo tofauti yanayohitaji maamuzi tofauti, na kuyaunganisha yote kuwa "yenye maana" au "isiyo na maana" kunafuta tofauti ambayo uamuzi wa ufadhili unahitaji hasa.
10. Panga bajeti ya tathmini kama sehemu isiyobadilika ya gharama ya programu katika hatua ya usanifu, si kama kinachobaki. Programu kubwa ya kutosha kujalisha thamani ya umma kwa kawaida ni kubwa ya kutosha kufadhili tathmini ya athari ya kuaminika, na kuchukulia tathmini kama ya hiari ndivyo ushahidi dhaifu unavyokuwa jambo la kawaida.
11. Chapisha matokeo sifuri na hasi kwa mwonekano ule ule kama chanya. Mazingira ya kuagiza yanayochapisha tathmini zilizofanikiwa tu yanaunda upendeleo wa uteuzi katika msingi wa ushahidi uliochapishwa wenyewe, yakielekeza hukumu ya baadaye ya "kinachofanya kazi" ya kila mtu kuelekea matumaini.
12. Lisha kila tathmini iliyokamilika katika msingi mpana wa ushahidi ambao sekta yako inautunza, si hifadhi yako tu. Tathmini moja, hata iliyobuniwa vizuri, ni nukta moja ya data; muunganisho wa kimfumo katika nyingi ndio unaogeuza matokeo ya programu kuwa maarifa yanayohamishika (tazama Mada 2.6 — Muunganisho wa Ushahidi na Kinachofanya Kazi).

Maswali ya kujadili na timu yako

Hali mbadala tunayolinganisha programu hii nayo ni ipi hasa, na je, tumesema hivyo kwa sauti? Kila dai la athari linadokeza ulinganisho, lakini timu mara nyingi huliacha kimya, na kuruhusu "hii ilifanya kazi" iteleze kimya kimya kati ya "bora kuliko hakuna," "bora kuliko tulichofanya awali," na "bora kuliko mbadala bora tuliyeweza kufadhili". Mwombe kiongozi wako wa tathmini aeleze hali mbadala kwa sentensi moja kwa lugha rahisi, kisha ukague kama ushahidi ulionao unaunga mkono dai kuhusu ulinganisho huo mahususi. Kama hali mbadala ya uaminifu ni "hatujui kingetokea nini vinginevyo," chukulia dai la sasa la athari kama dhana, si matokeo, na jadilini nini kingehitajika kuziba pengo hilo.

Je, watu au maeneo yaliyochukua programu hii yangeweza kutofautiana kimfumo na yale yasiyochukua, kwa njia ambazo pia zingeathiri matokeo? Hili ni swali la upendeleo wa uteuzi, na linafaa kuulizwa hata — hasa — pale jibu linaonekana dhahiri "hapana". Motisha, hali za awali, uwezo wa mahali, na mifumo ya rufaa ya wafanyakazi ni vyanzo vya kawaida vilivyofichika vya tofauti vinavyozalisha makadirio ya athari ya kupotosha hata na sampuli kubwa, inayoonekana makini. Kama timu haiwezi kueleza washiriki walivyofika kuwa katika programu, haiwezi kuondoa hili, na pengo hilo linapaswa kukutia wasiwasi zaidi kuliko ukubwa mdogo wa sampuli.

Je, muundo wa tathmini yetu ulijengwa ndani ya programu, au uliongezwa baadaye, na ilitugharimu nini? Tathmini ya nasibu, utoaji wa awamu, au kizingiti cha ustahiki kilichopimwa vyote ni vya bei nafuu zaidi na vya kuaminika zaidi vinapopangwa kabla ya uzinduzi kuliko vinapojengwa upya kutoka data zozote za kiutawala zilizonusurika. Uliza ni chaguzi gani za muundo wa tathmini zilizingatiwa katika hatua ya usanifu wa programu, na kama hakuna, chukulia hilo kama pengo la mchakato la kufunga kabla ya programu inayofuata, si kikomo cha hii tu. Jadilini ni data gani ingehitaji kuwepo tangu siku ya kwanza kwa programu kuu inayofuata kuunga mkono makadirio ya kisababishi ya kuaminika.

Je, sampuli yetu ni kubwa ya kutosha kugundua athari inayostahili kujulikana, na je, tungetambua matokeo ya "hakuna athari" yenye nguvu ndogo tukiyaona? Tathmini inayoripoti hakuna athari ya maana kitakwimu wakati mwingine inakuambia kwa usahihi kwamba programu haifanyi kazi, na wakati mwingine inakuambia tu kwamba tathmini ilikuwa ndogo mno kuona athari ambayo ipo kweli. Waulize wachambuzi wako waeleze ukubwa wa chini wa athari ambao tathmini ilipimwa kugundua, na ulinganishe na ukubwa wa athari ambao ungehalalisha gharama ya programu kweli. Kama namba hizo mbili ziko mbali sana, matokeo ya "hakuna athari" yanaweza kuwa hayana taarifa badala ya kuhukumu, na timu inapaswa kusema hivyo waziwazi badala ya kuacha ukimya usomwe kama kushindwa.

Nani ananufaika, kitaaluma au kisifa, tathmini hii ikirudi chanya, na je, hilo linabadilisha kiasi gani cha uchunguzi huru kinachohitajika? Hii si shutuma ya kutokuwa mwaminifu; ni utambuzi kwamba watu waliobuni au wanaotoa programu wana uwezekano mkubwa zaidi wa kimuundo wa kufasiri matokeo yasiyo wazi kwa ukarimu, mara nyingi bila kutambua wanafanya hivyo. Jadilini kama tathmini iliagizwa, ilichambuliwa, au ilipitiwa na mtu huru dhidi ya timu ya utoaji, na kama sivyo, ukuta unaofaa wa kitaasisi ungeonekanaje kwa programu ya ukubwa huu. Lengo ni matokeo ambayo mfadhili wako mwenye shaka zaidi pia angeyaamini, si tu ambayo timu yako mwenyewe inastarehe kuyatetea.

Matokeo ya tathmini hii yakiwa thabiti, tungefanya nini tofauti kweli, na je, tuko tayari kulifanya? Tathmini iliyoagizwa lakini isiyokusudiwa kubadilisha uamuzi ni gharama iliyozama iliyovaa kama uangalifu wa lazima, na inafaa kutaja hatari hiyo kabla matokeo hayajafika badala ya baadaye. Jadilini, mapema, matokeo chanya yenye nguvu yangehalalisha nini (kupanua, na kwa kiasi gani) na matokeo sifuri au hasi yangechochea nini (kubuni upya, au kufuta, na kwa ratiba gani). Kama hakuna aliye chumbani anayeweza kujibu hili kabla ya kuona matokeo, tathmini inaweza kuwa inatumikia kazi ya uhalali badala ya kazi ya uamuzi, na hilo linafaa kutajwa kwa uaminifu (tazama Mada 2.1 — Kadi ya Alama ya Thamani ya Umma na Mifumo ya Matokeo).

Kwa vitendo: mfano wa thamani ya umma

Kielelezo cha kubuni. Wizara ya Huduma za Ajira katika nchi ya ukubwa wa kati isiyotajwa jina iliendesha jaribio la mwaka mmoja la huduma ya ukufunzi mkubwa kwa wanaotafuta kazi wasio na ajira kwa muda mrefu, kando ya huduma ya kawaida iliyopo. Mwishoni mwa jaribio, ripoti ya ndani ililinganisha kundi lililopokea ukufunzi mkubwa na kila mtu mwingine aliyeacha ukosefu wa ajira katika kipindi kile kile: kundi lililofundishwa lilikuwa na kiwango cha kuwekwa kazini cha asilimia 38 ndani ya miezi sita, dhidi ya asilimia 24 kwa wengine wa kesi. Mawaziri waliambiwa programu "ilifanya kazi" na hoja ya kibiashara ikaendelea mbele ya upanuzi wa kitaifa.

Kabla ya kuidhinisha ufadhili, kamati ya fedha iliuliza swali rahisi: wanaotafuta kazi walifikaje kuwa katika kundi lililofundishwa tangu mwanzo? Jibu liligeuka kuwa muhimu sana. Wafanyakazi wa kesi walikuwa wamewapeleka wanaotafuta kazi waliohukumu "wana uwezekano mkubwa zaidi wa kunufaika" kwenye jaribio la ukufunzi, uamuzi wa upangaji wenye nia njema ambao, kwa vitendo, ulikuwa umechagua kundi lililo tayari zaidi kufanya kazi kwenye tiba tangu mwanzo. Ulinganisho wa asilimia 38 dhidi ya 24 ulikuwa umechafuliwa na hasa upendeleo wa uteuzi ambao mada hii inaonya kuuhusu: ilikuwa inawezekana kabisa kundi lililofundishwa lingefanya vizuri kuliko wengine wa kesi hata bila ukufunzi wowote.

Badala ya kuidhinisha au kukataa upanuzi kwa ulinganisho huo, kitengo cha tathmini cha wizara kilipendekeza awamu ya pili kwa kutumia bahati nasibu. Mahitaji ya huduma ya ukufunzi tayari yalizidi nafasi zilizopo, kwa hivyo kitengo kiligawa nafasi kwa nasibu kati ya waombaji wenye ustahiki sawa na kulinganisha viwango vya kuwekwa kazini kati ya washindi wa bahati nasibu na walioshindwa, matumizi ya mantiki ya tathmini ya nasibu bila kuhitaji kuzuia huduma kwa yeyote ambaye hangeipokea vinginevyo. Miezi kumi na miwili baadaye, ulinganisho wa bahati nasibu ulionyesha athari ndogo lakini halisi: uboreshaji wa pointi 9 za asilimia katika kuwekwa kazini kwa miezi sita, si pengo la pointi 14 ambalo ulinganisho wa awali ulidokeza. Wizara ilitumia makadirio yanayotegemea bahati nasibu, pamoja na data zake za gharama, kujenga hoja ya ufanisi wa gharama inayoweza kutetewa (tazama Mada 2.2 — Uchambuzi wa Gharama na Manufaa ya Kijamii na wa Ufanisi wa Gharama) kwa upanuzi uliopimwa lakini wenye rasilimali chache, badala ya upanuzi mkubwa zaidi, usioweza kutolewa ambao ulinganisho wa awali wenye dosari ungehalalisha.

Mitazamo minne ya sekta

Serikali za mitaa

Mamlaka za mitaa kwa kawaida huendesha programu nyingi ndogo na za ukubwa wa kati badala ya chache kubwa sana, jambo linalofanya tathmini za nasibu zilizojengwa kwa kusudi kuwa ghali ikilinganishwa na ukubwa wa programu na kuwasukuma watathmini wa mtaa kuelekea mbinu za nusu-majaribio zinazotumia tena data za kiutawala ambazo tayari zinakusanywa — tofauti-katika-tofauti katika maeneo ya huduma yaliyopitisha mabadiliko nyakati tofauti, au muundo wa kukatika kwa mrejeo kuzunguka kizingiti cha ustahiki cha mtaa. Tofauti za mipaka na mamlaka ambazo mahali pengine ni usumbufu mara nyingi ndizo jaribio la asili bora la mtathmini wa mtaa, kwa kuwa wadi au wilaya mbili jirani zinaweza kutofautiana kwa sera huku zikifanana katika mengine mengi.

Serikali ya kitaifa

Serikali za kitaifa zina kiwango cha kufadhili tathmini za nasibu zilizojengwa kwa kusudi na seti za data za kiutawala, mara nyingi zilizounganishwa katika kumbukumbu za kodi, faida, afya, na elimu, za kuendesha miundo ya kuaminika ya nusu-majaribio kwa gharama ndogo ya pembeni. Kiwango hiki pia ndipo vikosi kazi vya tathmini ya "kinachofanya kazi" na mwongozo wa tathmini ulioandaliwa kuu, kama kitabu cha kawaida cha tathmini cha idara ya hazina, huelekea kukaa, kwa sababu ni serikali ya kitaifa tu inayoweza kuhalalisha gharama isiyobadilika ya kutunza miundombinu ya kudumu ya tathmini na kiwango cha pamoja cha kimbinu katika idara nyingi.

Sekta ya kijamii na mashirika yasiyo ya faida

Mashirika yasiyo ya faida na yasiyo ya kiserikali mara chache yana ukubwa wa sampuli au bajeti ambazo tathmini ya nasibu yenye nguvu ya kutosha inahitaji, na programu zao mara nyingi hubadilika kwa kujirekebisha kujibu kile wafanyakazi wa mstari wa mbele wanachoona, jambo linalotatiza muundo wowote unaodhani tiba thabiti, iliyobainishwa vizuri. Ushirikiano na kikundi cha utafiti cha kitaaluma au mpatanishi mtaalamu wa tathmini, wa aina iliyokua kuzunguka harakati ya tathmini ya nasibu katika maendeleo ya kimataifa, mara nyingi ndiyo njia pekee ya kweli ya makadirio ya kisababishi yenye ukali, na wafadhili wanazidi kuomba hasa ushirikiano huo wa nje kabla ya kujitolea ruzuku za miaka mingi.

Ya pande nyingi na ya kimataifa

Vyombo vya pande nyingi hufadhili programu katika nchi nyingi zenye mifumo tofauti ya data, uwezo wa kiutawala, na kanuni za mapitio ya kimaadili, jambo linalofanya mbinu sanifu za kisababishi kuwa ngumu zaidi kutumia kwa usawa lakini pia linaunda tofauti ya asili kati ya nchi inayoweza yenyewe kuwa jaribio la asili sera inapopitishwa katika baadhi ya nchi wanachama kabla ya nyingine. Tathmini za nasibu katika uchumi wa maendeleo zimekuwa na ushawishi hasa katika kiwango hiki, zikizalisha ushahidi uliounda jinsi ufadhili wa maendeleo ya kimataifa unavyogawiwa, lakini pia hubeba hatari iliyoandikwa ya kushindwa kwa uhalali wa nje: matokeo yanayoshikilia katika nchi na muktadha uliosomwa hayahamishiki yenyewe hadi muktadha tofauti, tahadhari ambayo usanifu wa programu za pande nyingi mara nyingi huipuuza mno.

Njia za kawaida za kushindwa

Kabla-na-baada ya kijinga. Programu inahukumiwa kwa kulinganisha matokeo kabla haijaanza na matokeo baada, bila kundi la ulinganisho kabisa, kwa hivyo mwelekeo wowote uliokuwa ukiendelea — kupona kwa uchumi, mabadiliko ya idadi ya watu, mabadiliko tofauti ya sera — unahusishwa vibaya na programu. Gharama ni hadithi ya kisababishi ya kujiamini iliyojengwa juu ya muundo ambao hauwezi kutofautisha athari ya programu na kila kitu kingine kilichotokea wakati mmoja.

Upendeleo wa uteuzi ukichukuliwa kuwa athari ya programu. Washiriki waliojichagulia, au waliopelekwa kwa sababu walionekana kuwa na uwezekano wa kufanikiwa, wanalinganishwa na kila mtu mwingine, wakizalisha makadirio ya athari ambayo ni kipimo cha nani programu iliwavutia badala ya kile ilichowafanyia. Gharama ni programu iliyopanuliwa inayoonekana kuwa na ufanisi mdogo, wakati mwingine mdogo zaidi, inapofikia idadi ya watu isiyojichagulia sana.

Tathmini yenye nguvu ndogo ikiripotiwa kama matokeo sifuri. Jaribio dogo linapata "hakuna athari ya maana kitakwimu" na kusomwa kama uthibitisho programu haifanyi kazi, wakati sampuli ilikuwa ndogo mno kugundua athari ya ukubwa ambao ungejalisha. Gharama inakwenda pande zote mbili: programu yenye ufanisi kweli inaweza kufutwa kwa nguvu ya ushahidi ambao haukuwa na uwezo wa kuonyesha ilifanya kazi, au rasilimali zinahamia kufadhili jaribio kubwa zaidi ambalo halikuhitajika kama muhtasari wa awali ungepimwa nguvu ipasavyo.

Kupanua makadirio ya mahali zaidi ya muktadha wake. Muundo wa kukatika kwa mrejeo unakadiria kwa usahihi athari kwa vitengo karibu na kikomo cha ustahiki, na makadirio ya kigezo cha zana yanakadiria kwa usahihi athari kwa vitengo ambavyo hali yao ya tiba zana ilibadilisha kweli, lakini matokeo yote mawili kisha yanatumika kwa idadi nzima ya watu kana kwamba makadirio yalishikilia kila mahali. Gharama ni sera iliyopanuliwa kwa nguvu ya nambari ambayo ilikuwa kweli ya mahali tu.

Tathmini kama maigizo. Tathmini inaagizwa kuunda mwonekano wa uamuzi unaotegemea ushahidi, lakini uamuzi tayari umekwisha kufanywa kwa ufanisi, na hakuna matokeo yanayowezekana ambayo yangeubadilisha. Gharama ni bajeti ya tathmini iliyopotezwa na, kwa ulaji zaidi, mmomonyoko wa polepole wa imani katika tathmini yenyewe wafanyakazi wanapoona kwamba matokeo hayaonekani kubadilisha kamwe mambo.

Kielelezo cha ukomavu

Orodha ya ukaguzi

• Eleza hali mbadala kwa kila tathmini kuu ya programu kwa sentensi moja ya lugha rahisi.
• Thibitisha washiriki walifikaje kuwa katika kundi la tiba, na utathmini kama mchakato huo wenyewe unaweza kueleza tofauti ya matokeo.
• Chagua mbinu ya tathmini (tathmini ya nasibu, tofauti-katika-tofauti, muundo wa kukatika kwa mrejeo, vigezo vya zana, au jaribio la asili) ilingane na kanuni halisi ya ugawaji, kabla ya utoaji kuanza popote inapowezekana.
• Kokotoa nguvu ya kitakwimu inayohitajika kugundua ukubwa mdogo zaidi wa athari ambao ungehalalisha gharama ya programu.
• Sajili mapema vipimo vya matokeo na mpango wa uchambuzi kabla matokeo hayajaonekana.
• Ripoti ulinganifu wa makundi ya tiba na ulinganisho kando ya athari kuu.
• Agiza au kagua tathmini kupitia kitengo huru dhidi ya timu ya utoaji.
• Tenganisha umuhimu wa kitakwimu na umuhimu wa kifedha na wa vitendo katika kila ripoti kwa wafanya maamuzi.
• Panga bajeti ya tathmini kama sehemu isiyobadilika ya gharama ya programu katika hatua ya usanifu.
• Chapisha matokeo sifuri na hasi kwa mwonekano sawa na chanya.
• Kagua kama makadirio chanya ya mahali (kutoka muundo wa kukatika kwa mrejeo au vigezo vya zana) yanapanuliwa zaidi ya idadi ya watu inayoyafunika kweli.
• Elekeza tathmini zilizokamilika kwenye msingi mpana wa ushahidi ambao sekta yako inautunza, si hifadhi yako tu.

Vyanzo muhimu

Msingi wa kimbinu wa mada hii unatokana na mapokeo ya uchumimetria iliyotumika yanayohusishwa na Joshua D. Angrist na Jörn-Steffen Pischke, na mfumo wa matokeo yanayowezekana ulioasisiwa na Donald Rubin. Harakati ya tathmini ya nasibu katika sera ya umma na uchumi wa maendeleo, inayohusishwa na Abdul Latif Jameel Poverty Action Lab (J-PAL) na mtandao wake wa kitaaluma, inatoa sehemu kubwa ya mazoezi yaliyotumika yanayorejelewa katika mitazamo ya sekta. Viwango vya tathmini vya serikali vinatokana na mwongozo wa Magenta Book wa Hazina ya Uingereza, na mazoezi ya muunganisho wa ushahidi yanatokana na viwango vya Campbell Collaboration vya mapitio ya kimfumo katika sera ya jamii (tazama Mada 2.6 — Muunganisho wa Ushahidi na Kinachofanya Kazi).

Marejeo

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network