公共價值記分卡與成果框架

這為何對公共價值重要

大多數公共部門與社會部門的領導者,都能流利地撰寫一份談及成果的戰略檔案。能在一年之後拿出證據、證明這些成果是否真的發生了變化的人則要少得多。兩者之間的差距,通常不是因為資料短缺——大多陣列織收集的資料量都很龐大——而是因為缺少一套有紀律的結構,把原始的活動統計數字轉化為一項關於所創造價值的、站得住腳的主張。主題1.2——戰略三角:合法性、價值與能力,把合法性與支援、價值主張以及運營能力,確立為一個組織的戰略必須同時滿足的三條邊(見主題1.2——戰略三角:合法性、價值與能力)。本主題講的是讓這三條邊變得可衡量、而不僅僅是被斷言的那些工具。

利害關係是即時且反覆出現的。一位資助方或立法機關會在下一個預算週期問,"我們花這筆錢得到了什麼"——而一個只有產出統計數字(開設的診所、處理的案件、舉辦的培訓課程)的組織,對這個問題背後的成果問題卻無言以對。一個專案團隊因為活動繁忙而相信自己正在成功,卻從未把活動與活動本應引發的世界變化區分開來。一個董事會憑一份有說服力的敘述批准了一項新舉措,一年後卻沒有任何達成一致的依據來決定是否繼續、擴大,還是終止它。這些都是帶有戰略後果的衡量失敗,而不是技術上的不便。

本主題所講的工具——馬克·摩爾的公共價值記分卡、邏輯模型,以及基於結果的問責制及其相關方法——並不能解決公共部門或社會部門組織所面對的每一個衡量問題。此後各主題將涉及更難、更技術性的層面:透過成本效益與成本效果分析將成果貨幣化(見主題2.2——社會成本效益與成本效果分析)、透過社會投資回報為抗拒貨幣化的成果定價(見主題2.3——社會投資回報與影響力測量),以及透過正式的專案評估確立一個專案確實引發了某種觀察到的變化(見主題2.4——公共部門計量經濟學與專案評估)。本主題提供的,是所有這三者之下的那一層:一套共享的詞彙,以及數量不多但持久耐用的框架,用來在任何這類技術工作開始之前,先說明一個組織實際上試圖改變什麼、為了誰,以及它將如何知曉。

核心概念

公共價值記分卡是馬克·H·摩爾提出的方案,主張用各自的一套指標來追蹤戰略三角的每一條邊,而不是預設採用私營部門平衡計分卡所使用的財務與運營衡量標準。摩爾改編了平衡計分卡——羅伯特·卡普蘭與戴維·諾頓用於從財務、客戶、內部流程與學習四個視角追蹤一家企業的工具——因為單一的財務底線無法代表一個其存在的核心主張便是創造任何市場價格都無法捕捉的價值的組織。公共價值記分卡轉而要求一個組織在反映這個三角的三個標題下明確指標:一份合法性與支援賬戶(授權環境是否滿意——資助方、監督者、公眾),一份公共價值賬戶(價值主張是否正在實現——公民與客戶的成果),以及一份運營能力賬戶(組織是否有能力維持並改善交付——人員、系統、財務、夥伴關係)。這項紀律在於拒絕讓任何一份賬戶代表整體;一個只彙報財務效率、或只彙報客戶滿意度的組織,根本沒有就這個三角框架作出彙報。

邏輯模型為記分卡的價值賬戶提供了內部結構。一個邏輯模型闡明瞭一個專案所聲稱要執行的因果鏈:投入(承諾的資金、人員及其他資源)、活動(組織用它們做了什麼)、產出(這些活動直接的、可計數的產品——完成的會診、發放的許可證、走訪的家庭)、成果(產出意在帶來的、知識、行為、狀況或地位上的變化,通常在數月或數年之內發生),以及影響(成果意在為之貢獻的、更長期的、往往是人口層面的變化,通常與其他行為者共同承擔,更難歸因於任何單一專案)。產出與成果之間的區別,是本主題最具後果性的單一區別:一項產出是組織做了什麼;一項成果是因此為其他人改變了什麼。一個培訓專案的產出是接受培訓的人數;它的成果是那些人此後能夠做到什麼,或者他們的境況發生了什麼此前無法實現的變化。

變革理論是一門緊密相關的學問,它把邏輯模型背後的假設變得明確、而非隱含——組織為什麼相信活動甲將真正產生成果乙,以及在什麼條件下這一因果主張可能失靈。一份變革理論不僅僅是一份更詳細的邏輯模型;它把邏輯模型那種方框與箭頭的圖表往往留而不談的"如果……那麼……因為"式推理及情境假設,置於前臺。主題2.3更深入地把變革理論用作社會部門影響力測量的起點(見主題2.3——社會投資回報與影響力測量);在這裡,它主要的意義在於,它是讓一個邏輯模型對自己實際所聲稱引發的東西保持誠實的那門學問,而有別於它僅僅希望隨之而來的東西。

基於結果的問責制(RBA)是一整套用於將人口層面的成果與具體專案績效相連線的、以結果為基礎的框架中最廣為人知的一種,在政府與社會部門中都被使用。它由馬克·弗裡德曼提出,並在其著作《Trying Hard Is Not Good Enough》中加以闡述,把組織習慣於混淆的兩種問責區分開來。群體問責問的是,整個社群或轄區在某種福祉狀況——兒童貧困、社群安全、教育成就——上的表現如何,使用的是數量不多的頭條指標,沒有任何一個機構完全擁有或完全控制這些指標。績效問責問的是某個具體專案或機構的表現如何,使用弗裡德曼的框架堅持要區分的三種績效指標:做了多少(努力程度——產出計數)、做得多好(質量),以及是否有人因此更好(效果——成果)。RBA的實踐方法,有時被稱為"扭轉曲線"分析,從一項選定的指標出發反向推演——詢問資料講述了什麼故事、是什麼原因造成了這個故事、誰是在改變它這件事上扮演角色的夥伴、什麼方法會奏效,以及組織提議做什麼——這是邏輯模型與變革理論分別加以形式化的那種推理的一個結構化版本。RBA是更廣泛的基於結果的管理模式的一個例項,與國際發展與公共行政領域中常規實踐的監測與評估密切相關,由國家政府、慈善資助方與多邊機構以各種形式推廣,作為一門把支出與成果、而不僅僅與產出相連線的共享學問。

產出、成果與記分卡合在一起。 這些框架之所以屬於同一個主題、而非三個主題,是因為它們在一個組織的規劃與彙報週期中的不同節點回答著同一個基本問題。邏輯模型在設計階段被繪製出來,用以陳述因果主張。基於結果的問責制及類似框架在彙報階段被應用,用以讓績效衡量對努力與效果之間的差異保持誠實。公共價值記分卡則位於兩者之上,是那個確保成果證據——無論它是如何產生的——真正抵達合法性與能力對話、而不是滯留在一個專案團隊自己的彙報之內、進而在其中做出預算與授權決策的常設結構。這三個框架共同,把公共價值從一個組織對自身的宣稱,變成了一個它能夠以證據加以捍衛的主張。

最佳實踐

1. 在確定指標之前先繪製邏輯模型,而不是之後。 在同意聲稱要引發什麼之前就選定要衡量什麼,會得出一份任何容易計數之物的清單;先繪製從投入到影響的鏈條,再選定能夠檢驗其中每一個環節的衡量指標。
2. 同時彙報記分卡的三份賬戶,而不是一次一份。 一份沒有成果證據的合法性更新,或一份沒有說明維繫成本所需能力賬戶的成果報告,各自都只講述了資助方或監督者做出一項真正決策所需故事的一部分。
3. 在每一份績效報告中明確區分努力、質量與效果。 即便在一次正式的RBA實施之外,也要借用弗裡德曼的三分法;一份把"提供的會診次數"與"改善的生活"混為一談、不加區分的報告,總會預設選擇二者中更容易被誇大的那一個。
4. 選定數量不多的頭條群體指標,並把它們保持數年、而非數季。 人口層面的狀況變化緩慢,並受眾多行為者影響;每一個彙報週期都更換頭條衡量指標,會讓人無法判斷曲線是否真的在被扭轉。
5. 大聲說出組織不能控制什麼。 一份暗示單一專案完全引發了一項人口層面成果的邏輯模型,恰恰會招致當該成果未按計劃變化時侵蝕合法性的那種懷疑;從一開始就說明其他促成因素。
6. 在預算週期之前、而不是之後公佈成果框架。 一份為證成一項已經做出的預算決策而製作的成果框架,讀起來像是事後的合理化;一份在週期之前公佈的框架,則是一項真實決策正在據此接受檢驗的證據。
7. 把記分卡與邏輯模型當作活的檔案來維護,在情境變化時加以修訂,而不是當作年度製品。 為某一政策環境繪製的邏輯模型,可能悄然不再匹配現實——一部新法律、一次人口結構變化、一次資金變動——遠早於一次按計劃進行的審查會察覺這一點;應把兩者都當作由交付團隊所擁有的東西,而不是一項由中央辦公室完成的合規工作。
8. 讓績效賬戶的衡量指標貼近能夠據此行動的人。 一個專案團隊可以直接改善質量與努力指標;若把人口層面的成果目標交給他們、而他們卻無法獨自撬動它,衡量便會成為士氣打擊的來源,而非方向指引的來源。
9. 把未達成的成果目標當作追問原因的契機,而不是需要掩蓋的裁決。 "扭轉曲線"那種在歸責之前先問是什麼造成了這一趨勢的習慣,讓成果彙報保持有用;一種懲罰未達標目標的文化,會教會員工去保護那個數字,而非保護成果本身。
10. 讓變革理論中的假設變得可證偽。 一項寫得如此含糊、以至於任何證據都無法反駁它的假設,並不會為邏輯模型增添嚴謹性;把假設寫得足夠具體,讓未來的一次評估能夠證明它是錯誤的。

與團隊討論的問題

對我們最重要的專案,我們目前能否區分產出與成果——我們自己的員工是否正確使用這兩個詞? 許多組織用成果的語言來彙報活動統計數字,卻沒有注意到這種替換,而這正悄悄侵蝕著本主題所看重的這一根本區別。用這個問題拿出一份真實的當前報告,逐行核對哪些數字描述的是組織做了什麼、哪些描述的是為其他人改變了什麼。討論一下語言在哪些地方已經漂移,以及這種漂移反映的是對專案邏輯的真正困惑,還是僅僅因為成果資料比產出資料更難獲取。如果誠實的答案是後者,這本身就是一項值得記錄的發現,而不是繼續使用披著成果外衣的產出語言的理由。

我們目前的彙報在哪些地方把努力、質量與效果坍縮成了一個單一數字,這個數字實際上告訴了讀者什麼? 弗裡德曼的三分法之所以存在,是因為組織習慣性地預設彙報努力——三者中最容易計數的一個——卻暗示自己已經彙報了效果。用這個問題找出組織目前彙報的一項旗艦指標,並作為一個團隊一起判斷它實際衡量的是三者中的哪一個。討論一下,為這項指標分別彙報三者需要什麼,以及這樣做是否會改變目前只看到混合數字的人們對這個組織的看法。

如果我們的頭條人口成果在再過兩個彙報週期後仍未改善,我們會做出哪些不同的事,又有哪些不會改變? 這個問題檢驗的是,一個組織究竟是真正在用自己的成果框架來引領方向,還是僅僅把它當作一項彙報義務來生產。用它來分辨當前戰略中哪些部分是依賴於成果資料的,哪些部分無論資料顯示什麼都是固定不變的。誠實地討論一下,即便證據堅定地轉向不利方向,當前專案的任何部分是否仍會原封不動地存續下去,因為那正是實際上未被這套框架管理的那一部分。

我們的公共價值記分卡,如果我們有一份的話,是否彙報了三角形的全部三條邊,還是它已悄然變成了一份只關於一條邊的記分卡? 一份成果框架從真正的三邊雄心出發、卻在彙報壓力之下漂移成一份只關於成果、或只關於財務的檔案,這種情況並不少見。用這個問題審計最近兩三次正式報告是否符合本主題所描述的三份賬戶結構。討論一下,在時間壓力之下,哪一條邊往往最先被放棄,這又說明了組織隱性地把哪一條邊視為可有可無。

這個組織之外的誰需要認同我們的邏輯模型,它才算可信,我們是否真的問過他們? 一份完全由設計干預措施的專案團隊繪製的邏輯模型,可能悄悄嵌入了樂觀的假設,而房間裡沒有任何一個外部人士能夠質疑這些假設。用這個問題找出哪些外部行為者——資助方、交付夥伴、專案所服務的人——在因果鏈是否正確這件事上有利害關係,以及他們中是否真的有人審閱過它。討論一下,上一次邀請外部視角參與這項審查,改變了什麼(如果有的話)。

我們能夠彙報的、依然讓外部人士判斷這個組織是否在創造公共價值的最小一套人口與績效指標是什麼? 衡量體系隨時間累積指標的速度,往往遠快於淘汰指標的速度,直到這套框架變得龐大到沒有人能真正在決策中使用它。用這個問題嘗試作為一次練習,把當前的指標集削減一半,同時不失去回答本主題所描述的群體問責與績效問責問題的能力。討論這項練習揭示出怎樣的阻力,因為對削減某項具體指標的抵制,往往是這個組織實際上被問責的物件是什麼的一個訊號,無論這是否與其宣稱的戰略相符。

實踐中的公共價值案例

一個虛構的區域性家庭支援慈善機構網路——用以說明一種模式,而非對任何真實組織的報道——十年來一直在低收入社群為新手父母運營家訪專案。它每年向資助方提交的報告詳盡,並且按產出衡量令人印象深刻:每年完成數千次家訪、育兒工作坊出席率高、參與家庭的滿意度分數強勁。基於這份記錄,該網路穩步擴張,大約每兩年增設一個新的地方分支。

一位新的全國性資助方,正在考慮一筆規模足以讓該網路覆蓋範圍翻倍的多年期撥款,提出了一個該網路自己的董事會從未正式向管理層提出過的問題:有什麼證據表明,接受家訪的家庭中的孩子,後來確實比未接受家訪、條件相當的家庭中的孩子發展得更好。該網路的領導層在梳理這個問題的過程中意識到,自己的彙報從未把努力與效果區分開來。走訪次數與滿意度分數是專案正在被交付且廣受歡迎的真實證據;二者都不是它改變了孩子發展成果的證據——而這正是嵌入該網路自身使命宣言中、隱含地寫在它寫過的每一份資助申請裡的主張。

該網路從頭構建了一個邏輯模型,從它真正想要的成果出發——改善的兒童早期發展指標、減少已證實的兒童忽視事件、增強的父母信心——反向推演出每一項各自據以依賴的活動與產出,並明確指出中間的假設。它採用了一種簡化的基於結果的問責制結構:在社群層面追蹤的群體指標,與本地學校及衛生服務共享,再加上自己團隊能夠直接採取行動的績效指標——走訪頻率、工作坊完成率,以及在三個月與十二個月時由員工評估的育兒信心。五項成果指標中有兩項在第一個彙報週期未能如預期改善。該網路沒有壓下這一結果,而是運用自己的"扭轉曲線"流程展開調查,發現是當地衛生訪視員人員配置的變化打亂了轉介渠道,並調整了自己的夥伴關係安排,而非核心模式。該資助方續簽並擴大了這筆撥款,把彙報的誠實——而非缺乏落差——列為其信心的理由。

四種部門視角

地方政府

一個地方政府機構的成果框架,通常處於一套更廣泛、由國家政府定義、它並未選擇卻必須據以彙報的指標之內,並與反映該議會自身優先事項的地方選定衡量指標並存。這種雙重結構意味著一份地方記分卡常常必須協調兩類提出不同問題的受眾——一位詢問是否符合標準指標集的國家督察員,以及詢問某條具體、可見的地方狀況(例如某條街道或某項服務)的本地居民。地方政府規模上的邏輯模型,通常最容易為單一服務(一次回收物收集方式的改變、一次圖書館重新設計)而建立,而對社群凝聚力這類跨領域成果則最難可信地建立,因為議會控制之外的眾多行為者同樣在其中發揮作用。

國家政府

國家層面的成果框架在這樣一種規模上運作,使基於結果的問責制中群體問責與績效問責的區別從可有可無變為不可或缺:一項國家健康或教育指標受數百個專案影響,而其中只有少數幾個是由任何單一部門直接資助的,因此一個部委單獨宣稱自己獨享一項全國性趨勢的功勞或過錯,很少能站得住腳。國家政府也常常是那些下游交付機構必須採納的、大型的、中央授權成果框架的最常見來源,這產生了一種反覆出現的風險:該框架是為跨部門的加總與比較而設計的,而非為真正引領任何單一專案的交付而設計的。

社會部門與非營利組織

非營利組織與非政府組織(NGO)比起採納一個由授權者交辦下來的框架,更常常從第一性原理出發自行構建自己的邏輯模型與變革理論,因為它們的資助方常常正是要求因果論證的一方,而非提供標準模板的一方。這給了社會部門組織更多自由去設計一套真正契合其實際專案邏輯的成果框架,但也讓它們更容易受到由資助方驅動的衡量疲勞的影響,即每一筆資助都攜帶自己的彙報要求,導致一個組織最終為同一項底層工作維護著好幾套並行的成果框架。基於結果的問責制中群體與績效的劃分在這裡格外有用,因為它給了一個非營利組織可以坦率地告訴資助方的語言:它可以為自己的績效指標負責,卻不能獨自為一項許多其他行為者也在影響的群體指標負責。

多邊與國際

多邊機構在這樣一種規模上執行基於結果的管理,使邏輯模型的假設同時穿越數十個國家情境,因此在一個國家成立的干預邏輯,可能在另一個國家悄然失靈,而頭條的全球指標卻揭示不出哪個情境出了問題。這種環境中的結果框架,常常是為同時滿足多個捐助國政府而建立的,每一個都有自己的彙報偏好,這推動其走向標準化的指標集(以國際基於結果的管理指導推廣的那種型別),代價是犧牲了本地的特定性。執行夥伴能夠快速彙報的一項產出——完成的培訓、供應的診所——與只有多年之後才會在一次全國性調查中顯現的一項成果之間的差距,在這裡往往是最大的,這使得明確陳述、而非假設所假定的因果鏈這門學問,在這裡顯得格外重要。

常見失敗模式

產出偽裝成成果。 一個組織用成果的語言彙報活動統計數字——當實際衡量的是巡邏次數時,卻說"社群安全有所改善"——這或者是出於真正的混淆,或者是因為成果資料更難、更慢獲取。當一位外部審查者直接索要成果證據、卻發現這一主張背後只有產出時,代價便會顯現,對組織信譽的損害超過一項適度、如實彙報的成果本會帶來的損害。

指標激增。 一份記分卡或邏輯模型積累衡量指標的速度快於淘汰指標的速度,驅動因素是每一位新的利益相關者的要求都新增一行、而不是替換一項現有的行。最終結果是一套龐大到沒有任何管理者能真正在決策中使用的框架,這悄悄地讓組織退回到非正式判斷,而正式框架則變成了一份沒有人查閱的彙報製品。

目標俘獲。 一項績效衡量指標,一旦與資金或獎勵掛鉤,便會成為員工直接最佳化的物件、而非它本應作為代理的那項成果——這正是古德哈特定律所描述的模式,即一項被用作目標的衡量指標,便不再是一項可靠的衡量指標。本主題為這一動態在公共部門的具體歸宿,包括質量制度如何試圖偵測並限制它,留在了別處(見主題3.11——質量、安全與績效管理);在這裡,它的意義在於提醒我們把努力、質量與效果的衡量分開,並在目標扭曲行為之前重新審視它們。

歸因過度。 一個專案的彙報暗示自己對一項許多其他行為者同樣有影響的人口層面成果承擔著唯一的因果責任,或是出於用語不慎,或是出於真心相信如此。當該成果——常常出於該專案控制範圍之外的原因——未能改變時,組織便承受了與其實際貢獻不成比例的責難,這隨後又在未來的週期中抑制對不足之處的誠實彙報。

框架沒有反饋。 一個組織構建了一份確實設計良好的邏輯模型與成果框架,此後卻從未對照實際結果重新審視它,於是它硬化成了一份固定的檔案,而非一件活的管理工具。其下的戰略仍在原始假設上執行多年,遠在證據本已證成應予修訂之後,以此為代價,犧牲了這套框架本應促成的那種適應能力本身。

成熟度模型

檢查清單

• 在為每一個主要專案確定其指標之前,先繪製一份邏輯模型(投入、活動、產出、成果、影響)。
• 把變革理論中的因果假設寫得足夠具體,使證據能夠反駁它們。
• 在每一份績效報告中區分努力、質量與效果衡量指標,即便是在一次正式的基於結果的問責制實施之外。
• 構建或更新公共價值記分卡,使三條邊——合法性、價值、能力——一併彙報,而非分開彙報。
• 選定數量不多、穩定的一套頭條群體指標,並承諾在數個彙報週期中保持它們。
• 檢查當前報告中是否有用成果詞彙描述一項產出的語言,並加以糾正。
• 在下一個預算或資助週期之前、而不是作為其後果釋出成果框架。
• 對任何一項彙報的人口層面主張,明確說明組織不能單獨控制的因素。
• 設定一個固定週期,對照實際證據重新審視邏輯模型,而不僅僅在一次按計劃的正式評估中進行。
• 確定至少一位外部利益相關者,在邏輯模型最終確定之前審查其假設。
• 審計當前的指標集,尋找退出沒有人在實際決策中使用的衡量指標的機會。
• 事先就一項頭條成果連續兩個彙報週期未能改善時組織將做出哪些不同的事達成一致。

關鍵資料來源

• 馬克·H·摩爾,《創造公共價值:政府的戰略管理》(1995年)與《識別公共價值》(2013年)——公共價值記分卡的奠基性文字,把平衡計分卡傳統改編到戰略三角的三條邊上。
• 馬克·弗裡德曼,《Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities》——基於結果的問責制的奠基性文字,包括群體問責/績效問責的區分與"扭轉曲線"分析。
• 羅伯特·卡普蘭與戴維·諾頓的平衡計分卡文獻——摩爾為公共價值情境所改編的私營部門來源。
• 經合組織(OECD)關於基於結果的管理與評估術語的指導,用於在發展與公共行政實踐中標準化成果與影響的語言。
• 世界銀行獨立評估局關於發展行動的結果框架與變革理論的指導。
• 佛蒙特州人類服務廳關於在州與社群層面應用基於結果的問責制的公開記述——該框架在實際政府運用中的一個例項。

參考文獻

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf