공공가치 스코어카드와 성과 프레임워크

공공가치에서 이것이 중요한 이유

대부분의 공공 및 사회 부문 지도자는 성과에 대해 유창하게 말하는 전략 문서를 내놓을 수 있다. 1년 뒤에 그 성과가 실제로 움직였는지를 보여 주는 증거를 내놓을 수 있는 이는 훨씬 적다. 둘 사이의 간극은 대개 데이터 부족이 아니다. 대부분의 조직은 방대한 양의 데이터를 수집한다. 부족한 것은 원시 활동 건수를 창출된 가치에 대한 방어 가능한 주장으로 바꾸는 규율 있는 구조다. 주제 1.2 — 전략적 삼각형: 정당성, 가치, 역량은 정당성과 지지, 가치 제안, 운영 역량을 조직의 전략이 동시에 충족해야 하는 세 축으로 제시했다(주제 1.2 — 전략적 삼각형: 정당성, 가치, 역량 참조). 이 주제는 그 세 축을 단지 주장하는 데 그치지 않고 측정 가능하게 만드는 도구에 관한 것이다.

이해관계는 즉각적이고 반복적이다. 재원 제공자나 입법부는 다음 예산 라운드에서 '이 돈으로 우리는 무엇을 얻었는가'를 묻는다. 산출 건수(문을 연 진료소, 처리한 사건, 진행한 교육 세션)만 가진 조직은 그 밑에 깔린 성과 질문에 답이 없다. 프로그램 팀은 활동이 많고 분주하다는 이유로 성공하고 있다고 믿으면서, 활동과 그 활동이 일으키려던 세상의 변화를 구별하지 않았다. 이사회는 설득력 있는 서사에 힘입어 새 사업을 승인하고는 1년 뒤에 이를 계속할지, 확대할지, 중단할지를 결정할 합의된 근거가 없다. 이것들은 모두 전략적 결과를 가져오는 측정의 실패이며, 기술적 불편이 아니다.

이 주제의 도구들, 곧 마크 무어의 공공가치 스코어카드, 로직 모델, 결과기반 책임성과 그 친척들은 공공 또는 사회 부문 조직이 직면하는 모든 측정 문제를 풀지는 않는다. 이후의 주제들은 더 어렵고 더 기술적인 층위를 다룬다. 비용편익분석과 비용효과분석으로 성과를 화폐화하는 일(주제 2.2 — 사회적 비용편익분석과 비용효과분석 참조), 화폐화에 저항하는 성과를 사회적 투자수익률로 평가하는 일(주제 2.3 — 사회적 투자수익률과 영향 측정 참조), 공식적인 프로그램 평가를 통해 프로그램이 관찰된 변화를 실제로 일으켰음을 입증하는 일(주제 2.4 — 공공부문 계량경제학과 프로그램 평가 참조)이다. 이 주제가 제공하는 것은 그 셋 모두의 밑에 있는 층위, 곧 그러한 기술적 작업이 시작되기 전에 조직이 실제로 무엇을, 누구를 위해 바꾸려 하고 그것을 어떻게 알 것인지를 진술하기 위한 공유된 어휘와 소수의 지속적인 틀이다.

핵심 개념

공공가치 스코어카드는 삼각형의 각 축을 민간 부문의 균형성과표가 쓸 재무적이고 운영적인 척도로 기본값을 삼는 대신 각자의 지표 집합으로 추적하자는 마크 H. 무어의 제안이다. 무어는 로버트 캐플런(Robert Kaplan)과 데이비드 노턴(David Norton)이 재무, 고객, 내부 프로세스, 학습의 관점에서 기업을 추적하기 위해 만든 도구인 균형성과표를 변용했다. 어떤 시장 가격도 포착하지 못하는 가치를 창출한다는 것이 존재의 핵심 근거인 조직을 단일한 재무적 손익 하나로는 나타낼 수 없기 때문이다. 공공가치 스코어카드는 대신 조직에게 삼각형을 반영하는 세 제목 아래에서 척도를 명시하라고 요청한다. 정당성과 지지의 계정(승인 환경, 곧 재원 제공자, 감독자, 대중이 만족하는가), 공공가치의 계정(가치 제안이 실현되고 있는가, 곧 시민과 고객의 성과), 운영 역량의 계정(조직이 전달을 유지하고 개선할 수 있는가, 곧 직원, 시스템, 재정, 파트너십)이다. 규율은 어느 한 계정이 전체를 대신하도록 허용하기를 거부하는 데 있다. 재무적 효율만, 또는 고객 만족만 보고하는 조직은 삼각형에 비추어 전혀 보고하지 않은 것이다.

로직 모델은 스코어카드의 가치 계정에 내부 구조를 제공한다. 로직 모델은 프로그램이 작동한다고 주장하는 인과 사슬을 펼쳐 보인다. 투입(투입된 돈, 인력, 기타 자원), 활동(조직이 그것으로 하는 일), 산출(그 활동의 즉각적이고 셀 수 있는 생산물, 곧 진행한 세션, 발급한 허가, 방문한 가구), 성과(산출이 일으키려는 지식, 행동, 상태, 지위의 변화로, 대개 몇 달이나 몇 해에 걸친다), 영향(성과가 기여하려는 더 장기적이고 흔히 인구 수준의 변화로, 대개 다른 행위자와 공유되고 어느 한 프로그램에 귀속시키기 더 어렵다)이다. 산출과 성과의 구별은 이 주제에서 가장 결과가 큰 구별이다. 산출은 조직이 한 일이고, 성과는 그 결과로 다른 누군가에게 바뀐 것이다. 교육 프로그램의 산출은 교육받은 사람의 수이고, 성과는 그 사람들이 이제 할 수 있는 것, 또는 이전에는 할 수 없었던 방식으로 그들의 처지가 어떻게 바뀌는가이다.

변화 이론은 로직 모델 뒤의 가정을 암묵적으로 두는 대신 명시적으로 만드는 밀접하게 관련된 규율이다. 조직이 왜 활동 A가 성과 B를 실제로 낳으리라고 믿는지, 그리고 어떤 조건에서 그 인과 주장이 실패할 수 있는지를 밝힌다. 변화 이론은 단순히 더 자세한 로직 모델이 아니다. 로직 모델의 상자와 화살표 도식이 명시하지 않은 채 두기 쉬운 '만약… 그러면… 왜냐하면'의 추론과 맥락적 가정을 전면에 내세운다. 주제 2.3은 변화 이론을 사회 부문의 영향 측정의 출발점으로 더 깊이 사용한다(주제 2.3 — 사회적 투자수익률과 영향 측정 참조). 여기서는 주로 로직 모델이 단지 희망하는 결과와 구별되는, 실제로 일으킨다고 주장하는 것에 대해 정직하도록 지켜 주는 규율로서 중요하다.

결과기반 책임성(RBA)은 정부와 사회 부문 전반에서 인구 수준의 성과를 특정 프로그램의 성과와 연결하는 데 쓰이는 성과 중심 틀의 가족 가운데 가장 잘 알려진 구성원이다. 마크 프리드먼(Mark Friedman)이 개발하여 그의 저서 Trying Hard Is Not Good Enough에서 제시한 RBA는 조직이 일상적으로 혼동하는 두 가지 별개의 책임성을 구분한다. 인구 책임성은 아동 빈곤, 지역 안전, 학업 성취처럼 복리의 한 조건에서 지역사회나 관할권 전체가 어떻게 지내고 있는지를, 어느 단일 기관도 소유하거나 완전히 통제하지 못하는 소수의 대표 지표를 사용해 묻는다. 성과 책임성은 특정 프로그램이나 기관이 얼마나 잘하고 있는지를, 프리드먼의 틀이 구분하기를 고집하는 세 종류의 성과 지표로 묻는다. 얼마나 많이 했는가(노력, 곧 산출 건수), 얼마나 잘 했는가(품질), 누군가 더 나아졌는가(효과, 곧 성과)다. RBA의 실용적 방법은 때로 '곡선 돌리기(turn the curve)' 분석이라 불리며, 선택한 지표에서 거꾸로 작업한다. 데이터가 어떤 이야기를 하는지, 무엇이 그 이야기를 일으키는지, 그것을 바꾸는 데 역할이 있는 파트너는 누구인지, 무엇이 효과가 있을지, 조직이 무엇을 하려 하는지를 묻는다. 이는 로직 모델과 변화 이론이 각기 따로 형식화하는 추론의 구조화된 판본이다. RBA는 결과 기반 관리라는 더 넓은 유형의 한 사례이며, 국제 개발과 행정 전반에서 쓰이는 일상적 관행인 모니터링과 평가와 밀접하게 관련되고, 각국 정부, 자선 재원 제공자, 다자기구가 지출을 산출만이 아니라 성과와 연결하는 공유된 규율로 여러 형태로 장려한다.

산출, 성과, 그리고 스코어카드를 함께. 이 틀들이 세 개의 주제가 아니라 하나의 주제에 속하는 이유는 같은 근본 질문에 조직의 계획과 보고 주기의 서로 다른 지점에서 답하기 때문이다. 로직 모델은 설계 시점에 인과 주장을 진술하기 위해 그려진다. 결과기반 책임성과 비슷한 틀은 보고 시점에 성과 척도가 노력과 효과의 차이에 대해 정직하도록 지키기 위해 적용된다. 공공가치 스코어카드는 둘 위에 서서, 성과 증거가 어떻게 생산되었든 간에 프로그램 팀 자신의 보고 안에 머물지 않고 예산과 위임 결정이 내려지는 정당성과 역량의 논의에 실제로 도달하게 하는 상설 구조다. 세 틀이 함께 공공가치를 조직이 자신에 대해 하는 주장에서 증거로 방어할 수 있는 주장으로 바꾼다.

모범 사례

1. 지표보다 먼저, 나중이 아니라 사전에 로직 모델을 그려라. 무엇을 일으킨다고 주장하는지 합의하기 전에 무엇을 측정할지 고르면 세기 쉬운 것의 목록이 나온다. 투입에서 영향까지의 사슬을 먼저 그린 다음, 그 사슬의 각 고리를 시험하는 척도를 골라라.
2. 세 스코어카드 계정을 한 번에 하나씩이 아니라 함께 보고하라. 성과 증거 없는 정당성 업데이트나, 그것을 유지하는 데 든 비용에 대한 역량 계정 없는 성과 보고서는 각각 재원 제공자나 감독자가 실제 결정을 내리는 데 필요한 이야기의 일부만 전한다.
3. 모든 성과 보고서에서 노력, 품질, 효과를 명시적으로 분리하라. 공식 RBA 도입 바깥에서도 프리드먼의 삼분법을 빌려라. '진행한 세션'과 '개선된 삶'을 구별 없이 섞은 보고서는 부풀리기 더 쉬운 쪽으로 늘 기울 것이다.
4. 소수의 대표 인구 지표를 고르고 분기가 아니라 수년 동안 유지하라. 인구 수준의 조건은 천천히 움직이고 많은 행위자의 영향을 받는다. 보고 주기마다 대표 척도를 바꾸면 곡선이 실제로 돌고 있는지 알 수 없게 된다.
5. 조직이 통제하지 못하는 것을 소리 내어 명명하라. 단일 프로그램이 인구 수준의 성과를 전적으로 일으킨다고 암시하는 로직 모델은, 성과가 일정대로 움직이지 않을 때 정당성을 해치는 바로 그 회의론을 부른다. 기여하는 다른 요인들을 처음부터 진술하라.
6. 성과 프레임워크를 예산 라운드 이후가 아니라 이전에 공표하라. 이미 내려진 예산 결정을 정당화하려고 만든 성과 프레임워크는 사후 합리화로 읽힌다. 라운드에 앞서 공표된 것은 실제 결정이 그에 비추어 시험되고 있다는 증거다.
7. 스코어카드와 로직 모델을 연례 산출물이 아니라 맥락이 바뀔 때 재검토하는 살아 있는 문서로 유지하라. 하나의 정책 환경을 위해 그려진 로직 모델은 새 법, 인구 변화, 재원 변화로 정기 검토가 잡아내기 훨씬 전에 현실과 조용히 맞지 않게 될 수 있다. 둘 다 중앙 부서의 준법 활동이 아니라 전달 팀이 소유하는 것으로 다뤄라.
8. 성과 계정의 척도를 그것에 대해 행동할 수 있는 사람들 가까이에 두라. 프로그램 팀은 품질과 노력의 척도를 직접 개선할 수 있다. 혼자서는 움직일 수 없는 인구 수준의 성과 목표를 건네면 측정은 방향이 아니라 사기 저하의 원천이 된다.
9. 놓친 성과 목표를 숨길 평결이 아니라 왜 그런지 묻는 계기로 다뤄라. 책임을 묻기 전에 무엇이 추세를 일으키는지 묻는 '곡선 돌리기'의 습관은 성과 보고를 유용하게 유지한다. 놓친 목표를 처벌하는 문화는 직원에게 성과가 아니라 숫자를 지키도록 가르친다.
10. 변화 이론의 가정을 반증 가능하게 만들어라. 어떤 증거도 결코 반박할 수 없을 만큼 모호하게 쓴 가정은 로직 모델에 엄밀성을 더하지 않는다. 가정을 나중의 평가가 그것이 틀렸음을 보일 수 있을 만큼 구체적으로 써라.

팀과 논의할 질문

가장 중요한 프로그램에서 우리는 현재 산출과 성과를 구별할 수 있는가, 그리고 우리 직원은 그 두 단어를 올바르게 쓰는가? 많은 조직이 대체되었음을 알아채지 못한 채 성과의 언어로 활동 건수를 보고하며, 이는 이 주제가 기초적이라고 보는 차이를 조용히 침식한다. 이 질문을 활용해 현재의 실제 보고서를 꺼내 어떤 숫자가 조직이 한 일을 기술하고 어떤 숫자가 다른 사람에게 바뀐 것을 기술하는지 한 줄씩 점검하라. 언어가 어디서 표류했는지, 그 표류가 프로그램 논리에 대한 진정한 혼동을 반영하는지, 아니면 단지 성과 데이터가 산출 데이터보다 얻기 어렵기 때문인지 논의하라. 솔직한 답이 후자라면 그것은 기록할 가치가 있는 발견이며, 성과로 위장한 산출의 언어를 계속 쓸 이유가 아니다.

우리의 현재 보고는 어디서 노력, 품질, 효과를 하나의 숫자로 뭉뚱그리며, 그 숫자는 독자에게 실제로 무엇을 말해 주는가? 프리드먼의 삼분법이 존재하는 것은 조직이 셋 중 가장 세기 쉬운 노력을 보고하면서 효과를 보고한 것처럼 암시하는 쪽으로 일상적으로 기울기 때문이다. 이 질문을 활용해 조직이 현재 보고하는 대표 지표 하나를 찾아 셋 중 실제로 무엇을 측정하는지 함께 가려내라. 그 지표에 대해 셋을 따로 보고하려면 무엇이 필요한지, 그리고 그렇게 하면 현재 뭉뚱그린 숫자만 보는 사람들이 조직을 보는 방식이 달라질지 논의하라.

우리의 대표 인구 성과가 두 보고 주기 더 움직이지 않는다면 우리는 무엇을 다르게 하고, 무엇을 바꾸지 않을까? 이 질문은 조직이 성과 프레임워크를 방향을 잡는 데 진정으로 쓰고 있는지, 아니면 보고 의무로 생산하고 있을 뿐인지 시험한다. 현재 전략의 어떤 부분이 성과 데이터에 좌우되고 어떤 부분이 데이터가 무엇을 보이든 고정되어 있는지 구별하는 데 활용하라. 증거가 단호히 불리하게 돌아서더라도 현재 프로그램의 어느 부분이 바뀌지 않고 살아남을지 솔직하게 논의하라. 그 부분이 프레임워크로 실제로 관리되지 않는 부분이기 때문이다.

우리에게 공공가치 스코어카드가 있다면, 그것은 삼각형의 세 축을 모두 보고하는가, 아니면 조용히 한 축만의 스코어카드가 되었는가? 성과 프레임워크가 진정한 세 축의 야심으로 시작했다가 보고 압박 아래 성과만 또는 재무만 있는 문서로 표류하는 일은 흔하다. 이 질문을 활용해 최근 두세 건의 공식 보고서를 이 주제가 기술하는 세 계정 구조에 비추어 감사하라. 시간 압박 아래 어느 축이 가장 먼저 빠지는 경향이 있는지, 그것이 조직이 암묵적으로 어느 축을 선택 사항으로 취급하는지에 대해 무엇을 말해 주는지 논의하라.

이 조직 밖의 누가 우리 로직 모델이 믿을 만하다는 데 동의해야 하며, 우리는 실제로 그들에게 물어보았는가? 개입을 설계한 프로그램 팀이 전적으로 그린 로직 모델은 방 밖의 누구도 이의를 제기할 위치에 있지 않은 낙관적 가정을 조용히 담을 수 있다. 이 질문을 활용해 재원 제공자, 전달 파트너, 프로그램의 서비스 대상자 등 외부 행위자 가운데 누가 인과 사슬이 맞는지에 이해관계가 있는지, 그들 중 실제로 이를 검토한 사람이 있는지 파악하라. 마지막으로 그 검토에 외부의 관점을 초대했을 때 무엇이 바뀌었는지, 있다면, 논의하라.

외부인이 이 조직이 공공가치를 만들어 내고 있는지 판단할 수 있게 해 주는 가장 작은 인구 및 성과 지표 집합은 무엇인가? 측정 체계는 시간이 지나면서 지표를 폐기하는 것보다 훨씬 빠르게 쌓는 경향이 있어서, 결국 프레임워크가 어느 누구도 결정에 실제로 쓰기에는 너무 커진다. 이 질문을 활용해 연습으로, 이 주제가 기술하는 인구 책임성과 성과 책임성의 질문에 답하는 능력을 잃지 않고 현재의 지표 집합을 절반으로 줄여 보라. 그 연습이 어떤 저항을 불러일으키는지 논의하라. 특정 지표를 줄이는 데 대한 저항은 그것이 명시된 전략과 맞든 맞지 않든 조직이 실제로 무엇에 대해 책임을 지고 있는지를 보여 주는 징후인 경우가 많기 때문이다.

실제 사례: 공공가치 사례

가족 지원 자선단체들의 지역 네트워크는, 허구이며 어떤 실제 조직에 대한 보고가 아니라 하나의 유형을 보여 주는데, 10년 동안 저소득 동네의 신생아 부모를 위한 가정 방문 프로그램을 운영해 왔다. 재원 제공자에 대한 연례 보고서는 상세했고 산출 척도로는 인상적이었다. 매년 수천 건의 가정 방문을 완료했고, 양육 워크숍 참석률이 높았으며, 참여한 가족의 만족도 점수가 강했다. 그 실적에 힘입어 네트워크는 대략 2년마다 새 지역 지부를 추가하며 꾸준히 성장했다.

네트워크의 도달 범위를 두 배로 늘릴 만큼 큰 다년 보조금을 검토하던 새 전국 재원 제공자는 네트워크 이사회가 경영진에게 공식적으로 던진 적이 없는 질문을 했다. 가정 방문을 받은 가족의 아이들이 받지 않은 비교 가능한 아이들보다 나중에 실제로 더 잘 지내고 있다는 것을 보여 주는 증거가 무엇인가? 네트워크의 지도부는 그 질문을 따라가면서 자신들의 보고가 노력과 효과를 한 번도 구분한 적이 없음을 깨달았다. 방문 건수와 만족도 점수는 프로그램이 전달되고 있으며 호평을 받는다는 진정한 증거였지만, 어느 쪽도 그것이 아이의 발달 성과를 바꾸었다는 증거는 아니었다. 그것이 네트워크 자신의 사명 선언문에, 그리고 암묵적으로 그동안 썼던 모든 보조금 신청서에 내장된 주장이었는데도 말이다.

네트워크는 로직 모델을 처음부터 만들었다. 실제로 원했던 성과, 곧 개선된 초기 아동 발달 지표, 확인된 아동 방임 사례의 감소, 더 강한 부모의 자신감에서 시작해, 각각이 의존해야 할 활동과 산출로 거꾸로 작업하면서 그 사이의 가정을 명시적으로 명명했다. 단순화한 결과기반 책임성 구조를 채택했다. 동네 수준에서 추적하여 지역 학교 및 보건 서비스와 공유하는 인구 지표와, 자체 팀이 직접 행동할 수 있는 성과 지표, 곧 방문 빈도, 워크숍 이수, 3개월과 12개월 시점의 직원이 평가한 부모의 자신감이었다. 첫 보고 주기에 한 동네에서 다섯 개의 성과 지표 가운데 두 개가 바라던 대로 움직이지 않았다. 네트워크는 결과를 숨기는 대신 자체의 '곡선 돌리기' 과정으로 조사하여, 지역 보건방문 인력의 변화가 의뢰 경로를 교란했음을 발견하고, 핵심 모델이 아니라 파트너십 방식을 조정했다. 재원 제공자는 보조금을 갱신하고 확대했으며, 신뢰의 이유로 부족분의 부재가 아니라 보고의 정직함을 들었다.

네 가지 부문 관점

지방정부

지방정부의 성과 프레임워크는 대개 자신이 고르지 않았지만 그에 비추어 보고해야 하는 더 넓은 국가 정의 지표 집합 안에, 자기 의회의 우선순위를 반영하여 지역에서 고른 척도와 함께 자리한다. 이 이중 구조는 지방 스코어카드가 서로 다른 질문을 가진 두 청중, 곧 표준 지표 집합 준수 여부를 묻는 국가 감사관과 특정 거리나 서비스 같은 구체적이고 눈에 보이는 지역 조건을 묻는 지역 주민을 조정해야 하는 경우가 많음을 뜻한다. 지방정부 규모의 로직 모델은 대개 단일 서비스(재활용 수거 변경, 도서관 재설계)에 대해서는 가장 만들기 쉽고, 의회가 통제하지 못하는 많은 행위자도 기여하는 지역사회 결속 같은 횡단적 성과에 대해서는 믿을 만하게 만들기가 가장 어렵다.

중앙정부

국가 성과 프레임워크는 결과기반 책임성의 인구 책임성과 성과 책임성의 구분이 선택이 아니라 필수가 되는 규모에서 운영된다. 국가 보건이나 교육 지표는 수백 개의 프로그램의 영향을 받으며 그중 어느 한 부처가 직접 재원을 대는 것은 몇 개에 불과하므로, 단일 부처가 국가 추세에 대한 단독의 공이나 단독의 책임을 주장하는 것은 방어되기 어렵다. 중앙정부는 또한 사슬의 아래쪽 전달 기관이 채택해야 하는 대규모의 중앙에서 의무화한 성과 프레임워크의 가장 흔한 원천이며, 이는 프레임워크가 어느 한 프로그램의 전달을 실제로 이끄는 것이 아니라 부처 간 집계와 비교를 위해 설계되는 되풀이되는 위험을 낳는다.

사회 부문과 비영리

비영리조직과 비정부기구(NGO)는 승인자가 건네는 틀을 채택하기보다 자신의 로직 모델과 변화 이론을 처음부터 만드는 경우가 더 많다. 재원 제공자가 표준 양식을 제공하기보다 인과 논거를 요구하는 쪽인 경우가 흔하기 때문이다. 이는 사회 부문 조직에 실제 프로그램 논리에 맞는 성과 프레임워크를 설계할 더 큰 자유를 주지만, 재원 제공자가 주도하는 측정 피로에 더 많이 노출되기도 한다. 보조금마다 자체 보고 요건이 있어서 조직이 같은 근본 업무에 대해 여러 개의 병렬적 성과 프레임워크를 유지하게 되는 것이다. 결과기반 책임성의 인구 대 성과 구분은 여기서 특히 유용하다. 비영리조직에 자신의 성과 척도에 대해서는 책임을 질 수 있지만 다른 많은 행위자도 영향을 미치는 인구 지표에 대해서는 혼자 책임질 수 없다고 재원 제공자에게 분명히 말할 언어를 주기 때문이다.

다자 및 국제기구

다자기구는 로직 모델의 가정이 수십 개 국가 맥락을 동시에 가로지르는 규모에서 결과 기반 관리를 운영하므로, 한 나라에서 유효한 개입 논리가 다른 나라에서 대표 글로벌 지표가 어느 맥락이 문제인지 드러내지 않은 채 조용히 실패할 수 있다. 이 환경의 결과 프레임워크는 각자의 보고 선호를 가진 여러 공여국 정부를 동시에 만족시키도록 만들어지는 경우가 많으며, 이는 지역적 특수성을 희생하면서 표준화된 지표 집합(국제 결과 기반 관리 지침을 통해 장려되는 종류)으로 기운다. 이행 파트너가 빨리 보고할 수 있는 산출, 곧 진행한 교육, 공급한 진료소와, 수년 뒤 전국 조사에서야 나타나는 성과 사이의 간극은 여기서 가장 넓으며, 인과 사슬을 가정하는 대신 명시적으로 진술하는 규율이 특히 중요하다.

흔한 실패 유형

성과로 가장한 산출. 조직이 실제 척도는 수행한 순찰인데 '개선된 지역 안전'처럼 성과의 언어로 활동 건수를 보고한다. 진정한 혼동 때문이든, 성과 데이터를 수집하기가 더 어렵고 더디기 때문이든 그렇다. 비용은 외부 검토자가 성과 증거를 직접 요구했는데 주장 뒤에 산출만 있음을 발견할 때 나타나며, 소박하지만 정직하게 보고한 성과보다 조직의 신뢰를 더 해친다.

지표 증식. 스코어카드나 로직 모델이 폐기하는 것보다 빠르게 척도를 쌓는데, 새로운 이해관계자의 요청이 기존의 것을 대체하는 대신 한 줄을 더 보태기 때문이다. 결국 어느 관리자도 결정에 실제로 쓰기에는 너무 큰 프레임워크가 되며, 이는 공식 프레임워크가 아무도 참고하지 않는 보고용 산물이 되는 동안 조직을 비공식 판단으로 조용히 되돌린다.

목표 포획. 성과 척도가 일단 재원이나 보상에 연결되면, 대리하려던 성과가 아니라 직원이 직접 최적화하는 대상이 된다. 목표로 쓰이는 척도가 더 이상 믿을 만한 척도가 아니게 된다는 굿하트의 법칙이 기술하는 유형이다. 품질 체제가 이를 탐지하고 제한하려는 방식을 포함해 공공 부문에서 이 역학을 다루는 이 주제의 본거지는 다른 곳이다(주제 3.11 — 품질, 안전, 성과 관리 참조). 여기서는 노력, 품질, 효과 척도를 분리해 두고 목표가 행동을 왜곡하기 전에 재검토해야 하는 이유로서 중요하다.

귀속의 과잉. 프로그램의 보고가 다른 많은 행위자도 영향을 미치는 인구 수준 성과에 대한 단독의 인과적 책임을 암시한다. 부주의한 언어 때문이든 진정한 믿음 때문이든 그렇다. 성과가 움직이지 않을 때, 흔히 프로그램이 통제할 수 없는 이유로, 조직은 실제 기여에 비해 과도한 비난을 떠안으며, 이는 이후 주기에서 부족분을 정직하게 보고하는 것을 단념시킨다.

피드백 없는 프레임워크. 조직이 진정으로 잘 설계된 로직 모델과 성과 프레임워크를 만들고서 실제 결과에 비추어 다시 보지 않아서, 살아 있는 관리 도구가 아니라 고정된 문서로 굳어진다. 그 밑의 전략은 증거가 수정을 정당화했을 수년 뒤까지 원래의 가정으로 계속 돌아가며, 프레임워크가 가능하게 하려던 바로 그 적응성을 희생한다.

성숙도 모델

체크리스트

• 각 주요 프로그램에 대해 지표를 확정하기 전에 로직 모델(투입, 활동, 산출, 성과, 영향)을 그린다.
• 변화 이론의 인과 가정을 증거가 반박할 수 있을 만큼 구체적으로 쓴다.
• 공식 결과기반 책임성 도입 바깥에서도 모든 성과 보고서에서 노력, 품질, 효과 척도를 분리한다.
• 세 축, 곧 정당성, 가치, 역량이 따로가 아니라 함께 보고되도록 공공가치 스코어카드를 만들거나 갱신한다.
• 인구 수준의 대표 지표의 작고 안정적인 집합을 고르고 여러 보고 주기에 걸쳐 유지하기로 약속한다.
• 산출을 성과의 언어로 기술하는 표현이 있는지 현재 보고서를 점검하고 바로잡는다.
• 성과 프레임워크를 다음 예산이나 재원 라운드의 사후가 아니라 이전에 공표한다.
• 보고하는 모든 인구 수준 주장에 대해 조직이 단독으로 통제하지 못하는 것을 명시적으로 밝힌다.
• 정해진 공식 평가에서만이 아니라 로직 모델을 실제 증거에 비추어 재검토할 고정된 주기를 정한다.
• 로직 모델이 확정되기 전에 그 가정을 검토할 외부 이해관계자를 최소 한 명 정한다.
• 실제 결정에서 아무도 쓰지 않는 척도를 폐기할 기회가 있는지 현재 지표 집합을 감사한다.
• 대표 성과가 두 보고 주기 동안 움직이지 않을 경우 조직이 무엇을 다르게 할지 사전에 합의한다.

주요 출처

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) 및 Recognizing Public Value (2013) — 균형성과표 전통을 전략적 삼각형의 세 축에 맞게 변용한 공공가치 스코어카드의 원전.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — 인구 책임성/성과 책임성의 구분과 '곡선 돌리기' 분석을 포함한 결과기반 책임성의 원전.
• 로버트 캐플런과 데이비드 노턴의 균형성과표 문헌 — 무어가 공공가치의 맥락에 맞게 변용한 민간 부문의 원천.
• 결과 기반 관리와 평가 용어에 관한 OECD 지침 — 성과와 영향의 언어를 표준화하기 위해 개발 및 행정 실무 전반에서 쓰인다.
• 개발 사업의 결과 프레임워크와 변화 이론에 관한 세계은행 독립평가그룹(Independent Evaluation Group)의 지침.
• 주 및 지역사회 수준에서 결과기반 책임성을 적용한 버몬트주 인간서비스청(Vermont Agency of Human Services)의 공개 설명 — 이 틀이 실제 정부에서 쓰이는 한 사례.

참고문헌

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf