품질, 안전, 성과 관리

공공가치에서 이것이 중요한 이유

이제 어느 정도 규모가 있는 모든 공공 및 사회 부문 조직은 숫자 위에서 돌아간다. 대기 시간, 종결된 사례 수, 출동 시간, 합격률, 만족도 점수, 검사 등급이다. 이런 숫자로 만든 목표는 공공 관리에 외부에서 부과된 것이 아니다. 그것은 일상 운영의 내부를 달리 볼 수 없는 재원 제공자, 입법부, 이사회, 시민에게 정당성과 지지를 입증하는 방법이다(주제 1.2 — 전략적 삼각형: 정당성, 가치, 역량 참조). 올바른 방향으로 움직인 숫자를 가리킬 수 없는 지도자는 예산, 위임, 개혁을 방어하기 어렵다.

어려운 점은 품질을 대표하려고 만든 숫자가 품질 그 자체가 아니며, 숫자가 그 뒤의 현실보다 더 중요해지기 시작하는 순간 둘이 조용히 갈라진다는 것이다. 경찰은 해악을 줄여서가 아니라 경찰관이 사건을 분류하는 방식을 바꿈으로써 기록된 범죄를 줄일 수 있다. 병원은 사람들을 더 빨리 치료해서가 아니라 시계가 적용되는 환자를 재분류함으로써 대기 시간 목표를 달성할 수 있다. 어느 변화도 공표된 수치에는 나타나지 않으며, 이것이 바로 이 주제가 다루려고 존재하는 문제다.

이 주제는 공공 부문에서 그 문제를 본격적으로 다루는 곳이다. 성과 지표와 그것이 만드는 왜곡된 유인, 어느 단일 목표가 무엇을 말하든 기준을 일관되게 유지하도록 만들어진 품질 보증 체제, 그리고 그 숫자를 낳은 지휘 계통 밖에서 숫자 뒤의 현실을 점검하는 독립적 검사 및 등급 기구다. 주제 2.1은 지표가 애초에 어디서 와야 하는지, 곧 측정을 가치에 대한 진정한 인과 주장에 연결하는 성과 프레임워크와 로직 모델을 다룬다(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조). 이 주제는 그 지표가 직원이 그에 따라 관리받는 살아 있는 목표로 바뀐 뒤에 무슨 일이 일어나는지, 그리고 조직이 자신의 측정 체계를 어떻게 정직하게 유지하는지를 다룬다.

이해관계는 숫자가 얼마나 공개적으로 쓰이는지에 따라 높아진다. 현실에서 표류한 사적인 내부 척도는 관리자의 시간을 낭비한다. 현실에서 표류한 공개적 성과 목표, 대표 검사 등급, 안전 통계는 생명을 앗아 가고, 몇 해 동안 자원을 잘못 배분하며, 보고된 숫자와 체감된 경험 사이의 간극이 마침내 눈에 보이게 될 때 그 숫자가 공표되어 쌓으려던 바로 그 정당성을 파괴할 수 있다(주제 3.4 — 책임성, 투명성, 정당성 참조).

핵심 개념

성과 지표는 직접적이고 지속적으로 관찰할 수 없는 조직 성과의 한 측면을 대신하도록 선택된 측정 가능한 변수다(성과 지표 참조). 지표는 구성상 대리 지표다. 누구도 '돌봄의 질'이나 '지역 안전'을 직접 측정할 수 없으므로, 조직은 대기 시간, 기록된 범죄율처럼 더 좁고 더 셀 수 있는 무언가를 측정하고 그것의 움직임을 그것이 대표하는 더 넓은 것의 움직임에 대한 증거로 취급한다. 대리 지표와 현실 사이의 그 간극은 결코 닫히지 않는다. 이 주제는 그 간극이 존재함을 잊는 것이 아니라 그것을 관리하는 것에 관한 것이다.

굿하트의 법칙은 가장 흔한 공공 부문 정식화로, 척도가 목표가 되면 더 이상 좋은 척도가 아니게 된다는 것이다. 이 법칙은 1975년 통화 정책의 맥락에서 근본 통찰을 정식화한 영국 경제학자 찰스 굿하트의 이름을 땄다. 중앙은행이 통화 공급의 특정 척도를 목표로 삼기 시작하면, 그 척도를 유용하게 만들었던 통계적 관계가 무너지기 시작한다. 사람들이 목표 자체에 대응해 행동을 바꾸기 때문이다. 인류학자 메릴린 스트래선은 영국 대학 감사 문화에 대한 1997년의 널리 인용된 연구에서 이 생각을 공공 부문 청중을 위해 다시 진술하여, 지금 가장 흔히 인용되는 간결한 표현, 곧 '척도가 목표가 되면 더 이상 좋은 척도가 아니게 된다'를 주었다. 주제 3.1은 이 역학을 신공공관리의 명시적 목표에 대한 의존의 맥락에서 간략히 소개했고, 이 주제가 그 완전한 본거지다(주제 3.1 — 행정 체제와 모델 참조). 굿하트의 법칙은 측정에 반대하는 논거가 아니다. 측정과 보상을 부주의하게 융합하면 측정되는 것이 바뀐다는 논거다.

왜곡된 유인은 굿하트의 법칙이 피해를 입히는 메커니즘이다. 설계자가 의도한 것과 반대되는 결과를 낳는 유인 구조로, 그에 반응하는 사람들이 보상의 목적이 아니라 문언에 맞춰 최적화하기 때문이다(왜곡된 유인 참조). 재원, 평판, 경력에 연결된 목표는 근저의 성과를 개선하지 않고도 보고되는 숫자를 개선할 방법이 있을 때마다 왜곡된 유인을 만들며, 수천 번의 개별 판단으로 전달되는 서비스에서는 사람들이 찾기 시작하면 그런 방법이 거의 언제나 있다.

목표에 대한 역기능적 반응의 유형론. 경제학자 피터 스미스(Peter Smith)는 공공 부문 성과 자료에 대한 영향력 있는 1995년 연구에서 공표된 목표가 행동을 왜곡하는 방식을 분류했으며, 그중 여러 가지가 고전하는 지표 체계를 진단하는 표준 어휘로 남아 있다. 터널 시야는 측정되지 않는 측면이 똑같이, 혹은 더 많이 중요한 경우에도 측정되는 것에 노력을 집중하고 측정되지 않는 것을 희생하는 것이다. 척도 고착은 지표에서의 성공을 근저의 목표에서의 성공으로 취급하여, 대리 지표가 대표하려던 것을 모든 사람의 관심 속에서 조용히 대체하는 것으로, 표준화된 평가가 포괄하는 것으로 수업이 좁아지고 평가가 신호하려던 더 넓은 학습은 외면되는 교육 체계의 시험을 위한 교육(teaching to the test)의 배후에 있는 유형이다. 허위 보고는 보고 자료의 의도적 조작, 곧 사례를 재분류하고, 시계를 조정하고, 더 유리한 분모를 고르는 것으로, 현실은 전혀 바뀌지 않은 채 수치가 개선된다. 화석화는 목표가 설계된 운영 환경이 바뀐 한참 뒤에도 수정되지 않아 서서히 무관해지는 것이다. 영국 공공 의료 체계의 목표에 대한 가윈 베번(Gwyn Bevan)과 크리스토퍼 후드(Christopher Hood)의 밀접하게 관련된 2006년 연구는 목표가 놓침에 대한 가혹한 결과와 짝지어질 때 이런 역학이 얼마나 멀리 갈 수 있는지를 보여 주었으며, 제거하려고 설계된 바로 그 조작 행동을 낳는 체제를 '목표와 공포(targets and terror)'라고 이름 붙였다.

품질 보증은 산출물이 완성된 뒤의 검사만이 아니라 과정에 내장된 결함 예방을 통해 제품이나 서비스가 정의된 기준을 일관되게 충족하도록 보장하는, 조직이 소유한 체계적 규율이다(품질 보증 참조). 성과 목표가 사후에 성과를 측정한다면, 품질 보증은 나쁜 성과가 애초에 일어날 가능성을 낮추도록 설계되며, 대개 표준화된 절차, 점검표, 동료 검토, 실패의 근본 원인 분석을 통해서다. 총체적 품질 관리는 이 규율 위에 세워진 더 넓은 경영 철학으로, 품질의 지속적 개선을 과정의 끝에 덧붙인 전문 기능이 아니라 모든 사람의 책임으로 다루며(총체적 품질 관리 참조), 1987년에 처음 발행된 국제표준화기구(ISO)의 ISO 9000 계열 국제 표준은 조직에 그러한 관리 체계가 존재함을 입증하는 인증 가능한 틀을 제공한다. 기관은 품질 관리 표준을 인증받고 모든 내부 품질 보증 점검을 통과하면서도, 외부에 보고하는 성과 목표를 조작할 수 있다. 두 체계는 서로 다른 질문에 답하며 어느 쪽도 다른 쪽을 대체하지 않는다.

안전 지표와 안전 문화는 일반적인 성과 지표와 따로 다룰 가치가 있다. 왜곡된 유인으로 인한 해악은 되돌릴 수 없는 경우가 많기 때문이다. 보건 의료에서 환자 안전 실무는, 흔히 큰 대가를 치르고, 오류를 보고한 직원을 처벌하면 안전 체계가 다음 오류를 막는 데 필요한 바로 그 정보가 억제됨을 배웠으며, 이 통찰은 임상 환경에서 항공, 교통, 그 밖의 고위험 공공 서비스로 퍼졌다. '비난 없는' 또는 '공정한 문화' 보고 환경은 정직하게 보고된 아차 사고를 유죄 인정이 아니라 가치 있는 데이터 지점으로 다루며, 이는 대부분의 일반 성과 목표가 작동하도록 설계된 방식과 정반대다. 성과 체제는 좋은 숫자에 보상하는 반면, 안전 체제는 나쁜 숫자일 때도 정직한 숫자에 보상해야 한다.

독립적 검사 및 등급 기구는 평가받는 지휘 계통 밖에서 오는 위 모든 것에 대한 점검을 제공한다. 교육 및 아동 서비스 공급자를 검사하는 잉글랜드의 오프스테드(Ofsted)나 보건 및 사회 돌봄 공급자를 검사하고 등급을 매기는 돌봄품질위원회(Care Quality Commission) 같은 검사 기구는 평가자를 보내 실무를 직접 관찰하고, 전문적 판단을 행사하며, 검사받는 기관이 통제하지 않는 등급을 공표한다. 이는 내부 성과 관리와 구조적으로 다르다. 스스로 보고한 대기 시간 수치는 조작할 유인이 있는 사람들이 조작할 수 있지만, 병동을 걷거나 교실을 관찰하는 검사관은 그 숫자가 대표하기로 되어 있던 현실을 보고 있다. 검사는 수평적 책임성의 한 형태, 곧 유권자나 시장이 아니라 독립적 지위를 가진 기구에 의한 검증이며(주제 3.4 — 책임성, 투명성, 정당성 참조), 재원, 임명, 공표에서의 독립성이 진정으로 보호되는 만큼만 그 역할을 얻는다.

모범 사례

1. 지표를 이미 세기 쉬운 것이 아니라 로직 모델에서 도출하라. 인과 사슬의 진정한 고리를 추적하기 때문이 아니라 자료가 이미 있다는 이유로 척도를 고르는 것이 척도 고착과 터널 시야가 시작되는 방식이다(주제 2.1 — 공공가치 스코어카드와 성과 프레임워크 참조).
2. 모든 산출 또는 활동 목표를 가장 그럴듯한 조작 전략을 드러낼 균형 척도 하나 이상과 짝지어라. 대기 시간 목표가 사례를 재분류함으로써 조작될 수 있다면, 스캔들이 질문을 강요한 뒤에 사후 고려로서가 아니라 대표 수치와 나란히 재분류율을 추적하라.
3. 여러 연속 기간 달성된 목표를 단순히 축하할 일이 아니라 조사할 계기로 다뤄라. 좋은 성과와 나쁜 성과를 더 이상 가르지 못하는 숫자는 진정으로 문제를 해결했거나 무관한 것으로 조작되었으며, 둘은 대시보드만으로는 똑같아 보인다.
4. 목표를 정하는 사람, 목표에 비추어 측정받는 사람, 결과를 독립적으로 점검하는 사람을 분리하라. 이 세 역할을 조직의 한 부분으로 합치면 측정 체계를 정직하게 유지하는 구조적 긴장이 사라진다.
5. 눈에 보이는 실패 후에만이 아니라 고정된 주기로 목표를 수정하거나 폐기하라. 화석화는 목표의 기본 운명이다. 목표가 여전히 의미 있는 것을 추적하는지 묻는 정기 검토는 위기가 하기 전에 쇠퇴를 잡아낸다.
6. 안전 관련 아차 사고와 오류에 대한 비난 없는 보고 채널을 성과-보상 결정과 구조적으로 분리하여 구축하라. 정직한 보고를 처벌하는 안전 체계는 근저의 오류율이 여전히 같을 것이며, 해악이 더 크고 숨기기 더 어려워질 때까지 이를 알아내는 것을 단지 멈출 것이다.
7. 독립적 검사관과 등급 기구에 진정한 접근권, 보호된 재원, 검사받는 기관이 거부할 수 없는 공표권을 주어라. 자신의 예산이나 접근을 등급을 매기는 조직의 호의에 의존하는 검사 기구는 검증을 제공하는 것이 아니라 연출하고 있다.
8. 정량적 점수가 혼자 서게 두는 대신 전문적 판단으로 해석하라. 단일 종합 등급은 풍부하고 고르지 않은 현실을 하나의 수치로 압축한다. 검사 등급 뒤의 질적 서술을 등급 자체와 함께 공표하여 독자가 그 숫자가 무엇을 요약하는지 볼 수 있게 하라.
9. 목표를 그것에 비추어 측정받을 일선 직원을 위해서만이 아니라 그들과 함께 설계하라. 일과 가장 가까운 사람들은 대개 어느 분석가보다 먼저 가장 쉬운 조작 전략을 안다. 설계에 이들을 참여시키면 그 위험이 목표가 이미 가동된 뒤가 아니라 일찍 드러난다.
10. ISO 9000 계열 표준에 기반한 것 같은 체계적 품질 관리 과정을 성과 측정의 대체물이 아니라 하한으로서 인증받아라. 인증은 일관된 과정이 존재함을 입증하지만 그 과정이 좋은 성과를 낳는다는 것을 그 자체로 입증하지는 않으며, 인증서를 품질의 충분한 증거로 취급하는 것은 그 자체로 척도 고착의 한 형태다.
11. 목표 자체와 함께 그 알려진 한계를 공표하라. 수치와 같은 보고서에서 척도가 포착하지 못하는 것과 그것이 어떻게 그럴듯하게 조작될 수 있는지를 명명하면, 그렇지 않았다면 나중에 정당성을 해칠 바로 그 발견을 미리 막는다(주제 3.4 — 책임성, 투명성, 정당성 참조).

팀과 논의할 질문

우리의 현재 공표된 목표 가운데 근저의 성과가 전혀 개선되지 않고도 달성될 수 있는 것은 어느 것인가? 이는 어느 팀에게든 이용할 수 있는 굿하트의 법칙의 가장 직접적인 적용이며, 몇 해 넘게 수치 목표를 운영한 거의 모든 조직이 적어도 하나의 살아 있는 사례를 안고 있다. 대표 지표를 하나씩 훑어, 각각이 측정하도록 설계된 것이 아니라 어떤 행동에 보상하는지 구체적으로 물어라. 일선 직원이 의도된 방식보다 숫자를 움직이는 더 쉬운 방법을 이미 아는지 논의하라. 그들은 대개 그것이 고위 지도자에게 닿기 한참 전에 안다. 자신 있고 검토되지 않은 '여기서 누가 그러겠는가'는 안심이 아니라 그 자체로 조사할 가치가 있는 것으로 다뤄라.

우리는 어디서 세기 쉬운 산출이 진정한 품질이나 안전 판단을 조용히 대신하게 두었는가? 산출은 거의 언제나 성과보다 수집하기 더 싸고 빠르며, 이는 전자를 후자의 언어로 보고하려는 영구적 유혹을 만든다. 조직이 현재 보고하는 대표 지표 하나를 찾아, 그것이 일어난 일의 품질을 실제로 측정하는지 아니면 일어난 활동의 양만 측정하는지 함께 물어라. 같은 활동에 대한 진정한 품질 척도를 수집하려면 무엇이 필요한지, 조직이 지금까지 그것을 수집하지 못하게 막은 것이 무엇인지 논의하라. 이 질문은 장벽이 정의의 어려움이 아니라 자원 배정인 경우가 많음을 드러낸다.

직원이 오늘 자신의 아차 사고나 오류를 정직하게 보고한다면 그에게 실제로 무슨 일이 일어나는가? 비난 없는 정책이 존재한다는 것은 사람들이 그것이 자신에게 개인적으로 적용된다고 믿는다는 증거가 아니다. 오류의 정직한 공개가 정책을 시험했을 최근 사례, 실제든 가상이든, 를 논의하고, 그 결과가 무엇이었거나 무엇이었을 가능성이 높은지 구체적으로 말하라. 안전 관련 보고가 성과-보상 결정과 같은 체계 안에 있는지 고려하라. 둘을 섞는 것이 명목상 비난 없는 문화가 어쨌든 정직을 조용히 처벌하는 가장 흔한 방식이기 때문이다. 이 질문은 의도적으로 불편하다. 이를 공개적으로 논의할 수 없는 팀은 이미 답한 것이다.

우리의 검사 또는 등급 기구는 평가하는 조직으로부터 실질적 독립성을 가지는가, 아니면 형식적 독립성만 가지는가? 이름뿐인 독립성은 흔하다. 재원, 접근, 반갑지 않은 발견을 공표할 권리에서의 독립성은 더 드물고 점진적으로 침식되기 더 쉽다. 조직이 종속된 검사 또는 등급 관계를 목록으로 만들고, 각각을 검사받는 기관이 결과를 형성하려는 단호한 시도를 견딜 수 있는지 솔직하게 평가하라. 마지막으로 검사가 진정으로 반갑지 않은 결과를 낳았을 때 무슨 일이 있었는지, 대응이 근저의 문제를 고치는 것이었는지 검사관과의 관계를 관리하는 것이었는지 논의하라.

스미스의 목표에 대한 역기능적 반응, 곧 터널 시야, 척도 고착, 허위 보고, 화석화 가운데 우리 자신의 보고에서 현재 가장 눈에 띄는 것은 어느 것인가? 조작을 추상적으로 논의하는 대신 구체적 실패 유형을 명명하면 대화가 행동할 수 있을 만큼 구체적이 된다. 네 가지 유형을 훑어 팀이 자신의 최근 경험에서 어느 것을 알아보는지 물어라. 아직 스캔들이 없다는 이유로 조직이 면제되었다고 가정하지 말고 말이다. 그 구체적 유형에 대한 시정 조치가 '측정에서 더 잘하겠다'는 일반적 약속이 아니라 다음 보고 주기에 어떤 모습일지 논의하라.

우리가 현재의 대표 목표를 1년 동안 공개 보고하지 않는다면 실제로 무엇을 잃고 무엇을 얻을 수 있겠는가? 이 질문은 목표가 진정으로 결정을 이끌고 있는지, 아니면 제1원리에서 정당화하라는 요구를 받으면 누구도 방어하지 않을 자기목적이 되었는지 시험한다. 이 특정 숫자 때문에 지난 1년간 어떤 결정이, 있다면, 바뀌었는지를 어차피 내려졌을 결정과 구별하여 솔직하게 논의하라. 목표가 현재 직원의 시간과 행동의 왜곡으로 무엇을 치르게 하는지, 조작하기 더 어려운 다른 척도가 같은 책임성 목적에 더 잘 복무할지 고려하라. 이는 측정을 포기하자는 주장이 아니라 자리를 얻은 측정만 유지하는 규율이다.

실제 사례: 공공가치 사례

중간 규모 대도시 지역의 구급 서비스는, 허구이며 어떤 실제 기관에 대한 보고가 아니라 하나의 유형을 보여 주는데, 몇 해 동안 가장 생명을 위협하는 신고에 대해 8분 이내의 응급 출동을 요구하는 공표된 목표 아래서 운영되었다. 목표는 선의로 정해졌고, 대응 속도가 정의된 범주의 응급 상황에서 생존에 진정으로 영향을 미친다는 임상적 증거가 뒷받침했으며, 서비스의 이사회는 목표를 충족한 신고의 공표된 비율을 조직 성공의 가장 중요한 단일 지표로 취급했다.

3년에 걸쳐 보고된 수치는 대상 신고의 절반 조금 넘는 수준에서 거의 열 중 아홉으로 꾸준히 개선되었고, 고위 지도부는 모든 이사회 회의에서 운영 개혁이 효과가 있다는 분명한 증거로 그 추세를 보고했다. 대표 수치가 보여 주지 않은 것은 개선이 실제로 어떻게 이루어졌는가였다. 자신의 성과가 부분적으로 목표 대상 범주에 분류한 신고의 수로 평가됨을 아는 신고 접수 담당자들은 점차, 그렇게 하기로 한 어떤 단일 결정도 없이, 진정으로 심각한 신고의 늘어나는 몫을 8분 시계가 적용되지 않는 우선순위가 낮은 범주로 강등하기 시작했다. 더 작고 더 엄격히 정의된 신고 풀이 목표를 달성하기 더 쉬웠기 때문이다. 별도로, 승무원들은 시계가 환자에게 실제로 닿았을 때가 아니라 차량이 현장에 도착한 순간 멈춘다는 것을 알았고, 이는 환자에게 가장 빨리 닿는 것이 아니라 경계에 주차하려는 작지만 실재하는 유인을 만들었다.

두 관행 모두 기록을 위조한다는 의미의 사기는 아니었다. 각각은 바로 이런 표류의 여지를 만든 정의를 가진 목표에 대한 지역적으로 합리적인 대응이었으며, 척도 고착과 허위 보고가 함께 작동하는 교과서적 사례였다. 문제는 계속 개선을 보여 주던 서비스 자신의 보고를 통해서가 아니라, 사례 파일 검토를 신고 처리의 직접 관찰과 결합하여 강등된 분류가 같은 신고에 기록된 임상 세부와 맞지 않음을 발견한 독립적 지역 보건 검사 기구의 정례 검사를 통해 드러났다. 서비스 자신의 공표된 대응 시간 수치는 그 어느 때보다 좋았음에도, 검사 기구의 등급은 '좋음'에 상당하는 서술에서 '개선 필요'로 급락했다.

서비스의 초기 대응, 곧 자신의 개선된 수치를 가리키는 것은 신용 문제를 악화시켰다. 검사 기구가 묻지 않은 질문에 답했기 때문이다. 검사는 산술을 다툰 적이 없고, 그 산술이 무엇을 측정하는지만 다투었다. 더 효과적인 대응은 기존 목표를 땜질하지 않고 근저의 로직 모델에서 지표 묶음을 재설계하는 것이었다. 대응 시간은 차량 도착이 아니라 환자 접촉 순간으로 재정의되었고, 신고 분류는 접수 담당자 자신의 기록을 신뢰하는 대신 순환 표본에 대해 독립적으로 감사되었으며, 병원 입원까지의 생존이라는 병행 임상 성과 척도가 도입되었다. 재분류만으로는 훨씬 조작하기 어려웠기 때문이다. 보고된 대응 시간 비율은 새 정의 아래서 첫해에 떨어졌고, 이사회는 재원 제공자들이 이를 예상하도록 준비해 두었다. 처음으로 비교 가능한 기준으로 추적한 임상 성과 척도는 원래의 목표가 어느 쪽으로든 실제로 입증한 적이 없는, 더 작지만 진정한 개선을 보여 주었다.

네 가지 부문 관점

지방정부

소방 구조, 성인 사회 돌봄, 쓰레기 수거 같은 지방 서비스는 대개 지방 당국이 고르지 않았지만 국가가 의무화한 지표와, 특정 의회 자신의 우선순위를 반영하는 지역에서 고른 척도의 혼합에 비추어 측정되어, 하나의 서비스가 한 지표 집합에 비추어서는 성공으로, 다른 집합에 비추어서는 우려 대상으로 판단될 수 있다. 지방 수준의 검사는 흔히 한꺼번에 많은 지방 당국을 포괄하는 법정 권한을 가진 국가 또는 광역 기구가 수행하며, 이는 유용한 비교의 관점을 주지만 검사받는 조직보다 덜 세밀한 지역 맥락을 준다. 지방 선출직 의원과 감독 위원회는 더 빠르고 즉각적인 책임성의 층을 더하며, 공표된 수치와 체감된 경험이 갈라질 때 주민으로부터 가장 먼저 듣는 경우가 많다.

중앙정부

중앙정부는 대개 가장 크고 가장 정치적으로 눈에 띄는 성과 체제를 운영한다. 대기 시간 기준, 범죄 감소 목표, 시험 합격률 목표 같은 국가 목표는 공적 논쟁에서 그 시점의 정부의 유능함에 대한 대리 지표가 되어, 조작의 이해관계를 운영 수준을 훨씬 넘어 높이기 때문이다. 이곳은 베번과 후드의 '목표와 공포' 역학이 가장 완전하게 실현되는 환경이다. 국가 목표는 흔히 놓침에 대한 눈에 보이는 정치적 결과와 짝지어져, 숫자 뒤의 현실이 아니라 숫자를 관리하려는 유인을 날카롭게 하기 때문이다. 국가 검사 기구는 등급이 정치적 운명에 영향을 미칠 수 있는 부처로부터 거리를 두고 운영되기 때문에, 보고된 성과와 실제 성과 사이의 간극을 드러내는 부담의 불균형하게 큰 몫을 진다(주제 3.4 — 책임성, 투명성, 정당성 참조).

사회 부문과 비영리

비영리조직과 비정부기구는 부문 전체에 대한 전담 독립 검사 기구를 운영하는 관할권이 드물기 때문에, 품질 보증과 인증을 법정 검사 체제보다 자발적이거나 재원 제공자가 부과한 규율로 더 자주 마주한다. 이는 사회 부문의 품질 보증을 더 분절적으로, 곧 서로 다른 재원 제공자가 같은 조직에 서로 다른 요건을 부과하게 만들지만, 더 유연하게도 만든다. 비영리조직은 외부에서 부과된 척도의 집합이 아니라 자신의 실제 변화 이론을 중심으로 자체 지표 묶음을 설계할 수 있는 경우가 많기 때문이다. 의무적인 외부 검사관이 없다는 점은 독립적 이사회와 외부 감사를 이 부문 자체의 수평적 책임성 대체물로서 상대적으로 더 중요하게 만든다(주제 3.4 — 책임성, 투명성, 정당성 참조). 비영리조직 자신의 지도부가 달리 측정자이면서 피측정자이기 때문이다.

다자 및 국제기구

다자기구와 그들이 공표하거나 의존하는 비교 지수, 곧 거버넌스 질, 기업 환경의 용이성, 공공 서비스 성과의 국가 간 순위는 굿하트의 법칙을 국가 정부 전체의 규모에서 마주한다. 나라는 지수가 대표한다고 주장하는 더 넓은 조건이 아니라 측정된 기준을 좁게 겨냥한 개혁으로 순위를 개선할 수 있다. 이 주제의 다른 곳에서 쓰인 국내적 의미의 독립적 검사는 주권 국경을 넘어서는 진정한 등가물이 없다. 어떤 국가도 국가 기구가 자신이 감독하는 기관에 대해 갖는 강제적 지위를 가진 외부 검사 기구를 받아들이지 않기 때문이다. 다자기구의 품질 보증은 대신 동료 검토, 기술 사절단이 검증하는 자체 보고, 공표된 등급의 평판 비용에 의존한다. 이는 어떤 국가 간 지표를 편집하는 기구의 독립성과 기술적 신뢰성을 특히 중요하게 만든다. 그것이 유일하게 이용할 수 있는 점검인 경우가 많기 때문이다.

흔한 실패 유형

터널 시야. 조직이 측정되는 것에 노력과 자원을 집중하고, 서비스 대상자에게 똑같이 중요한 같은 서비스의 측정되지 않는 측면을 직접 희생한다. 비용은 모든 공표된 보고서에서 개선되고 있는 것처럼 보이는 서비스이며, 그동안 환자의 존엄, 사례의 복잡성, 장기 성과 같은 측정되지 않는 차원은 새로운 측정을 강요할 만큼 큰 위기가 될 때까지 알아채지 못한 채 조용히 악화된다.

척도 고착. 지표에서의 성공이 조직 안에서 근저의 목표에서의 성공과 동등한 것으로 취급되게 되어, 공식 사명 선언문은 여전히 목표를 명시하는데도 대리 지표가 모든 사람의 실제 관심 속에서 목표를 대체한다. 비용은 보고된 성과와 체감된 현실 사이의 넓어지고 자기 강화적인 간극이다. 조직 안의 누구도 더 이상 현실을 직접 지켜보지 않기 때문이다.

허위 보고. 시계를 일찍 멈추고, 사례를 재분류하고, 유리한 효과를 위해 분모를 고르는 식으로 자료가 조정되어, 위 사례처럼 근저의 현실은 전혀 바뀌지 않은 채 보고된 수치가 개선된다. 비용은 발견되었을 때 원래의 왜곡에 비해 불균형하게 크다. 허위 보고는 그 특정 수치만이 아니라 같은 조직이 이제껏 공표한 다른 모든 숫자의 신뢰성도 해치기 때문이다(주제 3.4 — 책임성, 투명성, 정당성 참조).

화석화. 특정 운영 맥락을 위해 정해진 목표가 그 맥락이 바뀐 한참 뒤에도 수정되지 않아, 진정으로 좋은 성과와 진정으로 나쁜 성과를 더 이상 가르지 못하는데도 계속 보고되고 그에 비추어 관리된다. 비용은 몇 해 동안 눈에 보이지 않는다. 화석화된 목표도 여전히 숫자를 낳기 때문이다. 숫자가 단지 아무 의미도 갖지 않게 되었을 뿐이며, 조직의 실제 관리 관심은 대개 아무도 그 척도를 공식적으로 폐기하지 않은 채 이미 다른 곳으로 옮겨 갔다.

검사 기구의 포획. 독립적인 검사 또는 등급 기구가 재원 약정, 검사관과 검사받는 기관 사이를 오가는 경력 경로, 반복된 검사를 통해 쌓인 비공식 관계를 통해 자신이 검사하는 조직의 호의, 접근, 지속적 협력에 점차 의존하게 된다. 비용은 공식 헌장이나 법령만으로는 막을 수 없는 실질적 독립성의 느린 상실이며, 대개 큰 실패가 그것을 잡아냈어야 할 등급 체계를 통과할 때에야 드러난다.

비난 중심의 안전 보고. 안전 관련 오류나 아차 사고 보고 체계가 명목상 비난이 없지만 실제로는 성과 평가나 징계 과정과 너무 밀접하게 연결되어, 직원은 정직한 실수를 보고하는 것이 개인적 위험을 진다고 배운다. 비용은 더 적은 오류가 아니라 계속 일어나는 오류에 대한 더 적은 보고이며, 이는 안전 체계가 다음의 더 심각한 사건이 일어나기 전에 제공하려고 존재하는 바로 그 조기 경보 신호를 제거한다.

성숙도 모델

체크리스트

• 각 대표 성과 지표를 그것이 대표하기로 한 로직 모델이나 성과 프레임워크로 거슬러 추적한다.
• 각 공표된 목표가 조작될 수 있는 가장 그럴듯한 방법을 파악하고, 그것을 드러낼 균형 척도를 명명한다.
• 목표를 정하는 사람, 목표에 비추어 측정받는 사람, 결과를 독립적으로 점검하는 사람이 모두 조직의 같은 부분이 아님을 확인한다.
• 눈에 보이는 실패가 촉발하는 것과 상관없이 모든 현행 목표에 대해 고정된 주기의 검토를 예정한다.
• 안전 관련 보고 채널이 성과-보상 및 징계 결정과 구조적으로 분리되어 있음을 확인한다.
• 정책이 그렇게 말하는지만이 아니라, 정직하게 보고된 오류나 아차 사고가 비난 없이 다뤄지리라고 직원이 믿는지 시험한다.
• 조직을 평가하는 모든 검사 또는 등급 기구에 보호된 재원, 접근권, 공표권이 있음을 확인한다.
• 각 대표 목표의 알려진 한계를 수치 자체와 함께 공표한다.
• 어떤 지표가 여러 기간 일관되게 달성되었는데 그 이유에 대한 조사 없이 넘어갔는지 점검한다.
• 어떤 신규 목표든 가동되기 전에 설계에 일선 직원을 참여시킨다.
• 품질 관리 인증이 있는 경우, 그것이 하한으로 다뤄지고 그 자체로 좋은 성과의 증거로 인용되지 않음을 확인한다.

주요 출처

• 통화 정책 목표 설정의 맥락에서 전개된, 굿하트의 법칙으로 알려지게 된 것에 대한 찰스 굿하트의 1975년 정식화.
• Marilyn Strathern, ''Improving ratings': audit in the British university system', European Review, 5(3) (1997), 305–321 — 굿하트의 법칙에 대한 널리 인용되는 공공 부문 재진술.
• Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector', International Journal of Public Administration, 18(2–3) (1995), 277–310 — 이 주제가 끌어다 쓰는 터널 시야, 척도 고착, 허위 보고, 화석화 유형론의 출처.
• Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System', Public Administration, 84(3) (2006), 517–538 — 가혹한 결과 아래서의 조작에 대한 '목표와 공포' 연구.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — 교육, 보건 의료, 기업, 정부에 걸친 측정 실패에 대한 폭넓은 설명.
• 영국 국가감사원, 'Performance measurement by regulators', 그리고 성과 척도를 프로그램 평가와 구별하는 미국 회계감사원 지침.
• 평가받는 조직으로부터 거리를 두고 운영되는 독립적 검사 및 등급 기구의 예로서의 돌봄품질위원회와 오프스테드.

참고문헌

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted