トピック3.11 — 品質、安全性、実績管理

公共価値にとってなぜ重要か

あらゆる規模の公共・社会セクターの組織は今や、数値の上で運営されている。待ち時間、終結したケース数、対応分数、合格率、満足度スコア、検査評価である。これらの数値から構築された目標は、公共マネジメントの外から課された強制ではない。それは、日々の業務の内部を見ることのできない資金提供者、議会、理事会、市民に対して、正当性と支持を示す方法である(トピック1.2「戦略的三角形:正当性、価値、実行能力」を参照)。正しい方向に動いた数値を指し示せない指導者は、予算、マンデート、あるいは改革を弁護するのに苦労する。

難しさは、品質を表すために構築された数値が、品質そのものと同じものではなく、その数値がその背後にある現実よりも重要になり始めた瞬間に、この二つが静かに乖離し始めることにある。警察は、害を減らすことによってではなく、職員が事件をどう分類するかを変えることによって、記録された犯罪を減少させることができる。病院は、人々をより早く治療することによってではなく、その時計がどの患者に適用されるかを再分類することによって、待ち時間の目標を達成できる。どちらの変化も公表された数値には現れない――これはまさにこのトピックが対処するために存在する問題である。

このトピックは、公共セクターにおけるその問題の本拠地での扱いである。実績指標とそれが生み出す逆効果のインセンティブ、いかなる単一の目標が何を言おうとも基準を一貫させ続けるよう構築された品質保証の体制、そしてその数値を生み出した指揮系統の外部から数値の背後にある現実を検証する独立した検査・格付け機関である。トピック2.1は、そもそも指標がどこから来るべきかを扱う――ある指標を価値についての真の因果の主張へと結びつける成果フレームワークとロジックモデルである(トピック2.1「公共価値スコアカードと成果フレームワーク」を参照)。このトピックは、それらの指標が、職員がそれに照らして管理される生きた目標に変えられた後に何が起きるか、そして組織がどう自らの測定システムを正直に保つかを扱う。

利害は、ある数値がどれだけ公に用いられるかとともに高まる。現実から漂流する私的な内部の指標は、マネージャーの時間を浪費する。現実から漂流する公共の実績目標、見出しになる検査評価、あるいは安全統計は、命を犠牲にし、何年も資源を誤って配分させ、そして――報告された数値と生きられた経験との間のギャップが最終的に可視化されたとき――その数値がまさに構築しようとしていた正当性を破壊しうる(トピック3.4「説明責任、透明性、正当性」を参照)。

中核概念

実績指標とは、それ自体は直接かつ継続的に観察できない組織の実績のある側面の代わりとなるよう選ばれた、測定可能な変数である(実績指標を参照)。指標は構造上代理指標である。誰も「ケアの質」や「地域の安全」を直接測定することはできないため、組織はより狭く数えやすい何か――待ち時間、記録された犯罪率――を測定し、その動きを、それが代表するより広いものの動きの証拠として扱う。代理指標と現実の間のそのギャップは決して閉じない。このトピックは、それが存在することを忘れるのではなく、それを管理することを扱う。

グッドハートの法則は、その最も一般的な公共セクターの定式化において、ある指標が目標になると、それは良い指標であることをやめると述べる。この法則は、1975年に、金融政策の文脈で根底にある洞察を定式化した英国の経済学者チャールズ・グッドハートにちなんで名づけられている。中央銀行がマネーサプライの特定の指標を目標にし始めた瞬間、その指標を有用にしていた統計的な関係は崩れ始める。なぜなら、人々はその目標そのものに応答して行動を変えるからである。人類学者マリリン・ストラザーンは、英国の大学監査文化についての広く引用される1997年の研究の中で、この考えを公共セクターの聞き手向けに再述し、今最も一般的に引用される簡潔な言い回し――「ある指標が目標になると、それは良い指標であることをやめる」――を与えた。トピック3.1は、ニュー・パブリック・マネジメントの明示的な目標への依存の文脈で、この力学を簡潔に紹介した(トピック3.1「行政システムとモデル」を参照)。このトピックはその本拠地での完全な扱いである。グッドハートの法則は測定に反対する論拠ではない――それは、測定と報酬を、測定されているものを変えることなしに不注意に融合させることはできないという論拠である。

逆効果のインセンティブとは、グッドハートの法則がその害をもたらすメカニズムである。それに応答する人々が、その背後にある目的ではなく報酬の文言を最適化しているために、その設計者が意図したものとは反対の結果を生み出すインセンティブ構造である(逆効果のインセンティブを参照)。資金供給、評判、あるいはキャリアに結びつけられた目標は、根底にある成果を改善することなく報告される数値を改善する方法が存在するときには常に逆効果のインセンティブを生み出す――そして、何千もの個々の判断を通じて届けられるサービスにおいては、人々がそれを探し始めれば、そのような方法はほぼ常に存在する。

目標への機能不全な反応の類型論。 経済学者ピーター・スミスは、公共セクターの実績データについての影響力のある1995年の研究の中で、公表された目標が行動を歪める方法を目録化した。そのいくつかは、今もなお、苦戦する指標システムを診断するための標準的な語彙であり続けている。トンネル・ビジョンとは、測定されていない側面が同じくらい、あるいはそれ以上に重要であっても、測定されていないものを犠牲にして、測定されているものに努力を集中させることである。指標への固着とは、ある指標での成功を根底にある目標での成功として扱い、代理指標が、それが表すはずだったものに、誰の注意の中でも静かに取って代わってしまうことである――これは教育制度におけるテスト対策教育の背後にあるパターンであり、そこでは指導が、その評価が示すはずだったより広い学びではなく、標準化された評価がカバーするものへと狭められる。虚偽表示とは、事案の再分類、時計の調整、より好ましい分母の選択といった、報告されるデータの意図的な操作であり、現実がまったく変わらないまま数値が改善される。形骸化とは、それが設計された運用環境が変わった後もずっと見直されないまま放置されることによる、目標の無意味さへの緩やかな衰退である。グウィン・ビーヴァンとクリストファー・フードによる、イングランドの公衆衛生制度における目標についての密接に関連する2006年の研究は、目標を外すことへの深刻な結果と組み合わされたとき、これらの力学がどこまで進みうるかを示し、それがまさに排除するために設計された操作行動を生み出す体制のために「目標と恐怖」という言葉を作り出した。

品質保証とは、完成した産出の検査だけによってではなく、プロセスに組み込まれた欠陥の予防を通じて、ある製品やサービスが一貫して定義された基準を満たすことを確保する、体系的で組織が所有する規律である(品質保証を参照)。実績目標が事後に成果を測定するのに対し、品質保証は、標準化された手順、チェックリスト、ピアレビュー、失敗の根本原因分析を通じて、そもそも悪い成果が生じる可能性を低くするよう設計されている。総合品質管理は、この規律の上に構築されたより広い経営哲学であり、品質における継続的改善を、プロセスの最後に後づけされた専門的な機能としてではなく、全員の責任として扱う(総合品質管理を参照)。そして、国際標準化機構(ISO)が発行し1987年に初めて発行された国際標準のISO 9000ファミリーは、組織に、そのような経営システムが存在することを示すための認証可能な枠組みを与える。ある機関は、品質管理の標準の認証を受け、すべての内部の品質保証のチェックに合格しながら、それでも外部に報告する実績目標を操作していることがありうる。この二つのシステムは異なる問いに答えており、どちらも他方の代わりにはならない。

安全指標と安全文化は、逆効果のインセンティブによる害がしばしば不可逆的であるため、通常の実績指標とは別個の扱いに値する。医療においては、患者安全の実践は、しばしば高い代償を払って、誤りを報告した職員を罰することが、まさに安全システムが次の誤りを防ぐために必要とする情報を抑圧することを学んできた――この洞察は、臨床の現場から航空、交通、その他の帰結の大きい公共サービスへと広がってきた。「無処罰」あるいは「公正な文化」の報告環境は、正直に報告されたニアミスを、罪の告白としてではなく、価値あるデータ点として扱う。これは、ほとんどの通常の実績目標が機能するよう設計されている方法とは正反対である。実績の体制は良い数値に報いるが、安全の体制は、それが悪い数値であっても正直な数値に報いなければならない。

独立した検査・格付け機関は、評価される指揮系統の外部から来る、上記すべてに対するチェックを提供する。教育と児童サービスの提供者を検査する英国のOfstedや、保健・社会ケアの提供者を検査し評価するケア・クオリティ・コミッションのような監督機関は、実践を直接観察し、専門的な判断を行使し、検査された機関が統制しない評価を公表する評価者を派遣する。これは内部の実績管理とは構造的に異なる。自己申告の待ち時間の数値は、それを操作するインセンティブを持つ人々によって操作されうるが、病棟を歩く、あるいは教室を観察する検査官は、その数値が表すはずだった現実を見ている。検査は水平的説明責任の一形態である――有権者や市場によってではなく、独立した立場を持つ機関による精査である(トピック3.4「説明責任、透明性、正当性」を参照)――そしてそれは、その資金供給、任命、公表における独立性が真に保護されている限りにおいて、その役割を得る。

ベストプラクティス

指標を、すでに数えやすいものからではなく、ロジックモデルから導き出せ。 すでにそのデータが存在するという理由で、因果の連鎖の中の真の連結を追跡するからではなく指標を選ぶことは、指標への固着とトンネル・ビジョンが始まる方法である(トピック2.1「公共価値スコアカードと成果フレームワーク」を参照)。
すべての産出や活動の目標を、最も起こりそうな操作の戦略を明らかにするであろう少なくとも一つの均衡指標とペアにせよ。 もし待ち時間の目標が事案の再分類によって操作されうるなら、スキャンダルがその問いを強いた後の後づけとしてではなく、見出しの数値とあわせて再分類率を追跡せよ。
数期連続で達成されている目標を、単に祝うべき合図としてではなく、調査すべき合図として扱え。 良い実績と悪い実績を区別しなくなった数値は、真にその問題を解決したか、あるいは無意味になるまで操作されたかのいずれかであり、この二つはダッシュボードだけからは同一に見える。
目標を設定する者、それに照らして測定される者、そしてその結果を独立して検証する者を分離せよ。 この三つの役割を組織の一つの部分に集約することは、測定システムを正直に保つ構造的な緊張を取り除いてしまう。
目に見える失敗の後だけでなく、定められた周期で目標を改訂または廃止せよ。 形骸化は目標の既定の運命である。その目標が今もなお意味のある何かを追跡しているかを問う予定されたレビューは、危機がそうする前にその衰退を捕捉する。
安全に関連するニアミスや誤りのための、実績報酬の決定とは構造的に分離された、無処罰の報告チャンネルを構築せよ。 正直な報告を罰する安全システムは、それでも根底にある誤りの発生率は同じままであり、単に、その害がより大きく隠すのがより難しくなるまで、それについて知らなくなるだけである。
独立した検査官と格付け機関に、真のアクセス、保護された資金供給、そして検査された機関が拒否権を持たない公表の権利を与えよ。 予算やアクセスについて、それが評価する組織の善意に依存する監督機関は、精査を行っているのではなく、それを演じているにすぎない。
定量的なスコアを単独で立たせるのではなく、専門的な判断を用いてそれを解釈せよ。 単一の複合評価は、豊かで不均一な現実を一つの数値に圧縮する。検査の評価そのものとあわせて、その背後にある定性的な物語を公表し、読み手がその数値が何を要約しているかを見られるようにせよ。
目標を、それに照らして測定されることになる現場職員のためだけでなく、彼らとともに設計せよ。 仕事に最も近い人々は通常、いかなるアナリストよりも先に、最も容易な操作の戦略を知っている。彼らを設計に関与させることは、目標がすでに稼働してしまった後ではなく、早期にそのリスクを表面化させる。
ISO 9000ファミリーの標準に基づくもののような体系的な品質管理プロセスの認証を、成果測定の代替ではなく床として扱え。 認証は一貫したプロセスが存在することを示すが、それ自体では、そのプロセスが良い成果を生み出すことを示すものではない。その認証を品質の十分な証拠として扱うことは、それ自体が指標への固着の一形態である。
目標の既知の限界を、その目標そのものとあわせて公表せよ。 その数値と同じ報告書の中で、その指標が捉えていないものと、それがどうもっともらしく操作されうるかを名指しすることは、さもなければ後になって正当性を損なうであろう発見を先取りする(トピック3.4「説明責任、透明性、正当性」を参照)。

チームで話し合うべき問い

私たちの現行の公表された目標のうち、根底にある成果がまったく改善しなくても達成できてしまうものはどれか? これは、いかなるチームにとっても利用可能な、グッドハートの法則の最も直接的な応用であり、数年以上にわたって数値目標を運用してきたほぼすべての組織は、少なくとも一つの現行の実例を抱えている。あなたの見出しの指標を一つひとつ確認し、それが測定するよう設計されたものではなく、それが実際にどのような行動に報いるかを具体的に問え。現場職員が、意図されたものよりも容易にその数値を動かす方法をすでに知っているかを議論せよ。なぜなら、彼らは通常、それが上級指導部に届くよりもずっと前からそれを知っているからである。「ここでは誰もそんなことはしないだろう」という自信ありげで検証されていない答えそのものを、調査する価値があるものとして扱え。

私たちはどこで、数えやすい産出が、真の品質や安全性の判断の代わりを静かに務めることを許してきたか? 産出は、成果よりもほぼ常に収集するのが安価で速く、これは、前者を後者の言葉を用いて報告する永続的な誘惑を生み出す。あなたの組織が現在報告する旗艦指標を一つ特定し、グループとして、それが実際に起きたことの質を測定しているのか、それとも行われた活動の量だけを測定しているのかを問え。同じ活動についての真の品質指標を収集するには何が必要か、そしてこれまで組織がそれを収集することを何が妨げてきたかを議論せよ。この問いは、その障壁が定義の難しさではなく資源配分であることをしばしば明らかにする。

もし今日職員の一人が自分自身のニアミスや誤りを正直に報告したら、彼らに実際に何が起きるだろうか? 無処罰方針の存在は、人々がそれが自分個人に適用されると信じていることの証拠ではない。誤りの正直な開示がその方針を検証したであろう、現実あるいは仮説の直近の事例を議論し、その結果が何だったか、あるいはおそらく何であったであろうかを具体的に述べよ。あなたの安全に関連する報告が、実績報酬の決定と同じシステムの中にあるかを検討せよ。なぜなら、その二つを混ぜ合わせることが、名目上無処罰の文化が静かに正直さを罰し続ける最も一般的な方法だからである。この問いは設計上居心地が悪い。それを公然と議論できないチームは、すでにそれに答えてしまっている。

私たちの検査や格付け機関は、それが評価する組織から真の独立性を持っているか、それとも形式的な独立性だけを持っているか? 名目上の独立性はよくあることだが、資金供給、アクセス、そして歓迎されない発見を公表する権利における独立性は、より稀であり、徐々に侵食されやすい。あなたの組織が対象となっている検査や格付けの関係を列挙し、それぞれが、検査された機関による結果を形づくろうとする本気の試みに耐えられるかを正直に評価せよ。検査が真に歓迎されない結果を生み出した最後のときに何が起きたか、そしてその対応が根底にある問題を修正することだったのか、それとも検査官との関係を管理することだったのかを議論せよ。

スミスの目標への機能不全な反応――トンネル・ビジョン、指標への固着、虚偽表示、形骸化――のうち、現在私たち自身の報告の中で最も可視化されているのはどれか? 抽象的に操作について議論するのではなく、特定の失敗パターンを名指しすることは、この会話を行動できるほど具体的にする。この四つのパターンを一つひとつ確認し、まだスキャンダルが起きていないから組織は免除されていると想定するのではなく、チームが自分たち自身の直近の経験の中でどれを認識しているかを問え。その特定のパターンについての是正の一歩が、「測定をより良くする」という一般的な約束としてではなく、次の報告サイクルの中でどのようなものになるかを議論せよ。

もし私たちが一年間、現行の見出しの目標を公に報告することをやめたら、私たちは実際に何を失い、何を得るかもしれないか? この問いは、ある目標が真に決定を舵取りしているのか、それとも、第一原理から正当化するよう求められたら誰も弁護しないであろう、それ自体が目的になってしまったものなのかを検証する。この特定の数値のおかげで直近の一年間に実際に変わった決定がもしあれば何であったかを、いずれにせよ下されていたであろう決定とは区別して、正直に議論せよ。その目標が現在消費している職員の時間と行動の歪みを検討し、より操作しにくい異なる指標が、同じ説明責任の目的をより良く果たすかどうかを検討せよ。これは測定を放棄するための論拠ではない――それは、その居場所を得た測定だけを保持するための規律である。

実践において:公共価値の事例

ある中規模の大都市圏の救急サービス――実在するいかなる機関の報告でもなく、あるパターンを例示するための架空のもの――は、最も生命に関わる通報について八分以内の緊急対応を要求する公表された目標のもとで何年も運営されてきた。この目標は、対応の速さが定義された種類の緊急事態にとって生存に真に影響を与えるという臨床的な証拠に裏づけられて、善意をもって設定されたものであり、このサービスの理事会は、目標を達成した通報の公表された割合を、組織の成功についての単一の最も重要な指標として扱ってきた。

三年間にわたり、報告される数値は着実に改善し、対象となる通報のわずか半数強から十件中ほぼ九件へと上昇し、上級指導部はこのトレンドをすべての理事会会議で、業務改革が機能している明確な証拠として提示した。見出しの数値が示していなかったのは、その改善が実際にどう達成されたかだった。通話対応者は、自分自身の実績が、目標対象のカテゴリーに分類した通報の数に部分的に基づいて評価されていることを認識しており、単一の決定によってではなく徐々に、八分の時計が適用されないより低い優先度のカテゴリーへと、真に深刻な通報の増加する割合を格下げし始めていた。単に、より小さく厳密に定義された通報のプールのほうが目標を達成しやすかったからである。別に、救急隊は、その時計が、実際に患者に到達した瞬間ではなく、車両が現場に到着した瞬間に止まることを学んでおり、これは、患者に最速で到達するのではなく境界で駐車することへの、小さいが現実のインセンティブを生み出していた。

どちらの慣行も記録を捏造するという意味での不正ではなかった。それぞれは、まさにこの漂流のための余地を生み出す定義を持つ目標への、局所的に合理的な応答だった――指標への固着と虚偽表示が共に働く教科書的な実例である。この問題は、改善を示し続けていたサービス自身の報告を通じてではなく、案件記録のレビューと通話対応の直接観察を組み合わせ、同じ通報に記録された臨床上の詳細と矛盾する格下げされた分類を発見した、独立した地域保健監督機関の定例検査を通じて表面化した。このサービス自身が公表した対応時間の数値がかつてないほど良好であったにもかかわらず、監督機関の評価は「良好」に相当する記述から「改善が必要」へと急落した。

このサービスの当初の対応――自らの改善する数値を指し示すこと――は信頼性の問題を悪化させた。なぜなら、それは監督機関が問うていなかった問いに答えていたからである。その検査は算術に異議を唱えたことは一度もなく、その算術が何を測定していたかにだけ異議を唱えていた。より効果的な対応は、既存の目標をつぎはぎするのではなく、根底にあるロジックモデルから指標のスイートを再設計することだった。対応時間は、車両の到着ではなく患者との接触の瞬間に再定義され、通話の分類は、対応者自身の記録に委ねられるのではなく、ローリングするサンプルで独立して監査されるようになり、病院入院までの生存という並行する臨床的成果の指標が導入された。これは再分類だけによって操作することがはるかに難しかったからである。新しい定義のもとで、報告される対応時間の割合は初年度に低下した。これは理事会が資金提供者に予想するよう準備していたことだった。そして初めて比較可能な基準で追跡された臨床的成果の指標は、元の目標が一度もいずれの方向にも実証していなかった、より小さいが真の改善を示した。

四つのセクター別視点

地方自治体

消防・救助、成人の社会ケア、廃棄物収集といった地方のサービスは通常、地方自治体が選んだわけではない国が義務づけた指標と、特定の議会自身の優先事項を反映する地元で選ばれた指標の組み合わせに照らして測定されており、そのため、単一のサービスが、ある指標のセットに照らしては成功と判断され、別の指標のセットに照らしては懸念事項と判断されることがある。地方レベルでの検査は、しばしば、多くの地方自治体を一度にカバーする法定の権限を持つ国や地域の機関によって実施されており、これは有用な比較の視点を与えるが、それが検査する組織よりもきめ細かい地元の文脈は与えない。地方の選出された議員と精査委員会は、より速く、より直接的な説明責任の層を加え、しばしば、公表された数値と生きられた経験が乖離したとき、住民から最初にそれを耳にする者となる。

国の政府

国の政府は通常、最大かつ最も政治的に可視化された実績の体制を運営している。なぜなら、国レベルの目標――待ち時間の基準、犯罪削減の目標、試験合格率の目標――は、公の議論の中で、その日の政府の能力の代理指標になり、これは運用レベルをはるかに超えて操作の利害を高めるからである。これは、ビーヴァンとフードの「目標と恐怖」の力学が最も完全に実現される場である。なぜなら、国の目標はしばしば、それを外すことへの可視的な政治的結果とペアにされ、現実ではなく数値を管理するインセンティブを鋭くするからである。国の監督機関は、まさに、その評価が政治的な運命に影響を与えうる省庁から一定の距離を置いて運営されているために、報告された実績と実際の実績との間のギャップを表面化させる負担の不釣り合いな割合を担っている(トピック3.4「説明責任、透明性、正当性」を参照)。

社会セクターと非営利団体

非営利団体や非政府組織は、法定の検査制度としてよりも、自発的なあるいは資金提供者が課す規律として、品質保証と認証にしばしば直面する。なぜなら、このセクター全体のための専用の独立した検査機関を運用する法域はほとんどないからである。これは社会セクターの品質保証をより断片化させる――異なる資金提供者が同じ組織に異なる要件を課す――が、より柔軟にもする。なぜなら、非営利団体は、外部から課された一連の指標ではなく、しばしば自らの実際のセオリー・オブ・チェンジを中心に自らの指標のスイートを設計できるからである。義務的な外部検査官の不在は、独立した理事会と外部監査を、このセクター自身の水平的説明責任の代替として、相対的により重要なものにしている(トピック3.4「説明責任、透明性、正当性」を参照)。なぜなら、非営利団体自身の指導部は、さもなければ測定する者と測定される者の両方だからである。

多国間・国際機関

多国間機関と、それが公表あるいは依拠する比較指標――ガバナンスの質、ビジネスのしやすさ、あるいは公共サービスの実績についての国を横断した順位づけ――は、国全体の政府の規模でグッドハートの法則に直面する。そこでは、ある国は、その指数が表すと主張するより広い状態ではなく、測定される基準に狭く的を絞った改革を通じてその順位を改善できる。このトピックの他の場所で用いられている国内的な意味での独立した検査は、主権国家の境界を越えては真の類似物を持たない。なぜなら、いかなる国家も、国の機関がそれが監督する機関に対して持つような強制的な立場を持つ外部の検査機関を受け入れないからである。多国間の品質保証は代わりに、ピアレビュー、技術的な使節団によって検証された自己報告、そして公表された評価の評判上の費用に依拠する。これは、あらゆる国を横断した指標を編纂する機関の独立性と技術的な信頼性を、特に重要なものにする。なぜなら、それはしばしば利用可能な唯一のチェックだからである。

よくある失敗パターン

トンネル・ビジョン。 ある組織が、同じサービスの測定されていない側面が、それが奉仕する人々にとって同じくらい重要であっても、それを直接犠牲にして、測定されているものに努力と資源を集中させる。その代償は、公表されたすべての報告書の中では改善しているように見えながら、測定されていない次元――患者の尊厳、事案の複雑さ、長期的な成果――が、新たな測定を強いるほど大きな危機になるまで気づかれないまま静かに悪化するサービスである。
指標への固着。 ある指標での成功が、組織の内部で、根底にある目標での成功と同等のものとして扱われるようになり、公式の使命声明が今もなおその目標を名指ししていても、代理指標は誰もの実際の注意の中でその目標に取って代わる。その代償は、報告された実績と生きられた現実との間の、拡大し自己強化するギャップである。なぜなら、組織の内部の誰ももはや直接その現実を見ていないからである。
虚偽表示。 時計が早く止められ、事案が再分類され、有利な効果を持つよう分母が選ばれ、データが調整され、上記の実例のように、根底にある現実がまったく変わらないまま報告される数値が改善する。発見された後の代償は、元の歪みに不釣り合いである。なぜなら、虚偽表示は、その特定の数値だけでなく、同じ組織がこれまでに公表した他のすべての数値の信頼性を損なうからである(トピック3.4「説明責任、透明性、正当性」を参照)。
形骸化。 特定の運用環境のために設定された目標が、その環境が変わった後もずっと見直されないまま放置され、それはもはや真に良い実績と真に悪い実績を区別しなくなっても、それに照らして報告され管理され続ける。その代償は何年も見えないままである。なぜなら、形骸化した目標はそれでも数値を生み出し続けるからである。その数値は単に何も意味しなくなっただけであり、組織の実際の経営の注意は通常すでに他の場所へと移っている。誰も正式にその指標を廃止していないままである。
監督機関の捕捉。 独立した検査や格付け機関が、資金供給の取り決め、検査官と検査対象の間を移動する職員のキャリアパス、あるいは繰り返される検査を通じて構築される非公式な関係を通じて、それが検査する組織の善意、アクセス、あるいは継続的な協力に徐々に依存するようになる。その代償は、正式な憲章や法令それ自体では防げない、真の独立性の緩やかな喪失であり、通常は、捕捉するべきだった評価システムを主要な失敗が通り抜けたときにのみ表面化する。
非難に駆り立てられた安全報告。 安全に関連する誤りやニアミスの報告システムは名目上は無処罰だが、実務上は、実績評価や懲戒処分のプロセスと十分密接に結びついているため、職員は、正直な誤りを報告することが個人的なリスクを伴うと学ぶ。その代償はより少ない誤りではなく、より少ない、続いている誤りの報告である。これは、次のより深刻な事件が起きる前に安全システムが提供するために存在するまさにその早期警戒のシグナルを取り除く。

成熟度モデル

サブディメンション	開始	発展	標準化	管理	統合運用
指標が操作に耐えるよう設計されている	もっともらしい操作の戦略を検証することなく目標が設定される	操作リスクへの一定の認識はあるが、事後に非公式に対処される	すべての新しい目標が採択前にグッドハートの法則に照らして検証され均衡指標とペアにされる	漂流や操作の証拠に基づいて目標が改訂され、定められた周期で監視される	指標の設計が現場職員と共同で開発され、文脈が変化するにつれて先取り的に見直される
安全報告が真に無処罰である	誤りとニアミスは、あったとしても非公式に報告され、個人の非難に結びつけられる	正式な報告チャンネルは存在するが、それへの職員の信頼は一貫していない	安全報告が実績報酬の決定から構造的に分離されている	報告率とニアミスの傾向が先行指標として追跡され行動につなげられる	安全文化がベンチマークされ、実証された失敗に先立って積極的に強化される
検査・格付け機関が真の独立性を保持している	外部検査は存在しないか、その発見に結果が伴わない	監督機関は存在するが、その資金供給やアクセスは部分的に検査対象の機関に依存している	資金供給、任命、公表における独立性が正式に保証されている	独立性が定期的に検証され、ギャップが構造的な是正を発動させる	検査の発見が、過去の実績を評価するためだけでなく、指標システムを再設計するために積極的に用いられる
品質保証が日常的な実践に組み込まれている	品質のチェックはその場限りで、個々の職員の良心に依存している	一部の機能について文書化された品質保証のプロセスが存在する	ISO 9000ファミリーに基づくもののような品質管理システムが、主要な機能全体にわたって標準となっている	品質保証の発見が追跡され指標の設計に結びつけられる	品質保証と成果測定が一つのシステムとして共同で見直され適応される

チェックリスト

各見出しの実績指標を、それが表すはずのロジックモデルや成果フレームワークにまでたどる。
公表された各目標がどう操作されうるか最もありそうな方法を特定し、それを明らかにするであろう均衡指標を名指しする。
ある目標を設定する者、それに照らして測定される者、そしてその結果を独立して検証する者が、すべて組織の同じ部分ではないことを確認する。
目に見える失敗がそれを促すかどうかにかかわらず、すべての現行の目標について定められた周期のレビューを予定する。
安全に関連する報告チャンネルが、実績報酬や懲戒の決定から構造的に分離されていることを確認する。
方針がそう述べているだけでなく、職員が、正直に報告された誤りやニアミスが非難なしに扱われると信じているかを検証する。
組織を評価するいかなる検査や格付け機関も、保護された資金供給、アクセス、公表の権利を持っていることを確認する。
各見出しの目標の既知の限界を、その数値そのものとあわせて公表する。
いかなる指標が、理由についての対応する調査なしに、数期にわたって一貫して達成され続けているかを確認する。
新しい目標が稼働する前に、その設計に現場職員を関与させる。
存在する場合、品質管理の認証が、床として扱われ、単独で良い成果の証拠として引用されていないことを確認する。

主要情報源

チャールズ・グッドハートによる、金融政策の目標設定の文脈で発展させられた、グッドハートの法則として知られるようになったものの1975年の定式化。
Marilyn Strathern, ''Improving ratings': audit in the British university system', European Review, 5(3) (1997年), 305–321 — グッドハートの法則の広く引用される公共セクターにおける再述。
Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector', International Journal of Public Administration, 18(2–3) (1995年), 277–310 — このトピックが依拠するトンネル・ビジョン、指標への固着、虚偽表示、形骸化の類型論の出典。
Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System', Public Administration, 84(3) (2006年), 517–538 — 深刻な結果のもとでの操作についての「目標と恐怖」の研究。
Jerry Z. Muller, The Tyranny of Metrics(プリンストン大学出版局, 2018年) — 教育、医療、ビジネス、政府にわたる測定の失敗についての広範な説明。
UK National Audit Office, 'Performance measurement by regulators'、および実績指標をプログラム評価から区別する米国政府監査院の指針。
Care Quality CommissionとOfsted、それらが評価する組織から一定の距離を置いて運営される独立した検査・格付け機関の実例として。

参考文献

Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
Care Quality Commission — official site — https://www.cqc.org.uk/
Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted