Качество, безопасность и управление результативностью

Почему это важно: качество и результативность в общественной ценности

Любая государственная организация и организация социального сектора сколько-нибудь значительного размера сегодня живёт цифрами: время ожидания, число закрытых дел, минуты до прибытия помощи, доля сдавших экзамен, оценки удовлетворённости, инспекционные рейтинги. Целевые показатели, построенные на этих цифрах, — не навязанное извне вмешательство в государственное управление: с их помощью легитимность и поддержка демонстрируются перед спонсорами, законодательными органами, советами и гражданами, которые иначе не видят, что происходит внутри повседневной работы (см. тему 1.2 — Стратегический треугольник: легитимность, ценность и потенциал). Руководителю, который не может указать на показатель, сдвинувшийся в нужную сторону, трудно защищать бюджет, мандат или реформу.

Сложность в том, что число, построенное для отражения качества, — это не само качество, и они тихо расходятся в тот момент, когда число начинает значить больше, чем реальность за ним. Полиция может снизить зарегистрированную преступность, изменив то, как сотрудники классифицируют происшествия, а не уменьшив вред. Больница может выполнить целевой показатель времени ожидания, изменив перечень пациентов, к которым применяются часы, а не начав лечить людей быстрее. Ни то ни другое изменение не видно в опубликованной цифре — и именно эту проблему призвана разобрать данная тема.

Эта тема — основное изложение данной проблемы применительно к государственному сектору: показатели результативности и извращённые стимулы, которые они порождают; режимы обеспечения качества, призванные поддерживать единообразие стандартов независимо от того, что говорит какой-либо отдельный целевой показатель; независимые инспекционные и рейтинговые органы, проверяющие реальность за цифрами извне цепочки подчинения, которая эти цифры произвела. Тема 2.1 рассматривает, откуда показатели должны браться в первую очередь: рамки результатов и логические модели связывают меру с подлинным причинным утверждением о ценности (см. тему 2.1 — Сбалансированная система показателей общественной ценности и рамки результатов). Настоящая тема описывает, что происходит, когда эти показатели превращаются в действующие целевые установки, по которым оценивают сотрудников, и как организация сохраняет честность собственной системы измерения.

Ставки растут по мере того, насколько публично используется число. Закрытый внутренний показатель, оторвавшийся от реальности, впустую тратит время руководителя. Публичный целевой показатель, заголовочный инспекционный рейтинг или статистика безопасности, оторвавшиеся от реальности, могут стоить жизней, на годы исказить распределение ресурсов и — когда разрыв между отчётной цифрой и тем, что люди переживают на деле, в конце концов становится виден, — разрушить именно ту легитимность, которую публикация числа призвана была создать (см. тему 3.4 — Подотчётность, прозрачность и легитимность).

Основные понятия

Показатель результативности — это измеримая переменная, выбранная, чтобы замещать аспект деятельности организации, который невозможно наблюдать непосредственно и непрерывно (см. показатель результативности). По построению показатели — это заместители: никто не может напрямую измерить «качество помощи» или «безопасность сообщества», поэтому организация измеряет нечто более узкое и поддающееся подсчёту — время ожидания, уровень зарегистрированной преступности — и рассматривает его изменение как свидетельство изменения того более широкого явления, которое он представляет. Этот разрыв между заместителем и реальностью никогда не закрывается; данная тема посвящена тому, как им управлять, а не тому, как забыть о его существовании.

Закон Гудхарта в наиболее распространённой формулировке для государственного сектора гласит: когда мера становится целью, она перестаёт быть хорошей мерой. Закон назван в честь британского экономиста Чарльза Гудхарта, сформулировавшего лежащую в его основе мысль в 1975 г. применительно к денежно-кредитной политике: как только центральный банк начинает ориентироваться на определённый показатель денежной массы, статистические связи, делавшие этот показатель полезным, начинают разрушаться, потому что люди меняют поведение в ответ на саму цель. Антрополог Мэрилин Стратерн пересказала эту идею для аудитории государственного сектора в широко цитируемом исследовании 1997 г. о культуре аудита в британских университетах и придала ей краткую формулировку, которую сегодня цитируют чаще всего: «когда мера становится целью, она перестаёт быть хорошей мерой». В теме 3.1 эта динамика была коротко введена в связи с опорой «нового государственного менеджмента» на явные целевые показатели; настоящая тема — её основное изложение (см. тему 3.1 — Системы и модели государственного управления). Закон Гудхарта — не аргумент против измерения; это аргумент в пользу того, что измерение и вознаграждение нельзя необдуманно соединять, не изменив при этом то, что измеряется.

Извращённые стимулы — механизм, посредством которого закон Гудхарта наносит ущерб: структура стимулов, дающая результаты, противоположные замыслу её создателей, потому что люди, реагирующие на неё, оптимизируют букву вознаграждения, а не цель, стоящую за ним (см. извращённый стимул). Целевой показатель, связанный с финансированием, репутацией или карьерой, создаёт извращённый стимул всякий раз, когда есть способ улучшить отчётное число, не улучшая конечный результат, — а в услуге, оказываемой через тысячи индивидуальных оценочных решений, такой способ почти всегда находится, как только люди начинают его искать.

Типология дисфункциональных реакций на целевые показатели. Экономист Питер Смит в влиятельном исследовании 1995 г. о данных о результативности в государственном секторе описал способы, которыми опубликованные целевые показатели искажают поведение; несколько из них остаются стандартным словарём для диагностики проблемной системы показателей. «Туннельное зрение» — концентрация усилий на том, что измеряется, в ущерб тому, что не измеряется, даже когда неизмеряемые аспекты не менее или более важны. «Фиксация на мере» — восприятие успеха по показателю как успеха по базовой цели, так что заместитель незаметно вытесняет в общем внимании то, что он должен был представлять; именно такова закономерность, стоящая за обучением ради теста в системах образования, где преподавание сужается до того, что охватывает стандартизированная оценка, а не более широкое обучение, о котором эта оценка призвана была сигнализировать. «Искажение отчётности» — умышленное манипулирование отчётными данными (переклассификация случая, подгонка часов, выбор более выгодного знаменателя), благодаря которому цифры улучшаются, тогда как реальность вовсе не меняется. «Окостенение» — медленное превращение целевого показателя в неактуальный, когда его не пересматривают задолго после того, как изменилась операционная среда, для которой он создавался. Близкое по теме исследование 2006 г. Гвина Бевана и Кристофера Худа о целевых показателях в английской государственной системе здравоохранения показало, как далеко могут зайти эти процессы, когда цель сочетается с жёсткими последствиями за её невыполнение; они ввели выражение «цели и террор» для режима, порождающего именно то манипулятивное поведение, которое он должен был искоренить.

Обеспечение качества — это систематическая дисциплина, которой владеет сама организация, по обеспечению того, чтобы продукт или услуга последовательно соответствовали определённому стандарту, — за счёт предупреждения дефектов, встроенного в процесс, а не только за счёт проверки готового результата (см. обеспечение качества). Если целевой показатель результативности измеряет итог постфактум, то обеспечение качества призвано сделать плохой итог менее вероятным с самого начала — как правило, с помощью стандартизированных процедур, контрольных перечней, рецензирования коллегами и анализа первопричин сбоев. Всеобщее управление качеством — более широкая управленческая философия, построенная на этой дисциплине: она рассматривает непрерывное улучшение качества как обязанность каждого, а не как специализированную функцию, пристёгнутую в конец процесса (см. всеобщее управление качеством). А семейство стандартов ISO 9000, опубликованное Международной организацией по стандартизации (ISO) и впервые выпущенное в 1987 г., даёт организациям сертифицируемую рамку для демонстрации того, что такая система менеджмента существует. Организация может быть сертифицирована по стандарту менеджмента качества и проходить все внутренние проверки обеспечения качества, но при этом манипулировать внешне отчётными целевыми показателями результативности: две системы отвечают на разные вопросы, и ни одна не заменяет другую.

Показатели безопасности и культура безопасности заслуживают отдельного рассмотрения по сравнению с обычными показателями результативности, потому что вред от извращённого стимула нередко необратим. В здравоохранении практика безопасности пациентов усвоила — зачастую дорогой ценой, — что наказание сотрудников за сообщение об ошибке подавляет именно ту информацию, которая нужна системе безопасности, чтобы предотвратить следующую; этот вывод распространился из клинической среды на авиацию, транспорт и другие государственные службы с тяжёлыми последствиями ошибок. Среда сообщений «без поиска виноватых» («справедливая культура») рассматривает честно сообщённое «едва не случившееся» как ценную точку данных, а не как признание вины, — это противоположность тому, как устроено большинство обычных целевых показателей результативности: режим результативности вознаграждает хорошую цифру, а режим безопасности должен вознаграждать честную цифру, даже когда она плоха.

Независимые инспекционные и рейтинговые органы обеспечивают проверку всего перечисленного, исходящую извне оцениваемой цепочки подчинения. Инспекция — например, английская Ofsted, инспектирующая организации образования и служб для детей, или Комиссия по качеству помощи (Care Quality Commission), инспектирующая и оценивающая поставщиков медицинской и социальной помощи, — направляет оценщиков, которые непосредственно наблюдают практику, применяют профессиональное суждение и публикуют рейтинг, который инспектируемая организация не контролирует. Это структурно отличается от внутреннего управления результативностью: самостоятельно сообщённую цифру времени ожидания могут «подкрутить» те, у кого есть стимул это сделать, а инспектор, обходящий палаты или наблюдающий за уроком, смотрит на ту реальность, которую число должно было отражать. Инспекция — форма горизонтальной подотчётности: контроля со стороны органа с независимым статусом, а не со стороны электората или рынка (см. тему 3.4 — Подотчётность, прозрачность и легитимность); и эту роль она заслуживает лишь в той мере, в какой её независимость — в финансировании, назначениях и публикации — действительно защищена.

Лучшие практики

1. Выводите показатели из логической модели, а не из того, что уже легко подсчитать. Выбор меры потому, что данные уже есть, а не потому, что она отслеживает подлинное звено причинной цепочки, — с этого начинаются фиксация на мере и туннельное зрение (см. тему 2.1 — Сбалансированная система показателей общественной ценности и рамки результатов).
2. Сопровождайте каждый целевой показатель продукта или деятельности по меньшей мере одной уравновешивающей мерой, которая выявила бы наиболее вероятную стратегию манипуляции. Если целевой показатель времени ожидания можно обойти переклассификацией случаев, отслеживайте долю переклассификаций рядом с заголовочной цифрой, а не задним числом, когда скандал заставит поставить вопрос.
3. Рассматривайте целевой показатель, выполняемый несколько периодов подряд, как повод для расследования, а не только для торжества. Число, которое перестаёт различать хорошую и плохую работу, либо действительно решило проблему, либо было сведено манипуляциями к бессмысленности, а по панели показателей одно от другого не отличить.
4. Разделяйте тех, кто устанавливает целевой показатель, тех, кого по нему измеряют, и тех, кто независимо проверяет результат. Если сосредоточить эти три роли в одной части организации, исчезает структурное напряжение, которое поддерживает честность системы измерения.
5. Пересматривайте или отменяйте целевой показатель по установленному циклу, а не только после заметного провала. Окостенение — судьба целевого показателя по умолчанию; плановый пересмотр, ставящий вопрос, отслеживает ли показатель ещё что-либо значимое, улавливает распад раньше, чем это сделает кризис.
6. Создайте канал сообщений «без поиска виноватых» о значимых для безопасности «едва не случившихся» происшествиях и ошибках, структурно отделённый от решений о вознаграждении за результативность. Система безопасности, наказывающая за честное сообщение, будет иметь тот же уровень скрытых ошибок — просто перестанет о них узнавать, пока вред не станет больше и его не станет труднее скрыть.
7. Предоставьте независимым инспекторам и рейтинговым органам подлинный доступ, защищённое финансирование и право публикации, которое инспектируемая организация не может заблокировать. Инспекция, зависящая в бюджете или в доступе от доброй воли оцениваемой организации, изображает проверку, а не осуществляет её.
8. Интерпретируйте количественную оценку с помощью профессионального суждения, а не оставляйте оценку без комментариев. Единый сводный рейтинг сжимает богатую и неровную реальность в одну цифру; публикуйте качественное описание, стоящее за инспекционным рейтингом, вместе с самим рейтингом, чтобы читатель видел, что именно число обобщает.
9. Разрабатывайте целевые показатели вместе с сотрудниками первой линии, по которым их будут измерять, а не только для них. Люди, наиболее близкие к работе, обычно знают самый простой способ манипуляции раньше любого аналитика; участие в разработке выявляет этот риск рано, а не после запуска показателя.
10. Сертифицируйте систематический процесс менеджмента качества — например, построенный на семействе стандартов ISO 9000 — как нижнюю планку, а не как замену измерению результатов. Сертификация показывает, что последовательный процесс существует; сама по себе она не доказывает, что процесс даёт хороший результат, а считать сертификат достаточным свидетельством качества — это отдельная форма фиксации на мере.
11. Публикуйте известные ограничения целевого показателя вместе с самим показателем. Если в том же отчёте, где приведена цифра, прямо указать, чего мера не охватывает и как её можно было бы обойти, это упреждает именно то открытие, которое иначе позднее подрывает легитимность (см. тему 3.4 — Подотчётность, прозрачность и легитимность).

Вопросы для обсуждения в вашей команде

Какие из наших нынешних опубликованных целевых показателей можно выполнить, вообще не улучшив базовый результат? Это самое прямое применение закона Гудхарта, доступное любой команде, и почти в каждой организации, которая вела числовые целевые показатели дольше нескольких лет, есть хотя бы один действующий пример. Пройдитесь по заголовочным показателям по одному и спросите конкретно, какое поведение поощряет каждый из них, а не что он должен был измерять. Обсудите, не знают ли сотрудники первой линии более лёгкого способа сдвинуть число, чем задуманный, — обычно они знают это задолго до того, как это доходит до высшего руководства. Уверенное, непроверенное «у нас так никто не поступит» стоит само по себе расследовать, а не воспринимать как успокоение.

Где мы позволили легко подсчитываемому продукту незаметно заменить подлинную оценку качества или безопасности? Продукты почти всегда дешевле и быстрее собирать, чем результаты, а это создаёт постоянный соблазн сообщать о первых языком вторых. Выберите один флагманский показатель, о котором ваша организация сейчас отчитывается, и спросите всей группой: измеряет ли он на самом деле качество произошедшего или лишь объём проведённой деятельности. Обсудите, что потребовалось бы для сбора подлинной меры качества для той же деятельности и что до сих пор мешало организации её собирать. Этот вопрос нередко показывает, что препятствие — это ресурсы, а не трудность определения.

Что на самом деле произойдёт с сотрудником, если сегодня он честно сообщит о собственной ошибке или «едва не случившемся» происшествии? Существование политики «без поиска виноватых» не означает, что люди верят, будто она относится лично к ним. Обсудите недавний случай, реальный или гипотетический, когда честное раскрытие ошибки проверило бы эту политику на прочность, и будьте конкретны в том, каковы были бы или были последствия. Подумайте, находится ли сообщение о значимых для безопасности событиях в той же системе, что и решения о вознаграждении за результативность, ведь смешение этих двух систем — самый распространённый способ, которым формально «беспристрастная» культура всё равно тихо наказывает за честность. Этот вопрос неудобен намеренно; команда, которая не может обсудить его открыто, уже на него ответила.

Обладает ли наш инспекционный или рейтинговый орган реальной независимостью от оцениваемой организации или лишь формальной? Независимость на словах встречается часто; независимость в финансировании, доступе и праве опубликовать неприятный вывод встречается реже, и её легче постепенно подточить. Перечислите инспекционные или рейтинговые отношения, в которых находится ваша организация, и честно оцените по каждому, выдержали бы они решительную попытку инспектируемой стороны повлиять на итог. Обсудите, что произошло в последний раз, когда инспекция дала по-настоящему неприятный результат, и было ли реакцией устранение корневой проблемы или управление отношениями с инспектором.

Какая из дисфункциональных реакций на целевые показатели по Смиту — туннельное зрение, фиксация на мере, искажение отчётности, окостенение — наиболее заметна сегодня в нашей собственной отчётности? Если назвать конкретный сбой, а не обсуждать манипуляции в абстракции, разговор становится достаточно конкретным, чтобы действовать. Пройдите по четырём моделям и спросите, какую из них команда узнаёт в собственном недавнем опыте, вместо того чтобы считать организацию неуязвимой, потому что скандала ещё не было. Обсудите, как мог бы выглядеть корректирующий шаг именно для этой модели в следующем отчётном цикле, — не как общее обязательство «лучше работать с измерением».

Если бы мы на год перестали публично отчитываться о нашем нынешнем заголовочном показателе, что мы на самом деле потеряли бы и что могли бы приобрести? Этот вопрос проверяет, действительно ли показатель направляет решения или стал самоцелью, которую никто не стал бы защищать, если бы его попросили обосновать с первых принципов. Честно обсудите, какое решение, если оно было, изменилось за последний год из-за именно этого числа — в отличие от решений, которые были бы приняты и так. Подумайте, чего сейчас стоят показателю рабочее время сотрудников и искажение поведения и не послужила бы той же цели подотчётности лучше другая, труднее поддающаяся манипуляциям мера. Это не довод в пользу отказа от измерения — это дисциплина, позволяющая сохранить только то измерение, которое заслуживает своего места.

На практике: пример общественной ценности

Служба скорой помощи столичного региона среднего размера — вымышленная, иллюстрирующая закономерность и не являющаяся отчётом о каком-либо реальном органе — много лет работала в условиях опубликованного целевого показателя, требовавшего прибытия бригады в течение восьми минут по наиболее опасным для жизни вызовам. Показатель был установлен из добрых побуждений и подкреплён клиническими данными о том, что скорость реагирования действительно влияет на выживаемость при определённой категории неотложных состояний; совет службы рассматривал опубликованную долю вызовов, уложившихся в норматив, как единственный важнейший показатель успеха организации.

За три года отчётная цифра стабильно улучшалась — от чуть больше половины подходящих вызовов почти до девяти из десяти, и высшее руководство на каждом заседании совета представляло эту тенденцию как явное свидетельство того, что операционные реформы работают. Чего заголовочная цифра не показывала, так это того, как именно было достигнуто улучшение. Операторы приёма вызовов, зная, что их собственная работа оценивается отчасти по тому, сколько вызовов они относят к категории с целевым показателем, начали — постепенно, без какого-либо отдельного решения об этом — переводить растущую долю действительно серьёзных вызовов в категорию более низкого приоритета, к которой восьмиминутный отсчёт не применялся, просто потому что достичь показателя проще для меньшей, более жёстко определённой группы вызовов. Отдельно бригады выяснили, что отсчёт останавливается в тот момент, когда машина прибывает на место, а не когда к пациенту действительно удалось подойти, — это создавало небольшой, но реальный стимул остановиться на границе, а не добираться до пациента быстрее всего.

Ни одна из этих практик не была мошенничеством в смысле подделки записи; каждая была локально рациональной реакцией на целевой показатель, определение которого оставляло именно такой простор для дрейфа, — хрестоматийный пример фиксации на мере и искажения отчётности, действующих вместе. Проблема выявилась не из собственной отчётности службы, которая продолжала показывать улучшение, а из плановой проверки независимой региональной инспекции здравоохранения, которая сочетала изучение материалов дел с прямым наблюдением за приёмом вызовов и обнаружила, что пониженные классификации не согласуются с клиническими подробностями, зафиксированными в тех же вызовах. Рейтинг инспекции резко упал — от описания, соответствующего «хорошо», до «требует улучшения», хотя собственная опубликованная цифра службы по времени реагирования была лучше, чем когда-либо.

Первоначальная реакция службы — ссылка на собственные улучшающиеся цифры — усугубила проблему доверия, потому что отвечала на вопрос, который инспекция не задавала: инспекция никогда не оспаривала арифметику, а лишь то, что эта арифметика измеряет. Более эффективным ответом стало перепроектирование набора показателей на основе исходной логической модели, а не латание существующего целевого показателя: время реагирования было переопределено как момент контакта с пациентом, а не прибытия машины; классификация вызовов стала независимо проверяться на скользящей выборке, а не приниматься на веру по записи самого оператора; а параллельно был введён показатель клинического результата — доживание до госпитализации, — потому что его гораздо труднее исказить одной лишь переклассификацией. Отчётная доля времени реагирования в первый год при новом определении снизилась, к чему совет подготовил своих спонсоров; показатель клинического результата, впервые отслеживаемый на сопоставимой основе, показал меньшее, но подлинное улучшение, которое исходный целевой показатель никогда не подтверждал и не опровергал.

Четыре секторальные перспективы

Местное самоуправление

Местные службы — пожарно-спасательная служба, социальная помощь взрослым, вывоз отходов — обычно оцениваются по сочетанию национально предписанных показателей, которые местный орган не выбирал, и показателей, выбранных на месте и отражающих собственные приоритеты конкретного совета; поэтому одну и ту же службу могут признать успешной по одному набору показателей и вызывающей беспокойство по другому. Инспекцию на местном уровне нередко проводит национальный или региональный орган с законным мандатом, охватывающим сразу много местных органов; это даёт полезный сравнительный взгляд, но меньше местного контекста, чем у инспектируемой организации. Выборные члены местных советов и комитеты по надзору добавляют более быстрый и непосредственный слой подотчётности и нередко первыми слышат от жителей, когда опубликованная цифра и пережитый опыт расходятся.

Национальное правительство

Национальное правительство, как правило, ведёт самые масштабные и политически заметные режимы результативности, потому что национальный целевой показатель — норматив времени ожидания, цель по снижению преступности, задача по доле сдавших экзамены — становится в публичной дискуссии заместителем компетентности правительства дня, а это поднимает ставки манипуляций далеко за пределы операционного уровня. Именно в этой среде в полной мере реализуется динамика «цели и террор» Бевана и Худа, поскольку национальные целевые показатели нередко сочетаются с заметными политическими последствиями за их невыполнение, что обостряет стимул управлять числом, а не реальностью за ним. Национальные инспекции — именно потому, что они действуют на расстоянии вытянутой руки от министерств, чьи политические перспективы может затронуть рейтинг, — несут непропорционально большую долю бремени выявления разрыва между отчётной и фактической результативностью (см. тему 3.4 — Подотчётность, прозрачность и легитимность).

Социальный сектор и некоммерческие организации

Некоммерческие и неправительственные организации чаще сталкиваются с обеспечением качества и аккредитацией как с добровольной или навязанной спонсорами дисциплиной, а не как со статутным режимом инспекций, поскольку немногие юрисдикции содержат специальную независимую инспекцию для сектора в целом. Это делает обеспечение качества в социальном секторе более раздробленным — разные спонсоры предъявляют разные требования к одной и той же организации, — но и более гибким, поскольку некоммерческая организация нередко может построить собственный набор показателей вокруг своей реальной теории изменений, а не набора мер, навязанных извне. Отсутствие обязательного внешнего инспектора повышает относительную важность независимого совета и внешнего аудита как собственного заменителя горизонтальной подотчётности в секторе (см. тему 3.4 — Подотчётность, прозрачность и легитимность), поскольку иначе руководство самой некоммерческой организации одновременно и измеряет, и измеряется.

Многосторонние и международные организации

Многосторонние органы и сравнительные индексы, которые они публикуют или на которые опираются, — межстрановые рейтинги качества управления, простоты ведения бизнеса или результативности государственных услуг, — сталкиваются с законом Гудхарта в масштабе целых национальных правительств, где страна может улучшить своё место в рейтинге реформами, нацеленными узко на измеряемые критерии, а не на более широкое состояние, которое индекс призван отражать. Независимой инспекции в том внутригосударственном смысле, который используется в других частях этой темы, через суверенные границы не существует, поскольку ни одно государство не принимает внешнюю инспекцию с принудительным статусом, какой национальный орган имеет над ведомством, за которым надзирает; многостороннее обеспечение качества опирается вместо этого на коллегиальную оценку, самоотчётность, проверяемую техническими миссиями, и репутационную цену опубликованного рейтинга. Поэтому независимость и техническая достоверность органа, составляющего любой межстрановой показатель, особенно важны: нередко это единственная доступная проверка.

Типичные сбои и ошибки

Туннельное зрение. Организация сосредоточивает усилия и ресурсы на том, что измеряется, прямо в ущерб неизмеряемым аспектам той же услуги, которые не менее важны для людей, которым она служит. Цена — услуга, которая в каждом опубликованном отчёте выглядит улучшающейся, пока неизмеряемое измерение — достоинство пациента, сложность дела, долгосрочные результаты — тихо ухудшается, оставаясь незамеченным, пока не превращается в кризис, достаточно крупный, чтобы вынудить ввести новое измерение.

Фиксация на мере. Успех по показателю начинают считать внутри организации равнозначным успеху по базовой цели, так что заместитель вытесняет цель в реальном внимании всех, хотя формальное заявление о миссии по-прежнему называет цель. Цена — растущий, самоусиливающийся разрыв между отчётной результативностью и жизненной реальностью, потому что никто внутри организации больше не наблюдает реальность напрямую.

Искажение отчётности. Данные корректируются — часы останавливаются раньше времени, случай переклассифицируется, знаменатель выбирается ради выгодного эффекта, — так что отчётная цифра улучшается, а базовая реальность не меняется вовсе, как в разобранном выше примере. Когда это обнаруживается, цена несоразмерна исходному искажению, потому что искажение отчётности подрывает не только конкретную цифру, но и доверие к каждому другому числу, которое эта организация когда-либо публиковала (см. тему 3.4 — Подотчётность, прозрачность и легитимность).

Окостенение. Целевой показатель, установленный для конкретного операционного контекста, остаётся непересмотренным задолго после изменения этого контекста, и по нему продолжают отчитываться и им управлять, хотя он уже не различает по-настоящему хорошую и по-настоящему плохую работу. Цена остаётся невидимой годами, потому что окостеневший показатель по-прежнему даёт число; число просто перестало что-либо значить, а реальное управленческое внимание организации обычно уже перешло в другое место, и никто формально не отменил меру.

Захват инспекции. Независимый инспекционный или рейтинговый орган постепенно становится зависимым от доброй воли, доступа или продолжающегося сотрудничества тех, кого он инспектирует, — через механизмы финансирования, карьерные пути, ведущие сотрудников между инспектором и инспектируемым, или неформальные отношения, выстроенные за повторные проверки. Цена — медленная утрата подлинной независимости, которую формальный устав или закон сами по себе не предотвращают; она обычно проявляется лишь тогда, когда крупный сбой проходит сквозь рейтинговую систему, которая должна была его уловить.

Сообщения о безопасности с поиском виноватых. Система сообщений об ошибках и «едва не случившихся» происшествиях, значимых для безопасности, формально не ищет виноватых, но на практике достаточно тесно связана с оценкой персонала или дисциплинарным процессом, так что сотрудники понимают: честное сообщение об ошибке несёт личный риск. Цена — не уменьшение числа ошибок, а уменьшение числа сообщений об ошибках, которые продолжают происходить; это устраняет именно тот сигнал раннего предупреждения, который система безопасности призвана подать до следующего, более серьёзного инцидента.

Модель зрелости

Контрольный перечень

• Проследите каждый заголовочный показатель результативности до логической модели или рамки результатов, которую он должен представлять.
• Определите наиболее вероятный способ манипуляции для каждого опубликованного целевого показателя и назовите уравновешивающую меру, которая его выявила бы.
• Убедитесь, что тот, кто устанавливает целевой показатель, тот, кого по нему измеряют, и тот, кто независимо проверяет результат, — не одна и та же часть организации.
• Назначьте пересмотр каждого действующего целевого показателя по установленному циклу, независимо от какого-либо заметного провала.
• Убедитесь, что канал сообщений, значимых для безопасности, структурно отделён от решений о вознаграждении за результативность и от дисциплинарных решений.
• Проверьте, верят ли сотрудники, что честно сообщённая ошибка или «едва не случившееся» происшествие будут рассмотрены без поиска виноватых, а не только говорит ли об этом политика.
• Убедитесь, что любой инспекционный или рейтинговый орган, оценивающий организацию, имеет защищённое финансирование, доступ и право публикации.
• Публикуйте известные ограничения каждого заголовочного показателя вместе с самой цифрой.
• Проверьте, не выполнялся ли какой-либо показатель стабильно в течение нескольких периодов без соответствующего расследования причин.
• Привлекайте сотрудников первой линии к разработке любого нового целевого показателя до его запуска.
• Убедитесь, что сертификация менеджмента качества, где она есть, рассматривается как нижняя планка и не приводится сама по себе как свидетельство хороших результатов.

Ключевые источники

• Формулировка Чарльза Гудхарта 1975 г., ставшая известной как закон Гудхарта и разработанная в контексте целевых ориентиров денежно-кредитной политики.
• Marilyn Strathern, ''Improving ratings': audit in the British university system', European Review, 5(3) (1997), 305–321 — широко цитируемое изложение закона Гудхарта для государственного сектора.
• Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector', International Journal of Public Administration, 18(2–3) (1995), 277–310 — источник типологии «туннельное зрение, фиксация на мере, искажение отчётности, окостенение», на которую опирается эта тема.
• Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System', Public Administration, 84(3) (2006), 517–538 — исследование «целей и террора» — манипуляций при жёстких последствиях.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — широкий обзор провалов измерения в образовании, здравоохранении, бизнесе и государственном управлении.
• UK National Audit Office, 'Performance measurement by regulators', и руководство US Government Accountability Office, различающее меры результативности и оценку программ.
• Care Quality Commission и Ofsted как примеры независимых инспекционных и рейтинговых органов, действующих на расстоянии вытянутой руки от организаций, которые они оценивают.

Ссылки

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted