Сбалансированная система показателей общественной ценности и рамки результатов

Почему это важно: общественная ценность

Большинство руководителей государственного и социального секторов способны подготовить стратегический документ, в котором свободно говорится о результатах. Значительно меньше тех, кто через год может представить доказательства того, что эти результаты действительно сдвинулись. Разрыв между первым и вторым обычно объясняется не нехваткой данных — большинство организаций собирают их в огромных объёмах, — а отсутствием дисциплинированной структуры, которая превращает сырые подсчёты деятельности в обоснованное утверждение о созданной ценности. В теме 1.2 — Стратегический треугольник: легитимность, ценность и потенциал — легитимность и поддержка, ценностное предложение и операционный потенциал описаны как три опоры, которым стратегия организации должна отвечать одновременно (см. тему 1.2 — Стратегический треугольник: легитимность, ценность и потенциал). Настоящая тема посвящена инструментам, которые делают эти три опоры измеримыми, а не просто заявленными.

Ставки здесь высоки и возникают регулярно. На очередном бюджетном цикле финансирующая сторона или законодательный орган спрашивает: «Что мы получили за эти деньги?» Организация, у которой есть только подсчёт продуктов (открытые поликлиники, обработанные дела, проведённые учебные занятия), не может ответить на вопрос о результатах, стоящий за этим вопросом. Команда программы считает себя успешной, потому что активность высока и работа кипит, но не отделила активность от изменений в мире, которые эта активность должна была вызвать. Совет утверждает новую инициативу на основании убедительного нарратива, а год спустя не имеет согласованной основы, чтобы решить, продолжать её, масштабировать или прекратить. Каждый из этих случаев — сбой измерения со стратегическими последствиями, а не техническое неудобство.

Инструменты этой темы — Система показателей общественной ценности Марка Мура, логическая модель, подотчётность, основанная на результатах, и родственные ей подходы — не решают всех проблем измерения, с которыми сталкивается организация государственного или социального сектора. Более трудные и технические уровни рассматриваются в последующих темах: денежная оценка результатов с помощью анализа «затраты — выгоды» и анализа затратной эффективности (см. тему 2.2 — Социальный анализ «затраты — выгоды» и анализ затратной эффективности), оценка результатов, которые не поддаются денежному выражению, с помощью социальной отдачи от инвестиций (см. тему 2.3 — Социальная отдача от инвестиций и измерение воздействия) и установление того, что программа действительно вызвала наблюдаемое изменение, с помощью формальной оценки программ (см. тему 2.4 — Эконометрика государственного сектора и оценка программ). Эта тема даёт слой, лежащий в основе всех трёх: общий словарь и небольшое число устойчивых рамок, позволяющих до начала любой такой технической работы сформулировать, что именно организация пытается изменить, для кого и как она узнает о достигнутом.

Основные понятия

Система показателей общественной ценности — это предложение Марка Х. Мура отслеживать каждую опору стратегического треугольника с помощью собственного набора индикаторов, а не опираться по умолчанию на финансовые и операционные показатели, которые использовала бы частная сбалансированная система показателей. Мур адаптировал сбалансированную систему показателей — инструмент Роберта Каплана и Дэвида Нортона для отслеживания деятельности компании по финансовой, клиентской, внутренней и обучающей перспективам, — потому что единственная финансовая «нижняя строка» не может представлять организацию, главное основание существования которой состоит в создании ценности, не выражаемой рыночной ценой. Система показателей общественной ценности вместо этого предлагает организации определить показатели по трём разделам, повторяющим треугольник: счёт легитимности и поддержки (удовлетворена ли уполномочивающая среда — финансирующие стороны, надзорные органы, общество), счёт общественной ценности (реализуется ли ценностное предложение — результаты для граждан и получателей услуг) и счёт операционного потенциала (способна ли организация поддерживать и улучшать оказание услуг — персонал, системы, финансы, партнёрства). Суть дисциплины в отказе позволять любому одному счёту заменять целое: организация, которая отчитывается только о финансовой эффективности или только об удовлетворённости клиентов, вообще не отчиталась по треугольнику.

Логические модели придают счёту ценности в системе показателей внутреннюю структуру. Логическая модель раскладывает причинную цепочку, которую, как утверждается, реализует программа: ресурсы (деньги, персонал и другие выделенные средства), деятельность (что организация делает с этими ресурсами), продукты (непосредственные, поддающиеся подсчёту итоги этой деятельности — проведённые занятия, выданные разрешения, посещённые домохозяйства), результаты (изменения в знаниях, поведении, состоянии или статусе, которые продукты призваны вызвать, обычно в течение месяцев или нескольких лет) и воздействие (более долгосрочное, нередко общепопуляционное изменение, к которому результаты должны вносить вклад; оно, как правило, является общим для нескольких участников, и его труднее приписать одной программе). Различие между продуктом и результатом — самое значимое в этой теме: продукт — это то, что сделала организация; результат — это то, что изменилось для кого-то другого вследствие этого. Продукт программы обучения — число обученных; её результат — то, что эти люди теперь умеют делать или как изменились их обстоятельства, чего прежде не было.

Теория изменений — тесно связанная с этим дисциплина, делающая допущения, на которых держится логическая модель, явными, а не подразумеваемыми: почему организация считает, что деятельность А действительно приведёт к результату Б и при каких условиях это причинное утверждение может не сработать. Теория изменений — не просто более подробная логическая модель; она выдвигает на первый план рассуждение по схеме «если… то… потому что» и контекстные допущения, которые схема логической модели из блоков и стрелок обычно оставляет невысказанными. Тема 2.3 подробнее использует теорию изменений как отправную точку измерения воздействия в социальном секторе (см. тему 2.3 — Социальная отдача от инвестиций и измерение воздействия); здесь она важна главным образом как дисциплина, которая удерживает логическую модель честной относительно того, что именно она заявляет как причину, в отличие от того, на что она лишь надеется.

Подотчётность, основанная на результатах (Results-Based Accountability, RBA) — наиболее известный представитель семейства рамок, ориентированных на результаты, которые используются в органах власти и социальном секторе, чтобы связать результаты на уровне населения с работой конкретных программ. Подход разработан Марком Фридманом и изложен в его книге Trying Hard Is Not Good Enough; RBA разделяет два вида подотчётности, которые организации обычно смешивают. Подотчётность на уровне населения спрашивает, как обстоят дела у всего сообщества или юрисдикции по определённому условию благополучия — детская бедность, безопасность сообщества, уровень образования, — и использует небольшое число ключевых индикаторов, которыми не владеет и которые полностью не контролирует ни одно ведомство. Подотчётность за результативность спрашивает, насколько хорошо работает конкретная программа или ведомство, и использует три вида показателей результативности, различать которые настаивает рамка Фридмана: сколько сделано (усилие — подсчёт продуктов), насколько хорошо сделано (качество) и стало ли кому-то лучше (эффект — результат). Практический метод RBA, который иногда называют анализом «поворота кривой» (turn the curve), движется от выбранного индикатора в обратном направлении: какую историю рассказывают данные, что её вызывает, кто из партнёров может повлиять на изменение, что сработает и что организация предлагает сделать. Это структурированный вариант рассуждения, которое логическая модель и теория изменений формализуют по отдельности. RBA — один из примеров более широкого подхода управления, ориентированного на результаты, тесно связанного с обычной практикой мониторинга и оценки, применяемой в международном развитии и государственном управлении; в разных формах этот подход продвигают национальные правительства, благотворительные фонды и многосторонние организации как общую дисциплину, связывающую расходы с результатами, а не только с продуктами.

Продукты, результаты и система показателей вместе. Эти рамки рассматриваются в одной теме, а не в трёх, потому что они отвечают на один и тот же базовый вопрос в разные моменты цикла планирования и отчётности организации. Логическая модель составляется на этапе проектирования, чтобы сформулировать причинное утверждение. Подотчётность, основанная на результатах, и сопоставимые рамки применяются на этапе отчётности, чтобы показатели результативности честно различали усилие и эффект. Система показателей общественной ценности находится выше обеих как постоянная структура, которая гарантирует, что свидетельства о результатах — как бы они ни были получены — действительно попадают в обсуждения легитимности и потенциала, где принимаются решения о бюджете и мандате, а не остаются внутри собственной отчётности команды программы. Вместе три рамки превращают общественную ценность из утверждения, которое организация делает о самой себе, в утверждение, которое она может защитить доказательствами.

Лучшие практики

1. Рисуйте логическую модель до индикаторов, а не после. Если выбирать, что измерять, прежде чем согласовано, что именно вы утверждаете как причину, получится перечень того, что проще всего сосчитать; сначала нарисуйте цепочку от ресурсов к воздействию, а затем выберите показатели, проверяющие каждое её звено.
2. Отчитывайтесь по всем трём счетам системы показателей вместе, а не по одному. Отчёт о легитимности без свидетельств о результатах или отчёт о результатах без счёта потенциала, показывающего, чего стоило их поддерживать, рассказывают лишь часть истории, нужной финансирующей или надзорной стороне для реального решения.
3. Явно разделяйте усилие, качество и эффект в каждом отчёте о результативности. Используйте трёхчастное деление Фридмана даже вне формального внедрения RBA; отчёт, смешивающий «проведённые занятия» с «улучшенными жизнями» без различения, всегда будет скатываться к тому, что легче завысить.
4. Выберите небольшое число ключевых показателей уровня населения и удерживайте их годами, а не кварталами. Условия на уровне населения меняются медленно и зависят от многих участников; если менять ключевой показатель в каждом отчётном цикле, невозможно понять, действительно ли кривая поворачивается.
5. Прямо называйте то, что организация не контролирует. Логическая модель, из которой следует, что одна программа полностью вызывает результат уровня населения, провоцирует именно тот скептицизм, который подрывает легитимность, когда результат не сдвигается в срок; с самого начала указывайте другие факторы, вносящие вклад.
6. Публикуйте рамку результатов до бюджетного цикла, а не после. Рамка результатов, составленная, чтобы оправдать уже принятое бюджетное решение, выглядит как рационализация постфактум; рамка, опубликованная заранее, — свидетельство того, что реальное решение проверяется по ней.
7. Держите систему показателей и логическую модель живыми документами, пересматриваемыми при изменении контекста, а не ежегодными артефактами. Логическая модель, нарисованная для одной политической среды, может незаметно перестать соответствовать реальности — новый закон, демографический сдвиг, изменение финансирования — задолго до того, как это выявит плановый пересмотр; считайте обе принадлежащими командам, оказывающим услуги, а не формальностью центрального аппарата.
8. Держите показатели счёта результативности рядом с теми, кто может на них повлиять. Команда программы может напрямую улучшать показатели качества и усилия; если вручить ей целевые показатели результатов уровня населения, которые она не в силах сдвинуть в одиночку, измерение станет источником демотивации, а не ориентиром.
9. Рассматривайте недостигнутый целевой показатель результата как повод спросить «почему», а не как приговор, который нужно скрыть. Привычка «поворота кривой» — спрашивать, что вызывает тенденцию, прежде чем искать виновных, — сохраняет полезность отчётности о результатах; культура, наказывающая за недостигнутые цели, учит сотрудников защищать цифру, а не результат.
10. Делайте допущения теории изменений опровергаемыми. Допущение, сформулированное так расплывчато, что никакие данные не смогут его опровергнуть, не добавляет логической модели строгости; формулируйте допущения достаточно конкретно, чтобы будущая оценка могла показать их ошибочность.

Вопросы для обсуждения в вашей команде

Можем ли мы сегодня для нашей самой важной программы отличить продукт от результата — и правильно ли наши сотрудники употребляют эти два слова? Многие организации сообщают о подсчётах деятельности языком результатов, не замечая подмены, и это незаметно стирает различие, которое в этой теме считается основополагающим. Используйте этот вопрос, чтобы взять реальный действующий отчёт и проверить строка за строкой, какие цифры описывают то, что сделала организация, а какие — то, что изменилось для кого-то другого. Обсудите, где язык «поплыл» и отражает ли это дрейф подлинную путаницу в логике программы или лишь то, что данные о результатах получить труднее, чем данные о продуктах. Если честный ответ — второе, это уже вывод, который стоит зафиксировать, а не повод и дальше выдавать язык продуктов за язык результатов.

Где наша нынешняя отчётность сводит усилие, качество и эффект к одной цифре и что эта цифра на самом деле говорит читателю? Трёхчастное деление Фридмана существует потому, что организации обычно по умолчанию сообщают об усилии — самом простом для подсчёта из трёх, — подразумевая, что сообщили об эффекте. Используйте этот вопрос, чтобы выбрать один ключевой показатель, о котором организация сейчас отчитывается, и вместе определить, какой из трёх аспектов он на самом деле измеряет. Обсудите, что потребуется, чтобы отчитываться по всем трём отдельно для этого показателя, и изменит ли это восприятие организации теми, кто сегодня видит только смешанную цифру.

Если наш ключевой результат уровня населения не сдвинется ещё два отчётных цикла, что мы сделаем иначе и что не станем менять? Этот вопрос проверяет, действительно ли организация использует рамку результатов для управления или просто готовит её как отчётную обязанность. Используйте его, чтобы отделить части нынешней стратегии, зависящие от данных о результатах, от тех, что остаются неизменными независимо от данных. Честно обсудите, выдержит ли какая-либо часть нынешней программы без изменений, даже если свидетельства решительно обернутся против неё: именно эта часть не управляется рамкой.

Охватывает ли наша Система показателей общественной ценности, если она у нас есть, все три опоры треугольника или она незаметно превратилась в систему показателей одной опоры? Рамка результатов нередко начинается с подлинного стремления охватить все три опоры, а затем под давлением отчётности скатывается к документу только о результатах или только о финансах. Используйте этот вопрос, чтобы проверить последние два-три официальных отчёта на соответствие трёхсчётной структуре, описанной в этой теме. Обсудите, какая опора выпадает первой под давлением времени и о чём это говорит: какую из опор организация неявно считает необязательной.

Кто вне нашей организации должен согласиться с нашей логической моделью, чтобы она была убедительной, и спрашивали ли мы их на самом деле? Логическая модель, целиком нарисованная командой программы, которая проектировала вмешательство, может незаметно закладывать оптимистичные допущения, которые никто за пределами комнаты не в состоянии оспорить. Используйте этот вопрос, чтобы определить, какие внешние участники — финансирующие стороны, партнёры по реализации, люди, которым служит программа, — заинтересованы в правильности причинной цепочки и просматривал ли её кто-нибудь из них. Обсудите, что изменилось, если изменилось, когда в последний раз к такому пересмотру привлекли внешнюю точку зрения.

Какой минимальный набор показателей уровня населения и результативности мы могли бы публиковать, чтобы посторонний человек всё же мог судить, создаёт ли эта организация общественную ценность? Системы измерения накапливают индикаторы гораздо быстрее, чем отказываются от них, пока рамка не становится слишком громоздкой, чтобы кто-либо использовал её при принятии решений. Используйте этот вопрос, чтобы в порядке упражнения попытаться сократить нынешний набор индикаторов вдвое, не потеряв способности отвечать на вопросы подотчётности на уровне населения и подотчётности за результативность, описанные в этой теме. Обсудите, какое сопротивление выявит это упражнение: сопротивление отказу от конкретного индикатора нередко указывает на то, за что организацию на самом деле держат подотчётной, независимо от того, совпадает ли это с заявленной стратегией.

На практике: пример общественной ценности

Региональная сеть благотворительных организаций поддержки семей — вымышленная, иллюстрирующая закономерность, а не отчёт о какой-либо реальной организации — десять лет вела программы домашних визитов для молодых родителей в малообеспеченных районах. Её ежегодные отчёты для финансирующих сторон были подробными и по показателям продуктов впечатляющими: тысячи завершённых домашних визитов в год, высокая посещаемость занятий для родителей, высокие оценки удовлетворённости со стороны участвовавших семей. Опираясь на такую репутацию, сеть неуклонно росла, открывая новые местные отделения примерно раз в два года.

Новый национальный фонд, рассматривая многолетний грант, достаточный, чтобы удвоить охват сети, задал вопрос, который совет самой сети никогда официально не ставил перед руководством: какие данные показывают, что дети в семьях, получавших домашние визиты, впоследствии действительно развиваются лучше, чем сопоставимые дети из семей, их не получавших. Работая над этим вопросом, руководство сети поняло, что в её отчётности усилие никогда не отделялось от эффекта. Число визитов и оценки удовлетворённости были подлинным свидетельством того, что программа реализуется и принимается хорошо; ни то ни другое не доказывало, что она меняет результаты развития детей, а именно это утверждение заложено в миссии самой сети и неявно — в каждой её грантовой заявке.

Сеть построила логическую модель с нуля, начав с результатов, которых она в действительности хотела, — улучшенные показатели раннего развития детей, меньшее число подтверждённых случаев пренебрежения родительскими обязанностями, большая уверенность родителей, — и двигаясь в обратном порядке к деятельности и продуктам, от которых каждый из них должен зависеть, явно обозначив промежуточные допущения. Она приняла упрощённую структуру подотчётности, основанной на результатах: показатели уровня населения отслеживались на уровне района и передавались местным школам и службам здравоохранения, а рядом с ними — показатели результативности, на которые её собственные команды могли влиять напрямую: частота визитов, завершение занятий и оцениваемая сотрудниками уверенность родителей через три и двенадцать месяцев. В одном из районов два из пяти индикаторов результата в первом отчётном цикле не сдвинулись так, как ожидалось. Вместо того чтобы скрыть этот итог, сеть применила собственный процесс «поворота кривой», выяснила, что изменение в кадровом составе местных патронажных медсестёр нарушило маршруты направления семей, и скорректировала партнёрские договорённости, а не свою базовую модель. Фонд продлил и расширил грант, назвав причиной уверенности честность отчётности, а не отсутствие отставания.

Четыре секторальные перспективы

Местное самоуправление

Рамка результатов местного органа обычно встроена в более широкий набор определённых на национальном уровне индикаторов, которые он не выбирал, но обязан по ним отчитываться, и дополняется локально выбранными показателями, отражающими приоритеты собственного совета. Такая двойная структура означает, что местная система показателей часто должна согласовывать две аудитории с разными вопросами: национальный инспектор спрашивает о соблюдении стандартного набора индикаторов, а местные жители — о конкретном, видимом местном обстоятельстве, например об определённой улице или услуге. Логические модели на уровне местного самоуправления проще всего строить для отдельной услуги (изменение сбора вторсырья, перепроектирование библиотеки) и труднее всего — убедительно — для сквозных результатов вроде сплочённости сообщества, к которым вносят вклад многие участники вне контроля совета.

Национальное правительство

Национальные рамки результатов действуют в масштабе, где различие между подотчётностью на уровне населения и подотчётностью за результативность, взятое из подотчётности, основанной на результатах, становится необходимым, а не необязательным: на национальный показатель здоровья или образования влияют сотни программ, из которых лишь немногие напрямую финансирует какое-либо одно ведомство, поэтому редко можно обоснованно утверждать, что одно министерство заслуживает единоличной похвалы или единоличного порицания за национальную тенденцию. Национальные правительства также чаще всего служат источником крупных централизованно устанавливаемых рамок результатов, которые должны принять исполнители ниже по цепочке, что создаёт постоянный риск: рамка проектируется для агрегирования и сопоставления между ведомствами, а не для реального управления исполнением какой-либо одной программы.

Социальный сектор и некоммерческие организации

Некоммерческие и неправительственные организации (НПО) чаще строят собственные логические модели и теории изменений с нуля, чем принимают рамку, спущенную уполномочивающей стороной, потому что именно их финансирующие стороны нередко запрашивают причинное обоснование, а не предлагают стандартный шаблон. Это даёт организациям социального сектора больше свободы проектировать рамку результатов, соответствующую реальной логике их программ, но и больше подверженности усталости от измерений, вызванной требованиями финансирующих сторон, когда каждый грант несёт собственные требования к отчётности и организация в итоге поддерживает несколько параллельных рамок результатов для одной и той же работы. Разделение подотчётности, основанной на результатах, на уровень населения и результативность здесь особенно полезно: оно даёт некоммерческой организации язык, чтобы прямо сказать финансирующей стороне, что за собственные показатели результативности её можно считать подотчётной, но не в одиночку — за показатель уровня населения, на который влияют и многие другие участники.

Многосторонние и международные организации

Многосторонние организации применяют управление, ориентированное на результаты, в масштабе, где допущения логической модели одновременно переносятся на десятки национальных контекстов, так что логика вмешательства, работающая в одной стране, может незаметно давать сбой в другой, а общий глобальный индикатор не покажет, в каком контексте проблема. Рамки результатов в такой среде нередко строятся так, чтобы одновременно удовлетворять нескольким правительствам-донорам, у каждого из которых свои предпочтения в отчётности, что подталкивает к стандартизированным наборам индикаторов (из тех, что продвигаются в международных руководствах по управлению, ориентированному на результаты) ценой местной специфики. Разрыв между продуктом, о котором партнёр-исполнитель может быстро отчитаться — проведённые тренинги, оснащённые клиники, — и результатом, который проявляется лишь в национальном обследовании спустя годы, здесь наибольший, что делает дисциплину явного формулирования предполагаемой причинной цепочки, а не её допущения, особенно важной.

Типичные сбои и ошибки

Продукт, выдаваемый за результат. Организация сообщает о подсчётах деятельности языком результатов — «улучшение безопасности сообщества», когда реальный показатель — число проведённых патрулей, — либо из-за подлинного смешения понятий, либо потому, что данные о результатах собирать труднее и дольше. Цена обнаруживается, когда внешний рецензент напрямую запрашивает свидетельства результата и находит за утверждением только продукты; это вредит доверию к организации сильнее, чем скромный, но честно сообщённый результат.

Разрастание индикаторов. Система показателей или логическая модель накапливает показатели быстрее, чем отказывается от них, потому что каждая новая просьба заинтересованной стороны добавляет ещё одну строку, а не заменяет существующую. В итоге рамка становится слишком громоздкой, чтобы любой руководитель использовал её при принятии решений; организация незаметно возвращается к неформальным суждениям, а официальная рамка превращается в отчётный артефакт, к которому никто не обращается.

Захват целевым показателем. Показатель результативности, будучи привязанным к финансированию или поощрению, становится тем, что сотрудники оптимизируют напрямую, вместо результата, для которого он служил заменителем, — закономерность, описываемая законом Гудхарта: показатель, ставший целью, перестаёт быть надёжным показателем. Основное место рассмотрения этой динамики именно в государственном секторе, включая то, как режимы обеспечения качества пытаются её выявлять и ограничивать, находится в другой теме (см. тему 3.11 — Качество, безопасность и управление результативностью); здесь она важна как довод в пользу раздельного ведения показателей усилия, качества и эффекта и пересмотра целевых значений до того, как они исказят поведение.

Чрезмерное приписывание причинности. Отчётность программы подразумевает её единоличную причинную ответственность за результат уровня населения, на который влияют и многие другие участники, — по небрежности формулировок или из искреннего убеждения. Когда результат не сдвигается — нередко по причинам, не зависящим от программы, — организация принимает на себя вину, несоразмерную её реальному вкладу, что затем отбивает охоту честно сообщать об отставании в будущих циклах.

Рамка без обратной связи. Организация создаёт по-настоящему продуманную логическую модель и рамку результатов, но затем никогда не сверяет их с фактическими результатами, и они застывают в виде неизменного документа вместо живого инструмента управления. Стратегия, стоящая за ними, продолжает действовать на исходных допущениях спустя годы после того, как данные оправдали бы их пересмотр, — ценой той самой адаптивности, которую рамка должна была обеспечивать.

Модель зрелости

Контрольный перечень

• Нарисуйте логическую модель (ресурсы, деятельность, продукты, результаты, воздействие) для каждой крупной программы до окончательного утверждения её индикаторов.
• Сформулируйте причинные допущения теории изменений достаточно конкретно, чтобы данные могли их опровергнуть.
• Разделяйте показатели усилия, качества и эффекта в каждом отчёте о результативности, даже вне формального внедрения подотчётности, основанной на результатах.
• Создайте или обновите Систему показателей общественной ценности так, чтобы все три опоры — легитимность, ценность, потенциал — отражались вместе, а не по отдельности.
• Выберите небольшой устойчивый набор ключевых показателей уровня населения и обязуйтесь удерживать их на протяжении нескольких отчётных циклов.
• Проверьте действующие отчёты на формулировки, описывающие продукт словами о результатах, и исправьте их.
• Опубликуйте рамку результатов до следующего бюджетного или финансового цикла, а не как его следствие.
• Прямо назовите, что организация не контролирует единолично, для каждого утверждения уровня населения, о котором она сообщает.
• Установите фиксированный цикл пересмотра логических моделей по фактическим данным, а не только при плановой формальной оценке.
• Определите хотя бы одну внешнюю заинтересованную сторону, которая рассмотрит допущения логической модели до её окончательного утверждения.
• Проверьте нынешний набор индикаторов на предмет возможности отказаться от показателей, которыми никто не пользуется при реальных решениях.
• Заранее договоритесь, что организация сделает иначе, если ключевой результат не сдвинется в течение двух отчётных циклов.

Ключевые источники

• Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) и Recognizing Public Value (2013) — первоисточники Системы показателей общественной ценности, адаптирующие традицию сбалансированной системы показателей к трём опорам стратегического треугольника.
• Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — первоисточник подотчётности, основанной на результатах, включая различие между подотчётностью на уровне населения и подотчётностью за результативность и анализ «поворота кривой».
• Литература Роберта Каплана и Дэвида Нортона о сбалансированной системе показателей (Robert Kaplan and David Norton's balanced scorecard literature) — частный источник, который Мур адаптировал для контекста общественной ценности.
• Руководство Организации экономического сотрудничества и развития (ОЭСР) по управлению, ориентированному на результаты, и терминологии оценки, используемое в практике международного развития и государственного управления для стандартизации языка результатов и воздействия.
• Руководство Независимой группы оценки Всемирного банка (World Bank Independent Evaluation Group) по рамкам результатов и теориям изменений для операций в области развития.
• Публичный отчёт Агентства социальных служб штата Вермонт (Vermont Agency of Human Services) о применении подотчётности, основанной на результатах, на уровне штата и сообществ — один из примеров рамки в действующем государственном управлении.

Ссылки

1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
10. Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf