Tópico 2.1 — O painel de valor público e os quadros de resultados

Por que razão isto importa para o valor público

A maioria dos dirigentes do setor público e do setor social consegue produzir um documento estratégico que fala com fluência de resultados. Muito menos conseguem produzir, um ano depois, a evidência que mostra se esses resultados se alteraram de facto. A distância entre as duas coisas não costuma ser uma escassez de dados — a maior parte das organizações recolhe volumes enormes deles —, mas a falta de uma estrutura disciplinada que transforme contagens brutas de atividade numa afirmação defensável sobre o valor criado. O Tópico 1.2 — O triângulo estratégico: legitimidade, valor e capacidade apresentou a legitimidade e o apoio, a proposta de valor e a capacidade operacional como os três vértices que a estratégia de uma organização tem de satisfazer em simultâneo (ver Tópico 1.2 — O triângulo estratégico: legitimidade, valor e capacidade). Este tópico trata das ferramentas que tornam esses três vértices mensuráveis e não apenas afirmados.

O que está em jogo é imediato e recorrente. Um financiador ou uma legislatura pergunta, na ronda orçamental seguinte, «o que obtivemos por este dinheiro» — e uma organização que dispõe apenas de contagens de produção (clínicas abertas, processos tratados, sessões de formação realizadas) não tem resposta para a pergunta sobre resultados que lhe está subjacente. Uma equipa de programa julga que está a ter êxito porque a atividade é elevada e intensa, sem ter separado a atividade da mudança no mundo que a atividade pretendia causar. Um conselho aprova uma nova iniciativa com base numa narrativa persuasiva e, um ano depois, não tem uma base acordada para decidir se a continua, expande ou termina. Cada uma destas situações é uma falha de medição com consequências estratégicas, e não um incómodo técnico.

As ferramentas deste tópico — o Painel de Valor Público de Mark Moore, o modelo lógico e a responsabilização baseada em resultados e os seus congéneres — não resolvem todos os problemas de medição que uma organização do setor público ou do setor social enfrenta. Os tópicos seguintes tratam das camadas mais difíceis e mais técnicas: a monetização dos resultados através da análise custo-benefício e custo-efetividade (ver Tópico 2.2 — Análise custo-benefício social e análise custo-efetividade), a valorização dos resultados que resistem à monetização através do retorno social do investimento (ver Tópico 2.3 — Retorno social do investimento e mensuração de impacto) e a demonstração de que um programa causou efetivamente uma alteração observada através da avaliação de programas formal (ver Tópico 2.4 — Econometria do setor público e avaliação de programas). O que este tópico fornece é a camada subjacente às três: um vocabulário partilhado e um pequeno número de quadros duradouros para declarar, antes de qualquer desse trabalho técnico começar, o que a organização procura realmente mudar, para quem e como saberá.

Conceitos fundamentais

O Painel de Valor Público é a proposta de Mark H. Moore para acompanhar cada vértice do triângulo estratégico com o seu próprio conjunto de indicadores, em vez de recorrer por defeito às medidas financeiras e operacionais que um balanced scorecard do setor privado usaria. Moore adaptou o balanced scorecard — a ferramenta de Robert Kaplan e David Norton para acompanhar uma empresa segundo as perspetivas financeira, de clientes, de processos internos e de aprendizagem — porque um resultado financeiro único não consegue representar uma organização cuja razão central de existir é criar um valor que nenhum preço de mercado capta. O Painel de Valor Público pede, em vez disso, que a organização especifique medidas sob três cabeçalhos que espelham o triângulo: uma conta de legitimidade e apoio (o ambiente autorizador está satisfeito — financiadores, supervisores, público), uma conta de valor público (a proposta de valor está a ser concretizada — resultados para cidadãos e clientes) e uma conta de capacidade operacional (a organização consegue sustentar e melhorar a entrega — pessoal, sistemas, finanças, parcerias). A disciplina está em recusar que uma só conta substitua o conjunto; uma organização que reporta apenas a eficiência financeira, ou apenas a satisfação dos clientes, não reportou de todo face ao triângulo.

Os modelos lógicos dão à conta de valor do painel a sua estrutura interna. Um modelo lógico expõe a cadeia causal que um programa afirma percorrer: recursos (o dinheiro, o pessoal e os outros meios afetados), atividades (o que a organização faz com eles), produtos (os resultados imediatos e contáveis dessas atividades — sessões realizadas, licenças emitidas, agregados visitados), resultados (as alterações de conhecimento, comportamento, condição ou estatuto que os produtos pretendem provocar, tipicamente ao longo de meses ou de alguns anos) e impacto (a alteração de mais longo prazo, muitas vezes ao nível da população, para a qual os resultados pretendem contribuir, geralmente partilhada com outros atores e mais difícil de atribuir a um único programa). A distinção entre produto e resultado é a mais consequente deste tópico: um produto é algo que a organização fez; um resultado é algo que mudou para outra pessoa em consequência disso. O produto de um programa de formação é o número de pessoas formadas; o seu resultado é o que essas pessoas passam a conseguir fazer, ou a forma como as suas circunstâncias mudam, que antes não conseguiam.

A teoria da mudança é a disciplina estreitamente relacionada de tornar explícitos, em vez de implícitos, os pressupostos de um modelo lógico — por que razão a organização acredita que a atividade A produzirá efetivamente o resultado B, e em que condições essa afirmação causal poderá falhar. Uma teoria da mudança não é simplesmente um modelo lógico mais pormenorizado; põe em primeiro plano o raciocínio «se… então… porque» e os pressupostos contextuais que o diagrama de caixas e setas de um modelo lógico tende a deixar por declarar. O Tópico 2.3 usa a teoria da mudança como ponto de partida para a mensuração do impacto no setor social com maior profundidade (ver Tópico 2.3 — Retorno social do investimento e mensuração de impacto); aqui, importa sobretudo como a disciplina que mantém um modelo lógico honesto quanto àquilo que afirma efetivamente causar, por contraste com aquilo que meramente espera que se siga.

A responsabilização baseada em resultados (RBA, do inglês results-based accountability) é o membro mais conhecido de uma família de quadros baseados em resultados usados nos governos e no setor social para ligar os resultados ao nível da população ao desempenho de programas específicos. Desenvolvida por Mark Friedman e exposta no seu livro Trying Hard Is Not Good Enough, a RBA separa dois tipos distintos de responsabilização que as organizações rotineiramente confundem. A responsabilização pela população pergunta como está uma comunidade ou jurisdição inteira numa condição de bem-estar — pobreza infantil, segurança comunitária, nível de escolaridade — usando um pequeno número de indicadores principais que nenhum organismo isolado detém ou controla por inteiro. A responsabilização pelo desempenho pergunta como está a correr a um programa ou organismo específico, usando três tipos de indicador de desempenho que o quadro de Friedman insiste em distinguir: quanto foi feito (esforço — a contagem de produtos), com que qualidade foi feito (qualidade) e se alguém está melhor (efeito — o resultado). O método prático da RBA, por vezes chamado análise «inverter a curva» (turn the curve), trabalha a partir de um indicador escolhido em sentido inverso — perguntando que história contam os dados, o que está a causar essa história, quem são os parceiros com um papel em alterá-la, o que funcionaria e o que a organização propõe fazer — uma versão estruturada do raciocínio que um modelo lógico e uma teoria da mudança formalizam separadamente. A RBA é uma instância de um padrão mais amplo de gestão baseada em resultados, estreitamente relacionada com a prática corrente de monitorização e avaliação usada no desenvolvimento internacional e na administração pública, promovida sob várias formas por governos nacionais, financiadores filantrópicos e organismos multilaterais como uma disciplina partilhada para ligar a despesa aos resultados e não apenas aos produtos.

Produtos, resultados e painel em conjunto. A razão por que estes quadros pertencem a um só tópico, e não a três, é que respondem à mesma pergunta subjacente em pontos diferentes do ciclo de planeamento e de relato de uma organização. O modelo lógico é desenhado na fase de conceção, para declarar a afirmação causal. A responsabilização baseada em resultados e os quadros comparáveis são aplicados na fase de relato, para manter as medidas de desempenho honestas quanto à diferença entre esforço e efeito. O Painel de Valor Público situa-se acima de ambos, como a estrutura permanente que assegura que a evidência de resultados — seja qual for a forma como foi produzida — chega de facto às conversas sobre legitimidade e capacidade em que se tomam as decisões de orçamento e de mandato, em vez de ficar dentro do relato da própria equipa do programa. Em conjunto, os três quadros são o que transforma o valor público de uma afirmação que a organização faz sobre si mesma numa afirmação que consegue defender com evidência.

Boas práticas

Desenhe o modelo lógico antes dos indicadores, e não depois. Escolher o que medir antes de acordar o que se afirma causar produz uma lista do que for fácil de contar; desenhe primeiro a cadeia dos recursos ao impacto e escolha depois medidas que testem cada elo.
Reporte as três contas do painel em conjunto, e não uma de cada vez. Uma atualização de legitimidade sem evidência de resultados, ou um relatório de resultados sem uma conta de capacidade do que custou sustentá-los, contam cada um apenas parte da história de que um financiador ou supervisor precisa para tomar uma decisão real.
Separe explicitamente esforço, qualidade e efeito em todos os relatórios de desempenho. Tome de empréstimo a divisão tripartida de Friedman mesmo fora de uma implementação formal da RBA; um relatório que mistura «sessões realizadas» com «vidas melhoradas» sem os distinguir recorrerá sempre àquilo que for mais fácil de inflacionar.
Escolha um pequeno número de indicadores principais da população e mantenha-os durante anos, e não trimestres. As condições ao nível da população movem-se devagar e são afetadas por muitos atores; mudar a medida principal em cada ciclo de relato torna impossível dizer se a curva está de facto a inverter-se.
Diga em voz alta aquilo que a organização não controla. Um modelo lógico que dá a entender que um único programa causa por inteiro um resultado ao nível da população convida precisamente o ceticismo que mina a legitimidade quando o resultado não se move no calendário previsto; declare desde o início os outros fatores que contribuem.
Publique o quadro de resultados antes da ronda orçamental, e não depois. Um quadro de resultados produzido para justificar uma decisão orçamental já tomada lê-se como racionalização a posteriori; um publicado antes da ronda é evidência de que uma decisão real está a ser testada face a ele.
Mantenha o painel e o modelo lógico como documentos vivos, revistos quando o contexto muda, e não como artefactos anuais. Um modelo lógico desenhado para um determinado ambiente de políticas pode deixar de corresponder à realidade — uma nova lei, uma mudança demográfica, uma alteração de financiamento — muito antes de uma revisão calendarizada o detetar; trate ambos como propriedade das equipas de entrega e não como um exercício de conformidade de um serviço central.
Mantenha as medidas da conta de desempenho junto das pessoas que podem agir sobre elas. Uma equipa de programa pode melhorar diretamente as medidas de qualidade e de esforço; atribuir-lhe metas de resultados ao nível da população que não consegue mover sozinha torna a medição uma fonte de desmoralização em vez de orientação.
Trate uma meta de resultados falhada como um convite a perguntar porquê, e não como um veredicto a esconder. O hábito de «inverter a curva» de perguntar o que está a causar a tendência antes de atribuir culpas mantém útil o relato de resultados; uma cultura que pune as metas falhadas ensina o pessoal a proteger o número em vez do resultado.
Torne falsificáveis os pressupostos da teoria da mudança. Um pressuposto escrito de forma tão vaga que nenhuma evidência poderia alguma vez contradizê-lo não acrescenta rigor ao modelo lógico; escreva os pressupostos com especificidade suficiente para que uma avaliação futura possa mostrar que estão errados.

Perguntas para discutir com a sua equipa

Conseguimos neste momento distinguir, para o nosso programa mais importante, um produto de um resultado — e o nosso próprio pessoal usa estas duas palavras corretamente? Muitas organizações reportam contagens de atividade com a linguagem dos resultados sem reparar na substituição, o que corrói discretamente a diferença que este tópico trata como fundamental. Use esta pergunta para pegar num relatório atual e verificar, linha a linha, quais os números que descrevem o que a organização fez e quais descrevem o que mudou para outra pessoa. Discuta onde a linguagem derivou e se essa deriva reflete uma confusão genuína sobre a lógica do programa ou simplesmente o facto de os dados de resultados serem mais difíceis de obter do que os de produtos. Se a resposta honesta for a segunda, isso é por si só uma conclusão digna de registo, e não uma razão para continuar a usar linguagem de produtos disfarçada de resultados.

Onde é que o nosso relato atual reduz esforço, qualidade e efeito a um único número, e o que diz realmente esse número a quem o lê? A divisão tripartida de Friedman existe porque as organizações recorrem rotineiramente ao relato do esforço — o mais fácil dos três de contar — dando a entender que reportaram o efeito. Use esta pergunta para identificar uma métrica emblemática que a organização reporta atualmente e determine, em grupo, qual dos três ela efetivamente mede. Discuta o que seria necessário para reportar os três separadamente para essa métrica e se fazê-lo mudaria a forma como a organização é percebida por quem hoje só vê o número misturado.

Se o nosso resultado principal ao nível da população não se mover durante mais dois ciclos de relato, o que faríamos de diferente e o que não mudaríamos? Esta pergunta testa se a organização está genuinamente a usar o seu quadro de resultados para orientar, ou se se limita a produzi-lo como obrigação de relato. Use-a para distinguir quais as partes da estratégia atual que dependem dos dados de resultados e quais são fixas independentemente do que os dados mostrem. Discuta com honestidade se alguma parte do programa atual sobreviveria inalterada mesmo que a evidência se virasse firmemente contra ele, pois essa é a parte que não é realmente gerida pelo quadro.

O nosso Painel de Valor Público, se tivermos um, reporta os três vértices do triângulo, ou tornou-se discretamente um painel de um só vértice? É comum que um quadro de resultados comece com uma genuína ambição de três vértices e derive, sob pressão de relato, para um documento só de resultados ou só de finanças. Use esta pergunta para auditar os dois ou três últimos relatórios formais face à estrutura de três contas que este tópico descreve. Discuta qual o vértice que tende a ser abandonado primeiro sob pressão de tempo e o que isso diz sobre o vértice que a organização trata implicitamente como opcional.

Quem, fora desta organização, teria de concordar com o nosso modelo lógico para que ele fosse credível, e já lhes perguntámos? Um modelo lógico desenhado inteiramente pela equipa de programa que concebeu a intervenção pode codificar discretamente pressupostos otimistas que ninguém fora da sala está em posição de contestar. Use esta pergunta para identificar quais os atores externos — financiadores, parceiros de entrega, as pessoas a quem o programa serve — que têm interesse em que a cadeia causal esteja certa e se algum deles chegou a revê-la. Discuta o que mudou, se alguma coisa, da última vez que uma perspetiva externa foi convidada para essa revisão.

Qual é o conjunto mínimo de indicadores de população e de desempenho que poderíamos reportar e que ainda permitiria a um observador externo julgar se esta organização está a criar valor público? Os sistemas de medição tendem a acumular indicadores ao longo do tempo muito mais depressa do que os retiram, até o quadro se tornar demasiado grande para alguém o usar realmente numa decisão. Use esta pergunta para tentar, como exercício, reduzir a metade o conjunto atual de indicadores sem perder a capacidade de responder às perguntas de responsabilização pela população e pelo desempenho que este tópico descreve. Discuta a resistência que esse exercício faz emergir, pois a resistência a cortar um indicador específico é muitas vezes sinal daquilo por que a organização é realmente responsabilizada, quer corresponda ou não à sua estratégia declarada.

Na prática: um exemplo de valor público

Uma rede regional de instituições de apoio à família — fictícia, ilustrativa de um padrão e não um relato sobre qualquer organização real — dedicava-se havia uma década a programas de visitas domiciliárias a novos pais em bairros de baixos rendimentos. Os seus relatórios anuais aos financiadores eram pormenorizados e, em termos de produtos, impressionantes: milhares de visitas domiciliárias concluídas por ano, elevada assiduidade nas oficinas para pais, boas pontuações de satisfação das famílias participantes. Com base nesse historial, a rede crescera de forma constante, acrescentando novas delegações locais aproximadamente de dois em dois anos.

Um novo financiador nacional, ao ponderar uma subvenção plurianual suficientemente grande para duplicar o alcance da rede, fez uma pergunta que o próprio conselho da rede nunca formulara formalmente à gestão: que evidência mostrava que as crianças das famílias que receberam as visitas estavam realmente a evoluir melhor, mais tarde, do que crianças comparáveis cujas famílias não as receberam. A direção da rede apercebeu-se, ao trabalhar a pergunta, de que o seu relato nunca separara esforço de efeito. As contagens de visitas e as pontuações de satisfação eram evidência genuína de que o programa estava a ser executado e era bem recebido; nenhuma era evidência de que alterava os resultados de desenvolvimento de uma criança, que era a afirmação inscrita na própria declaração de missão da rede e, implicitamente, em todas as candidaturas a subvenções que alguma vez escrevera.

A rede construiu um modelo lógico de raiz, partindo dos resultados que realmente pretendia — melhores indicadores de desenvolvimento na primeira infância, menos casos confirmados de negligência infantil, maior confiança parental — e trabalhou em sentido inverso até às atividades e aos produtos de que cada um deveria depender, nomeando explicitamente os pressupostos intermédios. Adotou uma estrutura simplificada de responsabilização baseada em resultados: indicadores de população acompanhados ao nível do bairro e partilhados com as escolas e os serviços de saúde locais, a par de indicadores de desempenho sobre os quais as suas próprias equipas podiam agir diretamente — frequência das visitas, conclusão das oficinas e confiança parental avaliada pelo pessoal aos três e aos doze meses. Dois dos cinco indicadores de resultados não evoluíram como esperado num dos bairros no primeiro ciclo de relato. Em vez de suprimir o resultado, a rede usou o seu próprio processo de «inverter a curva» para investigar, descobriu que uma alteração no pessoal local de enfermagem de saúde comunitária perturbara os circuitos de encaminhamento e ajustou os seus acordos de parceria em vez do seu modelo central. O financiador renovou e ampliou a subvenção, citando a honestidade do relato, e não a ausência de uma insuficiência, como razão da sua confiança.

Quatro perspetivas setoriais

Poder local

O quadro de resultados de uma autarquia situa-se tipicamente dentro de um conjunto mais vasto de indicadores definidos a nível nacional que não escolheu mas sobre os quais deve reportar, a par de medidas escolhidas localmente que refletem as prioridades da sua própria câmara. Esta estrutura dupla significa que um painel local tem frequentemente de conciliar dois públicos com perguntas diferentes — um inspetor nacional que pergunta pelo cumprimento de um conjunto-padrão de indicadores e os residentes locais que perguntam por uma condição local específica e visível, como uma rua ou um serviço em particular. Os modelos lógicos à escala do poder local são normalmente mais fáceis de construir para um único serviço (uma alteração da recolha de reciclagem, a reformulação de uma biblioteca) e mais difíceis de construir de forma credível para resultados transversais, como a coesão comunitária, para os quais contribuem também muitos atores fora do controlo da câmara.

Governo nacional

Os quadros nacionais de resultados operam a uma escala em que a distinção da responsabilização baseada em resultados entre responsabilização pela população e pelo desempenho se torna essencial e não opcional: um indicador nacional de saúde ou de educação é afetado por centenas de programas, apenas alguns dos quais um dado departamento financia diretamente, pelo que um ministério que reclame para si o mérito ou a culpa exclusivos de uma tendência nacional raramente é defensável. Os governos nacionais são também a fonte mais comum de quadros de resultados grandes e centralmente impostos que os organismos de entrega mais abaixo na cadeia têm de adotar, o que cria o risco recorrente de o quadro ser concebido para a agregação e a comparação entre departamentos e não para efetivamente orientar a entrega de qualquer programa.

As organizações sem fins lucrativos e as organizações não governamentais (ONG) constroem mais frequentemente os seus próprios modelos lógicos e teorias da mudança de raiz do que adotam um quadro imposto por um autorizador, porque os seus financiadores são frequentemente quem pede o argumento causal em vez de fornecer um modelo-padrão. Isto dá às organizações do setor social mais liberdade para conceber um quadro de resultados que se ajuste à lógica real do seu programa, mas também mais exposição à fadiga de medição imposta pelos financiadores, em que cada subvenção traz os seus próprios requisitos de relato e uma organização acaba por manter vários quadros de resultados paralelos para o mesmo trabalho de base. A divisão da responsabilização baseada em resultados entre população e desempenho é particularmente útil aqui, pois dá a uma organização sem fins lucrativos uma linguagem para dizer claramente a um financiador que pode ser responsabilizada pelas suas próprias medidas de desempenho mas não, sozinha, por um indicador de população que muitos outros atores também influenciam.

Organismos multilaterais e internacionais

Os organismos multilaterais praticam a gestão baseada em resultados a uma escala em que os pressupostos do modelo lógico viajam através de dezenas de contextos nacionais em simultâneo, pelo que uma lógica de intervenção que se mantém num país pode falhar silenciosamente noutro sem que o indicador global principal revele qual o contexto problemático. Os quadros de resultados neste contexto são muitas vezes construídos para satisfazer em simultâneo vários governos doadores, cada um com as suas preferências de relato, o que empurra para conjuntos padronizados de indicadores (do tipo promovido através de orientações internacionais de gestão baseada em resultados) à custa da especificidade local. A distância entre um produto que um parceiro de execução pode reportar rapidamente — formações realizadas, clínicas abastecidas — e um resultado que só surge num inquérito nacional anos mais tarde é aqui a mais ampla, tornando especialmente importante a disciplina de declarar explicitamente a cadeia causal presumida, em vez de a dar por adquirida.

Modos de falha comuns

Produto a fazer-se passar por resultado. Uma organização reporta contagens de atividade com a linguagem de resultados — «melhoria da segurança comunitária» quando a medida real são as patrulhas realizadas —, quer por confusão genuína quer porque os dados de resultados são mais difíceis e lentos de recolher. O custo surge quando um revisor externo pede diretamente a evidência dos resultados e encontra apenas produtos por trás da afirmação, o que prejudica a credibilidade da organização mais do que um resultado modesto, honestamente reportado, o teria feito.

Proliferação de indicadores. Um painel ou modelo lógico acumula medidas mais depressa do que as retira, impulsionado por cada novo pedido de uma parte interessada que acrescenta mais uma linha em vez de substituir uma existente. O resultado final é um quadro demasiado grande para qualquer gestor o usar realmente numa decisão, o que faz regressar discretamente a organização ao juízo informal enquanto o quadro oficial se torna um artefacto de relato que ninguém consulta.

Captura pelas metas. Uma medida de desempenho, uma vez associada a financiamento ou a recompensa, torna-se aquilo que o pessoal otimiza diretamente em vez do resultado de que era um indicador indireto — o padrão que a lei de Goodhart descreve, em que uma medida usada como meta deixa de ser uma medida fiável. O lugar próprio deste tópico para essa dinâmica no setor público em particular, incluindo a forma como os regimes de qualidade tentam detetá-la e limitá-la, é outro (ver Tópico 3.11 — Qualidade, segurança e gestão do desempenho); aqui importa como razão para manter separadas as medidas de esforço, qualidade e efeito e para rever as metas antes de distorcerem o comportamento.

Excesso de atribuição. O relato de um programa dá a entender uma responsabilidade causal exclusiva por um resultado ao nível da população que muitos outros atores também influenciam, por linguagem descuidada ou por convicção genuína. Quando o resultado não se move — muitas vezes por razões fora do controlo do programa —, a organização absorve uma culpa desproporcionada face à sua contribuição real, o que desencoraja depois o relato honesto das insuficiências nos ciclos futuros.

Quadro sem realimentação. Uma organização constrói um modelo lógico e um quadro de resultados genuinamente bem concebidos e depois nunca os revê face aos resultados reais, pelo que endurecem num documento fixo em vez de se manterem uma ferramenta de gestão viva. A estratégia que lhes está subjacente continua a funcionar com os pressupostos originais anos depois de a evidência justificar a sua revisão, ao custo da própria adaptabilidade que o quadro devia permitir.

Modelo de maturidade

Subdimensão	Iniciar	Desenvolver	Padronizar	Gerir	Orquestrar
Existem modelos lógicos para os programas principais	A lógica causal é compreendida informalmente pelo pessoal do programa, sem estar escrita	Alguns programas têm um modelo lógico escrito, com profundidade desigual	Todo o programa importante tem um modelo lógico construído segundo um modelo comum	Os modelos lógicos são revistos e revistos face à evidência real num ciclo definido	Os modelos lógicos são partilhados e revistos em conjunto com os parceiros de entrega e os financiadores
Produtos e resultados são reportados separadamente	O relato mistura esforço, qualidade e efeito em números principais únicos	Alguns relatórios separam-nos, mas de forma inconsistente entre equipas	Um formato de relato padrão impõe a divisão esforço/qualidade/efeito	As insuficiências de resultados desencadeiam uma investigação definida do «porquê», e não apenas uma nota	Os dados de efeito são partilhados publicamente e usados em conjunto com os parceiros para orientar a afetação de recursos
O Painel de Valor Público cobre os três vértices	Não existe painel formal; o relato é ad hoc e normalmente só de produtos	Existe um painel, mas um vértice (muitas vezes a capacidade) é ténue ou está ausente	Os três vértices são reportados em conjunto num ciclo fixo	Os resultados do painel alimentam diretamente as decisões de orçamento e de mandato	O painel é codesenvolvido com os autorizadores e os cidadãos e atualizado à medida que o contexto muda
Os indicadores de população distinguem-se dos de desempenho	Não se distinguem; um conjunto misturado de números é usado para ambos os fins	A distinção é compreendida por alguns membros do pessoal, mas não aplicada de forma consistente	Existe um conjunto definido e mantido de indicadores de população a par das medidas de desempenho do programa	As tendências da população são analisadas quanto às causas antes de se atribuir responsabilidade	Os indicadores de população são copropriedade de vários organismos e parceiros, com recursos conjuntos

Lista de verificação

Desenhe um modelo lógico (recursos, atividades, produtos, resultados, impacto) para cada programa importante antes de finalizar os seus indicadores.
Escreva os pressupostos causais da teoria da mudança com especificidade suficiente para que a evidência os possa contradizer.
Separe as medidas de esforço, qualidade e efeito em cada relatório de desempenho, mesmo fora de uma implementação formal da responsabilização baseada em resultados.
Construa ou atualize o Painel de Valor Público de modo que os três vértices — legitimidade, valor, capacidade — sejam reportados em conjunto e não em separado.
Escolha um conjunto pequeno e estável de indicadores principais ao nível da população e comprometa-se a mantê-los ao longo de vários ciclos de relato.
Verifique nos relatórios atuais a linguagem que descreve um produto com palavras de resultado, e corrija-a.
Publique o quadro de resultados antes da próxima ronda orçamental ou de financiamento, e não como seu epílogo.
Nomeie explicitamente o que a organização não controla sozinha em qualquer afirmação ao nível da população que reporte.
Defina um ciclo fixo para rever os modelos lógicos face à evidência real, e não apenas numa avaliação formal calendarizada.
Identifique pelo menos uma parte interessada externa para rever os pressupostos do modelo lógico antes de este ser finalizado.
Audite o conjunto atual de indicadores à procura de oportunidades de retirar medidas que ninguém usa numa decisão real.
Acorde de antemão o que a organização fará de diferente se um resultado principal não se mover durante dois ciclos de relato.

Fontes principais

Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) e Recognizing Public Value (2013) — os textos de origem do Painel de Valor Público, que adaptam a tradição do balanced scorecard aos três vértices do triângulo estratégico.
Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities — o texto de origem da responsabilização baseada em resultados, incluindo a distinção entre responsabilização pela população e pelo desempenho e a análise de «inverter a curva».
A literatura de Robert Kaplan e David Norton sobre o balanced scorecard — a fonte do setor privado que Moore adaptou ao contexto do valor público.
Orientações da OCDE sobre gestão baseada em resultados e terminologia de avaliação, usadas na prática do desenvolvimento e da administração pública para padronizar a linguagem de resultados e de impacto.
Orientações do Grupo de Avaliação Independente do Banco Mundial sobre quadros de resultados e teorias da mudança para operações de desenvolvimento.
O relato público da Agência de Serviços Humanos do Vermont sobre a aplicação da responsabilização baseada em resultados a nível estadual e comunitário — um exemplo do quadro em uso real no governo.

Referências

Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
Mark H. Moore, faculty profile — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf