Qualidade, segurança e gestão do desempenho

Por que razão isto importa para o valor público

Toda a organização do setor público e do setor social de alguma dimensão funciona hoje com números: tempos de espera, processos encerrados, minutos de resposta, taxas de aprovação, pontuações de satisfação, classificações de inspeção. As metas construídas a partir destes números não são uma imposição externa à gestão pública; são a forma como a legitimidade e o apoio são demonstrados a financiadores, legislaturas, conselhos e cidadãos que de outro modo não conseguem ver o interior das operações quotidianas (ver Tópico 1.2 — O triângulo estratégico: legitimidade, valor e capacidade). Um dirigente que não consegue apontar um número que se moveu no sentido certo tem dificuldade em defender um orçamento, um mandato ou uma reforma.

A dificuldade é que um número construído para representar a qualidade não é a mesma coisa que a qualidade, e os dois separam-se silenciosamente no momento em que o número passa a importar mais do que a realidade por trás dele. Uma força policial pode fazer descer a criminalidade registada alterando a forma como os agentes classificam os incidentes em vez de reduzir o dano. Um hospital pode atingir uma meta de tempo de espera reclassificando os doentes a quem o relógio se aplica em vez de tratar as pessoas mais depressa. Nenhuma das alterações aparece no número publicado, e é exatamente esse o problema que este tópico existe para tratar.

Este tópico é o tratamento principal desse problema no setor público: os indicadores de desempenho e os incentivos perversos que criam, os regimes de garantia da qualidade construídos para manter as normas consistentes independentemente do que qualquer meta diga e os organismos independentes de inspeção e de classificação que verificam a realidade por trás dos números a partir do exterior da cadeia hierárquica que os produziu. O Tópico 2.1 trata de onde os indicadores devem vir, em primeiro lugar — quadros de resultados e modelos lógicos que ligam uma medida a uma afirmação causal genuína sobre o valor (ver Tópico 2.1 — O painel de valor público e os quadros de resultados). Este tópico trata do que acontece uma vez que esses indicadores são transformados em metas vivas com que o pessoal é gerido, e de como uma organização mantém honesto o seu próprio sistema de medição.

O que está em jogo cresce com a publicidade com que um número é usado. Uma métrica interna privada que se afasta da realidade desperdiça o tempo de um gestor. Uma meta pública de desempenho, uma classificação de inspeção de destaque ou uma estatística de segurança que se afasta da realidade pode custar vidas, afetar mal recursos durante anos e — quando a distância entre o número reportado e a experiência vivida se tornar finalmente visível — destruir precisamente a legitimidade que o número foi publicado para construir (ver Tópico 3.4 — Responsabilização, transparência e legitimidade).

Conceitos fundamentais

Um indicador de desempenho é uma variável mensurável escolhida para representar um aspeto do desempenho de uma organização que não pode ser observado diretamente e de forma contínua (ver indicador de desempenho). Os indicadores são, por construção, indicadores indiretos: ninguém consegue medir diretamente a «qualidade dos cuidados» ou a «segurança comunitária», pelo que uma organização mede algo mais estreito e mais contável — um tempo de espera, uma taxa de criminalidade registada — e trata o movimento nele como evidência de movimento na coisa mais ampla que representa. Essa distância entre o indicador indireto e a realidade nunca se fecha; este tópico trata de a gerir em vez de esquecer que existe.

A lei de Goodhart afirma, na sua formulação mais comum no setor público, que quando uma medida se torna uma meta, deixa de ser uma boa medida. A lei tem o nome do economista britânico Charles Goodhart, que formulou a ideia subjacente em 1975 no contexto da política monetária: quando um banco central começa a visar uma determinada medida da oferta de moeda, as relações estatísticas que tornavam essa medida útil começam a desfazer-se, porque as pessoas mudam o seu comportamento em resposta à própria meta. A antropóloga Marilyn Strathern reformulou a ideia para um público do setor público num estudo de 1997 muito citado sobre a cultura de auditoria das universidades britânicas, dando-lhe a formulação compacta hoje mais citada: «quando uma medida se torna uma meta, deixa de ser uma boa medida». O Tópico 3.1 apresentou brevemente esta dinâmica no contexto da dependência da Nova Gestão Pública de metas explícitas; este tópico é o seu tratamento principal (ver Tópico 3.1 — Sistemas e modelos de administração pública). A lei de Goodhart não é um argumento contra a medição — é um argumento de que a medição e a recompensa não podem ser fundidas descuidadamente sem alterar aquilo que está a ser medido.

Os incentivos perversos são o mecanismo através do qual a lei de Goodhart faz o seu dano: uma estrutura de incentivos que produz resultados contrários aos que os seus autores pretendiam, porque as pessoas que respondem a ela estão a otimizar a letra da recompensa e não o propósito por trás dela (ver incentivo perverso). Uma meta associada ao financiamento, à reputação ou a uma carreira cria um incentivo perverso sempre que existe uma forma de melhorar o número reportado sem melhorar o resultado subjacente — e num serviço prestado através de milhares de juízos individuais, essa forma existe quase sempre uma vez que as pessoas começam a procurá-la.

Uma tipologia de respostas disfuncionais às metas. O economista Peter Smith, num influente estudo de 1995 sobre dados de desempenho do setor público, catalogou as formas como as metas publicadas distorcem o comportamento, várias das quais continuam a ser o vocabulário padrão para diagnosticar um sistema de indicadores em dificuldade. A visão em túnel consiste em concentrar o esforço no que é medido à custa do que não é, mesmo quando os aspetos não medidos importam tanto ou mais. A fixação na medida consiste em tratar o êxito no indicador como êxito no objetivo subjacente, de modo que o indicador indireto substitui discretamente aquilo que pretendia representar na atenção de todos — o padrão por trás do ensino para o teste nos sistemas de educação, em que a instrução se estreita para o que uma avaliação normalizada cobre e não para a aprendizagem mais ampla que a avaliação pretendia sinalizar. A deturpação (misrepresentation) é a manipulação deliberada de dados reportados — reclassificar um caso, ajustar um relógio, escolher um denominador mais favorável — para que os números melhorem sem que a realidade mude de todo. A ossificação é o lento decaimento de uma meta para a irrelevância, quando é deixada sem revisão muito depois de o ambiente operacional para que foi concebida ter mudado. Um estudo de 2006 estreitamente relacionado sobre metas no sistema público de cuidados de saúde inglês, de Gwyn Bevan e Christopher Hood, mostrou até onde estas dinâmicas podem ir quando uma meta é associada a consequências severas pelo seu incumprimento, cunhando a expressão «metas e terror» para um regime que produz exatamente o comportamento de manipulação que foi concebido para eliminar.

A garantia da qualidade é a disciplina sistemática, detida pela própria organização, de assegurar que um produto ou serviço cumpre de forma consistente uma norma definida, através da prevenção de defeitos incorporada no processo e não apenas da inspeção do produto acabado (ver garantia da qualidade). Onde uma meta de desempenho mede um resultado depois do facto, a garantia da qualidade destina-se a tornar menos provável que um mau resultado ocorra, tipicamente através de procedimentos normalizados, listas de verificação, revisão por pares e análise de causas de raiz das falhas. A gestão da qualidade total é a filosofia de gestão mais ampla construída sobre esta disciplina, que trata a melhoria contínua da qualidade como responsabilidade de todos e não como uma função especializada acrescentada no final de um processo (ver gestão da qualidade total), e a família ISO 9000 de normas internacionais publicada pela Organização Internacional de Normalização (ISO), emitida pela primeira vez em 1987, dá às organizações um quadro certificável para demonstrar que existe tal sistema de gestão. Um organismo pode ser certificado segundo uma norma de gestão da qualidade, e passar todas as verificações internas de garantia da qualidade, e ainda assim manipular as suas metas de desempenho reportadas externamente; os dois sistemas respondem a perguntas diferentes e nenhum substitui o outro.

Os indicadores de segurança e a cultura de segurança merecem tratamento separado dos indicadores de desempenho correntes porque o dano de um incentivo perverso é muitas vezes irreversível. Nos cuidados de saúde, a prática de segurança do doente aprendeu, muitas vezes a custo elevado, que punir o pessoal por reportar um erro suprime precisamente a informação de que um sistema de segurança precisa para prevenir o seguinte — uma ideia que se estendeu dos contextos clínicos à aviação, aos transportes e a outros serviços públicos de alta consequência. Um ambiente de reporte «sem culpa» ou de «cultura justa» trata um quase-acidente honestamente reportado como um dado valioso e não como uma admissão de culpa, que é o oposto de como a maior parte das metas de desempenho correntes são concebidas para funcionar: um regime de desempenho recompensa o bom número, enquanto um regime de segurança tem de recompensar o número honesto mesmo quando é mau.

Os organismos independentes de inspeção e de classificação proporcionam um controlo sobre tudo o que precede que vem do exterior da cadeia hierárquica que está a ser avaliada. Uma inspeção — como a Ofsted de Inglaterra, que inspeciona prestadores de educação e de serviços para a infância, ou a Care Quality Commission, que inspeciona e classifica prestadores de cuidados de saúde e sociais — envia avaliadores que observam diretamente a prática, exercem juízo profissional e publicam uma classificação que o organismo inspecionado não controla. Isto é estruturalmente diferente da gestão interna do desempenho: um tempo de espera autorreportado pode ser manipulado pelas pessoas cujo incentivo é manipulá-lo, mas um inspetor que percorre as enfermarias ou observa a sala de aula está a olhar para a realidade que o número devia representar. A inspeção é uma forma de responsabilização horizontal — escrutínio por um organismo de estatuto independente e não por um eleitorado ou um mercado (ver Tópico 3.4 — Responsabilização, transparência e legitimidade) — e só merece esse papel na medida em que a sua independência, no financiamento, na nomeação e na publicação, seja genuinamente protegida.

Boas práticas

1. Derive os indicadores do modelo lógico, e não do que já é fácil de contar. Escolher uma medida porque os dados já existem, e não porque acompanha um elo genuíno da cadeia causal, é como começam a fixação na medida e a visão em túnel (ver Tópico 2.1 — O painel de valor público e os quadros de resultados).
2. Associe cada meta de produto ou de atividade a pelo menos uma medida de equilíbrio que revele a estratégia de manipulação mais provável. Se uma meta de tempo de espera pode ser manipulada reclassificando casos, acompanhe a taxa de reclassificação a par do número principal, e não como uma reflexão tardia depois de um escândalo forçar a questão.
3. Trate uma meta atingida durante vários períodos consecutivos como um convite à investigação, e não simplesmente à celebração. Um número que deixa de discriminar entre bom e mau desempenho ou resolveu genuinamente o problema ou foi manipulado até à irrelevância, e os dois parecem idênticos apenas pelo painel de indicadores.
4. Separe quem fixa uma meta de quem é medido face a ela e de quem verifica o resultado de forma independente. Reunir estes três papéis numa só parte da organização remove a tensão estrutural que mantém honesto um sistema de medição.
5. Reveja ou retire uma meta num ciclo fixo, e não apenas após uma falha visível. A ossificação é o destino por defeito de uma meta; uma revisão calendarizada que pergunta se a meta ainda acompanha algo de significativo apanha o decaimento antes de uma crise o fazer.
6. Construa um canal de reporte sem culpa para quase-acidentes e erros relevantes para a segurança, estruturalmente separado das decisões de recompensa do desempenho. Um sistema de segurança que pune o reporte honesto terá a mesma taxa de erro subjacente — apenas deixará de descobrir os erros até o dano ser maior e mais difícil de esconder.
7. Dê aos inspetores e aos organismos de classificação independentes um acesso genuíno, financiamento protegido e direitos de publicação que o organismo inspecionado não possa vetar. Uma inspeção que depende da boa vontade da organização que classifica para o seu orçamento ou acesso está a encenar o escrutínio, não a proporcioná-lo.
8. Use o juízo profissional para interpretar uma pontuação quantitativa, em vez de deixar a pontuação isolada. Uma classificação composta única comprime uma realidade rica e desigual num único número; publique a narrativa qualitativa por trás de uma classificação de inspeção a par da própria classificação, para que o leitor veja o que o número está a resumir.
9. Conceba as metas com o pessoal da linha da frente que será medido face a elas, e não apenas para ele. As pessoas mais próximas do trabalho sabem normalmente qual a estratégia de manipulação mais fácil antes de qualquer analista; envolvê-las na conceção faz emergir esse risco cedo e não depois de a meta já estar em vigor.
10. Certifique um processo sistemático de gestão da qualidade, como um construído sobre a família de normas ISO 9000, como um piso e não como um substituto da medição de resultados. A certificação demonstra que existe um processo consistente; não demonstra, só por si, que o processo produz um bom resultado, e tratar o certificado como evidência suficiente de qualidade é em si mesmo uma forma de fixação na medida.
11. Publique as limitações conhecidas de uma meta a par da própria meta. Nomear, no mesmo relatório que o número, o que a medida não capta e como poderia plausivelmente ser manipulada antecipa exatamente a descoberta que de outro modo prejudica a legitimidade mais tarde (ver Tópico 3.4 — Responsabilização, transparência e legitimidade).

Perguntas para discutir com a sua equipa

Quais das nossas metas publicadas atuais poderiam ser atingidas sem que o resultado subjacente melhorasse de todo? Esta é a aplicação mais direta da lei de Goodhart de que qualquer equipa dispõe, e quase todas as organizações que têm metas numéricas há mais de alguns anos carregam pelo menos um exemplo vivo. Percorra os seus indicadores principais um a um e pergunte, concretamente, que comportamento cada um recompensa e não o que foi concebido para medir. Discuta se o pessoal da linha da frente já conhece uma forma mais fácil de mover o número do que a pretendida, pois normalmente conhece-a muito antes de chegar à direção superior. Trate um confiante e não examinado «ninguém faria isso aqui» como digno, em si mesmo, de investigação e não como tranquilização.

Onde deixámos que um produto fácil de contar substituísse discretamente um juízo genuíno de qualidade ou de segurança? Os produtos são quase sempre mais baratos e rápidos de recolher do que os resultados, o que cria uma tentação permanente de reportar os primeiros com a linguagem dos segundos. Identifique um indicador emblemático que a sua organização reporta atualmente e pergunte, em grupo, se mede de facto a qualidade do que aconteceu ou apenas o volume da atividade que teve lugar. Discuta o que seria preciso recolher para ter uma medida genuína de qualidade dessa mesma atividade e o que impediu a organização de a recolher até agora. Esta pergunta revela muitas vezes que o obstáculo são os recursos e não a dificuldade de definição.

Se um membro do pessoal reportasse hoje honestamente o seu próprio quase-acidente ou erro, o que lhe aconteceria de facto? A existência de uma política sem culpa não é evidência de que as pessoas acreditam que se aplica a elas pessoalmente. Discuta um caso recente, real ou hipotético, em que uma divulgação honesta de um erro teria posto a política à prova e seja específico quanto às consequências que houve ou que provavelmente teria havido. Considere se o seu reporte relevante para a segurança se situa no mesmo sistema que as suas decisões de recompensa do desempenho, pois misturar os dois é a forma mais comum de uma cultura nominalmente sem culpa punir discretamente a honestidade. Esta pergunta é desconfortável por conceção; uma equipa que não consegue discuti-la abertamente já lhe respondeu.

O nosso organismo de inspeção ou classificação tem independência real face à organização que avalia, ou apenas independência formal? A independência no nome é comum; a independência no financiamento, no acesso e no direito de publicar uma conclusão indesejada é mais rara e mais fácil de erodir gradualmente. Liste as relações de inspeção ou classificação a que a sua organização está sujeita e classifique cada uma com honestidade quanto a saber se sobreviveria a uma tentativa determinada do organismo inspecionado de moldar o resultado. Discuta o que aconteceu da última vez que uma inspeção produziu um resultado genuinamente indesejado e se a resposta foi corrigir o problema subjacente ou gerir a relação com o inspetor.

Qual das respostas disfuncionais de Smith às metas — visão em túnel, fixação na medida, deturpação, ossificação — é mais visível atualmente no nosso próprio relato? Nomear o modo de falha específico, em vez de discutir a manipulação em abstrato, torna a conversa suficientemente concreta para agir. Percorra os quatro padrões e pergunte qual deles a equipa reconhece na sua própria experiência recente, em vez de presumir que a organização está isenta porque ainda não houve escândalo. Discuta como seria um passo corretivo para esse padrão específico no próximo ciclo de relato, e não como um compromisso geral de «fazer melhor na medição».

Se deixássemos de reportar publicamente a nossa meta principal atual durante um ano, o que perderíamos realmente, e o que poderíamos ganhar? Esta pergunta testa se uma meta está genuinamente a orientar decisões ou se se tornou um fim em si mesmo que ninguém defenderia se lhe pedissem que a justificasse a partir de primeiros princípios. Discuta com honestidade que decisão, se alguma, mudou no último ano por causa deste número específico, por distinção das decisões que teriam sido tomadas de qualquer forma. Considere o tempo do pessoal e a distorção comportamental que a meta custa atualmente e se uma medida diferente e mais difícil de manipular serviria melhor o mesmo propósito de responsabilização. Isto não é um argumento a favor de abandonar a medição — é uma disciplina para manter apenas a medição que merece o seu lugar.

Na prática: um exemplo de valor público

O serviço de ambulâncias de uma região metropolitana de média dimensão — fictício, ilustrativo de um padrão e não um relato sobre qualquer organismo real — funcionava havia anos sob uma meta publicada que exigia uma resposta de emergência em oito minutos para as chamadas mais ameaçadoras da vida. A meta fora fixada com boa intenção, apoiada em evidência clínica de que a rapidez de resposta afeta genuinamente a sobrevivência numa categoria definida de emergências, e o conselho do serviço tratava a percentagem publicada de chamadas que cumpriam a meta como o seu indicador mais importante de êxito organizacional.

Ao longo de três anos, o número reportado melhorou de forma constante, de pouco mais de metade das chamadas elegíveis para quase nove em dez, e a direção superior apresentava a tendência em todas as reuniões do conselho como evidência clara de que as reformas operacionais estavam a funcionar. O que o número principal não mostrava era como a melhoria tinha sido efetivamente alcançada. Os operadores de chamadas, cientes de que o seu próprio desempenho era avaliado em parte pelo número de chamadas que classificavam na categoria sujeita à meta, tinham começado — gradualmente, sem qualquer decisão isolada nesse sentido — a rebaixar uma parte crescente de chamadas genuinamente graves para uma categoria de menor prioridade a que o relógio de oito minutos não se aplicava, simplesmente porque um conjunto mais pequeno e mais estritamente definido de chamadas era mais fácil de cumprir. Separadamente, as equipas tinham aprendido que o relógio parava no momento em que um veículo chegava ao local, e não quando um doente era efetivamente alcançado, o que criava um pequeno mas real incentivo para estacionar na fronteira em vez de chegar ao doente o mais depressa possível.

Nenhuma das práticas era fraudulenta no sentido de falsificar um registo; cada uma era uma resposta localmente racional a uma meta cuja definição criava espaço para exatamente esta deriva — um caso de manual de fixação na medida e deturpação a operarem em conjunto. O problema veio à tona não através do relato do próprio serviço, que continuava a mostrar melhoria, mas de uma inspeção de rotina de uma inspeção regional independente de saúde, que combinou a revisão de processos com a observação direta do atendimento de chamadas e encontrou classificações rebaixadas incoerentes com o pormenor clínico registado nas mesmas chamadas. A classificação da inspeção desceu abruptamente, de uma descrição equivalente a «boa» para «requer melhoria», apesar de o número de tempo de resposta publicado pelo próprio serviço ser melhor do que alguma vez fora.

A resposta inicial do serviço — apontar para os seus próprios números em melhoria — agravou o problema de credibilidade, porque respondia a uma pergunta que a inspeção não fizera; a inspeção nunca contestara a aritmética, apenas o que a aritmética estava a medir. A sua resposta mais eficaz foi redesenhar o conjunto de indicadores a partir do modelo lógico subjacente em vez de remendar a meta existente: o tempo de resposta foi redefinido para o momento do contacto com o doente e não da chegada do veículo, a classificação das chamadas passou a ser auditada de forma independente numa amostra móvel em vez de confiada ao registo do próprio operador e foi introduzida uma medida paralela de resultado clínico — a sobrevivência até à admissão hospitalar — porque era muito mais difícil de manipular apenas por reclassificação. A percentagem de tempo de resposta reportada desceu no primeiro ano sob a nova definição, o que o conselho preparara os seus financiadores para esperar; a medida de resultado clínico, acompanhada pela primeira vez em base comparável, mostrou uma melhoria menor mas genuína que a meta original nunca demonstrara num sentido ou noutro.

Quatro perspetivas setoriais

Poder local

Os serviços locais, como os bombeiros e o salvamento, os cuidados sociais a adultos e a recolha de resíduos, são normalmente medidos face a uma mistura de indicadores obrigatórios a nível nacional que a autoridade local não escolheu e de medidas escolhidas localmente que refletem as prioridades específicas da própria câmara, pelo que um único serviço pode ser julgado um êxito face a um conjunto de indicadores e uma preocupação face a outro. A inspeção a nível local é muitas vezes realizada por um organismo nacional ou regional com competência estatutária sobre muitas autoridades locais em simultâneo, o que dá uma perspetiva comparativa útil mas menos contexto local pormenorizado do que a organização que está a inspecionar. Os eleitos locais e as comissões de escrutínio acrescentam uma camada de responsabilização mais rápida e imediata, e são muitas vezes os primeiros a ouvir os residentes quando um número publicado e a experiência vivida divergem.

Governo nacional

O governo nacional gere tipicamente os regimes de desempenho maiores e mais politicamente visíveis, porque uma meta nacional — uma norma de tempo de espera, um objetivo de redução da criminalidade, um objetivo de taxa de aprovação em exames — torna-se um indicador indireto, no debate público, da competência do governo do momento, o que eleva muito o que está em jogo na manipulação para além do nível operacional. Este é o contexto em que a dinâmica de «metas e terror» de Bevan e Hood se realiza mais plenamente, porque as metas nacionais são frequentemente associadas a consequências políticas visíveis pelo seu incumprimento, aguçando o incentivo para gerir o número e não a realidade por trás dele. As inspeções nacionais, precisamente por operarem à distância dos ministérios cujas fortunas políticas uma classificação pode afetar, carregam uma parte desproporcionada do encargo de fazer emergir a distância entre o desempenho reportado e o real (ver Tópico 3.4 — Responsabilização, transparência e legitimidade).

Setor social e organizações sem fins lucrativos

As organizações sem fins lucrativos e não governamentais enfrentam mais frequentemente a garantia da qualidade e a acreditação como disciplina voluntária ou imposta por financiadores do que como regime estatutário de inspeção, uma vez que poucas jurisdições mantêm uma inspeção independente dedicada ao setor como um todo. Isto deixa a garantia da qualidade do setor social mais fragmentada — diferentes financiadores a impor diferentes exigências à mesma organização — mas também mais flexível, uma vez que uma organização sem fins lucrativos pode muitas vezes conceber o seu próprio conjunto de indicadores em torno da sua teoria da mudança real e não de um conjunto de medidas impostas do exterior. A ausência de um inspetor externo obrigatório aumenta a importância relativa de um conselho independente e da auditoria externa como substituto, no próprio setor, da responsabilização horizontal (ver Tópico 3.4 — Responsabilização, transparência e legitimidade), uma vez que a direção de uma organização sem fins lucrativos é, de outro modo, simultaneamente quem mede e quem é medido.

Organismos multilaterais e internacionais

Os organismos multilaterais e os índices comparativos que publicam ou em que se apoiam — classificações transnacionais da qualidade da governação, da facilidade de fazer negócios ou do desempenho do serviço público — enfrentam a lei de Goodhart à escala de governos nacionais inteiros, onde um país pode melhorar a sua classificação através de reformas dirigidas estreitamente aos critérios medidos e não à condição mais ampla que o índice pretende representar. A inspeção independente no sentido interno usado noutros pontos deste tópico não tem equivalente real através das fronteiras soberanas, uma vez que nenhum Estado aceita uma inspeção externa com o estatuto coercivo que um organismo nacional tem sobre um organismo que supervisiona; a garantia da qualidade multilateral apoia-se, em vez disso, na revisão por pares, no autorrelato validado por missões técnicas e no custo reputacional de uma classificação publicada. Isto torna especialmente importantes a independência e a credibilidade técnica do organismo que compila qualquer indicador transnacional, uma vez que é muitas vezes o único controlo disponível.

Modos de falha comuns

Visão em túnel. Uma organização concentra esforço e recursos no que é medido, em detrimento direto de aspetos não medidos do mesmo serviço que importam igualmente às pessoas que serve. O custo é um serviço que parece estar a melhorar em todos os relatórios publicados enquanto uma dimensão não medida — a dignidade do doente, a complexidade dos casos, os resultados a longo prazo — se deteriora discretamente, sem ser notada até se tornar uma crise suficientemente grande para forçar nova medição.

Fixação na medida. O êxito no indicador passa a ser tratado, dentro da organização, como equivalente ao êxito no objetivo subjacente, pelo que o indicador indireto desloca o objetivo na atenção efetiva de todos, mesmo enquanto a declaração formal de missão ainda nomeia o objetivo. O custo é uma distância crescente e autorreforçada entre o desempenho reportado e a realidade vivida, porque ninguém dentro da organização continua a observar diretamente a realidade.

Deturpação. Os dados são ajustados — um relógio parado cedo, um caso reclassificado, um denominador escolhido pelo seu efeito favorável — para que o número reportado melhore sem que a realidade subjacente mude de todo, como no exemplo prático acima. O custo, uma vez descoberto, é desproporcionado face à distorção original, porque a deturpação prejudica não só o número específico mas a credibilidade de todos os outros números que a mesma organização alguma vez publicou (ver Tópico 3.4 — Responsabilização, transparência e legitimidade).

Ossificação. Uma meta fixada para um contexto operacional específico é deixada sem revisão muito depois de esse contexto ter mudado, pelo que continua a ser reportada e gerida embora já não discrimine entre desempenho genuinamente bom e genuinamente mau. O custo é invisível durante anos, porque uma meta ossificada ainda produz um número; o número simplesmente deixou de significar alguma coisa, e a atenção real da gestão da organização já se deslocou normalmente para outro lado sem que ninguém retire formalmente a medida.

Captura da inspeção. Um organismo independente de inspeção ou classificação torna-se gradualmente dependente da boa vontade, do acesso ou da cooperação continuada das organizações que inspeciona, quer através de arranjos de financiamento, de percursos de carreira que movem pessoal entre inspetor e inspecionado, quer de relações informais construídas ao longo de inspeções repetidas. O custo é uma lenta perda de independência real que uma carta formal ou um estatuto, por si só, não previne, e que tipicamente só vem à tona quando uma grande falha passa por um sistema de classificação que a deveria ter apanhado.

Reporte de segurança movido pela culpa. Um sistema de reporte de erros e quase-acidentes relevantes para a segurança é nominalmente sem culpa mas está, na prática, suficientemente ligado à avaliação de desempenho ou ao processo disciplinar para que o pessoal aprenda que reportar um erro honesto acarreta risco pessoal. O custo não é menos erros — é menos relatos dos erros que continuam a acontecer, o que remove precisamente o sinal de alerta precoce que um sistema de segurança existe para fornecer antes do incidente seguinte e mais grave.

Modelo de maturidade

Lista de verificação

• Rastreie cada indicador de desempenho principal até ao modelo lógico ou quadro de resultados que pretende representar.
• Identifique a forma mais plausível de manipular cada meta publicada e nomeie uma medida de equilíbrio que a revelaria.
• Confirme que quem fixa uma meta, quem é medido face a ela e quem verifica o resultado de forma independente não são todos a mesma parte da organização.
• Agende uma revisão de ciclo fixo de todas as metas em vigor, independentemente de qualquer falha visível a suscitar.
• Confirme que o canal de reporte relevante para a segurança é estruturalmente separado das decisões de recompensa do desempenho e disciplinares.
• Teste se o pessoal acredita que um erro ou quase-acidente honestamente reportado seria tratado sem culpa, e não apenas se uma política o diz.
• Confirme que qualquer organismo de inspeção ou classificação que avalie a organização tem financiamento, acesso e direitos de publicação protegidos.
• Publique as limitações conhecidas de cada meta principal a par do próprio número.
• Verifique se algum indicador foi atingido de forma consistente durante vários períodos sem uma investigação correspondente do porquê.
• Envolva o pessoal da linha da frente na conceção de qualquer meta nova antes de esta entrar em vigor.
• Confirme que uma certificação de gestão da qualidade, onde exista, é tratada como um piso e não citada, por si só, como evidência de bons resultados.

Fontes principais

• A formulação de Charles Goodhart, de 1975, do que ficou conhecido como lei de Goodhart, desenvolvida no contexto da fixação de metas de política monetária.
• Marilyn Strathern, «"Improving ratings": audit in the British university system», European Review, 5(3) (1997), 305–321 — a reformulação, para o setor público, da lei de Goodhart, amplamente citada.
• Peter Smith, «On the Unintended Consequences of Publishing Performance Data in the Public Sector», International Journal of Public Administration, 18(2–3) (1995), 277–310 — a fonte da tipologia de visão em túnel, fixação na medida, deturpação e ossificação em que este tópico se apoia.
• Gwyn Bevan e Christopher Hood, «What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System», Public Administration, 84(3) (2006), 517–538 — o estudo de «metas e terror» sobre a manipulação sob consequências severas.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — um relato abrangente das falhas de medição na educação, nos cuidados de saúde, nas empresas e no governo.
• National Audit Office do Reino Unido, «Performance measurement by regulators», e orientações do Government Accountability Office dos EUA que distinguem medidas de desempenho de avaliação de programas.
• A Care Quality Commission e a Ofsted, como exemplos de organismos independentes de inspeção e classificação que operam à distância das organizações que avaliam.

Referências

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted