Econometria do setor público e avaliação de programas

Por que razão isto importa para o valor público

Todos os anos, os organismos públicos renovam, ampliam ou cancelam programas com base numa comparação de resultados: os participantes no programa de emprego encontraram trabalho mais depressa do que os não participantes; os alunos do esquema de explicações obtiveram melhores notas do que os alunos que não as tiveram. Cada comparação é verdadeira como descrição e perigosa como argumento, porque nenhuma, por si só, diz se o programa causou a diferença. As pessoas que se inscrevem num programa de emprego são frequentemente mais motivadas do que as que não o fazem, e os alunos selecionados para explicações são muitas vezes escolhidos porque um professor já espera que respondam bem. A distância entre «o grupo tratado se saiu melhor» e «o tratamento fez com que se saíssem melhor» é exatamente a distância que a inferência causal existe para colmatar.

Isto não é uma subtileza académica. Uma comissão financeira a quem se pede que renove o financiamento de um programa está, implicitamente, a ser chamada a autorizar a despesa de dinheiro público com base numa afirmação de causalidade, quer alguém na sala use essa palavra ou não. O Tópico 2.1 deu-lhe o quadro de resultados que declara o que um programa pretende mudar (ver Tópico 2.1 — O painel de valor público e os quadros de resultados); este tópico dá-lhe os métodos que testam se ele de facto o mudou, e em que medida. A análise custo-benefício e custo-efetividade (ver Tópico 2.2 — Análise custo-benefício social e análise custo-efetividade) e o retorno social do investimento (ver Tópico 2.3 — Retorno social do investimento e mensuração de impacto) precisam ambos de um tamanho de efeito defensável com que trabalhar; este tópico é onde esse tamanho de efeito se obtém, ou onde se aprende que o número que já se tem não suporta o peso que sobre ele é posto.

O que está em jogo não é apenas financeiro. Um governo que alarga um programa ineficaz porque uma avaliação deficiente o fez parecer eficaz desperdiçou dinheiro e, muitas vezes pior, deslocou uma alternativa genuinamente eficaz que nunca teve oportunidade; um governo que cancela um programa eficaz porque uma comparação ingénua o fez parecer inútil destruiu um valor que uma avaliação mais bem concebida teria protegido. Acertar na identificação causal, e saber quando não é possível acertar, é em si mesmo uma competência de valor público, e não um interesse lateral de especialistas.

Conceitos fundamentais

A inferência causal é o ramo da estatística que se ocupa de estabelecer se, e em que medida, a alteração de uma variável produz uma alteração noutra, por contraste com as duas variáveis meramente se moverem em conjunto. Fornece o fundamento conceptual — o raciocínio contrafactual, a linguagem de tratamento e controlo, o catálogo de ameaças específicas a uma afirmação causal — em que todos os métodos deste tópico se apoiam. Wikipedia: Causal inference.

O contrafactual é o resultado que uma pessoa ou unidade teria experimentado se não tivesse recebido o programa, e é a quantidade central e inobservável que todos os métodos causais tentam aproximar: pode-se observar o que aconteceu a um participante, mas nunca o que teria acontecido a essa mesma pessoa sem apoio. Cada um dos métodos abaixo é uma estratégia diferente para construir um substituto credível dessa observação em falta. O modelo causal de Rubin, desenvolvido principalmente pelo estatístico Donald Rubin, formaliza isto como o quadro dos «resultados potenciais»: cada unidade tem um resultado potencial sob tratamento e um sob controlo, e o efeito causal é a diferença entre ambos, dos quais apenas um é alguma vez observado. Wikipedia: Rubin causal model.

A confusão (confounding) ocorre quando um terceiro fator influencia tanto o facto de uma unidade receber um programa como o resultado que o programa pretende alterar, fazendo parecer que o programa causou um efeito que o fator de confusão efetivamente produziu. A motivação, a aptidão prévia, as condições económicas locais e a riqueza do agregado são fatores de confusão recorrentes na avaliação de programas públicos, porque afetam rotineiramente tanto quem adere a um serviço como o desempenho dessa pessoa ou lugar depois. Wikipedia: Confounding.

O enviesamento de seleção é o caso específico de confusão que resulta da forma como os participantes chegam ao grupo de tratamento — autosseleção, encaminhamento pelo pessoal ou regras de elegibilidade — de tal modo que os grupos tratado e não tratado diferem sistematicamente antes de o programa lhes tocar. Um programa de emprego a que apenas os candidatos a emprego mais motivados se inscrevem parecerá eficaz mesmo que nada faça, porque o grupo de comparação nunca foi um substituto justo do que os participantes teriam feito sem apoio. Wikipedia: Selection bias.

Correlação não implica causalidade é o aviso geral que este tópico operacionaliza: duas variáveis que se movem em conjunto são compatíveis com uma a causar a outra, com o inverso, com uma causa comum partilhada ou com coincidência, e o padrão por si só não consegue distinguir entre estas hipóteses. As vendas de gelados e as mortes por afogamento sobem ambas todos os verões sem que uma cause a outra, porque o tempo quente conduz as duas; a avaliação de programas públicos está cheia de versões mais subtis da mesma armadilha. Wikipedia: Correlation does not imply causation.

O ensaio controlado aleatorizado (ECA), chamado avaliação aleatorizada na literatura de avaliação de políticas, atribui aleatoriamente as unidades elegíveis a um grupo de tratamento que recebe o programa e a um grupo de controlo que não o recebe, de modo que, em média, os dois grupos diferem apenas quanto ao facto de terem sido tratados. A aleatorização é poderosa porque trata a confusão por atacado: equilibra tanto os fatores de confusão que se podem medir como os que não se podem, sem necessidade de os nomear de antemão. Wikipedia: Randomized controlled trial.

A diferença-em-diferenças (DiD) compara a variação dos resultados ao longo do tempo para um grupo tratado com a variação, no mesmo período, de um grupo de comparação que não recebeu o programa, partindo do princípio de que, na ausência do programa, os dois grupos teriam seguido tendências paralelas. É o método de trabalho corrente quando um programa chegou a uma jurisdição antes de outra e a aleatorização nunca foi uma opção, porque pode usar dados administrativos recolhidos rotineiramente em vez de um ensaio construído de propósito. Wikipedia: Difference in differences.

O desenho de regressão descontínua (RDD) explora uma regra do programa que atribui o tratamento com base numa pontuação medida que ultrapassa um limiar fixo — um benefício que começa exatamente num limiar de rendimento, uma turma de recuperação atribuída a alunos que obtêm pontuação logo abaixo da nota de passagem — e compara os resultados das unidades logo acima e logo abaixo, que são de resto semelhantes. Como o lado do limiar em que uma unidade cai é efetivamente arbitrário numa faixa estreita em torno dele, a comparação aproxima-se de uma experiência aleatorizada local sem que ninguém tenha aleatorizado coisa alguma. Wikipedia: Regression discontinuity design.

A estimação por variáveis instrumentais (VI) usa uma terceira variável, um «instrumento», que afeta a adesão a um programa mas não tem efeito direto sobre o resultado a não ser através dessa adesão, para eliminar a parte da relação tratamento-resultado que a confusão contaminaria de outro modo. Um instrumento clássico em política pública é a distância a uma instalação, ou um lugar atribuído por sorteio, que desloca a participação sem causar independentemente o resultado; a maior parte da dificuldade do método reside em defender que o instrumento afeta o resultado apenas através do programa. Wikipedia: Instrumental variables estimation.

Uma experiência natural é uma situação, decorrente de políticas, da geografia ou de circunstâncias e não do desenho de um investigador, em que algumas pessoas são expostas a um programa e outras comparáveis não, como se uma experiência tivesse sido realizada sem que ninguém a realizasse. Uma alteração de política que entra em vigor num limiar de data de nascimento, uma fronteira que coloca agregados quase idênticos em jurisdições diferentes ou um sorteio que racionaliza um lugar sobrelotado são experiências naturais que o RDD, as VI ou a DiD podem depois analisar. Wikipedia: Natural experiment.

O efeito Hawthorne designa o risco de as pessoas mudarem o seu comportamento simplesmente por saberem que estão a ser observadas, independentemente do conteúdo efetivo do programa, o que pode inflacionar um efeito estimado se o grupo de controlo não for observado com igual intensidade — o próprio ato de medir pode tornar-se parte do tratamento. Wikipedia: Hawthorne effect.

A potência estatística é a probabilidade de uma avaliação detetar um efeito verdadeiro de determinada dimensão, se existir, dependendo principalmente da dimensão da amostra, do tamanho do efeito procurado e da variabilidade dos resultados dentro dos grupos. Uma avaliação com potência insuficiente que conclui «sem efeito significativo» muitas vezes não demonstrou que o programa nada faz; demonstrou que a avaliação era demasiado pequena para o dizer num sentido ou noutro, uma distinção que os dirigentes frequentemente não fazem sob pressão para chegar a um veredicto. Wikipedia: Power (statistics).

Boas práticas

1. Decida o desenho da avaliação antes do lançamento do programa, e não depois. Uma avaliação aleatorizada, uma implantação escalonada adequada à diferença-em-diferenças ou um limiar de elegibilidade adequado ao desenho de regressão descontínua são muito mais fáceis de incorporar desde o início do que de adaptar depois de a execução já ter começado de forma ad hoc.
2. Declare explicitamente o contrafactual em cada caderno de encargos de avaliação. Escreva, numa frase, aquilo com que está a comparar os participantes — nenhum programa de todo, o programa anterior, uma intervenção diferente — porque um contrafactual não declarado é onde as disputas de avaliação mais agudas costumam estar escondidas.
3. Trate uma simples comparação antes-depois como uma hipótese de partida, nunca como uma conclusão. Os resultados derivam por muitas razões alheias ao seu programa — o ciclo económico, efeitos sazonais, outras alterações de política que ocorrem ao mesmo tempo — e um desenho antes-depois não consegue separar a contribuição do seu programa da dessas outras.
4. Ajuste o método à regra que efetivamente atribuiu o programa, e não ao método que lhe é mais familiar. Um programa racionado por sorteio exige a lógica de uma avaliação aleatorizada mesmo que nunca lhe chame ensaio; um programa atribuído por um limiar de pontuação exige o desenho de regressão descontínua; um programa implantado em algumas zonas antes de outras exige a diferença-em-diferenças.
5. Pré-registe as medidas de resultado e o plano de análise antes de olhar para os resultados. Decidir qual o resultado que conta como «êxito» depois de ver qual se moveu é uma via bem documentada para falsos positivos, e o pré-registo é a defesa padrão contra isso.
6. Dimensione a potência da avaliação para o menor tamanho de efeito que ainda justificaria o custo do programa, e não por conveniência. Uma avaliação demasiado pequena para detetar um efeito relevante para a política produzirá um resultado pouco informativo de «sem diferença significativa» que é lido erradamente como prova de fracasso.
7. Reporte as características do grupo de comparação a par das do grupo de tratamento, e não apenas o efeito principal. Uma avaliação credível permite a um leitor cético verificar se os dois grupos eram semelhantes antes do tratamento; uma avaliação que esconde isto obriga o leitor a aceitar o equilíbrio por fé.
8. Encomende a avaliação a uma fonte independente da equipa de entrega, ou isole a análise se não puder. Uma equipa com interesse no êxito de um programa tem um incentivo estrutural, muitas vezes inconsciente, para interpretar evidência ambígua a favor do programa.
9. Separe a significância estatística da significância prática e orçamental em cada relatório. Um efeito minúsculo estimado com precisão e um efeito grande estimado com imprecisão são conclusões diferentes que exigem decisões diferentes, e reduzir ambos a «significativo» ou «não significativo» apaga a distinção de que uma decisão de financiamento efetivamente precisa.
10. Orce a avaliação como uma parte fixa do custo do programa na fase de conceção, e não como o que sobrar. Um programa suficientemente grande para ter importância para o valor público é geralmente suficientemente grande para financiar uma avaliação de impacto credível, e tratar a avaliação como discricionária é como a evidência fraca se torna rotina.
11. Publique os resultados nulos e negativos com a mesma visibilidade que os positivos. Um ambiente de comissionamento que só divulga as avaliações bem-sucedidas cria um enviesamento de seleção na própria base de evidência publicada, inclinando para o otimismo o juízo posterior de todos sobre «o que funciona».
12. Alimente a base de evidência mais ampla que o seu setor mantém com cada avaliação concluída, e não apenas o seu próprio arquivo. Uma avaliação isolada, por muito bem concebida que seja, é um ponto de dados; é a síntese sistemática de muitas que transforma uma conclusão de programa em conhecimento transferível (ver Tópico 2.6 — Síntese de evidências e o que funciona).

Perguntas para discutir com a sua equipa

Com que contrafactual estamos de facto a comparar este programa, e já o dissemos em voz alta? Toda a afirmação de impacto implica uma comparação, mas as equipas deixam-na frequentemente implícita, deixando «isto funcionou» deslizar discretamente entre «melhor do que nada», «melhor do que o que fazíamos antes» e «melhor do que a melhor alternativa que poderíamos ter financiado». Peça à pessoa responsável pela avaliação que enuncie o contrafactual numa única frase em linguagem simples e verifique depois se a evidência de que dispõe suporta de facto uma afirmação sobre essa comparação específica. Se o contrafactual honesto for «não sabemos o que teria acontecido de outra forma», trate a atual afirmação de impacto como uma hipótese, e não como uma conclusão, e discuta o que seria preciso para colmatar essa lacuna.

As pessoas ou os lugares que aderiram a este programa poderão diferir sistematicamente dos que não aderiram, de formas que afetariam também o resultado? Esta é a pergunta do enviesamento de seleção, e vale a pena fazê-la mesmo quando — sobretudo quando — a resposta parece obviamente «não». A motivação, as circunstâncias prévias, a capacidade local e os padrões de encaminhamento do pessoal são fontes ocultas comuns de diferença que produzem uma estimativa de impacto enganadora mesmo com uma amostra grande e de aspeto cuidadoso. Se a equipa não souber descrever como os participantes chegaram ao programa, não pode excluir isto, e essa lacuna deve preocupá-lo mais do que uma amostra pequena.

O desenho da nossa avaliação foi incorporado no programa, ou acrescentado depois, e o que nos custou isso? Uma avaliação aleatorizada, uma implantação escalonada ou um limiar de elegibilidade com pontuação são muito mais baratos e credíveis quando planeados antes do lançamento do que quando reconstruídos a partir dos dados administrativos que por acaso sobreviveram. Pergunte que opções de desenho de avaliação foram consideradas na fase de conceção do programa e, se nenhuma o foi, trate isso como uma lacuna de processo a colmatar antes do próximo programa, e não apenas como uma limitação deste. Discuta que dados teriam de existir desde o primeiro dia para que o próximo programa importante suporte uma estimativa causal credível.

A nossa amostra é suficientemente grande para detetar um efeito que valha a pena conhecer, e reconheceríamos um resultado de «sem efeito» com potência insuficiente se o víssemos? Uma avaliação que reporta nenhum efeito estatisticamente significativo está por vezes a dizer-lhe corretamente que o programa não funciona, e outras vezes está apenas a dizer-lhe que a avaliação era demasiado pequena para ver um efeito que genuinamente existe. Peça aos seus analistas que indiquem o tamanho mínimo de efeito que a avaliação tinha potência para detetar e compare-o com o tamanho de efeito que efetivamente justificaria o custo do programa. Se esses dois números estiverem muito afastados, o resultado de «sem efeito» pode ser pouco informativo e não condenatório, e a equipa deve dizê-lo com clareza em vez de deixar que o silêncio seja lido como fracasso.

Quem beneficia, profissional ou reputacionalmente, se esta avaliação for positiva, e isso muda a quantidade de escrutínio independente de que precisa? Isto não é uma acusação de desonestidade; é o reconhecimento de que as pessoas que conceberam ou executam um programa têm uma probabilidade estruturalmente maior de interpretar resultados ambíguos com benevolência, muitas vezes sem se aperceberem de que o fazem. Discuta se a avaliação foi encomendada, analisada ou revista por alguém independente da equipa de entrega e, se não, como seria uma barreira proporcionada para um programa deste tamanho. O objetivo é um resultado em que também o seu financiador mais cético confiaria, e não apenas um que a sua própria equipa se sinta à vontade para defender.

Se a conclusão desta avaliação for robusta, o que faríamos de diferente, e estamos preparados para o fazer? Uma avaliação encomendada mas nunca destinada a alterar uma decisão é um custo irrecuperável disfarçado de diligência devida, e vale a pena nomear esse risco antes de os resultados chegarem e não depois. Discuta de antemão o que uma conclusão positiva forte justificaria (expansão, e em que medida) e o que uma conclusão nula ou negativa desencadearia (reformulação ou cancelamento, e em que prazo). Se ninguém na sala souber responder a isto antes de ver os resultados, a avaliação pode estar a cumprir uma função de legitimação e não uma função de decisão, e vale a pena ser honesto quanto a isso (ver Tópico 2.1 — O painel de valor público e os quadros de resultados).

Na prática: um exemplo de valor público

Ilustração fictícia. O Ministério dos Serviços de Emprego de um país de média dimensão, não identificado, realizou um projeto-piloto de um ano de um serviço de acompanhamento intensivo para candidatos a emprego em desemprego de longa duração, a par do serviço padrão existente. No final do piloto, um relatório interno comparou o grupo que recebeu acompanhamento intensivo com todos os outros que saíram do desemprego no mesmo período: o grupo acompanhado tinha uma taxa de colocação em emprego de 38% em seis meses, contra 24% para o resto da carteira. Foi dito aos ministros que o programa «funcionava» e um caso de negócio avançou para a sua implantação nacional.

Antes de aprovar o financiamento, a comissão financeira fez uma pergunta direta: como tinham os candidatos a emprego chegado ao grupo acompanhado, para começar? A resposta revelou-se enormemente importante. Os técnicos tinham encaminhado para o piloto de acompanhamento os candidatos que julgavam «com maior probabilidade de beneficiar», uma decisão de triagem bem-intencionada que, na prática, selecionara para o tratamento, desde o início, um grupo mais pronto para o trabalho. A comparação de 38% versus 24% estava contaminada exatamente pelo enviesamento de seleção contra o qual este tópico alerta: era perfeitamente possível que o grupo acompanhado tivesse superado o resto da carteira mesmo sem qualquer acompanhamento.

Em vez de aprovar ou rejeitar a implantação com base nessa comparação, a unidade de avaliação do ministério propôs uma segunda fase com um sorteio. A procura do serviço de acompanhamento já excedia os lugares disponíveis, pelo que a unidade atribuiu aleatoriamente os lugares entre candidatos igualmente elegíveis e comparou as taxas de colocação entre os vencedores e os perdedores do sorteio, uma aplicação da lógica da avaliação aleatorizada sem necessidade de negar o serviço a ninguém que de outro modo o teria recebido. Doze meses depois, a comparação do sorteio mostrou um efeito menor mas real: uma melhoria de 9 pontos percentuais na colocação aos seis meses, e não a diferença de 14 pontos que a comparação original dava a entender. O ministério usou a estimativa baseada no sorteio, a par dos seus próprios dados de custos, para construir um argumento defensável de custo-efetividade (ver Tópico 2.2 — Análise custo-benefício social e análise custo-efetividade) a favor de uma implantação alargada mas limitada pelos recursos, em vez da expansão maior e inexequível que a comparação inicial deficiente teria justificado.

Quatro perspetivas setoriais

Poder local

As autarquias gerem tipicamente muitos programas pequenos e médios em vez de poucos muito grandes, o que torna as avaliações aleatorizadas feitas de propósito dispendiosas relativamente à dimensão do programa e empurra os avaliadores locais para métodos quase-experimentais que reutilizam dados administrativos já recolhidos — diferença-em-diferenças entre áreas de serviço que adotaram uma alteração em momentos diferentes, ou desenho de regressão descontínua em torno de um limiar local de elegibilidade. As diferenças de fronteira e de jurisdição que seriam um incómodo noutros lugares são muitas vezes a melhor experiência natural de um avaliador local, já que duas freguesias ou distritos vizinhos podem diferir na política e ser semelhantes na maioria dos outros aspetos.

Governo nacional

Os governos nacionais têm a escala para financiar avaliações aleatorizadas feitas de propósito e os conjuntos de dados administrativos, muitas vezes ligados entre registos fiscais, de prestações, de saúde e de educação, para executar desenhos quase-experimentais credíveis a baixo custo marginal. É também a esta escala que se situam as equipas de trabalho de avaliação do «que funciona» e as orientações centralizadas de avaliação, como o manual padrão de avaliação de um departamento do tesouro, porque apenas um governo nacional pode justificar o custo fixo de manter uma infraestrutura permanente de avaliação e um padrão metodológico comum em muitos departamentos.

Setor social e organizações sem fins lucrativos

As organizações sem fins lucrativos e não governamentais raramente têm as dimensões de amostra ou os orçamentos de que uma avaliação aleatorizada com potência adequada necessita, e os seus programas mudam muitas vezes de forma adaptativa em resposta ao que o pessoal da linha da frente observa, o que complica qualquer desenho que pressuponha um tratamento estável e bem definido. A parceria com um grupo de investigação académica ou com um intermediário especializado de avaliação, do tipo que cresceu em torno do movimento da avaliação aleatorizada no desenvolvimento internacional, é frequentemente o único caminho realista para uma estimativa causal rigorosa, e os financiadores pedem cada vez mais precisamente este tipo de parceria externa antes de se comprometerem com subvenções plurianuais.

Organismos multilaterais e internacionais

Os organismos multilaterais financiam programas em muitos países com sistemas de dados, capacidade administrativa e normas de revisão ética diferentes, o que torna os métodos causais normalizados mais difíceis de aplicar de modo uniforme mas cria também uma variação natural entre países que pode ela própria tornar-se uma experiência natural quando uma política é adotada em alguns Estados-membros antes de outros. As avaliações aleatorizadas na economia do desenvolvimento têm sido particularmente influentes a esta escala, produzindo evidência que moldou a forma como o financiamento do desenvolvimento internacional é afetado, mas comportam também um risco documentado de falha de validade externa: um resultado que se verifica no país e no contexto estudados não se transfere automaticamente para um contexto diferente, uma ressalva que a conceção de programas multilaterais demasiado frequentemente ignora.

Modos de falha comuns

O antes-depois ingénuo. Um programa é julgado unicamente pela comparação dos resultados antes de começar com os resultados depois, sem qualquer grupo de comparação, pelo que qualquer tendência já em curso — recuperação económica, mudança demográfica, uma alteração de política separada — é erradamente atribuída ao programa. O custo é uma narrativa causal confiante construída sobre um desenho que não consegue efetivamente distinguir o efeito do programa de tudo o resto que aconteceu ao mesmo tempo.

Enviesamento de seleção tomado por efeito do programa. Os participantes que aderiram por iniciativa própria, ou foram encaminhados porque pareciam prestes a ter êxito, são comparados com todos os outros, produzindo uma estimativa de impacto que é na realidade uma medida de quem o programa atraiu e não do que fez por eles. O custo é um programa alargado que parece menos eficaz, por vezes muito menos, quando chega a uma população menos autosselecionada.

A avaliação com potência insuficiente reportada como resultado nulo. Um pequeno piloto conclui «sem efeito estatisticamente significativo» e isso é lido como prova de que o programa não funciona, quando a amostra era de facto demasiado pequena para detetar um efeito da dimensão que importaria. O custo vai em ambos os sentidos: um programa genuinamente eficaz pode ser cancelado com base em evidência que nunca foi capaz de mostrar que funcionava, ou os recursos passam a financiar um ensaio maior que poderia ter sido desnecessário se o caderno de encargos original tivesse sido dimensionado corretamente quanto à potência.

Extrapolar uma estimativa local para além do seu contexto. Um desenho de regressão descontínua estima corretamente o efeito para as unidades próximas do limiar de elegibilidade, e uma estimativa por variáveis instrumentais estima corretamente o efeito para as unidades cujo estatuto de tratamento o instrumento efetivamente deslocou, mas ambas as conclusões são depois aplicadas a toda a população como se a estimativa valesse em toda a parte. O custo é uma política alargada com base num número que só foi alguma vez localmente verdadeiro.

A avaliação como teatro. Uma avaliação é encomendada para criar a aparência de uma tomada de decisão baseada em evidência, mas a decisão já foi efetivamente tomada e nenhuma conclusão plausível a teria alterado. O custo é um orçamento de avaliação desperdiçado e, de forma mais corrosiva, uma lenta erosão da confiança na própria avaliação quando o pessoal repara que os resultados nunca parecem alterar o que quer que seja.

Modelo de maturidade

Lista de verificação

• Enuncie o contrafactual de cada avaliação de programa importante numa frase em linguagem simples.
• Confirme como os participantes chegaram ao grupo de tratamento e avalie se esse processo poderia, por si só, explicar a diferença de resultados.
• Escolha o método de avaliação (avaliação aleatorizada, diferença-em-diferenças, desenho de regressão descontínua, variáveis instrumentais ou experiência natural) de modo a corresponder à regra de atribuição efetiva, antes de a entrega começar sempre que possível.
• Calcule a potência estatística necessária para detetar o menor tamanho de efeito que justificaria o custo do programa.
• Pré-registe as medidas de resultado e o plano de análise antes de os resultados serem vistos.
• Reporte a comparabilidade dos grupos de tratamento e de comparação a par do efeito principal.
• Encomende ou reveja a avaliação através de uma função independente da equipa de entrega.
• Separe a significância estatística da significância orçamental e prática em todos os relatórios aos decisores.
• Orce a avaliação como uma parte fixa do custo do programa na fase de conceção.
• Publique as conclusões nulas e negativas com a mesma visibilidade dada às positivas.
• Verifique se uma estimativa local positiva (de um desenho de regressão descontínua ou de variáveis instrumentais) está a ser extrapolada para além da população que efetivamente abrange.
• Encaminhe as avaliações concluídas para a base de evidência mais ampla que o seu setor mantém, e não apenas para o seu próprio arquivo.

Fontes principais

O núcleo metodológico deste tópico recorre à tradição da econometria aplicada associada a Joshua D. Angrist e Jörn-Steffen Pischke, e ao quadro de resultados potenciais formalizado por Donald Rubin. O movimento da avaliação aleatorizada na política pública e na economia do desenvolvimento, associado ao Abdul Latif Jameel Poverty Action Lab (J-PAL) e à sua rede académica, fornece grande parte da prática aplicada referida nas perspetivas setoriais. As normas governamentais de avaliação recorrem às orientações Magenta Book do Tesouro britânico, e a prática de síntese de evidências recorre às normas da Campbell Collaboration para a revisão sistemática em política social (ver Tópico 2.6 — Síntese de evidências e o que funciona).

Referências

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist and Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network