Síntese de evidências e o que funciona

Por que razão isto importa para o valor público

Um ministro, um presidente de câmara ou o diretor de programas de uma instituição de solidariedade raramente tem o luxo de um único estudo limpo em que basear a sua ação. Mais frequentemente, a secretária tem três avaliações que discordam, uma revisão da literatura que as cita seletivamente, um grupo de pressão a brandir o único ensaio que serve a sua causa e um prazo definido por um ciclo orçamental e não pelo ritmo da investigação. A síntese de evidências existe porque os estudos individuais são ruidosos: as amostras são pequenas, os contextos diferem e qualquer resultado pode ser um acaso, um ajuste local que não viajará ou um efeito genuíno. A pergunta a que um dirigente precisa de uma resposta raramente é «o que concluiu este estudo?», mas «em tudo o que de credível foi tentado, o que devo esperar se fizer isto aqui, agora?»

A teoria do valor público torna isto mais do que uma subtileza técnica. Um programa financiado com recursos coletivos assenta numa proposta de valor que os cidadãos, em conjunto, autorizariam (ver Tópico 2.1 — O painel de valor público e os quadros de resultados quanto à forma como essa proposta é declarada e acompanhada). Uma proposta construída sobre um único estudo selecionado a dedo, ou sobre nenhuma revisão de evidência, é uma pretensão mais frágil de legitimidade do que uma construída sobre uma síntese cuidadosa — e uma base mais fraca para a capacidade operacional, porque o pessoal e os orçamentos são comprometidos com base nela. O movimento do «que funciona» — a rede de organismos independentes que classificam a qualidade e a solidez da evidência de políticas — nasceu diretamente deste problema: demasiadas decisões públicas eram tomadas com base no estudo mais ruidoso e não no mais bem sustentado.

O problema mais difícil de que este tópico trata é o que um dirigente faz quando a própria síntese é inconclusiva, contestada ou simplesmente não está disponível a tempo. As hierarquias de evidência foram construídas para pôr ordem numa base de evidência desordenada, mas, usadas sem cuidado, «a evidência ainda não é suficientemente forte» torna-se uma desculpa permanente para evitar uma decisão que a realidade não esperará. Um dirigente que compreende como funciona a síntese, e onde estão os seus limites, consegue distinguir a incerteza genuína que justifica cautela de uma hierarquia usada como pretexto para a inação.

Este tópico é a sequência natural dos métodos de inferência causal em que uma síntese se apoia (ver Tópico 2.4 — Econometria do setor público e avaliação de programas) e situa-se a par, e não em substituição, dos quadros de resultados que uma síntese serve em última instância (ver Tópico 2.1 — O painel de valor público e os quadros de resultados). Um dirigente que sabe ler uma revisão sistemática, compreender uma classificação do que funciona e raciocinar com clareza sobre evidência ausente versus negativa toma melhores decisões em tempo real do que quem só consegue exigir «mais evidência» ou aceitar o primeiro estudo que lhe entregam.

Conceitos fundamentais

Uma revisão sistemática é uma síntese da evidência sobre uma questão definida que usa um método explícito, pré-especificado e reprodutível para encontrar, avaliar e combinar estudos, por contraste com uma revisão narrativa da literatura, que seleciona fontes ao critério do autor (ver Systematic review). As suas características definidoras são um protocolo registado escrito antes de a pesquisa começar, uma estratégia de pesquisa que inclui literatura não publicada e cinzenta, critérios explícitos de inclusão e um método padrão para avaliar o risco de enviesamento de cada estudo. É isto que separa uma revisão sistemática de um ensaio bem escrito com notas de rodapé: outra equipa que siga o mesmo protocolo encontraria em geral a mesma evidência e chegaria a uma conclusão em geral semelhante.

A meta-análise é a técnica estatística mais frequentemente associada a uma revisão sistemática: agrega os tamanhos de efeito quantitativos de vários estudos independentes numa estimativa única e mais precisa, ponderando normalmente cada estudo pela sua dimensão de amostra e qualidade (ver Meta-analysis). Uma meta-análise só é tão boa quanto os estudos que a alimentam; agregar cinco estudos fracos produz uma estimativa mais precisa de um efeito possivelmente enviesado, não uma estimativa digna de confiança. Os analistas reportam, por isso, a heterogeneidade — o quanto os resultados dos estudos variam para além do que o acaso preveria — porque uma elevada heterogeneidade sinaliza que os estudos não estavam realmente a testar a mesma coisa e que um único número agregado pode induzir em erro.

O enviesamento de publicação é a tendência para que os estudos com resultados positivos e significativos sejam publicados enquanto os resultados nulos ou negativos ficam na gaveta de um investigador, fazendo uma intervenção parecer mais consistentemente eficaz na literatura do que realmente é (ver Publication bias). Uma revisão rigorosa corrige isto pesquisando registos de ensaios e avaliações não publicadas, e não apenas artigos de revistas. Um dirigente que lê uma síntese construída apenas sobre artigos publicados deve perguntar o que fizeram os revisores para encontrar os estudos que nunca chegaram à impressão.

A hierarquia de evidência ordena os desenhos de estudo segundo a forma como controlam a confusão e o enviesamento, colocando tipicamente no topo as meta-análises de ensaios aleatorizados, a seguir os ensaios controlados aleatorizados individuais, depois os desenhos quase-experimentais e observacionais e, por fim, a opinião de peritos (ver Hierarchy of evidence). Um ensaio controlado aleatorizado atribui os participantes a um grupo de intervenção ou de comparação por acaso, a ferramenta mais poderosa para isolar um efeito causal de tudo o resto que se passa à sua volta (ver Randomized controlled trial; ver Tópico 2.4 — Econometria do setor público e avaliação de programas quanto à forma como tais desenhos são construídos e analisados). A hierarquia é uma heurística genuinamente útil, mas é uma heurística, não uma lei: um estudo observacional bem conduzido de uma política rara ou de evolução lenta pode superar um ensaio mal conduzido e com potência insuficiente, e um dirigente que a trate como uma ordenação absoluta descartará por vezes a evidência mais relevante a favor do desenho mais prestigiado.

A abordagem GRADE — Grading of Recommendations, Assessment, Development and Evaluations — formaliza um segundo juízo, separado, que a hierarquia por si só não faz: classifica tanto a certeza da evidência como, de forma independente, a força de uma recomendação para agir com base nela, porque a evidência forte nem sempre justifica uma recomendação forte, e a evidência fraca nem sempre justifica a inação perante um dano grave e urgente (ver GRADE approach). Esta separação é a ideia mais útil deste tópico para um decisor com pouco tempo: permite a um dirigente dizer, com honestidade, «a evidência aqui é moderada e, dado o que está em jogo e o custo de esperar, recomendo que avancemos» — um juízo defensável e documentado, em vez de uma falsa escolha entre esperar pela certeza e ignorar por completo a evidência.

Uma distinção que reaparece constantemente no debate político corrente é a que existe entre ausência de evidência e evidência de ausência: a falta de estudos sobre o efeito de uma intervenção («sem evidência de efeito») não é a mesma afirmação que um corpo de estudos com boa potência que encontrou positivamente nenhum efeito («evidência de ausência de efeito») (ver Evidence of absence). Um novo programa local ainda sem avaliações simplesmente não foi testado; um programa nacional bem estudado e repetidamente considerado como não alterando nenhum resultado foi testado e mostrou-se que não funciona. Confundir os dois é um dos erros mais consequentes que um dirigente público pode cometer: encerrar um projeto-piloto não testado mas promissor como se tivesse falhado, ou continuar a financiar um programa repetidamente refutado como se ninguém tivesse ainda olhado com suficiente atenção.

A política baseada em evidência é o movimento mais amplo e a pretensão normativa de que as decisões públicas devem assentar em evidência rigorosamente estabelecida e não apenas na ideologia, na anedota ou na intuição (ver Evidence-based policy). Os seus críticos, e cada vez mais os seus próprios defensores, preferem «política informada pela evidência», que admite que a evidência é um contributo entre vários — valores, mandato, custo e as questões de legitimidade que este livro trata como fundamentais — e não uma regra mecânica de decisão que a evidência por si só possa resolver.

Deste movimento nasceu o padrão do centro ou repositório do que funciona (what-works center / clearinghouse): um organismo independente que revê sistematicamente a evidência sobre intervenções num domínio de política e publica classificações acessíveis e comparáveis, em vez de deixar cada comissário local fazer a sua própria revisão. A Cochrane foi pioneira do modelo nos cuidados de saúde a partir de 1993, mantendo um manual vivo de metodologia de revisão sistemática usado muito para além da medicina (ver Cochrane (organisation)). A Campbell Collaboration estendeu a mesma metodologia à política social, à justiça penal, à educação e ao desenvolvimento internacional (ver Campbell Collaboration). Seguiram-se repositórios nacionais: o What Works Clearinghouse dos Estados Unidos, gerido pelo seu Institute of Education Sciences desde 2002, revê a investigação em educação face a normas explícitas de desenho (ver What Works Clearinghouse); a Education Endowment Foundation de Inglaterra publica um Teaching and Learning Toolkit amplamente usado que classifica intervenções em sala de aula quanto ao custo, à solidez da evidência e ao impacto típico num formato comparável (ver Education Endowment Foundation). Existem centros equivalentes para a redução do crime, a intervenção precoce, a falta de habitação e o envelhecimento saudável — uma pequena família internacional construída sobre o mesmo método: revisão sistemática, classificação transparente e um resumo orientado para os profissionais que dispensa um metodólogo para o ler.

Boas práticas

1. Peça a síntese antes do estudo isolado. Quando um resultado chamativo lhe chega à secretária, pergunte primeiro se já existe uma revisão sistemática ou uma classificação do que funciona para essa intervenção, e não se o estudo parece convincente isoladamente.
2. Leia a revisão subjacente a par de qualquer classificação de um repositório, e não em vez dela. Uma classificação de uma linha ou um ícone de cadeado resume um juízo; não substitui perceber em que evidência assenta e com que direta aplicabilidade ao seu contexto.
3. Separe explicitamente a qualidade da evidência da força da sua recomendação. Tome de empréstimo a lógica do GRADE, mesmo que informalmente: declare o grau de certeza da evidência e declare depois, em separado, com que força essa certeza, combinada com o que está em jogo e o custo, justifica agir agora.
4. Diga se enfrenta «ainda sem evidência» ou «evidência de ausência de efeito» antes de decidir. Ponha esta distinção por escrito em cada nota de evidência, porque as duas situações justificam respostas quase opostas — pilotagem prudente versus paragem ou reformulação.
5. Verifique a correspondência entre o contexto da revisão e o seu antes de presumir que o efeito se transferirá. Um tamanho de efeito agregado de estudos realizados noutros lugares é uma média, não uma promessa; pergunte o que moderou o efeito originalmente e se esses moderadores estão presentes aqui.
6. Encomende uma avaliação rápida de evidência quando uma revisão sistemática completa não couber no seu calendário. Uma revisão estruturada e com tempo limitado da literatura existente — dias ou semanas, não meses — é um caminho intermédio legítimo entre nova investigação primária e nenhuma revisão.
7. Publique as suas próprias avaliações, independentemente do resultado. Os resultados nulos e negativos são tão valiosos para a síntese seguinte como os positivos; retê-los agrava o enviesamento de publicação que mina todas as revisões futuras na sua área.
8. Construa uma relação permanente com um centro do que funciona ou repositório no seu domínio antes de precisar dele. Pesquisar pela primeira vez o conjunto de ferramentas de um organismo de síntese durante uma crise em curso é muito mais lento do que já saber o que cobre e a quem perguntar por uma lacuna.
9. Fixe o seu limiar de evidência antes de os resultados chegarem, e não depois. Acorde de antemão que nível de evidência justificaria alargar, pilotar mais ou parar, para reduzir a tentação de reinterpretar conclusões ambíguas de modo a ajustá-las a uma decisão já tomada.
10. Limite no tempo a procura de um estudo que removerá todas as dúvidas. Esperar por uma base de evidência perfeita e inequívoca é em si mesmo uma decisão, normalmente a de continuar a fazer o que já se faz; defina um prazo que respeite o custo do atraso tanto como o custo de agir com evidência fraca.
11. Trate a síntese como um contributo para a proposta de valor, e não como a sua substituição. A intervenção mais bem sustentada pela evidência não é automaticamente a escolha certa quando o custo, o efeito distributivo e a legitimidade são ponderados a par dela (ver Tópico 2.1 — O painel de valor público e os quadros de resultados).
12. Documente que evidência considerou e por que razão a ponderou como o fez. Um registo escrito dos estudos revistos e do raciocínio por trás do juízo final protege tanto a legitimidade da decisão como a capacidade do revisor seguinte de aprender com ela.

Perguntas para discutir com a sua equipa

Quando foi a última vez que mudámos uma decisão em curso porque uma revisão sistemática ou uma classificação do que funciona contrariava o que já tínhamos planeado fazer? Se a resposta honesta for «nunca», vale a pena parar nisso, porque sugere que a revisão de evidência pode funcionar como um exercício de confirmação e não como uma verificação genuína. Discuta uma decisão recente em que a base de evidência era mista e percorra se esta moldou de facto a escolha ou se foi reunida sobretudo para apoiar uma conclusão alcançada de antemão. Considere o que teria de mudar na forma e no momento como a evidência chega aos decisores para que tenha uma influência real e não um peso simbólico.

Estamos nalgum lado a tratar «sem evidência de efeito» como se fosse «evidência de ausência de efeito», ou o inverso? Percorra a sua carteira de programas atual e identifique qualquer programa a que tenha dado discretamente menor prioridade porque «a evidência não existe», e verifique se isso significa genuinamente não testado ou genuinamente refutado. Faça o mesmo no outro sentido: qualquer programa que continua a financiar porque «ninguém mostrou que não funciona», quando na verdade ninguém olhou. Discuta o que seria necessário para corrigir os dois ou três exemplos mais consequentes e quem deveria ser responsável por essa correção.

Se uma decisão precisasse de evidência até sexta-feira, teríamos de facto um processo de avaliação rápida de evidência, ou improvisaríamos um sob pressão? A pressão do tempo não é hipotética; é a condição normal em que se tomam a maior parte das decisões reais baseadas em evidência. Discuta se a sua organização tem um método permanente — uma equipa designada, um modelo, uma lista curta de centros do que funciona a consultar primeiro — ou se cada pedido urgente parte de uma página em branco. Se for o segundo caso, discuta como seria um processo mínimo viável de avaliação rápida e quem seria responsável por ele.

De quem é a hierarquia de evidência que estamos de facto a usar, e ajusta-se ao que está em jogo e à reversibilidade desta decisão? Domínios diferentes aplicam as suas normas de evidência de formas diferentes, e uma hierarquia calibrada para decisões irreversíveis e de grande importância nem sempre é a fasquia certa para um projeto-piloto barato, reversível e facilmente monitorizável. Discuta se a sua organização aplica uma única norma de evidência uniformemente, independentemente do que está em jogo, e se isso a protege de más decisões ou apenas atrasa as boas. Acorde, em equipa, que norma deve ser exigida para as três decisões seguintes da sua agenda, antes de saber o que diz a evidência.

O que fizemos, concretamente, para impedir que as nossas próprias avaliações desapareçam numa gaveta? Todo o resultado nulo não publicado em que a sua organização está sentada é uma lacuna que outra organização terá de redescobrir pelo caminho mais difícil. Discuta honestamente o seu historial: quantas das suas últimas 10 avaliações foram partilhadas externamente e o que aconteceu às que não foram. Acorde um compromisso concreto e dotado de recursos — uma política de publicação, um registo partilhado — em vez de uma aspiração geral a ser mais transparente.

Estamos a usar a expressão «precisamos de mais evidência» com honestidade, ou como forma de evitar uma decisão que não queremos tomar? Esta é a pergunta mais desconfortável deste tópico e merece ser feita diretamente. Identifique uma decisão específica atualmente bloqueada por razões de evidência e discuta com franqueza o que realmente o faria mudar de opinião e se a evidência que está à espera vai realisticamente chegar a tempo. Se não vai, discuta como seria uma decisão honesta em condições de incerteza genuína, em vez de uma espera continuada, e quem tem autoridade para a tomar.

Na prática: um exemplo de valor público

Uma agência regional de emprego, parte de um departamento do governo nacional responsável por programas do mercado de trabalho, estava sob pressão para decidir num único ciclo orçamental se alargava um projeto-piloto de formação profissional de três distritos a toda a região. O piloto combinava estágios subsidiados com acompanhamento estruturado, e o ensaio aleatorizado da própria agência nos três distritos-piloto encontrou um aumento modesto mas estatisticamente significativo do emprego sustentado aos 12 meses. Uma fonte de evidência rival complicava o quadro: uma revisão sistemática publicada no ano anterior, agregando nove programas semelhantes em vários países, encontrou um efeito médio próximo de zero, com ampla variação entre estudos e nenhum padrão claro a explicar quais os programas que funcionavam.

A unidade de evidência da agência tinha seis semanas antes do prazo de apresentação do orçamento para conciliar as duas conclusões. O primeiro instinto de um analista júnior foi tratar a revisão agregada como mais autorizada simplesmente por combinar mais estudos e recomendar o abandono do piloto. A consultora principal de evidência da unidade contrapôs: uma média agregada próxima de zero em programas genuinamente diferentes não era evidência forte de que este programa local específico, bem executado, falharia — era evidência de que os programas de formação profissional em geral são heterogéneos em qualidade e adequação, o que já era sabido. A elevada heterogeneidade reportada na revisão era ela própria a conclusão mais importante do que a média agregada.

A consultora propôs um caminho intermédio em vez de uma escolha binária. Recomendou um alargamento faseado a metade da região, com distritos de expansão selecionados aleatoriamente para que a própria implantação gerasse mais evidência em vez de gastar apenas face a um pressuposto (ver Tópico 2.4 — Econometria do setor público e avaliação de programas quanto à forma como uma implantação faseada pode ser concebida como uma avaliação adicional). Recomendou também a publicação integral do ensaio original, incluindo métodos e dados em bruto, para que pudesse ser recolhido pela revisão sistemática seguinte em vez de ficar num relatório interno que ninguém fora da agência alguma vez veria.

A direção do departamento aprovou a abordagem faseada, enquadrada explicitamente no caso de negócio (ver Tópico 2.5 — Casos de negócio e valor pelo dinheiro) como uma decisão tomada com evidência de certeza moderada e com um mecanismo integrado para resolver a incerteza em 18 meses, e não como uma decisão tomada por a evidência ser conclusiva. Passados 18 meses, os distritos de expansão mostraram um efeito próximo do do piloto original, e o departamento alargou-o mais com uma base de evidência mais forte do que qualquer das fontes oferecera isoladamente — e com um registo claro que mostrava por que razão escolhera agir em vez de esperar.

Este cenário é ilustrativo e fictício; não descreve o programa ou a avaliação de qualquer departamento real.

Quatro perspetivas setoriais

Poder local

Uma autarquia raramente tem o orçamento ou a carga de casos para encomendar a sua própria revisão sistemática, pelo que a sua competência prática consiste em traduzir a evidência de síntese nacional e internacional para um contexto local específico sob pressão real de tempo — verificando se a base de evidência de uma intervenção classificada num repositório se assemelha à sua própria população, sistema de serviços e nível de financiamento antes de presumir que o efeito classificado se transferirá. Os dirigentes locais estão também mais perto do custo de ambos os erros contra os quais este tópico alerta: agir com base numa intervenção que uma síntese já mostrou não funcionar, e recusar uma inovação local genuinamente promissora mas pouco avaliada porque nenhum centro do que funciona a classificou ainda.

Governo nacional

O governo nacional é onde se situam a maior parte dos centros do que funciona e das orientações formais de hierarquia de evidência, dando aos departamentos nacionais proximidade da infraestrutura de síntese mas também a maior exposição ao risco de tratar uma hierarquia de evidência como uma barreira burocrática e não como um auxiliar de decisão. A tarefa nacional característica é encomendar e manter essa infraestrutura — financiar um repositório, definir as suas normas de evidência e assegurar que as suas classificações chegam efetivamente aos responsáveis que redigem casos de negócio (ver Tópico 2.5 — Casos de negócio e valor pelo dinheiro), em vez de existirem como um sítio web respeitado que as equipas de política raramente consultam sob pressão de prazos.

Setor social e organizações sem fins lucrativos

As organizações sem fins lucrativos e de solidariedade carecem tipicamente de recursos para realizar avaliações rigorosas em escala, o que as torna muito dependentes de organismos externos de síntese e cada vez mais de financiadores que exigem o alinhamento com um nível classificado de evidência como condição da subvenção. Isto cria um risco distintivo: as organizações sob pressão financeira podem ser tentadas a exagerar o quanto o seu programa se ajusta a uma classificação favorável — uma forma de lavagem de evidência — ou, inversamente, pequenas instituições locais genuinamente eficazes podem ser excluídas do financiamento porque nunca foram suficientemente grandes para gerar a evidência que um repositório nacional classifica favoravelmente (ver Tópico 3.8 — Gestão do setor social e de organizações sem fins lucrativos, para as estruturas de financiamento por trás desta pressão).

Organismos multilaterais e internacionais

Os organismos multilaterais e internacionais enfrentam o problema da generalização na sua forma mais aguda: uma intervenção comprovada no sistema de saúde, no setor agrícola ou no mercado de trabalho de um país é rotineiramente proposta para um contexto económico e institucional muito diferente, e a literatura de síntese é melhor a assinalar esta transferência não fundamentada depois do facto do que antes dele. As redes de investigação criadas para colmatar esta lacuna, como o Abdul Latif Jameel Poverty Action Lab, empurraram a política de desenvolvimento para uma replicação específica de contexto em vez de uma prova de conceito num único país, mas a tensão entre evidência globalmente comparável e efeitos dependentes do contexto continua a ser uma característica definidora da síntese a esta escala.

Modos de falha comuns

A hierarquia de evidência como desculpa para a inação. Uma equipa que enfrenta uma decisão difícil e contestada cita «evidência insuficiente» ou «ainda sem ensaio aleatorizado» como razão para adiar indefinidamente, quando o verdadeiro motor do atraso é o desconforto político ou o desejo de evitar a responsabilização. Isto custa à organização a própria oportunidade, e custa à base de evidência um teste real que poderia ter resolvido a incerteza, deixando o decisor seguinte perante exatamente a mesma lacuna.

Confundir ausência de evidência com evidência de ausência. Uma inovação local promissora mas não testada é encerrada como se tivesse sido tentada e falhado, enquanto um programa nacional repetidamente refutado continua a ser financiado porque ninguém enquadrou a evidência como uma conclusão negativa em vez de uma lacuna. Ambos os erros são dispendiosos: um fecha opções promissoras, o outro protege programas que uma síntese lúcida teria retirado anos antes.

Tratar a classificação de um repositório como a análise completa. Um decisor lê um único ícone de cadeado ou uma classificação por estrelas e fica por aí, sem verificar se os estudos subjacentes correspondem ao seu contexto, população ou escala. As classificações são deliberadamente comprimidas por acessibilidade; usadas sem a revisão subjacente, podem produzir decisões confiantes assentes numa base de evidência mais ténue do que a simplicidade da classificação sugere.

Ignorar a heterogeneidade em favor do resultado agregado principal. O tamanho de efeito médio único de uma meta-análise é citado num documento de apresentação enquanto a ampla variação entre os estudos que o produziram — muitas vezes a conclusão mais informativa — é omitida. Isto produz falsa precisão: o decisor age como se todas as implementações se comportassem da mesma maneira, quando a qualidade da implementação e o contexto estão a fazer tanto trabalho como a própria intervenção.

Deixar que o enviesamento de publicação molde silenciosamente a base de evidência. Uma organização lê apenas a literatura académica publicada ao avaliar uma intervenção, perdendo os ensaios negativos não publicados e as avaliações internas que nunca chegaram a uma revista. O retrato resultante do «que funciona» inclina-se sistematicamente para o positivo, e as decisões construídas sobre ele herdam esse enviesamento sem que ninguém o tenha escolhido deliberadamente.

Modelo de maturidade

Lista de verificação

• Revisão sistemática ou classificação do que funciona consultada antes de se apoiar num único estudo.
• Revisão de evidência subjacente lida, e não apenas a classificação-resumo ou o ícone.
• Qualidade da evidência e força da recomendação declaradas como dois juízos separados.
• «Sem evidência de efeito» versus «evidência de ausência de efeito» explicitamente distinguidos na nota escrita.
• Correspondência de contexto entre os estudos revistos e a decisão em causa verificada (população, escala, sistema de serviços).
• Processo de avaliação rápida de evidência disponível e usado quando uma revisão completa não couber no calendário.
• Limiar de evidência para a decisão acordado antes de os resultados serem revistos.
• Plano instituído para publicar a própria avaliação desta organização, qualquer que seja o resultado.
• Relação permanente com um centro do que funciona ou repositório relevante estabelecida, e não construída de raiz sob pressão.
• Raciocínio por trás do juízo final documentado, incluindo a evidência considerada e rejeitada.
• Decisão revista face à proposta de valor e às considerações de legitimidade, e não apenas à solidez da evidência.

Fontes principais

• O Cochrane Handbook for Systematic Reviews of Interventions, mantido pela Cochrane, para a metodologia fundadora em que assenta a prática de revisão sistemática entre setores.
• A orientação da Campbell Collaboration sobre revisões sistemáticas e síntese de evidências para a política social, comportamental e criminológica, para a extensão direta dessa metodologia a domínios de política pública para além da saúde.
• O Standards Handbook do What Works Clearinghouse (Institute of Education Sciences, Estados Unidos), para um exemplo prático de como um repositório nacional fixa normas explícitas de desenho dos estudos e classifica a evidência face a elas.
• O Teaching and Learning Toolkit da Education Endowment Foundation, para um exemplo prático e orientado para os profissionais da tradução de evidência agregada em classificações comparáveis de custo, impacto e solidez da evidência.
• O trabalho da Organização para a Cooperação e Desenvolvimento Económicos (OCDE) sobre o reforço da capacidade para a elaboração de políticas informadas pela evidência, para um relato comparado entre países de como os governos organizam os lados da procura e da oferta da utilização de evidência.
• O What Works Center for Crime Reduction do College of Policing e o seu conjunto de ferramentas de redução do crime, para um exemplo adicional do padrão de repositório aplicado fora da saúde e da educação.

Referências

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Center for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-center-crime-reduction