Síntesis de la Evidencia y Lo Que Funciona

Por qué esto importa para el valor público

Un ministro, un alcalde, o el director de programa de una organización benéfica rara vez tiene el lujo de un único estudio limpio sobre el cual actuar. Más a menudo el escritorio sostiene tres evaluaciones que están en desacuerdo, una revisión de literatura que las cita selectivamente, un grupo de presión que agita el único ensayo que conviene a su caso, y una fecha límite fijada por un ciclo presupuestario en lugar del ritmo de la investigación. La síntesis de evidencia existe porque los estudios individuales son ruidosos: los tamaños de muestra son pequeños, los contextos difieren, y cualquier resultado podría ser una casualidad, un ajuste local que no viajará, o un efecto genuino. La pregunta que un líder necesita responder rara vez es '¿qué encontró este único estudio?' sino 'a través de todo lo creíble que se ha intentado, ¿qué debería esperar si hago esto aquí, ahora?'

La teoría del valor público hace de esto más que un tecnicismo técnico. Un programa financiado con recursos colectivos descansa sobre una propuesta de valor que los ciudadanos, en conjunto, autorizarían (véase el Tema 2.1 — El Cuadro de Mando de Valor Público y Marcos de Resultados sobre cómo se establece y rastrea esa propuesta). Una propuesta construida sobre un único estudio elegido selectivamente, o sin ninguna revisión de evidencia en absoluto, es una afirmación más débil sobre la legitimidad que una construida sobre una síntesis cuidadosa —y una base más débil para la capacidad operativa, porque el personal y los presupuestos se comprometen basándose en ella. El movimiento de 'lo que funciona' —la red de organismos independientes que califican la calidad y fuerza de la evidencia de política— creció directamente de este problema: demasiadas decisiones públicas se tomaban basándose en el estudio más ruidoso en lugar del mejor respaldado.

El problema más difícil que aborda este tema es qué hace un líder cuando la propia síntesis es inconclusa, disputada, o simplemente no está disponible a tiempo. Las jerarquías de evidencia se construyeron para traer orden a una base de evidencia desordenada, pero usadas descuidadamente, 'la evidencia aún no es lo suficientemente fuerte' se convierte en una excusa permanente para evitar una decisión que la realidad en realidad no esperará. Un líder que entiende cómo funciona la síntesis, y dónde están sus límites, puede distinguir la incertidumbre genuina que justifica precaución de una jerarquía usada como pretexto para la inacción.

Este tema es la secuela natural de los métodos de inferencia causal de los que se apoya una síntesis (véase el Tema 2.4 — Econometría del Sector Público y Evaluación de Programas) y se sitúa junto a, en lugar de reemplazar, los marcos de resultados a los que en última instancia sirve una síntesis (véase el Tema 2.1 — El Cuadro de Mando de Valor Público y Marcos de Resultados). Un líder que puede leer una revisión sistemática, entender una calificación de lo que funciona, y razonar claramente sobre evidencia ausente frente a negativa toma mejores decisiones en vivo que uno que solo puede exigir 'más evidencia' o aceptar el primer estudio que se le entregue.

Conceptos fundamentales

Una revisión sistemática es una síntesis de la evidencia sobre una pregunta definida que usa un método explícito, preespecificado, y reproducible para encontrar, evaluar, y combinar estudios, en contraste con una revisión narrativa de literatura, que selecciona fuentes a discreción del autor (véase Revisión sistemática). Sus características definitorias son un protocolo registrado escrito antes de que comience la búsqueda, una estrategia de búsqueda que incluye literatura no publicada y gris, criterios de inclusión explícitos, y un método estándar para evaluar el riesgo de sesgo de cada estudio. Esto es lo que separa una revisión sistemática de un ensayo bien escrito con notas al pie: otro equipo que siguiera el mismo protocolo encontraría en líneas generales la misma evidencia y llegaría a una conclusión en líneas generales similar.

El metaanálisis es la técnica estadística más a menudo emparejada con una revisión sistemática: agrupa los tamaños de efecto cuantitativos de múltiples estudios independientes en una única estimación más precisa, usualmente ponderando cada estudio por su tamaño de muestra y calidad (véase Metaanálisis). Un metaanálisis solo es tan bueno como los estudios que lo alimentan; agrupar cinco estudios débiles produce una estimación más precisa de un efecto posiblemente sesgado, no una confiable. Los analistas por lo tanto informan la heterogeneidad —cuánto varían los resultados de los estudios más allá de lo que predeciría el azar— porque una alta heterogeneidad señala que los estudios no estaban realmente probando la misma cosa, y un único número agrupado puede engañar.

El sesgo de publicación es la tendencia a que se publiquen estudios con resultados positivos y significativos mientras los resultados nulos o negativos se quedan en el cajón de archivo de un investigador, haciendo que una intervención parezca más consistentemente efectiva en la literatura de lo que realmente es (véase Sesgo de publicación). Una revisión rigurosa corrige esto buscando en registros de ensayos y evaluaciones no publicadas, no solo artículos de revista. Un líder que lee una síntesis construida solo sobre artículos publicados debería preguntar qué hicieron los revisores para encontrar los estudios que nunca llegaron a imprimirse.

La jerarquía de la evidencia clasifica los diseños de estudio por qué tan bien controlan la confusión y el sesgo, típicamente colocando los metaanálisis de ensayos aleatorizados en la cima, los ensayos controlados aleatorizados individuales a continuación, luego los diseños cuasi-experimentales y observacionales, y la opinión de expertos en la parte inferior (véase Jerarquía de la evidencia). Un ensayo controlado aleatorizado asigna a los participantes a un grupo de intervención o de comparación por azar, la herramienta individual más poderosa para aislar un efecto causal de todo lo demás que ocurre a su alrededor (véase Ensayo controlado aleatorizado; véase el Tema 2.4 — Econometría del Sector Público y Evaluación de Programas sobre cómo se construyen y analizan tales diseños). La jerarquía es una heurística genuinamente útil, pero una heurística, no una ley: un estudio observacional bien realizado de una política rara o de movimiento lento puede superar a un ensayo mal realizado y con poca potencia, y un líder que la trata como una clasificación absoluta a veces descartará la evidencia más relevante por el diseño más prestigioso.

El enfoque GRADE —Clasificación de Recomendaciones, Evaluación, Desarrollo, y Valoraciones— formaliza un segundo juicio separado que la jerarquía por sí sola no hace: califica tanto la certeza de la evidencia como, independientemente, la fuerza de una recomendación de actuar sobre ella, porque una evidencia fuerte no siempre justifica una recomendación fuerte, y una evidencia débil no siempre justifica la inacción frente a un daño severo y urgente (véase Enfoque GRADE). Esta separación es la idea individual más útil de este tema para un tomador de decisiones bajo presión de tiempo: permite a un líder decir, honestamente, 'la evidencia aquí es moderada, y dado lo que está en juego y el coste de esperar, recomiendo que procedamos' —un juicio defendible y documentado, en lugar de una falsa elección entre esperar la certeza e ignorar la evidencia por completo.

Una distinción que recurre constantemente en el debate de política en vivo es entre ausencia de evidencia y evidencia de ausencia: una falta de estudios sobre el efecto de una intervención ('ninguna evidencia de efecto') no es la misma afirmación que un cuerpo de estudios bien potenciado que encontró positivamente ningún efecto ('evidencia de ningún efecto') (véase Evidencia de ausencia). Un nuevo programa local sin evaluaciones todavía simplemente no se ha probado; un programa nacional bien estudiado repetidamente encontrado que no mueve ningún resultado se ha probado y se ha mostrado que no funciona. Confundir los dos es uno de los errores más consecuentes que puede cometer un líder público: eliminar un piloto no probado pero prometedor como si hubiera fallado, o continuar financiando un programa repetidamente refutado como si nadie hubiera mirado lo suficientemente de cerca todavía.

La política basada en evidencia es el movimiento más amplio y la afirmación normativa de que las decisiones públicas deberían fundamentarse en evidencia rigurosamente establecida en lugar de en ideología, anécdota, o intuición solamente (véase Política basada en evidencia). Sus críticos, y cada vez más sus propios proponentes, prefieren 'política informada por evidencia', que concede que la evidencia es un insumo entre varios —valores, mandato, coste, y las cuestiones de legitimidad que este libro trata como fundacionales— en lugar de una regla de decisión mecánica que la evidencia por sí sola puede resolver.

De este movimiento creció el patrón de centro de lo que funciona o clearinghouse: un organismo independiente que revisa sistemáticamente la evidencia para intervenciones en un dominio de política y publica calificaciones accesibles y comparables, en lugar de dejar que cada comisionador local ejecute su propia revisión. Cochrane fue pionero en el modelo en salud desde 1993, manteniendo un manual vivo de metodología de revisión sistemática usado mucho más allá de la medicina (véase Cochrane (organización)). La Campbell Collaboration extendió la misma metodología a la política social, la justicia penal, la educación, y el desarrollo internacional (véase Campbell Collaboration). Siguieron clearinghouses nacionales: el What Works Clearinghouse de Estados Unidos, gestionado por su Instituto de Ciencias de la Educación desde 2002, revisa la investigación educativa frente a estándares de diseño explícitos (véase What Works Clearinghouse); la Education Endowment Foundation de Inglaterra publica un Teaching and Learning Toolkit ampliamente usado que califica las intervenciones de aula por coste, fuerza de evidencia, e impacto típico en un formato comparable (véase Education Endowment Foundation). Existen centros equivalentes para la reducción del crimen, la intervención temprana, la falta de vivienda, y el envejecimiento saludable —una pequeña familia internacional construida sobre el mismo método: revisión sistemática, calificación transparente, y un resumen orientado al profesional que no necesita a un metodólogo para leerlo.

Mejores prácticas

1. Pida la síntesis antes que el estudio individual. Cuando un resultado llamativo llega a su escritorio, pregunte primero si ya existe una revisión sistemática o una calificación de lo que funciona para esa intervención, no si el estudio parece convincente de forma aislada.
2. Lea la revisión subyacente junto a cualquier calificación de herramienta, no en su lugar. Una calificación de una línea o un icono de candado resume un juicio; no es un sustituto de entender sobre qué evidencia descansa y qué tan directamente se aplica a su contexto.
3. Separe la calidad de la evidencia de la fuerza de su recomendación, explícitamente. Tome prestada la lógica de GRADE incluso informalmente: declare cuán cierta es la evidencia, luego declare por separado cuán fuertemente esa certeza, combinada con lo que está en juego y el coste, justifica actuar ahora.
4. Nombre si enfrenta 'ninguna evidencia todavía' o 'evidencia de ningún efecto' antes de decidir. Ponga esta distinción por escrito en cada resumen de evidencia, porque las dos situaciones justifican respuestas casi opuestas —pilotaje cauteloso frente a detener o rediseñar.
5. Compruebe la coincidencia entre el contexto de la revisión y el suyo antes de asumir que el efecto se transferirá. Un tamaño de efecto agrupado de estudios realizados en otros lugares es un promedio, no una promesa; pregunte qué moderó el efecto originalmente y si esos moderadores están presentes aquí.
6. Encargue una evaluación rápida de evidencia cuando una revisión sistemática completa no se ajuste a su plazo. Una revisión estructurada y con tiempo limitado de la literatura existente —días o semanas, no meses— es un camino intermedio legítimo entre la investigación primaria nueva y ninguna revisión en absoluto.
7. Publique sus propias evaluaciones independientemente del resultado. Los hallazgos nulos y negativos son tan valiosos para la próxima síntesis como los positivos; retenerlos empeora el sesgo de publicación que socava cada revisión futura en su campo.
8. Construya una relación permanente con un centro de lo que funciona o clearinghouse en su dominio antes de necesitarlo. Buscar en frío la herramienta de un organismo de síntesis por primera vez durante una crisis en vivo es mucho más lento que ya saber qué cubre y a quién preguntar sobre una brecha.
9. Fije su umbral de evidencia antes de que lleguen los resultados, no después. Acuerde de antemano qué nivel de evidencia justificaría ampliar, pilotar más, o detener, para reducir la tentación de reinterpretar hallazgos ambiguos para ajustarse a una decisión ya tomada.
10. Limite el tiempo de la búsqueda de un estudio que eliminará toda duda. Esperar una base de evidencia perfecta e inequívoca es en sí misma una decisión, usualmente de seguir haciendo lo que ya hace; fije un plazo que respete el coste del retraso tanto como el coste de actuar sobre evidencia débil.
11. Trate la síntesis como un insumo para la propuesta de valor, no un reemplazo de ella. La intervención mejor respaldada no es automáticamente la elección correcta una vez que se sopesan junto a ella el coste, el efecto distributivo, y la legitimidad (véase el Tema 2.1 — El Cuadro de Mando de Valor Público y Marcos de Resultados).
12. Documente qué evidencia consideró, y por qué la ponderó como lo hizo. Un registro escrito de los estudios revisados y el razonamiento detrás del juicio final protege tanto la legitimidad de la decisión como la capacidad del próximo revisor de aprender de ella.

Preguntas para discutir con su equipo

¿Cuándo cambiamos por última vez una decisión en vivo porque una revisión sistemática o una calificación de lo que funciona contradijo lo que ya habíamos planeado hacer? Si la respuesta honesta es 'nunca', eso vale la pena sentarse a considerar, porque sugiere que la revisión de evidencia puede funcionar como un ejercicio de confirmación en lugar de una comprobación genuina. Discuta una decisión reciente donde la base de evidencia era mixta y recorra si realmente dio forma a la elección o se recopiló principalmente para respaldar una conclusión alcanzada de antemano. Considere qué necesitaría cambiar en cómo llega la evidencia a los tomadores de decisiones, y cuándo, para que tenga influencia real en lugar de peso simbólico.

¿Estamos en algún lugar tratando 'ninguna evidencia de efecto' como si fuera 'evidencia de ningún efecto', o al revés? Recorra su cartera de programas actual e identifique cualquier programa que haya despriorizado silenciosamente porque 'la evidencia no está ahí', y compruebe si eso significa genuinamente no probado o genuinamente refutado. Haga lo mismo en la otra dirección: cualquier programa que sigue financiando porque 'nadie ha mostrado que no funciona', cuando de hecho nadie ha mirado. Discuta qué se necesitaría para corregir los dos o tres ejemplos más consecuentes, y quién debería poseer esa corrección.

Si una decisión necesitara evidencia para el viernes, ¿realmente tenemos un proceso de evaluación rápida de evidencia, o improvisaríamos uno bajo presión? La presión de tiempo no es hipotética; es la condición normal bajo la cual se toman la mayoría de las decisiones reales basadas en evidencia. Discuta si su organización tiene un método permanente —un equipo nombrado, una plantilla, una lista corta de centros de lo que funciona para consultar primero— o si cada solicitud urgente comienza desde una página en blanco. Si es lo segundo, discuta cómo se vería un proceso mínimo viable de evaluación rápida y quién lo poseería.

¿De quién es la jerarquía de evidencia que realmente estamos usando, y se ajusta a lo que está en juego y la reversibilidad de esta decisión? Diferentes dominios aplican sus estándares de evidencia de forma diferente, y una jerarquía calibrada para decisiones irreversibles y de alto riesgo no siempre es la barra correcta para un piloto barato, reversible, y fácil de monitorear. Discuta si su organización aplica un estándar de evidencia uniformemente independientemente de lo que esté en juego, y si eso la protege de malas decisiones o simplemente ralentiza las buenas. Acuerden, como equipo, qué estándar debería requerirse para las próximas tres decisiones en su agenda, antes de saber qué dice la evidencia.

¿Qué hemos hecho, concretamente, para evitar que nuestras propias evaluaciones desaparezcan en un cajón de archivo? Cada resultado nulo no publicado que su organización guarda es una brecha que alguna otra organización tendrá que redescubrir por las malas. Discuta su historial honestamente: cuántas de sus últimas 10 evaluaciones se compartieron externamente, y qué pasó con las que no lo fueron. Acuerden un compromiso concreto y con recursos —una política de publicación, un registro compartido— en lugar de una aspiración general de ser más transparentes.

¿Estamos usando la frase 'necesitamos más evidencia' honestamente, o como una forma de evitar una decisión que no queremos tomar? Esta es la pregunta más incómoda de este tema, y merece hacerse directamente. Identifique una decisión específica actualmente estancada por motivos de evidencia y discuta, con franqueza, qué realmente cambiaría de opinión, y si la evidencia que espera realmente va a llegar a tiempo. Si no es así, discuta cómo se vería una decisión honesta bajo incertidumbre genuina en lugar de una espera continuada, y quién tiene la autoridad para tomarla.

En la práctica: un ejemplo de valor público

Una agencia regional de empleo, parte de un departamento del gobierno nacional responsable de los programas del mercado laboral, estaba bajo presión de decidir dentro de un ciclo presupuestario si ampliar un piloto de formación laboral de tres distritos a toda la región. El piloto combinaba colocaciones laborales subsidiadas con mentoría estructurada, y el propio ensayo aleatorizado de la agencia en los tres distritos piloto encontró un aumento modesto pero estadísticamente significativo en el empleo sostenido a los 12 meses. Una fuente de evidencia rival complicó el panorama: una revisión sistemática publicada el año anterior, agrupando nueve programas similares en varios países, encontró un efecto promedio cercano a cero, con amplia variación entre estudios y ningún patrón claro que explicara qué programas funcionaban.

La unidad de evidencia de la agencia tenía seis semanas antes de la fecha límite de presentación presupuestaria para reconciliar los dos hallazgos. El primer instinto de un analista junior fue tratar la revisión agrupada como más autoritativa simplemente porque combinaba más estudios, y recomendar desechar el piloto. La asesora principal de evidencia de la unidad se opuso: un promedio agrupado cercano a cero entre programas genuinamente diferentes no era evidencia fuerte de que este programa local específico y bien implementado fallaría —era evidencia de que los programas de formación laboral en general son heterogéneos en calidad y ajuste, lo cual ya se sabía. La alta heterogeneidad informada en la revisión era en sí misma el hallazgo más importante que el promedio agrupado.

La asesora propuso un camino intermedio en lugar de una elección binaria. Recomendó una ampliación escalonada a la mitad de la región, con distritos de expansión seleccionados aleatoriamente de modo que el propio despliegue generara más evidencia en lugar de meramente gastar contra un supuesto (véase el Tema 2.4 — Econometría del Sector Público y Evaluación de Programas sobre cómo se puede diseñar un despliegue por fases como una evaluación adicional). También recomendó publicar el ensayo original en su totalidad, métodos y datos brutos incluidos, de modo que pudiera ser recogido por la próxima revisión sistemática en lugar de quedarse en un informe interno que nadie fuera de la agencia vería jamás.

El liderazgo del departamento aprobó el enfoque escalonado, enmarcado explícitamente en el análisis de viabilidad (véase el Tema 2.5 — Análisis de Viabilidad y Relación Calidad-Precio) como una decisión tomada bajo evidencia de certeza moderada con un mecanismo incorporado para resolver la incertidumbre dentro de 18 meses, no como una decisión tomada porque la evidencia era concluyente. Después de 18 meses, los distritos de expansión mostraron un efecto cercano al del piloto original, y el departamento amplió más con una base de evidencia más fuerte de la que cualquiera de las dos fuentes había ofrecido sola —y un rastro documental claro que mostraba por qué había elegido actuar en lugar de esperar.

Este escenario es ilustrativo y ficticio; no describe el programa ni la evaluación de ningún departamento real.

Cuatro lentes sectoriales

Gobierno local

Una autoridad local rara vez tiene el presupuesto o la carga de casos para encargar su propia revisión sistemática, así que su oficio práctico es traducir la evidencia de síntesis nacional e internacional a un contexto local específico bajo presión de tiempo real —comprobando si la base de evidencia de una intervención calificada en una herramienta se asemeja a su propia población, sistema de servicios, y nivel de financiación antes de asumir que el efecto calificado se transferirá. Los líderes locales también están más cerca del coste de ambos errores que advierte este tema: actuar sobre una intervención que una síntesis ya ha mostrado que no funciona, y rechazar una innovación local genuinamente prometedora pero poco evaluada porque ningún centro de lo que funciona la ha calificado todavía.

Gobierno nacional

El gobierno nacional es donde se sitúan la mayoría de los centros de lo que funciona y la orientación formal de jerarquía de evidencia, dando a los departamentos nacionales proximidad a la infraestructura de síntesis pero también la mayor exposición a tratar una jerarquía de evidencia como una puerta burocrática en lugar de una ayuda de decisión. La tarea nacional característica es encargar y mantener esa infraestructura —financiar un clearinghouse, fijar sus estándares de evidencia, y asegurar que sus calificaciones realmente lleguen a los funcionarios que escriben análisis de viabilidad (véase el Tema 2.5 — Análisis de Viabilidad y Relación Calidad-Precio), en lugar de existir como un sitio web bien considerado que los equipos de política rara vez consultan bajo presión de plazo.

Sector social y sin ánimo de lucro

Las organizaciones sin ánimo de lucro y benéficas típicamente carecen de los recursos para ejecutar evaluaciones rigurosas a escala, haciéndolas fuertemente dependientes de organismos de síntesis externos y cada vez más de financiadores que exigen alineación con un nivel de evidencia calificado como condición de subvención. Esto crea un riesgo distintivo: las organizaciones bajo presión financiera pueden verse tentadas a exagerar qué tan bien encaja su programa en una calificación favorable —una forma de lavado de evidencia— o, a la inversa, organizaciones benéficas locales pequeñas pero genuinamente efectivas pueden verse excluidas de la financiación porque nunca han sido lo suficientemente grandes como para generar la evidencia que un clearinghouse nacional califica altamente (véase el Tema 3.8 — Gestión del Sector Social y Organizaciones Sin Ánimo de Lucro para las estructuras de financiación detrás de esta presión).

Multilateral e internacional

Los organismos multilaterales e internacionales enfrentan el problema de generalizabilidad en su forma más aguda: una intervención probada en el sistema de salud, sector agrícola, o mercado laboral de un país se propone rutinariamente para un contexto económico e institucional muy diferente, y la literatura de síntesis es mejor señalando esta transferencia no respaldada después del hecho que antes. Las redes de investigación construidas para cerrar esta brecha, como el Abdul Latif Jameel Poverty Action Lab, han empujado la política de desarrollo hacia la replicación específica del contexto en lugar de la prueba de concepto de un único país, pero la tensión entre evidencia globalmente comparable y efectos dependientes del contexto sigue siendo una característica definitoria de la síntesis a esta escala.

Modos de fallo comunes

La jerarquía de evidencia como excusa para la inacción. Un equipo que enfrenta una decisión difícil y disputada cita 'evidencia insuficiente' o 'ningún ensayo aleatorizado todavía' como razón para aplazar indefinidamente, cuando el motor honesto del retraso es incomodidad política o un deseo de evitar la rendición de cuentas. Esto le cuesta a la organización la oportunidad misma, y le cuesta a la base de evidencia una prueba del mundo real que podría haber resuelto la incertidumbre, dejando al próximo tomador de decisiones enfrentando exactamente la misma brecha.

Confundir la ausencia de evidencia con evidencia de ausencia. Una innovación local prometedora pero no probada se elimina como si se hubiera intentado y fallado, mientras un programa nacional repetidamente refutado sigue siendo financiado porque nadie ha enmarcado la evidencia como un hallazgo negativo en lugar de una brecha. Ambos errores son costosos: uno cierra opciones prometedoras, el otro protege programas que una síntesis clara habría retirado años antes.

Tratar una calificación de herramienta como el análisis completo. Un tomador de decisiones lee un único icono de candado o calificación de estrellas y se detiene ahí, sin comprobar si los estudios subyacentes coinciden con su contexto, población, o escala. Las calificaciones se comprimen deliberadamente para la accesibilidad; usadas sin la revisión subyacente, pueden producir decisiones seguras de sí mismas construidas sobre una base de evidencia más delgada de lo que sugiere la simplicidad de la calificación.

Ignorar la heterogeneidad a favor del resultado agrupado principal. El único tamaño de efecto promedio de un metaanálisis se cita en un informe mientras se descarta la amplia variación entre los estudios que lo produjeron —a menudo el hallazgo más informativo. Esto produce falsa precisión: un tomador de decisiones actúa como si cada implementación se comportara de la misma forma, cuando la calidad de implementación y el contexto están haciendo tanto trabajo como la propia intervención.

Dejar que el sesgo de publicación silenciosamente dé forma a la base de evidencia. Una organización lee solo la literatura académica publicada al evaluar una intervención, perdiéndose los ensayos negativos no publicados y las evaluaciones internas que nunca llegaron a una revista. El panorama resultante de 'lo que funciona' se sesga sistemáticamente hacia lo positivo, y las decisiones construidas sobre él heredan ese sesgo sin que nadie lo haya elegido deliberadamente.

Modelo de madurez

Lista de verificación

• Revisión sistemática o calificación de lo que funciona comprobada antes de confiar en un único estudio.
• Revisión de evidencia subyacente leída, no solo la calificación resumida o el icono.
• Calidad de la evidencia y fuerza de la recomendación declaradas como dos juicios separados.
• 'Ninguna evidencia de efecto' frente a 'evidencia de ningún efecto' distinguidas explícitamente en el resumen escrito.
• Coincidencia de contexto entre los estudios revisados y la decisión en cuestión comprobada (población, escala, sistema de servicios).
• Proceso de evaluación rápida de evidencia disponible y usado cuando una revisión completa no se ajuste al plazo.
• Umbral de evidencia para la decisión acordado antes de revisar los resultados.
• Plan establecido para publicar la propia evaluación de esta organización, cualquiera que sea el resultado.
• Relación permanente con un centro de lo que funciona o clearinghouse relevante establecida, no construida desde cero bajo presión.
• Razonamiento detrás del juicio final documentado, incluyendo la evidencia considerada y rechazada.
• Decisión revisada frente a la propuesta de valor y consideraciones de legitimidad, no solo la fuerza de la evidencia.

Fuentes clave

• El Manual Cochrane de Revisiones Sistemáticas de Intervenciones, mantenido por Cochrane, para la metodología fundacional sobre la que se construye la práctica de revisión sistemática entre sectores.
• La orientación de la Campbell Collaboration sobre revisiones sistemáticas y síntesis de evidencia para política social, conductual, y criminológica, para la extensión directa de esa metodología a dominios de política pública más allá de la salud.
• El Manual de Estándares del What Works Clearinghouse (Instituto de Ciencias de la Educación, Estados Unidos), para un ejemplo trabajado de cómo un clearinghouse nacional fija estándares explícitos de diseño de estudio y califica la evidencia frente a ellos.
• El Teaching and Learning Toolkit de la Education Endowment Foundation, para un ejemplo práctico y orientado al profesional de traducir evidencia agrupada en calificaciones comparables de coste, impacto, y fuerza de evidencia.
• El trabajo de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) sobre construir capacidad para la formulación de políticas informada por evidencia, para un relato entre países de cómo los gobiernos organizan los lados de demanda y oferta del uso de evidencia.
• El What Works Centre for Crime Reduction del College of Policing y su herramienta de reducción del crimen, para un ejemplo trabajado adicional del patrón de clearinghouse aplicado fuera de la salud y la educación.

Referencias

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Evidence-based policy — Wikipedia — https://en.wikipedia.org/wiki/Evidence-based_policy
4. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
5. Campbell Collaboration — Wikipedia — https://en.wikipedia.org/wiki/Campbell_Collaboration
6. What Works Clearinghouse — Wikipedia — https://en.wikipedia.org/wiki/What_Works_Clearinghouse
7. Education Endowment Foundation — Wikipedia — https://en.wikipedia.org/wiki/Education_Endowment_Foundation
8. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
9. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
10. Evidence of absence — Wikipedia — https://en.wikipedia.org/wiki/Evidence_of_absence
11. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
12. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current
14. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
15. What Works Clearinghouse Standards Handbook — Institute of Education Sciences, U.S. Department of Education — https://ies.ed.gov/ncee/wwc/Handbooks
16. Teaching and Learning Toolkit — Education Endowment Foundation — https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit
17. Building Capacity for Evidence-Informed Policy-Making — OECD — https://www.oecd.org/en/publications/building-capacity-for-evidence-informed-policy-making_86331250-en.html
18. What Works Centre for Crime Reduction — College of Policing — https://www.college.police.uk/research/what-works-centre-crime-reduction