Econometría del Sector Público y Evaluación de Programas

Por qué esto importa para el valor público

Cada año, los organismos públicos renuevan, amplían, o cancelan programas basándose en una comparación de resultados: los participantes en el programa de empleo encontraron trabajo más rápido que los no participantes; los alumnos en el programa de tutoría puntuaron más alto que los alumnos que no recibieron tutoría. Cada comparación es verdadera como descripción y peligrosa como argumento, porque ninguna, por sí sola, dice si el programa causó la diferencia. Las personas que se inscriben en un programa de empleo son frecuentemente más motivadas que las que no lo hacen, y los alumnos seleccionados para tutoría a menudo se eligen porque un profesor ya espera que respondan bien. La brecha entre 'el grupo tratado lo hizo mejor' y 'el tratamiento hizo que lo hicieran mejor' es exactamente la brecha que la inferencia causal existe para cerrar.

Esto no es un tecnicismo académico. A un comité de finanzas al que se le pide renovar la financiación de un programa implícitamente se le está pidiendo autorizar el gasto de dinero público en una afirmación de causalidad, use o no alguien en la sala esa palabra. El Tema 2.1 dio el marco de resultados que establece qué pretende cambiar un programa (véase el Tema 2.1 — El Cuadro de Mando de Valor Público y Marcos de Resultados); este tema da los métodos que ponen a prueba si realmente lo cambió, y en cuánto. El análisis coste-beneficio y coste-efectividad (véase el Tema 2.2 — Análisis Coste-Beneficio Social y Rentabilidad) y el retorno social de la inversión (véase el Tema 2.3 — Retorno Social de la Inversión y Medición de Impacto) ambos necesitan un tamaño de efecto defendible con el que trabajar; este tema es de donde proviene ese tamaño de efecto, o donde se aprende que el número que ya se tiene no puede soportar el peso que se le está poniendo.

Lo que está en juego no es solo financiero. Un gobierno que amplía un programa ineficaz porque una evaluación defectuosa lo hizo parecer efectivo ha desperdiciado dinero y, a menudo peor, ha desplazado a una alternativa genuinamente efectiva que nunca tuvo la oportunidad; un gobierno que cancela un programa efectivo porque una comparación ingenua lo hizo parecer inútil ha destruido valor que una evaluación mejor diseñada habría protegido. Acertar en la identificación causal, y saber cuándo no se puede acertar, es en sí mismo una competencia de valor público, no un interés secundario de especialistas.

Conceptos fundamentales

La inferencia causal es la rama de la estadística que se ocupa de establecer si, y en cuánto, el cambio de una variable produce un cambio en otra, a diferencia de que las dos variables meramente se muevan juntas. Suministra el fundamento conceptual —razonamiento contrafactual, el lenguaje de tratamiento y control, el catálogo de amenazas específicas a una afirmación causal— del que se apoya cada método de este tema. Wikipedia: Inferencia causal.

El contrafactual es el resultado que una persona o unidad habría experimentado de no haber recibido el programa, y es la cantidad central e inobservable que cada método causal intenta aproximar: se puede observar lo que le ocurrió a un participante, pero nunca lo que le habría ocurrido a esa misma persona sin asistencia. Cada método a continuación es una estrategia diferente para construir un sustituto creíble de esa observación faltante. El modelo causal de Rubin, desarrollado principalmente por el estadístico Donald Rubin, formaliza esto como el marco de 'resultados potenciales': cada unidad tiene un resultado potencial bajo tratamiento y uno bajo control, y el efecto causal es la diferencia entre ellos, de los cuales solo uno se observa jamás. Wikipedia: Modelo causal de Rubin.

La confusión ocurre cuando un tercer factor influye tanto en si una unidad recibe un programa como en el resultado que el programa pretende cambiar, haciendo que parezca que el programa causó un efecto que en realidad produjo el factor de confusión. La motivación, la habilidad previa, las condiciones económicas locales, y la riqueza del hogar son factores de confusión recurrentes en la evaluación de programas públicos, porque habitualmente afectan tanto a quién toma un servicio como a cómo le va después a esa persona o lugar. Wikipedia: Confusión (estadística).

El sesgo de selección es el caso específico de confusión que surge de cómo los participantes llegan a estar en el grupo de tratamiento en primer lugar —autoselección, derivación por parte del personal, o reglas de elegibilidad— de tal manera que los grupos tratado y no tratado difieren sistemáticamente antes de que el programa siquiera los toque. Un programa de empleo al que solo se inscriben los buscadores de empleo más motivados parecerá efectivo incluso si no hace nada, porque el grupo de comparación nunca fue un sustituto justo de lo que los participantes habrían hecho sin asistencia. Wikipedia: Sesgo de selección.

La correlación no implica causalidad es la advertencia general que este tema pone en práctica: dos variables que se mueven juntas son consistentes con que una cause la otra, con lo contrario, con una causa común compartida, o con la coincidencia, y el patrón por sí solo no puede distinguir entre estas. Las ventas de helado y las muertes por ahogamiento suben ambas cada verano sin que ninguna cause la otra, porque el clima cálido impulsa ambas; la evaluación de programas públicos está llena de versiones más sutiles de la misma trampa. Wikipedia: La correlación no implica causalidad.

El ensayo controlado aleatorizado (ECA), llamado evaluación aleatorizada en la literatura de evaluación de políticas, asigna aleatoriamente unidades elegibles a un grupo de tratamiento que recibe el programa y un grupo de control que no lo recibe, de modo que en promedio los dos grupos difieren solo en si fueron tratados. La aleatorización es poderosa porque trata con la confusión en bloque: equilibra tanto los factores de confusión que se pueden medir como los que no, sin necesidad de nombrarlos de antemano. Wikipedia: Ensayo controlado aleatorizado.

Las diferencias en diferencias (DeD) comparan el cambio en los resultados a lo largo del tiempo para un grupo tratado frente al cambio en el mismo período para un grupo de comparación que no recibió el programa, asumiendo que, en ausencia del programa, los dos grupos habrían seguido tendencias paralelas. Es el método caballo de batalla cuando un programa llegó a una jurisdicción antes que a otra y la aleatorización nunca fue una opción, porque puede usar datos administrativos recopilados rutinariamente en lugar de un ensayo construido específicamente. Wikipedia: Diferencias en diferencias.

El diseño de regresión discontinua (DRD) aprovecha una regla de programa que asigna el tratamiento basándose en que una puntuación medida cruza un umbral fijo —un beneficio que comienza exactamente en un umbral de ingresos, una clase de refuerzo asignada a alumnos que puntúan justo por debajo de una nota de aprobado— y compara los resultados de unidades justo por encima y por debajo, que por lo demás son similares. Debido a que en qué lado del umbral cae una unidad es efectivamente arbitrario en una banda estrecha alrededor de él, la comparación aproxima un experimento aleatorizado local sin que nadie haya aleatorizado nada. Wikipedia: Diseño de regresión discontinua.

La estimación de variables instrumentales (VI) usa una tercera variable, un 'instrumento', que afecta la adopción de un programa pero no tiene efecto directo sobre el resultado excepto a través de esa adopción, para eliminar la parte de la relación tratamiento-resultado que la confusión de otro modo contaminaría. Un instrumento clásico de política pública es la distancia a una instalación, o una plaza asignada por lotería, que desplaza la participación sin causar independientemente el resultado; la mayor parte de la dificultad del método reside en defender que el instrumento afecta al resultado solo a través del programa. Wikipedia: Estimación de variables instrumentales.

Un experimento natural es una situación, que surge de la política, la geografía, o las circunstancias en lugar del diseño de un investigador, en la que algunas personas están expuestas a un programa y otras comparables no, como si se hubiera realizado un experimento sin que nadie lo realizara. Un cambio de política que entra en vigor en una fecha de nacimiento límite, un límite que sitúa a hogares casi idénticos en jurisdicciones diferentes, o una lotería que racionaliza una plaza sobresuscrita son experimentos naturales que el DRD, la VI, o las DeD pueden entonces analizar. Wikipedia: Experimento natural.

El efecto Hawthorne nombra el riesgo de que las personas cambien su comportamiento simplemente porque saben que están siendo observadas, independientemente del contenido real del programa, lo que puede inflar un efecto estimado si el grupo de control no se observa con igual intensidad —el propio acto de medir puede convertirse en parte del tratamiento. Wikipedia: Efecto Hawthorne.

La potencia estadística es la probabilidad de que una evaluación detecte un efecto verdadero de un tamaño dado si existe, dependiendo principalmente del tamaño de la muestra, el tamaño del efecto buscado, y cuánto varían los resultados dentro de los grupos. Una evaluación con poca potencia que encuentra 'ningún efecto significativo' a menudo no ha mostrado que el programa no hace nada; ha mostrado que la evaluación era demasiado pequeña para saberlo de cualquier forma, una distinción que los líderes frecuentemente pasan por alto bajo presión de llegar a un veredicto. Wikipedia: Potencia (estadística).

Mejores prácticas

1. Decida el diseño de evaluación antes de que se lance el programa, no después. Una evaluación aleatorizada, un despliegue escalonado adecuado para diferencias en diferencias, o un umbral de elegibilidad adecuado para el diseño de regresión discontinua son todos mucho más fáciles de incorporar desde el principio que de adaptar retroactivamente una vez que la entrega ya ha comenzado de forma ad hoc.
2. Declare el contrafactual explícitamente en cada resumen de evaluación. Escriba, en una frase, contra qué está comparando a los participantes —ningún programa en absoluto, el programa anterior, una intervención diferente— porque un contrafactual no declarado es donde suelen resultar ocultarse las disputas de evaluación más agudas.
3. Trate una comparación simple de antes y después como una hipótesis de partida, nunca como un hallazgo. Los resultados fluctúan por muchas razones no relacionadas con su programa —el ciclo económico, efectos estacionales, otros cambios de política que llegan al mismo tiempo— y un diseño de antes y después no puede separar la contribución de su programa de la de ellos.
4. Ajuste el método a la regla que realmente asignó el programa, no al método que le resulta más familiar. Un programa racionado por lotería exige la lógica de una evaluación aleatorizada incluso si nunca la llama ensayo; un programa asignado por un umbral puntuado exige un diseño de regresión discontinua; un programa que se desplegó a algunas áreas antes que a otras exige diferencias en diferencias.
5. Preregistre las medidas de resultado y el plan de análisis antes de mirar los resultados. Decidir qué resultado cuenta como 'éxito' después de ver cuál se movió es una vía bien documentada hacia falsos positivos, y la preregistración es la defensa estándar contra ella.
6. Dé potencia a la evaluación para el tamaño de efecto más pequeño que aún justificaría el coste del programa, no por conveniencia. Una evaluación demasiado pequeña para detectar un efecto relevante para la política producirá un resultado no informativo de 'ninguna diferencia significativa' que se malinterpreta como prueba de fracaso.
7. Informe las características del grupo de comparación junto a las del grupo de tratamiento, no solo el efecto principal. Una evaluación creíble permite a un lector escéptico comprobar que los dos grupos eran similares antes del tratamiento; una evaluación que oculta esto hace que el lector tome el equilibrio como un acto de fe.
8. Encargue la evaluación a una fuente independiente del equipo de entrega, o aísle el análisis si no puede. Un equipo con intereses en el éxito de un programa tiene un incentivo estructural, a menudo inconsciente, para interpretar evidencia ambigua a favor del programa.
9. Separe la significancia estadística de la significancia práctica y fiscal en cada informe. Un efecto pequeño estimado con precisión y un efecto grande estimado con imprecisión son hallazgos diferentes que exigen decisiones diferentes, y colapsar ambos en 'significativo' o 'no significativo' borra la distinción que realmente necesita una decisión de financiación.
10. Presupueste la evaluación como una parte fija del coste del programa en la etapa de diseño, no como lo que sobre. Un programa lo suficientemente grande como para importar al valor público suele ser lo suficientemente grande como para financiar una evaluación de impacto creíble, y tratar la evaluación como discrecional es cómo la evidencia débil se vuelve rutinaria.
11. Publique los resultados nulos y negativos con la misma visibilidad que los positivos. Un entorno de encargo que solo publicita las evaluaciones exitosas crea un sesgo de selección en la propia base de evidencia publicada, sesgando el juicio posterior de todos sobre 'lo que funciona' hacia el optimismo.
12. Alimente cada evaluación completada a la base de evidencia más amplia que mantiene su sector, no solo a su propio archivo. Una única evaluación, por bien diseñada que esté, es un solo punto de datos; la síntesis sistemática a través de muchas es lo que convierte un hallazgo de programa en conocimiento transferible (véase el Tema 2.6 — Síntesis de la Evidencia y Lo Que Funciona).

Preguntas para discutir con su equipo

¿Cuál es el contrafactual contra el que realmente estamos comparando este programa, y lo hemos dicho en voz alta? Cada afirmación de impacto implica una comparación, pero los equipos frecuentemente la dejan implícita, dejando que 'esto funcionó' se deslice silenciosamente entre 'mejor que nada', 'mejor que lo que hacíamos antes', y 'mejor que la mejor alternativa que podríamos haber financiado'. Pida a su responsable de evaluación que declare el contrafactual en una sola frase en lenguaje llano, y luego compruebe si la evidencia que tiene realmente respalda una afirmación sobre esa comparación específica. Si el contrafactual honesto es 'no sabemos qué habría ocurrido de otro modo', trate la afirmación de impacto actual como una hipótesis, no como un hallazgo, y discuta qué se necesitaría para cerrar esa brecha.

¿Podrían las personas o lugares que adoptaron este programa diferir sistemáticamente de los que no lo hicieron, de formas que también afectarían al resultado? Esta es la pregunta del sesgo de selección, y vale la pena hacerla incluso cuando —especialmente cuando— la respuesta parece obviamente 'no'. La motivación, las circunstancias previas, la capacidad local, y los patrones de derivación del personal son fuentes ocultas comunes de diferencia que producen una estimación de impacto engañosa incluso con una muestra grande y que parece cuidadosa. Si el equipo no puede describir cómo los participantes terminaron en el programa, no puede descartar esto, y esa brecha debería preocuparle más de lo que lo haría un tamaño de muestra pequeño.

¿Se incorporó nuestro diseño de evaluación al programa, o se añadió después, y qué nos costó eso? Una evaluación aleatorizada, un despliegue escalonado, o un umbral de elegibilidad puntuado son todos mucho más baratos y creíbles cuando se planifican antes del lanzamiento que cuando se reconstruyen a partir de los datos administrativos que resultaron sobrevivir. Pregunte qué opciones de diseño de evaluación se consideraron en la etapa de diseño del programa, y si ninguna lo fue, trátelo como una brecha de proceso que cerrar antes del próximo programa, no solo como una limitación de este. Discuta qué datos necesitarían existir desde el primer día para que el próximo programa importante respalde una estimación causal creíble.

¿Es nuestra muestra lo suficientemente grande para detectar un efecto que valga la pena conocer, y reconoceríamos un hallazgo de 'ningún efecto' con poca potencia si lo viéramos? Una evaluación que informa ningún efecto estadísticamente significativo a veces está diciendo correctamente que el programa no funciona, y a veces solo está diciendo que la evaluación era demasiado pequeña para ver un efecto que genuinamente está ahí. Pida a sus analistas que declaren el tamaño mínimo de efecto para el que la evaluación tenía potencia de detectar, y compárelo con el tamaño de efecto que realmente justificaría el coste del programa. Si esos dos números están muy separados, el hallazgo de 'ningún efecto' puede no ser informativo en lugar de condenatorio, y el equipo debería decirlo claramente en lugar de dejar que el silencio se lea como fracaso.

¿Quién se beneficia, profesional o reputacionalmente, si esta evaluación resulta positiva, y eso cambia cuánto escrutinio independiente necesita? Esto no es una acusación de deshonestidad; es un reconocimiento de que las personas que diseñaron o entregan un programa son estructuralmente más propensas a interpretar resultados ambiguos con benevolencia, a menudo sin notar que lo están haciendo. Discuta si la evaluación fue encargada, analizada, o revisada por alguien independiente del equipo de entrega, y si no, cómo se vería un cortafuegos proporcionado para un programa de este tamaño. El objetivo es un resultado en el que también confiaría su financiador más escéptico, no meramente uno que su propio equipo se sienta cómodo defendiendo.

Si el hallazgo de esta evaluación es robusto, ¿qué haríamos realmente diferente, y estamos preparados para hacerlo? Una evaluación encargada pero nunca destinada a cambiar una decisión es un coste hundido disfrazado de diligencia debida, y vale la pena nombrar ese riesgo antes de que lleguen los resultados en lugar de después. Discuta, de antemano, qué justificaría un hallazgo positivo fuerte (ampliación, y en cuánto) y qué activaría un hallazgo nulo o negativo (rediseño, o cancelación, y en qué plazo). Si nadie en la sala puede responder esto antes de ver los resultados, la evaluación puede estar sirviendo una función de legitimidad en lugar de una función de decisión, y vale la pena ser honesto sobre eso (véase el Tema 2.1 — El Cuadro de Mando de Valor Público y Marcos de Resultados).

En la práctica: un ejemplo de valor público

Ilustración ficticia. El Ministerio de Servicios de Empleo de un país no nombrado de tamaño medio ejecutó un piloto de un año de un servicio de coaching intensivo para buscadores de empleo de larga duración, junto al servicio estándar existente. Al final del piloto, un informe interno comparó al grupo que recibió coaching intensivo con todos los demás que salieron del desempleo durante el mismo período: el grupo entrenado tenía una tasa de colocación laboral del 38% dentro de seis meses, frente al 24% para el resto de la cartera de casos. Se les dijo a los ministros que el programa 'funcionaba' y se avanzó un análisis de viabilidad para desplegarlo nacionalmente.

Antes de aprobar la financiación, el comité de finanzas hizo una pregunta directa: ¿cómo habían terminado los buscadores de empleo en el grupo entrenado en primer lugar? La respuesta resultó importar enormemente. Los gestores de casos habían derivado al piloto de coaching a los buscadores de empleo que juzgaban 'con más probabilidad de beneficiarse', una decisión de triaje bienintencionada que, en efecto, había seleccionado desde el principio a un grupo más preparado para el trabajo hacia el tratamiento. La comparación de 38% frente a 24% estaba contaminada exactamente por el sesgo de selección que advierte este tema: era completamente posible que el grupo entrenado hubiera superado al resto de la cartera de casos incluso sin ningún coaching en absoluto.

En lugar de aprobar o rechazar el despliegue basándose en esa comparación, la unidad de evaluación del ministerio propuso una segunda fase usando una lotería. La demanda del servicio de coaching ya superaba las plazas disponibles, así que la unidad asignó aleatoriamente plazas entre solicitantes igualmente elegibles y comparó las tasas de colocación laboral entre los ganadores y los perdedores de la lotería, una aplicación de la lógica de evaluación aleatorizada sin necesidad de negar el servicio a nadie que de otro modo no lo habría recibido. Doce meses después, la comparación de lotería mostró un efecto más pequeño pero real: una mejora de 9 puntos porcentuales en la colocación a seis meses, no la brecha de 14 puntos que había implicado la comparación original. El ministerio usó la estimación basada en la lotería, junto a sus propios datos de coste, para construir un caso de coste-efectividad defendible (véase el Tema 2.2 — Análisis Coste-Beneficio Social y Rentabilidad) para un despliegue ampliado pero limitado en recursos, en lugar de la expansión mayor y no entregable que la comparación inicial defectuosa habría justificado.

Cuatro lentes sectoriales

Gobierno local

Las autoridades locales típicamente ejecutan muchos programas pequeños y medianos en lugar de unos pocos muy grandes, lo que hace que las evaluaciones aleatorizadas construidas específicamente sean costosas en relación con el tamaño del programa y empuja a los evaluadores locales hacia métodos cuasi-experimentales que reutilizan datos administrativos ya recopilados —diferencias en diferencias entre áreas de servicio que adoptaron un cambio en momentos diferentes, o diseño de regresión discontinua alrededor de un umbral de elegibilidad local. Las diferencias de límites y jurisdicción que serían una molestia en otros lugares son a menudo el mejor experimento natural de un evaluador local, ya que dos distritos o municipios vecinos pueden diferir en política mientras permanecen similares en la mayoría de los demás aspectos.

Gobierno nacional

Los gobiernos nacionales tienen la escala para financiar evaluaciones aleatorizadas construidas específicamente y los conjuntos de datos administrativos, a menudo vinculados entre registros fiscales, de beneficios, de salud, y de educación, para ejecutar diseños cuasi-experimentales creíbles a bajo coste marginal. Esta escala es también donde tienden a situarse los grupos de trabajo de evaluación de 'lo que funciona' y la orientación de evaluación centralizada, como el manual de evaluación estándar de un ministerio de finanzas, porque solo un gobierno nacional puede justificar el coste fijo de mantener una infraestructura de evaluación permanente y un estándar metodológico común entre muchos departamentos.

Sector social y sin ánimo de lucro

Las organizaciones sin ánimo de lucro y las organizaciones no gubernamentales rara vez tienen los tamaños de muestra o los presupuestos que necesita una evaluación aleatorizada bien potenciada, y sus programas a menudo cambian de forma adaptativa en respuesta a lo que observa el personal de primera línea, lo que complica cualquier diseño que asuma un tratamiento estable y bien definido. La asociación con un grupo de investigación académica o un intermediario de evaluación especializado, del tipo que ha crecido alrededor del movimiento de evaluación aleatorizada en el desarrollo internacional, es frecuentemente la única vía realista hacia una estimación causal rigurosa, y los financiadores cada vez más piden exactamente este tipo de asociación externa antes de comprometer subvenciones plurianuales.

Multilateral e internacional

Los organismos multilaterales financian programas en muchos países con diferentes sistemas de datos, capacidad administrativa, y normas de revisión ética, lo que dificulta aplicar métodos causales estandarizados uniformemente pero también crea variación natural entre países que puede en sí misma convertirse en un experimento natural cuando una política se adopta en algunos estados miembros antes que en otros. Las evaluaciones aleatorizadas en economía del desarrollo han sido particularmente influyentes a esta escala, produciendo evidencia que dio forma a cómo se asigna la financiación del desarrollo internacional, pero también conllevan un riesgo documentado de fallo de validez externa: un resultado que se sostiene en el país y contexto estudiados no se transfiere automáticamente a un contexto diferente, una salvedad que el diseño de programas multilaterales pasa por alto con demasiada frecuencia.

Modos de fallo comunes

El antes-y-después ingenuo. Un programa se juzga únicamente comparando los resultados antes de que comenzara con los resultados después, sin ningún grupo de comparación en absoluto, así que cualquier tendencia ya en marcha —recuperación económica, un cambio demográfico, un cambio de política separado— se atribuye erróneamente al programa. El coste es una historia causal segura de sí misma construida sobre un diseño que en realidad no puede distinguir el efecto del programa de todo lo demás que ocurrió al mismo tiempo.

Sesgo de selección confundido con efecto del programa. Los participantes que se inscribieron voluntariamente, o fueron derivados porque parecían propensos a tener éxito, se comparan con todos los demás, produciendo una estimación de impacto que en realidad es una medida de a quién atrajo el programa en lugar de lo que le hizo. El coste es un programa ampliado que parece menos efectivo, a veces mucho menos, una vez que llega a una población menos autoseleccionada.

La evaluación con poca potencia informada como un hallazgo nulo. Un piloto pequeño encuentra 'ningún efecto estadísticamente significativo' y se lee como prueba de que el programa no funciona, cuando la muestra era en realidad demasiado pequeña para detectar un efecto del tamaño que importaría. El coste va en ambas direcciones: un programa genuinamente efectivo puede cancelarse basándose en evidencia que nunca fue capaz de mostrar que funcionaba, o los recursos se mueven para financiar un ensayo más grande que no necesitaba ser necesario si el resumen original hubiera tenido la potencia correcta.

Extrapolar una estimación local más allá de su contexto. Un diseño de regresión discontinua estima correctamente el efecto para unidades cerca del umbral de elegibilidad, y una estimación de variable instrumental estima correctamente el efecto para unidades cuyo estatus de tratamiento el instrumento realmente desplazó, pero ambos hallazgos luego se aplican a toda la población como si la estimación se sostuviera en todas partes. El coste es una política ampliada basándose en un número que solo fue verdadero localmente.

Evaluación como teatro. Una evaluación se encarga para crear la apariencia de toma de decisiones basada en evidencia, pero la decisión ya se ha tomado efectivamente, y ningún hallazgo plausible la habría cambiado. El coste es un presupuesto de evaluación desperdiciado y, más corrosivamente, una erosión lenta de la confianza en la propia evaluación una vez que el personal nota que los resultados nunca parecen cambiar los resultados.

Modelo de madurez

Lista de verificación

• Declarar el contrafactual para cada evaluación de programa importante en una frase en lenguaje llano.
• Confirmar cómo llegaron los participantes al grupo de tratamiento, y evaluar si ese proceso en sí mismo podría explicar la diferencia de resultado.
• Elegir el método de evaluación (evaluación aleatorizada, diferencias en diferencias, diseño de regresión discontinua, variables instrumentales, o experimento natural) para que coincida con la regla de asignación real, antes de que comience la entrega siempre que sea posible.
• Calcular la potencia estadística necesaria para detectar el tamaño de efecto más pequeño que justificaría el coste del programa.
• Preregistrar las medidas de resultado y el plan de análisis antes de ver los resultados.
• Informar la comparabilidad de los grupos de tratamiento y comparación junto al efecto principal.
• Encargar o revisar la evaluación a través de una función independiente del equipo de entrega.
• Separar la significancia estadística de la significancia fiscal y práctica en cada informe a los tomadores de decisiones.
• Presupuestar la evaluación como una parte fija del coste del programa en la etapa de diseño.
• Publicar los hallazgos nulos y negativos con la misma visibilidad que los positivos.
• Comprobar si una estimación local positiva (de diseño de regresión discontinua o variables instrumentales) se está extrapolando más allá de la población que realmente cubre.
• Dirigir las evaluaciones completadas hacia la base de evidencia más amplia que mantiene su sector, no solo su propio archivo.

Fuentes clave

El núcleo metodológico de este tema se apoya en la tradición de econometría aplicada asociada con Joshua D. Angrist y Jörn-Steffen Pischke, y en el marco de resultados potenciales formalizado por Donald Rubin. El movimiento de evaluación aleatorizada en política pública y economía del desarrollo, asociado con el Abdul Latif Jameel Poverty Action Lab (J-PAL) y su red académica, suministra gran parte de la práctica aplicada referenciada en las lentes sectoriales. Los estándares gubernamentales de evaluación se apoyan en la orientación del Magenta Book del Tesoro del Reino Unido, y la práctica de síntesis de evidencia se apoya en los estándares de la Campbell Collaboration para la revisión sistemática en política social (véase el Tema 2.6 — Síntesis de la Evidencia y Lo Que Funciona).

Referencias

1. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
2. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
3. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
4. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
5. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
6. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
7. Correlation does not imply causation — Wikipedia — https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation
8. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
9. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
10. Rubin causal model — Wikipedia — https://en.wikipedia.org/wiki/Rubin_causal_model
11. Hawthorne effect — Wikipedia — https://en.wikipedia.org/wiki/Hawthorne_effect
12. Power (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Power_(statistics)
13. J-PAL (Abdul Latif Jameel Poverty Action Lab) — Massachusetts Institute of Technology — https://www.povertyactionlab.org/
14. Impact Evaluation in Practice — Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, y Christel M. J. Vermeersch, World Bank — https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
15. Mostly Harmless Econometrics: An Empiricist's Companion — Joshua D. Angrist y Jörn-Steffen Pischke, Princeton University Press — https://press.princeton.edu/books/paperback/9780691120355/mostly-harmless-econometrics
16. The Magenta Book — HM Treasury — https://www.gov.uk/government/publications/the-magenta-book
17. Campbell Collaboration — Campbell Collaboration — https://www.campbellcollaboration.org/
18. What Works Network — UK Cabinet Office — https://www.gov.uk/guidance/what-works-network