Por qué esto importa para el valor público

La mayoría de los líderes del sector público y social pueden producir un documento de estrategia que habla con fluidez sobre resultados. Muchos menos pueden producir, un año después, la evidencia que muestra si esos resultados realmente se movieron. La brecha entre ambos no suele ser una escasez de datos —la mayoría de las organizaciones recopilan volúmenes enormes de ellos— sino una escasez de una estructura disciplinada que convierta los recuentos de actividad en bruto en una afirmación defendible sobre el valor creado. El Tema 1.2 — El Triángulo Estratégico: Legitimidad, Valor, y Capacidad estableció la legitimidad y el apoyo, la propuesta de valor, y la capacidad operativa como las tres patas que la estrategia de una organización debe satisfacer a la vez (véase el Tema 1.2 — El Triángulo Estratégico: Legitimidad, Valor, y Capacidad). Este tema trata sobre las herramientas que hacen que esas tres patas sean medibles en lugar de meramente afirmadas.

Lo que está en juego es inmediato y recurrente. Un financiador o una legislatura pregunta, en la siguiente ronda presupuestaria, 'qué obtuvimos por este dinero' —y una organización con solo recuentos de productos (clínicas abiertas, casos procesados, sesiones de formación impartidas) no tiene respuesta a la pregunta de resultado que subyace. Un equipo de programa cree que está teniendo éxito porque la actividad es alta y está ocupado, sin haber separado la actividad del cambio en el mundo que la actividad pretendía causar. Una junta directiva aprueba una nueva iniciativa basándose en una narrativa persuasiva, y luego no tiene una base acordada un año después para decidir si continuar, ampliar, o detenerla. Cada uno de estos es un fallo de medición con consecuencias estratégicas, no un inconveniente técnico.

Las herramientas de este tema —el Cuadro de Mando de Valor Público de Mark Moore, el modelo lógico, y la rendición de cuentas basada en resultados y sus parientes— no resuelven cada problema de medición que enfrenta una organización del sector público o social. Los temas posteriores cubren las capas más difíciles y técnicas: monetizar resultados mediante el análisis coste-beneficio y coste-efectividad (véase el Tema 2.2 — Análisis Coste-Beneficio Social y Rentabilidad), valorar resultados que se resisten a la monetización mediante el retorno social de la inversión (véase el Tema 2.3 — Retorno Social de la Inversión y Medición de Impacto), y establecer que un programa realmente causó un cambio observado mediante la evaluación de programas formal (véase el Tema 2.4 — Econometría del Sector Público y Evaluación de Programas). Lo que aporta este tema es la capa subyacente a las tres: un vocabulario compartido y un pequeño número de marcos duraderos para establecer, antes de que comience cualquiera de ese trabajo técnico, qué está realmente tratando de cambiar una organización, para quién, y cómo lo sabrá.

Conceptos fundamentales

El Cuadro de Mando de Valor Público es la propuesta de Mark H. Moore de hacer seguimiento a cada pata del triángulo estratégico con su propio conjunto de indicadores, en lugar de recurrir por defecto a las medidas financieras y operativas que usaría un cuadro de mando integral del sector privado. Moore adaptó el cuadro de mando integral —la herramienta de Robert Kaplan y David Norton para hacer seguimiento a una empresa a través de perspectivas financieras, de cliente, de procesos internos, y de aprendizaje— porque un único resultado financiero final no puede representar a una organización cuya afirmación central de existir es que crea valor que ningún precio de mercado captura. El Cuadro de Mando de Valor Público en cambio pide a una organización que especifique medidas bajo tres encabezados que reflejan el triángulo: una cuenta de legitimidad y apoyo (¿está satisfecho el entorno autorizador —financiadores, supervisores, el público?), una cuenta de valor público (¿se está realizando la propuesta de valor —resultados para ciudadanos y clientes?), y una cuenta de capacidad operativa (¿es la organización capaz de sostener y mejorar la entrega —personal, sistemas, finanzas, alianzas?). La disciplina está en negarse a dejar que una sola cuenta represente al conjunto; una organización que solo informa eficiencia financiera, o solo satisfacción del cliente, no ha informado sobre el triángulo en absoluto.

Los modelos lógicos dan a la cuenta de valor del cuadro de mando su estructura interna. Un modelo lógico expone la cadena causal que un programa afirma ejecutar: insumos (el dinero, el personal, y otros recursos comprometidos), actividades (lo que la organización hace con ellos), productos (los resultados inmediatos y contables de esas actividades —sesiones entregadas, permisos emitidos, hogares visitados), resultados (los cambios en conocimiento, comportamiento, condición, o estatus que los productos pretenden provocar, típicamente durante meses o unos pocos años), e impacto (el cambio a más largo plazo, frecuentemente a nivel de población, al que los resultados pretenden contribuir, usualmente compartido con otros actores y más difícil de atribuir a un único programa). La distinción entre producto y resultado es la más consecuente de todo este tema: un producto es algo que la organización hizo; un resultado es algo que cambió para otra persona como consecuencia. El producto de un programa de formación es el número de personas formadas; su resultado es lo que esas personas pueden entonces hacer, o cómo cambian sus circunstancias, que no podían antes.

La teoría del cambio es la disciplina estrechamente relacionada de hacer explícitos, en lugar de implícitos, los supuestos detrás de un modelo lógico —por qué la organización cree que la actividad A realmente producirá el resultado B, y bajo qué condiciones esa afirmación causal podría fallar. Una teoría del cambio no es simplemente un modelo lógico más detallado; pone en primer plano el razonamiento 'si... entonces... porque' y los supuestos contextuales que el diagrama de cajas y flechas de un modelo lógico tiende a dejar sin expresar. El Tema 2.3 usa la teoría del cambio como punto de partida para la medición de impacto en el sector social con más profundidad (véase el Tema 2.3 — Retorno Social de la Inversión y Medición de Impacto); aquí, importa principalmente como la disciplina que mantiene honesto a un modelo lógico sobre lo que realmente afirma causar, a diferencia de lo que meramente espera que se siga.

La rendición de cuentas basada en resultados (RBR) es el miembro más conocido de una familia de marcos basados en resultados usados en gobiernos y el sector social para conectar resultados a nivel de población con el desempeño de programas específicos. Desarrollada por Mark Friedman y expuesta en su libro Trying Hard Is Not Good Enough, la RBR separa dos tipos distintos de rendición de cuentas que las organizaciones habitualmente confunden. La rendición de cuentas poblacional pregunta cómo le va a toda una comunidad o jurisdicción en una condición de bienestar —pobreza infantil, seguridad comunitaria, logro educativo— usando un pequeño número de indicadores principales que ninguna agencia individual posee ni controla por completo. La rendición de cuentas de desempeño pregunta qué tan bien lo está haciendo un programa o agencia específica, usando tres tipos de indicador de desempeño que el marco de Friedman insiste en distinguir: cuánto se hizo (esfuerzo —el recuento de productos), qué tan bien se hizo (calidad), y si alguien está mejor (efecto —el resultado). El método práctico de la RBR, a veces llamado análisis de 'girar la curva', trabaja hacia atrás desde un indicador elegido —preguntando qué historia cuentan los datos, qué está causando esa historia, quiénes son los socios con un papel en cambiarla, qué funcionaría, y qué propone hacer la organización— una versión estructurada del razonamiento que un modelo lógico y una teoría del cambio formalizan por separado. La RBR es una instancia de un patrón más amplio de gestión basada en resultados, estrechamente relacionado con la práctica rutinaria del seguimiento y evaluación usada en todo el desarrollo internacional y la administración pública, promovida de diversas formas por gobiernos nacionales, financiadores filantrópicos, y organismos multilaterales como una disciplina compartida para conectar el gasto con los resultados en lugar de solo con los productos.

Productos, resultados, y el cuadro de mando juntos. La razón por la que estos marcos pertenecen a un único tema, en lugar de a tres, es que responden a la misma pregunta subyacente en diferentes momentos del ciclo de planificación e informes de una organización. El modelo lógico se traza en el momento del diseño, para establecer la afirmación causal. La rendición de cuentas basada en resultados y marcos comparables se aplican en el momento de informar, para mantener honestas las medidas de desempeño sobre la diferencia entre esfuerzo y efecto. El Cuadro de Mando de Valor Público se sitúa por encima de ambos, como la estructura permanente que asegura que la evidencia de resultados —comoquiera que se haya producido— realmente llegue a las conversaciones de legitimidad y capacidad donde se toman las decisiones de presupuesto y mandato, en lugar de quedarse dentro de los informes propios de un equipo de programa. Juntos, los tres marcos son lo que convierte el valor público de una afirmación que una organización hace sobre sí misma en una afirmación que puede defender con evidencia.

Mejores prácticas

  1. Trace el modelo lógico antes de los indicadores, no después. Elegir qué medir antes de acordar qué se afirma causar produce una lista de lo que sea fácil de contar; trace primero la cadena de insumos a impacto, y luego elija medidas que pongan a prueba cada eslabón de ella.
  2. Informe sobre las tres cuentas del cuadro de mando juntas, no una a la vez. Una actualización de legitimidad sin evidencia de resultados, o un informe de resultados sin una cuenta de capacidad de lo que costó sostenerlos, cada uno cuenta solo una parte de la historia que un financiador o supervisor necesita para tomar una decisión real.
  3. Separe explícitamente el esfuerzo, la calidad, y el efecto en cada informe de desempeño. Tome prestada la división tripartita de Friedman incluso fuera de una implementación formal de RBR; un informe que mezcla 'sesiones entregadas' con 'vidas mejoradas' sin distinguirlas siempre recurrirá por defecto a lo que sea más fácil de inflar.
  4. Elija un pequeño número de indicadores poblacionales principales y manténgalos durante años, no trimestres. Las condiciones a nivel de población se mueven lentamente y están afectadas por muchos actores; cambiar la medida principal cada ciclo de informes hace imposible saber si la curva realmente está girando.
  5. Nombre, en voz alta, lo que la organización no controla. Un modelo lógico que implica que un único programa causa por completo un resultado a nivel de población invita exactamente al escepticismo que socava la legitimidad cuando el resultado no se mueve según lo previsto; declare los otros factores contribuyentes desde el principio.
  6. Publique el marco de resultados antes de la ronda presupuestaria, no después. Un marco de resultados producido para justificar una decisión presupuestaria ya tomada se lee como una racionalización posterior; uno publicado antes de la ronda es evidencia de que se está poniendo a prueba una decisión real frente a él.
  7. Mantenga el cuadro de mando y el modelo lógico como documentos vivos, revisitados cuando el contexto cambia, no como artefactos anuales. Un modelo lógico trazado para un entorno de política puede dejar de coincidir silenciosamente con la realidad —una nueva ley, un cambio demográfico, un cambio de financiación— mucho antes de que una revisión programada lo detecte; trate ambos como propiedad de los equipos de entrega, no como un ejercicio de cumplimiento para una oficina central.
  8. Mantenga las medidas de la cuenta de desempeño cerca de las personas que pueden actuar sobre ellas. Un equipo de programa puede mejorar directamente las medidas de calidad y esfuerzo; entrégueles objetivos de resultados a nivel de población que no pueden mover solos, y la medición se convierte en una fuente de desmoralización en lugar de dirección.
  9. Trate un objetivo de resultado no alcanzado como una indicación para preguntar por qué, no como un veredicto para ocultar. El hábito de 'girar la curva' de preguntar qué está causando la tendencia antes de asignar culpa mantiene útiles los informes de resultados; una cultura que castiga los objetivos no alcanzados enseña al personal a proteger el número en lugar del resultado.
  10. Haga que los supuestos en la teoría del cambio sean falsables. Un supuesto escrito de forma tan vaga que ninguna evidencia podría jamás contradecirlo no añade rigor al modelo lógico; escriba los supuestos con suficiente especificidad para que una evaluación futura pudiera demostrar que están equivocados.

Preguntas para discutir con su equipo

¿Podemos actualmente distinguir, para nuestro programa más importante, un producto de un resultado —y nuestro propio personal usa esas dos palabras correctamente? Muchas organizaciones informan recuentos de actividad usando el lenguaje de resultados sin notar la sustitución, lo que erosiona silenciosamente la diferencia que este tema trata como fundamental. Use esta pregunta para extraer un informe actual real y comprobar, línea por línea, qué números describen lo que la organización hizo frente a lo que cambió para otra persona. Discuta dónde se ha desviado el lenguaje, y si esa desviación refleja una confusión genuina sobre la lógica del programa o simplemente que los datos de resultados son más difíciles de obtener que los datos de productos. Si la respuesta honesta es lo segundo, eso en sí mismo es un hallazgo que merece registrarse, no una razón para seguir usando lenguaje de productos disfrazado de resultados.

¿Dónde colapsa nuestro informe actual el esfuerzo, la calidad, y el efecto en un único número, y qué le dice realmente ese número a un lector? La división tripartita de Friedman existe porque las organizaciones habitualmente recurren por defecto a informar el esfuerzo —el más fácil de los tres de contar— mientras implican que han informado el efecto. Use esta pregunta para identificar una métrica insignia que la organización informa actualmente y determine, como grupo, cuál de los tres realmente mide. Discuta qué se necesitaría para informar los tres por separado para esa métrica, y si hacerlo cambiaría cómo percibe la organización la gente que actualmente solo ve el número mezclado.

Si nuestro resultado poblacional principal no se mueve durante dos ciclos de informes más, ¿qué haríamos diferente, y qué no cambiaríamos? Esta pregunta pone a prueba si la organización realmente está usando su marco de resultados para dirigirse, o simplemente produciéndolo como una obligación de informes. Úsela para distinguir qué partes de la estrategia actual dependen de los datos de resultados y cuáles son fijas independientemente de lo que muestren los datos. Discuta honestamente si alguna parte del programa actual sobreviviría sin cambios incluso si la evidencia se volviera firmemente en contra, ya que esa es la parte que en realidad no está siendo gestionada por el marco.

¿Nuestro Cuadro de Mando de Valor Público, si tenemos uno, informa las tres patas del triángulo, o silenciosamente se ha convertido en un cuadro de mando de una sola pata? Es común que un marco de resultados comience con una ambición genuina de tres patas y, bajo presión de informes, derive hacia un documento solo de resultados o solo financiero. Use esta pregunta para auditar los últimos dos o tres informes formales frente a la estructura de tres cuentas que describe este tema. Discuta qué pata tiende a abandonarse primero bajo presión de tiempo, y qué dice eso sobre qué pata trata la organización implícitamente como opcional.

¿Quién fuera de esta organización necesitaría estar de acuerdo con nuestro modelo lógico para que sea creíble, y realmente se lo hemos preguntado? Un modelo lógico trazado enteramente por el equipo de programa que diseñó la intervención puede codificar silenciosamente supuestos optimistas que nadie fuera de la sala está en posición de cuestionar. Use esta pregunta para identificar qué actores externos —financiadores, socios de entrega, las personas a las que sirve el programa— tienen algo en juego en si la cadena causal es correcta, y si alguno de ellos realmente la ha revisado. Discuta qué cambió, si es que algo cambió, la última vez que se invitó a esa revisión una perspectiva externa.

¿Cuál es el conjunto más pequeño de indicadores poblacionales y de desempeño que podríamos informar y que aún permitiría a alguien externo juzgar si esta organización está creando valor público? Los sistemas de medición tienden a acumular indicadores con el tiempo mucho más rápido de lo que los retiran, hasta que el marco se vuelve demasiado grande para que alguien realmente lo use en una decisión. Use esta pregunta para intentar, como ejercicio, reducir a la mitad el conjunto actual de indicadores sin perder la capacidad de responder a las preguntas de rendición de cuentas poblacional y de desempeño que describe este tema. Discuta qué resistencia surge de ese ejercicio, ya que la resistencia a eliminar un indicador específico es a menudo una señal de aquello por lo que la organización realmente está siendo responsabilizada, coincida o no con su estrategia declarada.

En la práctica: un ejemplo de valor público

Una red regional de organizaciones benéficas de apoyo familiar —ficticia, ilustrativa de un patrón en lugar de un informe sobre una organización real— había pasado una década ejecutando programas de visitas domiciliarias para padres primerizos en barrios de bajos ingresos. Sus informes anuales a los financiadores eran detallados y, según medidas de productos, impresionantes: miles de visitas domiciliarias completadas cada año, alta asistencia a talleres de crianza, fuertes puntuaciones de satisfacción de las familias que participaron. Basándose en ese historial, la red había crecido de forma constante, añadiendo nuevas sucursales locales aproximadamente cada dos años.

Un nuevo financiador nacional, que consideraba una subvención plurianual lo suficientemente grande como para duplicar el alcance de la red, hizo una pregunta que la propia junta directiva de la red nunca había formalmente planteado a la dirección: qué evidencia mostraba que los niños de familias que recibieron las visitas domiciliarias realmente les iba mejor, después, que a niños comparables cuyas familias no las habían recibido. El liderazgo de la red se dio cuenta, al trabajar en la pregunta, de que sus informes nunca habían separado el esfuerzo del efecto. Los recuentos de visitas y las puntuaciones de satisfacción eran evidencia genuina de que el programa se estaba entregando y era bien recibido; ninguno de los dos era evidencia de que cambiara los resultados de desarrollo de un niño, que era la afirmación incrustada en la propia declaración de misión de la red y, implícitamente, en cada solicitud de subvención que jamás había escrito.

La red construyó un modelo lógico desde cero, comenzando por los resultados que realmente quería —indicadores mejorados de desarrollo infantil temprano, menos casos comprobados de negligencia infantil, mayor confianza parental— y trabajó hacia atrás hasta las actividades y productos de los que se suponía que dependía cada uno, nombrando explícitamente los supuestos intermedios. Adoptó una estructura simplificada de rendición de cuentas basada en resultados: indicadores poblacionales seguidos a nivel de barrio y compartidos con escuelas y servicios de salud locales, junto con indicadores de desempeño sobre los que sus propios equipos podían actuar directamente —frecuencia de visitas, finalización de talleres, y confianza parental evaluada por el personal a los tres y doce meses. Dos de los cinco indicadores de resultado no se movieron como se esperaba en un barrio en el primer ciclo de informes. En lugar de suprimir el resultado, la red usó su propio proceso de 'girar la curva' para investigar, encontró que un cambio en la dotación de personal de visitadores de salud locales había interrumpido las vías de derivación, y ajustó sus acuerdos de asociación en lugar de su modelo central. El financiador renovó y amplió la subvención, citando la honestidad del informe, no la ausencia de un déficit, como la razón para su confianza.

Cuatro lentes sectoriales

Gobierno local

El marco de resultados de una autoridad local típicamente se sitúa dentro de un conjunto más amplio de indicadores definidos nacionalmente que no eligió pero debe informar, junto con medidas elegidas localmente que reflejan las propias prioridades de su consejo. Esta estructura dual significa que un cuadro de mando local frecuentemente tiene que reconciliar dos audiencias con preguntas diferentes —un inspector nacional que pregunta sobre el cumplimiento de un conjunto de indicadores estándar, y residentes locales que preguntan sobre una condición local específica y visible, como una calle o servicio en particular. Los modelos lógicos a escala de gobierno local suelen ser más fáciles de construir para un único servicio (un cambio en la recolección de reciclaje, un rediseño de biblioteca) y más difíciles de construir de forma creíble para resultados transversales como la cohesión comunitaria, donde muchos actores fuera del control del consejo también contribuyen.

Gobierno nacional

Los marcos de resultados nacionales operan a una escala donde la distinción entre rendición de cuentas poblacional y de desempeño de la rendición de cuentas basada en resultados se vuelve esencial en lugar de opcional: un indicador nacional de salud o educación está afectado por cientos de programas, de los cuales solo unos pocos financia directamente cualquier departamento individual, así que un único ministerio que reclame el crédito exclusivo o la culpa exclusiva de una tendencia nacional rara vez es defendible. Los gobiernos nacionales también son la fuente más común de marcos de resultados grandes y mandatados centralmente que los organismos de entrega más abajo en la cadena deben adoptar, lo que crea el riesgo recurrente de que el marco esté diseñado para la agregación y comparación entre departamentos en lugar de para realmente dirigir la entrega de un programa individual.

Sector social y sin ánimo de lucro

Las organizaciones sin ánimo de lucro y las organizaciones no gubernamentales (ONG) más frecuentemente construyen sus propios modelos lógicos y teorías del cambio desde primeros principios en lugar de adoptar un marco entregado por un autorizador, porque sus financiadores son frecuentemente quienes piden el caso causal en lugar de proporcionar una plantilla estándar. Esto da a las organizaciones del sector social más libertad para diseñar un marco de resultados que se ajuste a la lógica real de su programa, pero también más exposición a la fatiga de medición impulsada por financiadores, donde cada subvención lleva sus propios requisitos de informes y una organización termina manteniendo varios marcos de resultados paralelos para el mismo trabajo subyacente. La división entre rendición de cuentas poblacional y de desempeño de la rendición de cuentas basada en resultados es particularmente útil aquí, ya que da a una organización sin ánimo de lucro el lenguaje para decirle claramente a un financiador que puede ser responsabilizada por sus propias medidas de desempeño pero no, sola, por un indicador poblacional que también influyen muchos otros actores.

Multilateral e internacional

Los organismos multilaterales operan la gestión basada en resultados a una escala donde los supuestos del modelo lógico viajan a través de docenas de contextos nacionales a la vez, así que una lógica de intervención que se sostiene en un país puede fallar silenciosamente en otro sin que el indicador global principal revele qué contexto es el problema. Los marcos de resultados en este entorno frecuentemente se construyen para satisfacer a múltiples gobiernos donantes simultáneamente, cada uno con sus propias preferencias de informes, lo que empuja hacia conjuntos de indicadores estandarizados (del tipo promovido mediante orientación internacional de gestión basada en resultados) a costa de la especificidad local. La brecha entre un producto que un socio implementador puede informar rápidamente —formaciones entregadas, clínicas suministradas— y un resultado que solo aparece en una encuesta nacional años después es más amplia aquí, haciendo especialmente importante la disciplina de establecer explícitamente la cadena causal asumida, en lugar de asumirla.

Modos de fallo comunes

Producto disfrazado de resultado. Una organización informa recuentos de actividad usando lenguaje de resultados —'seguridad comunitaria mejorada' cuando la medida real son patrullas realizadas— ya sea por confusión genuina o porque los datos de resultados son más difíciles y lentos de recopilar. El coste surge cuando un revisor externo pide la evidencia de resultado directamente y encuentra solo productos detrás de la afirmación, dañando la credibilidad de la organización más de lo que lo haría un resultado modesto e informado honestamente.

Proliferación de indicadores. Un cuadro de mando o modelo lógico acumula medidas más rápido de lo que las retira, impulsado por cada nueva solicitud de una parte interesada que añade una línea más en lugar de reemplazar una existente. El resultado eventual es un marco demasiado grande para que cualquier gestor lo use realmente en una decisión, lo que silenciosamente revierte a la organización al juicio informal mientras el marco oficial se convierte en un artefacto de informes que nadie consulta.

Captura del objetivo. Una medida de desempeño, una vez vinculada a la financiación o la recompensa, se convierte en lo que el personal optimiza directamente en lugar del resultado para el cual se suponía que era un indicador —el patrón que describe la ley de Goodhart, donde una medida usada como objetivo deja de ser una medida fiable. El lugar de este tema para esa dinámica en el sector público específicamente, incluyendo cómo los regímenes de calidad intentan detectarla y limitarla, está en otra parte (véase el Tema 3.11 — Calidad, Seguridad, y Gestión del Desempeño); aquí importa como una razón para mantener separadas las medidas de esfuerzo, calidad, y efecto, y para revisar los objetivos antes de que distorsionen el comportamiento.

Exceso de atribución. Los informes de un programa implican responsabilidad causal exclusiva por un resultado a nivel de población que muchos otros actores también influyen, ya sea por lenguaje descuidado o creencia genuina. Cuando el resultado no se mueve —frecuentemente por razones fuera del control del programa— la organización absorbe una culpa desproporcionada a su contribución real, lo que luego desalienta el informe honesto de déficits en ciclos futuros.

Marco sin retroalimentación. Una organización construye un modelo lógico y un marco de resultados genuinamente bien diseñados, y luego nunca los revisa frente a los resultados reales, así que se endurecen en un documento fijo en lugar de una herramienta de gestión viva. La estrategia subyacente sigue funcionando con los supuestos originales años después de que la evidencia hubiera justificado revisarlos, a costa de la misma capacidad de adaptación que el marco pretendía habilitar.

Modelo de madurez

Subdimensión Iniciar Desarrollar Estandarizar Gestionar Orquestar
Existen modelos lógicos para programas clave La lógica causal se entiende informalmente por el personal del programa, no está escrita Algunos programas tienen un modelo lógico escrito, con profundidad inconsistente Cada programa principal tiene un modelo lógico construido según una plantilla común Los modelos lógicos se revisan y actualizan frente a la evidencia real en un ciclo fijo Los modelos lógicos se comparten y revisan conjuntamente con socios de entrega y financiadores
Productos y resultados se informan por separado El informe mezcla esfuerzo, calidad, y efecto en números principales únicos Algunos informes los separan, pero de forma inconsistente entre equipos Un formato de informe estándar impone la división esfuerzo/calidad/efecto Los déficits de resultado activan una investigación definida de 'por qué', no solo una nota Los datos de efecto se comparten públicamente y se usan conjuntamente con socios para dirigir recursos
El Cuadro de Mando de Valor Público cubre las tres patas No hay cuadro de mando formal; el informe es ad hoc y usualmente solo de productos Existe un cuadro de mando pero una pata (frecuentemente capacidad) es débil o falta Las tres patas se informan juntas en un ciclo fijo Los resultados del cuadro de mando alimentan directamente las decisiones de presupuesto y mandato El cuadro de mando se codesarrolla con autorizadores y ciudadanos, actualizado a medida que cambia el contexto
Los indicadores poblacionales se distinguen de los indicadores de desempeño No se distinguen; se usa un conjunto mezclado de números para ambos propósitos La distinción se entiende por parte del personal, no se aplica consistentemente Un conjunto definido y sostenido de indicadores poblacionales junto con medidas de desempeño de programa Las tendencias poblacionales se analizan en busca de causa antes de asignar responsabilidad Los indicadores poblacionales son copropiedad entre agencias y socios, financiados conjuntamente

Lista de verificación

  • Trazar un modelo lógico (insumos, actividades, productos, resultados, impacto) para cada programa principal antes de finalizar sus indicadores.
  • Escribir los supuestos causales de la teoría del cambio con suficiente especificidad para que la evidencia pudiera contradecirlos.
  • Separar las medidas de esfuerzo, calidad, y efecto en cada informe de desempeño, incluso fuera de una implementación formal de rendición de cuentas basada en resultados.
  • Construir o actualizar el Cuadro de Mando de Valor Público para que las tres patas —legitimidad, valor, capacidad— se informen juntas, no por separado.
  • Elegir un conjunto pequeño y estable de indicadores poblacionales principales y comprometerse a mantenerlos a través de varios ciclos de informes.
  • Comprobar los informes actuales en busca de lenguaje que describa un producto usando palabras de resultado, y corregirlo.
  • Publicar el marco de resultados antes de la próxima ronda de presupuesto o financiación, no como su consecuencia.
  • Nombrar explícitamente lo que la organización no controla exclusivamente para cualquier afirmación a nivel de población que informe.
  • Establecer un ciclo fijo para revisar los modelos lógicos frente a la evidencia real, no solo en una evaluación formal programada.
  • Identificar al menos una parte interesada externa para revisar los supuestos del modelo lógico antes de que se finalice.
  • Auditar el conjunto actual de indicadores en busca de oportunidades para retirar medidas que nadie usa en una decisión real.
  • Acordar, de antemano, qué hará la organización de forma diferente si un resultado principal no se mueve durante dos ciclos de informes.

Fuentes clave

  • Mark H. Moore, Creating Public Value: Strategic Management in Government (1995) y Recognizing Public Value (2013) —los textos originarios del Cuadro de Mando de Valor Público, adaptando la tradición del cuadro de mando integral a las tres patas del triángulo estratégico.
  • Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities —el texto originario de la rendición de cuentas basada en resultados, incluyendo la distinción entre rendición de cuentas poblacional y de desempeño y el análisis de 'girar la curva'.
  • La literatura del cuadro de mando integral de Robert Kaplan y David Norton —la fuente del sector privado que Moore adaptó para el contexto de valor público.
  • Orientación de la OCDE sobre gestión basada en resultados y terminología de evaluación, usada en todo el desarrollo y la práctica de administración pública para estandarizar el lenguaje de resultados e impacto.
  • Orientación del Grupo de Evaluación Independiente del Banco Mundial sobre marcos de resultados y teorías del cambio para operaciones de desarrollo.
  • El relato público de la Agencia de Servicios Humanos de Vermont sobre la aplicación de la rendición de cuentas basada en resultados a nivel estatal y comunitario —un ejemplo del marco en uso gubernamental real.

Referencias

  1. Mark H. Moore — Wikipedia — https://en.wikipedia.org/wiki/Mark_H._Moore
  2. Public value — Wikipedia — https://en.wikipedia.org/wiki/Public_value
  3. Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
  4. Logic model — Wikipedia — https://en.wikipedia.org/wiki/Logic_model
  5. Theory of change — Wikipedia — https://en.wikipedia.org/wiki/Theory_of_change
  6. Monitoring and evaluation — Wikipedia — https://en.wikipedia.org/wiki/Monitoring_and_evaluation
  7. Program evaluation — Wikipedia — https://en.wikipedia.org/wiki/Program_evaluation
  8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
  9. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  10. Mark H. Moore, perfil de facultad — Harvard Kennedy School — https://www.hks.harvard.edu/faculty/mark-moore
  11. Results-Based Accountability — Vermont Agency of Human Services — https://humanservices.vermont.gov/our-impact/results-based-accountability
  12. Glossary of Key Terms in Evaluation and Results-Based Management for Sustainable Development (Second Edition) — OECD — https://www.oecd.org/content/dam/oecd/en/publications/reports/2023/06/glossary-of-key-terms-in-evaluation-and-results-based-management-for-sustainable-development-second-edition_2767e14e/632da462-en-fr-es.pdf
  13. Designing a Results Framework for Achieving Results: A How-to Guide — World Bank Independent Evaluation Group — https://documents1.worldbank.org/curated/en/331541563854787772/pdf/Designing-a-Results-Framework-for-Achieving-Results-A-How-to-Guide.pdf