Calidad, Seguridad, y Gestión del Desempeño

Por qué esto importa para el valor público

Cada organización pública y del sector social de cualquier tamaño ahora funciona con números: tiempos de espera, cargas de casos cerradas, minutos de respuesta, tasas de aprobación, puntuaciones de satisfacción, calificaciones de inspección. Los objetivos construidos a partir de estos números no son una imposición desde fuera de la gestión pública; son cómo se demuestra la legitimidad y el apoyo a financiadores, legislaturas, juntas directivas, y ciudadanos que de otro modo no pueden ver dentro de las operaciones cotidianas (véase el Tema 1.2 — El Triángulo Estratégico: Legitimidad, Valor, y Capacidad). Un líder que no puede señalar un número que se movió en la dirección correcta tiene dificultad para defender un presupuesto, un mandato, o una reforma.

La dificultad es que un número construido para representar la calidad no es lo mismo que la propia calidad, y los dos se separan silenciosamente en el momento en que el número comienza a importar más que la realidad detrás de él. Una fuerza policial puede reducir el crimen registrado cambiando cómo clasifican los oficiales los incidentes en lugar de reduciendo el daño. Un hospital puede alcanzar un objetivo de tiempo de espera reclasificando a qué pacientes aplica el reloj en lugar de tratando a las personas más rápido. Ninguno de los dos cambios aparece en la cifra publicada, que es exactamente el problema que este tema existe para abordar.

Este tema es el tratamiento hogar de ese problema en el sector público: los indicadores de desempeño y los incentivos perversos que crean, los regímenes de aseguramiento de calidad construidos para mantener estándares consistentes independientemente de lo que diga cualquier objetivo individual, y los organismos independientes de inspección y calificación que comprueban la realidad detrás de los números desde fuera de la cadena de mando que los produjo. El Tema 2.1 cubre de dónde deberían provenir los indicadores en primer lugar —marcos de resultados y modelos lógicos que conectan una medida de vuelta a una afirmación causal genuina sobre el valor (véase el Tema 2.1 — El Cuadro de Mando de Valor Público y Marcos de Resultados). Este tema cubre qué ocurre una vez que esos indicadores se convierten en objetivos en vivo frente a los que se gestiona al personal, y cómo una organización mantiene honesto su propio sistema de medición.

Lo que está en juego aumenta con cuán públicamente se usa un número. Una métrica interna privada que deriva de la realidad desperdicia el tiempo de un gestor. Un objetivo de desempeño público, una calificación de inspección principal, o una estadística de seguridad que deriva de la realidad puede costar vidas, malasignar recursos durante años, y —cuando la brecha entre el número informado y la experiencia vivida eventualmente se vuelve visible— destruir exactamente la legitimidad que el número se publicó para construir (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad).

Conceptos fundamentales

Un indicador de desempeño es una variable medible elegida para representar un aspecto del desempeño de una organización que no se puede observar directa y continuamente por sí mismo (véase indicador de desempeño). Los indicadores son proxies por construcción: nadie puede medir la 'calidad de la atención' o la 'seguridad comunitaria' directamente, así que una organización mide algo más estrecho y contable —un tiempo de espera, una tasa de crimen registrado— y trata el movimiento en él como evidencia de movimiento en la cosa más amplia que representa. Esa brecha entre el proxy y la realidad nunca se cierra; este tema trata sobre gestionarla en lugar de olvidar que existe.

La ley de Goodhart establece, en su formulación más común del sector público, que cuando una medida se convierte en un objetivo, deja de ser una buena medida. La ley lleva el nombre del economista británico Charles Goodhart, que formuló la percepción subyacente en 1975 en el contexto de la política monetaria: una vez que un banco central comienza a fijar como objetivo una medida particular de la oferta monetaria, las relaciones estadísticas que hacían útil esa medida comienzan a romperse, porque las personas cambian su comportamiento en respuesta al propio objetivo. La antropóloga Marilyn Strathern reformuló la idea para una audiencia del sector público en un estudio ampliamente citado de 1997 sobre la cultura de auditoría de las universidades británicas, dándole la formulación compacta que ahora más comúnmente se cita: 'cuando una medida se convierte en un objetivo, deja de ser una buena medida'. El Tema 3.1 introdujo brevemente esta dinámica en el contexto de la dependencia de la Nueva Gestión Pública en objetivos explícitos; este tema es su tratamiento hogar completo (véase el Tema 3.1 — Sistemas y Modelos de Administración Pública). La ley de Goodhart no es un argumento contra la medición —es un argumento de que la medición y la recompensa no se pueden fusionar descuidadamente sin cambiar lo que se está midiendo.

Los incentivos perversos son el mecanismo mediante el cual la ley de Goodhart hace su daño: una estructura de incentivo que produce resultados contrarios a lo que pretendían sus diseñadores, porque las personas que responden a ella están optimizando para la letra de la recompensa en lugar del propósito detrás de ella (véase incentivo perverso). Un objetivo vinculado a la financiación, la reputación, o una carrera crea un incentivo perverso siempre que existe una forma de mejorar el número informado sin mejorar el resultado subyacente —y en un servicio entregado mediante miles de decisiones de juicio individuales, tal forma casi siempre existe una vez que las personas comienzan a buscarla.

Una tipología de respuestas disfuncionales a los objetivos. El economista Peter Smith, en un influyente estudio de 1995 sobre los datos de desempeño del sector público, catalogó las formas en que los objetivos publicados distorsionan el comportamiento, varias de las cuales siguen siendo el vocabulario estándar para diagnosticar un sistema de indicadores en dificultades. La visión de túnel es concentrar el esfuerzo en lo que se mide a expensas de lo que no se mide, incluso cuando los aspectos no medidos importan tanto o más. La fijación en la medida es tratar el éxito en el indicador como éxito en el objetivo subyacente, de modo que el proxy silenciosamente reemplaza a la cosa que pretendía representar en la atención de todos —el patrón detrás de enseñar para el examen en los sistemas educativos, donde la instrucción se estrecha a lo que sea que cubra una evaluación estandarizada en lugar del aprendizaje más amplio que la evaluación pretendía señalar. La tergiversación es la manipulación deliberada de los datos informados —reclasificar un caso, ajustar un reloj, elegir un denominador más favorable— de modo que las cifras mejoran sin que la realidad cambie en absoluto. La osificación es la lenta decadencia de un objetivo hacia la irrelevancia a medida que se deja sin revisar mucho después de que ha cambiado el entorno operativo para el que se diseñó. Un estudio estrechamente relacionado de 2006 sobre los objetivos en el sistema de salud pública inglés de Gwyn Bevan y Christopher Hood mostró cuán lejos pueden llegar estas dinámicas cuando un objetivo se empareja con consecuencias severas por no cumplirlo, acuñando la frase 'objetivos y terror' para un régimen que produce exactamente el comportamiento de manipulación que estaba diseñado para eliminar.

El aseguramiento de calidad es la disciplina sistemática y propia de la organización de asegurar que un producto o servicio cumple consistentemente un estándar definido, mediante la prevención de defectos incorporada en el proceso en lugar de la inspección del producto terminado solamente (véase aseguramiento de calidad). Donde un objetivo de desempeño mide un resultado después del hecho, el aseguramiento de calidad está diseñado para hacer menos probable que ocurra un mal resultado en primer lugar, típicamente mediante procedimientos estandarizados, listas de verificación, revisión por pares, y análisis de causa raíz de los fallos. La gestión de calidad total es la filosofía de gestión más amplia construida sobre esta disciplina, tratando la mejora continua en calidad como responsabilidad de todos en lugar de una función especializada atornillada al final de un proceso (véase gestión de calidad total), y la familia ISO 9000 de estándares internacionales publicados por la Organización Internacional de Normalización (ISO), emitida por primera vez en 1987, da a las organizaciones un marco certificable para demostrar que existe tal sistema de gestión. Un organismo puede estar certificado según un estándar de gestión de calidad, y pasar cada comprobación interna de aseguramiento de calidad, mientras todavía manipula sus objetivos de desempeño informados externamente; los dos sistemas responden preguntas diferentes y ninguno sustituye al otro.

Los indicadores de seguridad y la cultura de seguridad merecen un tratamiento separado de los indicadores de desempeño ordinarios porque el daño de un incentivo perverso a menudo es irreversible. En la atención sanitaria, la práctica de seguridad del paciente ha aprendido, a menudo a un coste alto, que castigar al personal por informar un error suprime exactamente la información que necesita un sistema de seguridad para prevenir el próximo —una percepción que se ha extendido de los entornos clínicos a la aviación, el transporte, y otros servicios públicos de alta consecuencia. Un entorno de informe 'sin culpa' o de 'cultura justa' trata un cuasi-incidente honestamente informado como un punto de datos valioso en lugar de una admisión de culpa, lo cual es lo opuesto a cómo están diseñados para funcionar la mayoría de los objetivos de desempeño ordinarios: un régimen de desempeño recompensa el buen número, mientras un régimen de seguridad tiene que recompensar el número honesto incluso cuando es malo.

Los organismos independientes de inspección y calificación proporcionan una comprobación sobre todo lo anterior que viene desde fuera de la cadena de mando que se está evaluando. Una inspectoría —como el Ofsted de Inglaterra, que inspecciona proveedores de educación y servicios infantiles, o la Care Quality Commission, que inspecciona y califica proveedores de salud y atención social— envía evaluadores que observan la práctica directamente, ejercen juicio profesional, y publican una calificación que el organismo inspeccionado no controla. Esto es estructuralmente diferente de la gestión de desempeño interna: una cifra de tiempo de espera autoinformada puede ser manipulada por las personas cuyo incentivo es manipularla, pero un inspector que recorre las salas u observa el aula está mirando la realidad que se suponía que representaba el número. La inspección es una forma de rendición de cuentas horizontal —escrutinio por un organismo de posición independiente en lugar de por un electorado o un mercado (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad)— y se gana ese rol solo en la medida en que su independencia, en financiación, nombramiento, y publicación, esté genuinamente protegida.

Mejores prácticas

1. Derive los indicadores del modelo lógico, no de lo que ya es fácil de contar. Elegir una medida porque los datos ya existen, en lugar de porque rastrea un eslabón genuino en la cadena causal, es cómo comienzan la fijación en la medida y la visión de túnel (véase el Tema 2.1 — El Cuadro de Mando de Valor Público y Marcos de Resultados).
2. Combine cada objetivo de producto o actividad con al menos una medida de equilibrio que revelaría la estrategia de manipulación más probable. Si un objetivo de tiempo de espera se puede manipular reclasificando casos, rastree la tasa de reclasificación junto a la cifra principal, no como una ocurrencia tardía una vez que un escándalo fuerza la pregunta.
3. Trate un objetivo que se ha cumplido durante varios períodos consecutivos como una indicación para investigar, no simplemente para celebrar. Un número que deja de discriminar entre buen y mal desempeño o bien ha resuelto genuinamente el problema o ha sido manipulado hasta la irrelevancia, y los dos se ven idénticos solo desde el panel de control.
4. Separe quién fija un objetivo de quién se mide frente a él de quién comprueba independientemente el resultado. Colapsar estos tres roles en una parte de la organización elimina la tensión estructural que mantiene honesto un sistema de medición.
5. Revise o retire un objetivo en un ciclo fijo, no solo después de un fallo visible. La osificación es el destino predeterminado de un objetivo; una revisión programada que pregunta si el objetivo todavía rastrea algo significativo capta la decadencia antes de que lo haga una crisis.
6. Construya un canal de informe sin culpa para cuasi-incidentes y errores relevantes para la seguridad, mantenido estructuralmente separado de las decisiones de recompensa de desempeño. Un sistema de seguridad que castiga el informe honesto seguirá teniendo la misma tasa de error subyacente —simplemente dejará de enterarse de él hasta que el daño sea mayor y más difícil de ocultar.
7. Dé a los inspectores y organismos de calificación independientes acceso genuino, financiación protegida, y derechos de publicación que el organismo inspeccionado no pueda vetar. Una inspectoría que depende de la buena voluntad de la organización que califica para su presupuesto o su acceso está realizando escrutinio, no proporcionándolo.
8. Use el juicio profesional para interpretar una puntuación cuantitativa, en lugar de dejar que la puntuación se sostenga sola. Una única calificación compuesta comprime una realidad rica y desigual en una cifra; publique la narrativa cualitativa detrás de una calificación de inspección junto a la propia calificación, de modo que un lector pueda ver qué está resumiendo el número.
9. Diseñe los objetivos con el personal de primera línea que se medirá frente a ellos, no solo para ellos. Las personas más cercanas al trabajo usualmente conocen la estrategia de manipulación más fácil antes que cualquier analista; involucrarlas en el diseño saca a la superficie ese riesgo temprano en lugar de después de que el objetivo ya esté en vivo.
10. Certifique un proceso sistemático de gestión de calidad, como uno construido sobre la familia de estándares ISO 9000, como un piso en lugar de un sustituto de la medición de resultados. La certificación demuestra que existe un proceso consistente; no demuestra por sí misma que el proceso produce un buen resultado, y tratar el certificado como evidencia suficiente de calidad es su propia forma de fijación en la medida.
11. Publique las limitaciones conocidas de un objetivo junto al propio objetivo. Nombrar, en el mismo informe que la cifra, lo que la medida no captura y cómo se podría plausiblemente manipular anticipa exactamente el descubrimiento que de otro modo daña la legitimidad más tarde (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad).

Preguntas para discutir con su equipo

¿Cuáles de nuestros objetivos publicados actuales podrían alcanzarse sin que mejorara en absoluto el resultado subyacente? Esta es la aplicación más directa de la ley de Goodhart disponible para cualquier equipo, y casi cada organización que ha ejecutado objetivos numéricos durante más de unos pocos años lleva al menos un ejemplo en vivo. Recorra sus indicadores principales uno a la vez y pregunte, concretamente, qué comportamiento recompensa cada uno en lugar de qué se diseñó para medir. Discuta si el personal de primera línea ya conoce una forma más fácil de mover el número que la pretendida, ya que usualmente lo saben mucho antes de que llegue a los líderes superiores. Trate un confiado y sin examinar 'nadie haría eso aquí' como algo que en sí mismo vale la pena investigar en lugar de como una garantía.

¿Dónde hemos permitido que un producto fácil de contar silenciosamente represente un juicio genuino de calidad o seguridad? Los productos casi siempre son más baratos y rápidos de recopilar que los resultados, lo que crea una tentación permanente de informar los primeros usando el lenguaje de los segundos. Identifique un indicador insignia que informa actualmente su organización y pregunte, como grupo, si realmente mide la calidad de lo que ocurrió o solo el volumen de actividad que tuvo lugar. Discuta qué se necesitaría recopilar para una medida de calidad genuina para esa misma actividad, y qué ha impedido a la organización recopilarla hasta ahora. Esta pregunta a menudo revela que la barrera es de recursos en lugar de dificultad de definición.

Si un miembro del personal informara honestamente su propio cuasi-incidente o error hoy, ¿qué le pasaría realmente? La existencia de una política sin culpa no es evidencia de que las personas crean que se les aplica personalmente. Discuta un caso reciente, real o hipotético, donde una divulgación honesta de un error habría puesto a prueba la política, y sea específico sobre cuáles fueron o probablemente habrían sido las consecuencias. Considere si su informe relevante para la seguridad se sitúa en el mismo sistema que sus decisiones de recompensa de desempeño, ya que mezclar los dos es la forma más común en que una cultura nominalmente sin culpa castiga silenciosamente la honestidad de todos modos. Esta pregunta es incómoda por diseño; un equipo que no puede discutirla abiertamente ya la ha respondido.

¿Tiene nuestro organismo de inspección o calificación independencia real de la organización que evalúa, o solo independencia formal? La independencia de nombre es común; la independencia en financiación, acceso, y el derecho de publicar un hallazgo indeseado es más rara y más fácil de erosionar gradualmente. Liste las relaciones de inspección o calificación a las que está sujeta su organización y califique cada una honestamente sobre si sobreviviría a un intento decidido del organismo inspeccionado de dar forma al resultado. Discuta qué ocurrió la última vez que una inspección produjo un resultado genuinamente indeseado, y si la respuesta fue arreglar el problema subyacente o gestionar la relación con el inspector.

¿Cuál de las respuestas disfuncionales de Smith a los objetivos —visión de túnel, fijación en la medida, tergiversación, osificación— es actualmente más visible en nuestro propio informe? Nombrar el modo de fallo específico, en lugar de discutir la manipulación en abstracto, hace la conversación lo suficientemente concreta como para actuar. Recorra los cuatro patrones y pregunte cuál reconoce el equipo en su propia experiencia reciente, en lugar de asumir que la organización está exenta porque todavía no ha ocurrido ningún escándalo. Discuta cómo se vería un paso correctivo para ese patrón específico en el próximo ciclo de informes, no como un compromiso general de 'hacerlo mejor en medición'.

Si dejáramos de informar públicamente nuestro objetivo principal actual durante un año, ¿qué perderíamos realmente, y qué podríamos ganar? Esta pregunta pone a prueba si un objetivo realmente está dirigiendo decisiones o se ha convertido en un fin en sí mismo que nadie defendería si se le pidiera justificarlo desde primeros principios. Discuta honestamente qué decisión, si acaso, ha cambiado en el último año debido a este número específico, a diferencia de decisiones que se habrían tomado de todos modos. Considere qué tiempo de personal y distorsión de comportamiento cuesta actualmente el objetivo, y si una medida diferente y más difícil de manipular serviría mejor al mismo propósito de rendición de cuentas. Esto no es un argumento para abandonar la medición —es una disciplina para mantener solo la medición que se gana su lugar.

En la práctica: un ejemplo de valor público

El servicio de ambulancias de una región metropolitana de tamaño medio —ficticio, ilustrativo de un patrón en lugar de un informe sobre ningún organismo real— había operado durante años bajo un objetivo publicado que exigía una respuesta de emergencia dentro de ocho minutos para las llamadas más potencialmente mortales. El objetivo se había fijado con buena intención, respaldado por evidencia clínica de que la velocidad de respuesta genuinamente afecta la supervivencia para una categoría definida de emergencias, y la junta directiva del servicio trataba el porcentaje publicado de llamadas que cumplían el objetivo como su indicador individual más importante de éxito organizacional.

Durante tres años, la cifra informada mejoró de forma constante, de justo por encima de la mitad de las llamadas calificadas a casi nueve de cada diez, y el liderazgo superior presentó la tendencia en cada reunión de junta como evidencia clara de que las reformas operativas estaban funcionando. Lo que la cifra principal no mostraba era cómo se había logrado realmente la mejora. Los operadores de llamadas, conscientes de que su propio desempeño se evaluaba en parte por cuántas llamadas clasificaban en la categoría con objetivo, habían comenzado —gradualmente, sin ninguna decisión individual de hacerlo— a degradar una parte creciente de llamadas genuinamente serias hacia una categoría de menor prioridad a la que no aplicaba el reloj de ocho minutos, simplemente porque una reserva de llamadas más pequeña y más estrechamente definida era más fácil de alcanzar frente al objetivo. Por separado, las tripulaciones habían aprendido que el reloj se detenía en el momento en que un vehículo llegaba a la escena, no cuando realmente se alcanzaba a un paciente, lo que creó un incentivo pequeño pero real para estacionar en el límite en lugar de alcanzar al paciente más rápido.

Ninguna práctica era fraudulenta en el sentido de falsificar un registro; cada una era una respuesta localmente racional a un objetivo cuya definición creaba espacio para exactamente esta deriva —una instancia de libro de texto de fijación en la medida y tergiversación operando juntas. El problema salió a la superficie no mediante el propio informe del servicio, que continuaba mostrando mejora, sino mediante la inspección rutinaria de una inspectoría regional de salud independiente, que combinó la revisión de expedientes de casos con observación directa del manejo de llamadas y encontró clasificaciones degradadas inconsistentes con el detalle clínico registrado en las mismas llamadas. La calificación de la inspectoría cayó agudamente, de una descripción equivalente a 'bueno' a 'requiere mejora', a pesar de que la propia cifra de tiempo de respuesta publicada del servicio era mejor de lo que jamás había sido.

La respuesta inicial del servicio —señalar sus propias cifras en mejora— empeoró el problema de credibilidad, porque respondía a una pregunta que la inspectoría no había hecho; la inspección nunca había disputado la aritmética, solo lo que medía la aritmética. Su respuesta más efectiva fue rediseñar la suite de indicadores desde el modelo lógico subyacente en lugar de parchar el objetivo existente: el tiempo de respuesta se redefinió al momento del contacto con el paciente en lugar de la llegada del vehículo, la clasificación de llamadas se auditó independientemente en una muestra continua en lugar de confiarse al propio registro del operador, y se introdujo una medida paralela de resultado clínico —supervivencia hasta la admisión hospitalaria— porque era mucho más difícil de manipular solo mediante reclasificación. El porcentaje de tiempo de respuesta informado cayó en el primer año bajo la nueva definición, para lo cual la junta había preparado a sus financiadores para esperar; la medida de resultado clínico, rastreada por primera vez sobre una base comparable, mostró una mejora más pequeña pero genuina que el objetivo original nunca había demostrado realmente en ningún sentido.

Cuatro lentes sectoriales

Gobierno local

Los servicios locales como bomberos y rescate, atención social de adultos, y recolección de residuos usualmente se miden frente a una mezcla de indicadores nacionalmente mandatados que la autoridad local no eligió y medidas elegidas localmente que reflejan las propias prioridades de un consejo específico, así que un único servicio puede juzgarse un éxito frente a un conjunto de indicadores y una preocupación frente a otro. La inspección a nivel local a menudo la entrega un organismo nacional o regional con un mandato estatutario que cubre muchas autoridades locales a la vez, lo que da una perspectiva comparativa útil pero menos contexto local granular que la organización que inspecciona. Los miembros electos locales y los comités de escrutinio añaden una capa de rendición de cuentas más rápida e inmediata, y a menudo son los primeros en escuchar de los residentes cuando divergen una cifra publicada y la experiencia vivida.

Gobierno nacional

El gobierno nacional típicamente ejecuta los regímenes de desempeño más grandes y políticamente más visibles, porque un objetivo nacional —un estándar de tiempo de espera, un objetivo de reducción del crimen, un objetivo de tasa de aprobación de exámenes— se convierte en un proxy en el debate público para la competencia del gobierno del momento, lo que eleva lo que está en juego en la manipulación mucho más allá del nivel operativo. Este es el entorno donde la dinámica de 'objetivos y terror' de Bevan y Hood se realiza más completamente, porque los objetivos nacionales frecuentemente se emparejan con consecuencias políticas visibles por no cumplirlos, agudizando el incentivo de gestionar el número en lugar de la realidad detrás de él. Las inspectorías nacionales, precisamente porque operan a distancia de brazo de los ministerios cuyas fortunas políticas puede afectar una calificación, llevan una parte desproporcionada de la carga de sacar a la superficie la brecha entre el desempeño informado y el real (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad).

Sector social y sin ánimo de lucro

Las organizaciones sin ánimo de lucro y las organizaciones no gubernamentales más a menudo enfrentan el aseguramiento de calidad y la acreditación como una disciplina voluntaria o impuesta por el financiador que como un régimen de inspección estatutario, ya que pocas jurisdicciones ejecutan una inspectoría independiente dedicada para el sector como un todo. Esto deja el aseguramiento de calidad del sector social más fragmentado —diferentes financiadores imponiendo diferentes requisitos a la misma organización— pero también más flexible, ya que una organización sin ánimo de lucro a menudo puede diseñar su propia suite de indicadores en torno a su teoría del cambio real en lugar de un conjunto de medidas impuestas desde fuera. La ausencia de un inspector externo obligatorio eleva la importancia relativa de una junta independiente y la auditoría externa como el propio sustituto de rendición de cuentas horizontal del sector (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad), ya que el propio liderazgo de una organización sin ánimo de lucro de otro modo es tanto quien mide como quien se mide.

Multilateral e internacional

Los organismos multilaterales y los índices comparativos que publican o de los que dependen —clasificaciones entre países de la calidad de gobernanza, la facilidad de hacer negocios, o el desempeño del servicio público— enfrentan la ley de Goodhart a la escala de gobiernos nacionales enteros, donde un país puede mejorar su clasificación mediante reformas dirigidas estrechamente a los criterios medidos en lugar de la condición más amplia que afirma representar el índice. La inspección independiente en el sentido doméstico usado en otras partes de este tema no tiene un equivalente real a través de fronteras soberanas, ya que ningún estado acepta una inspectoría externa con la posición coercitiva que tiene un organismo nacional sobre una agencia que supervisa; el aseguramiento de calidad multilateral en cambio depende de la revisión por pares, el autoinforme validado por misiones técnicas, y el coste reputacional de una calificación publicada. Esto hace que la independencia y la credibilidad técnica del organismo que compila cualquier indicador entre países sea especialmente importante, ya que a menudo es la única comprobación disponible.

Modos de fallo comunes

Visión de túnel. Una organización concentra esfuerzo y recursos en lo que sea que se mida, a expensas directas de aspectos no medidos del mismo servicio que importan tanto a las personas a las que sirve. El coste es un servicio que parece estar mejorando en cada informe publicado mientras una dimensión no medida —la dignidad del paciente, la complejidad del caso, los resultados a largo plazo— silenciosamente se deteriora, no notado hasta que se convierte en una crisis lo suficientemente grande como para forzar una nueva medición.

Fijación en la medida. El éxito en el indicador llega a tratarse, dentro de la organización, como equivalente al éxito en el objetivo subyacente, así que el proxy desplaza a la meta en la atención real de todos incluso mientras la declaración de misión formal todavía nombra la meta. El coste es una brecha creciente y autorreforzante entre el desempeño informado y la realidad vivida, porque ya nadie dentro de la organización está observando la realidad directamente.

Tergiversación. Los datos se ajustan —un reloj se detiene temprano, un caso se reclasifica, un denominador se elige por efecto favorable— de modo que la cifra informada mejora sin que la realidad subyacente cambie en absoluto, como en el ejemplo trabajado anterior. El coste, una vez descubierto, es desproporcionado a la distorsión original, porque la tergiversación daña no solo la cifra específica sino la credibilidad de cada otro número que la misma organización jamás haya publicado (véase el Tema 3.4 — Rendición de Cuentas, Transparencia, y Legitimidad).

Osificación. Un objetivo fijado para un contexto operativo específico se deja sin revisar mucho después de que ha cambiado ese contexto, así que continúa informándose y gestionándose frente a él aunque ya no discrimine entre desempeño genuinamente bueno y genuinamente pobre. El coste es invisible durante años, porque un objetivo osificado todavía produce un número; el número simplemente ha dejado de significar algo, y la atención de gestión real de la organización usualmente ya se ha movido a otra parte sin que nadie retire formalmente la medida.

Captura de la inspectoría. Un organismo independiente de inspección o calificación se vuelve gradualmente dependiente de la buena voluntad, el acceso, o la cooperación continua de las organizaciones que inspecciona, ya sea mediante arreglos de financiación, trayectorias profesionales que mueven personal entre inspector e inspeccionado, o relaciones informales construidas a través de inspecciones repetidas. El coste es una pérdida lenta de independencia real que un estatuto o carta formal no previene por sí solo, y típicamente sale a la superficie solo cuando un fallo importante pasa a través de un sistema de calificación que debería haberlo captado.

Informe de seguridad impulsado por la culpa. Un sistema de informe de errores o cuasi-incidentes relevante para la seguridad es nominalmente sin culpa pero, en la práctica, está lo suficientemente conectado a la evaluación de desempeño o el proceso disciplinario como para que el personal aprenda que informar un error honesto conlleva riesgo personal. El coste no es menos errores —es menos informes de los errores que continúan ocurriendo, lo que elimina exactamente la señal de alerta temprana que existe para proporcionar un sistema de seguridad antes de que ocurra el próximo incidente, más serio.

Modelo de madurez

Lista de verificación

• Rastrear cada indicador de desempeño principal de vuelta al modelo lógico o marco de resultados que pretende representar.
• Identificar la forma más plausible en que se podría manipular cada objetivo publicado, y nombrar una medida de equilibrio que la revelaría.
• Confirmar que quien fija un objetivo, quien se mide frente a él, y quien comprueba independientemente el resultado no son todos la misma parte de la organización.
• Programar una revisión de ciclo fijo de cada objetivo en vivo, independiente de cualquier fallo visible que la impulse.
• Confirmar que el canal de informe relevante para la seguridad está estructuralmente separado de las decisiones de recompensa de desempeño y disciplinarias.
• Probar si el personal cree que un error o cuasi-incidente honestamente informado se trataría sin culpa, no solo si una política lo dice.
• Confirmar que cualquier organismo de inspección o calificación que evalúe a la organización tiene financiación, acceso, y derechos de publicación protegidos.
• Publicar las limitaciones conocidas de cada objetivo principal junto a la propia cifra.
• Comprobar si algún indicador se ha cumplido consistentemente durante varios períodos sin una investigación correspondiente sobre por qué.
• Involucrar al personal de primera línea en el diseño de cualquier objetivo nuevo antes de que entre en vigor.
• Confirmar que una certificación de gestión de calidad, donde exista una, se trata como un piso y no se cita como evidencia de buenos resultados por sí sola.

Fuentes clave

• La formulación de 1975 de Charles Goodhart de lo que se conoció como la ley de Goodhart, desarrollada en el contexto de la fijación de objetivos de política monetaria.
• Marilyn Strathern, ''Improving ratings': audit in the British university system', European Review, 5(3) (1997), 305–321 —la reformulación del sector público ampliamente citada de la ley de Goodhart.
• Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector', International Journal of Public Administration, 18(2–3) (1995), 277–310 —la fuente de la tipología de visión de túnel, fijación en la medida, tergiversación, y osificación en la que se apoya este tema.
• Gwyn Bevan y Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System', Public Administration, 84(3) (2006), 517–538 —el estudio de 'objetivos y terror' de la manipulación bajo consecuencias severas.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) —un relato de amplio alcance del fallo de medición a través de la educación, la atención sanitaria, los negocios, y el gobierno.
• Oficina Nacional de Auditoría del Reino Unido, 'Performance measurement by regulators', y la orientación de la Oficina de Responsabilidad Gubernamental de EE. UU. que distingue las medidas de desempeño de la evaluación de programas.
• La Care Quality Commission y Ofsted, como ejemplos de organismos independientes de inspección y calificación que operan a distancia de brazo de las organizaciones que evalúan.

Referencias

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, ''Improving ratings': audit in the British university system' — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, 'On the Unintended Consequences of Publishing Performance Data in the Public Sector' — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, 'What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System' — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted