Lecciones de The Wire: Lo barato sale caro

“Cuando una medida se convierte en un objetivo, deja de ser una buena medida” 

Charles Goodhart

“Muéstrame cualquier cosa que represente el progreso institucional en Estados Unidos, resultados de exámenes escolares, estadísticas de delincuencia, informes de arrestos, estadísticas de detenciones, cualquier cosa con la que un político pueda presentarse, cualquier cosa con la que alguien pueda conseguir un ascenso. Y en cuanto inventes esa categoría estadística, 50 personas de esa institución se pondrán manos a la obra para intentar que parezca que se está progresando cuando en realidad no se está progresando nada…” 

David Simon, creador de The Wire.

Hace poco vi The Wire por tercera vez. En la serie, vemos a las personas que hay detrás de dos organigramas: el del Departamento de Policía de Baltimore y el de una operación de narcotráfico callejera. Ambas son burocracias complejas que luchan por sobrevivir. Pero solo la segunda consigue hacer algo.

La diferencia radica en cómo se mide el éxito. En el departamento de policía, el objetivo es reducir las estadísticas de delincuencia y quedar bien en las reuniones del mando policial (ComStat). ¿Cuál es el resultado? La delincuencia no disminuye, simplemente desaparece de los registros oficiales. La agresión se convierte en un delito menor de lesiones. Los delitos de robo se transforman en pequeños hurtos. Las cifras parecen buenas. Pero las calles no son más seguras.

En una de las secuencias más inquietantes, los cadáveres desaparecen entre las paredes de casas abandonadas. Cuando son descubiertos –cadáveres en descomposición sellados tras yeso y listones–, los jefes de policía prefieren no encontrarlos oficialmente: están optimizando el mantenimiento de las estadísticas de criminalidad en lugar de resolver los asesinatos.

La operación del narcotraficante Stringer Bell ofrece un marcado contraste. Mientras las instituciones de la ciudad se manipulan, Stringer Bell dirige su negocio de la droga como si fuera una empresa. Maximiza los beneficios y el mercado recompensa las prácticas que aportan “valor” a los clientes. Como resultado, la organización hace lo que se supone que debe hacer.

El trabajo de Bengt Holmström y Paul Milgrom sobre la teoría de los contratos contiene el primer análisis en economía de este problema bajo el epígrafe de “incentivos multitarea”. La naturaleza humana (sí, el odiado pero bastante resistente homo economicus) responde a los incentivos. Si le das a la gente un objetivo con consecuencias significativas, encontrará el camino más eficiente para alcanzarlo, por cualquier medio que encuentre adecuado. Pero cuando varias tareas compiten por la atención de un agente, las recompensas basadas en la medición del rendimiento pueden ser contraproducentes. El problema no es la precisión de la medición, sino la alineación entre lo que podemos medir y lo que realmente queremos conseguir.

Piense en ellos como si fueran dos vectores. El primer vector es lo que podemos medir: resultados de exámenes, estadísticas de delincuencia, beneficios trimestrales. El segundo es lo que realmente queremos: el aprendizaje de los estudiantes, la seguridad pública, el crecimiento sostenible de las empresas. A veces estos vectores están estrechamente alineados, como en la operación de Stringer Bell, donde el beneficio de la venta de drogas mide directamente el éxito. Pero a menudo son ortogonales o incluso opuestos, como en el departamento de policía de Baltimore, donde unas estadísticas de delincuencia más bajas podrían indicar una actuación policial peor.

El problema del sector público, y la razón por la que la burocracia parece tan burocrática, es que los resultados de las organizaciones públicas son necesariamente difíciles de medir. En el tráfico de drogas (o de petróleo), la métrica del éxito es sencilla: los beneficios obtenidos. Pero en el servicio público, los verdaderos objetivos –“policía eficaz”, “seguridad pública”– son intrínsecamente complejos y multidimensionales. (Los mismos retos afectan a las ONG.) Esta complejidad hace que la manipulación del sistema sea no solo posible, sino inevitable cuando se imponen parámetros simplificados.

La reducción de la delincuencia, la mejora de la educación, la mejora de la sanidad pública… ninguna de ellas se presta a una medición sencilla. La policía no puede saber con exactitud si los ciudadanos se sienten seguros y confiados, o sí, pero solo hasta que, según la ley de Goodhart, la medida se utiliza como objetivo y se vincula a incentivos, en cuyo caso la correlación desaparece. Una vez que se elige una métrica, los empleados acaban optimizando esa aproximación, en lugar de la real, lo que conduce a la desalineación. Cuanto mayor es la complejidad, más se convierte el sistema en un baile de apariencias. En The Wire, el ayuntamiento trata de mostrar su progreso desplazando a los sin techo, los funcionarios intentan quedar bien con CompStat y los profesores enseñan el examen.

Y al revés, un trabajador honrado que se da cuenta de este desajuste e intenta hacer lo “correcto” encuentra poca recompensa y mucha frustración. Los incentivos les empujan a seguir a todos los demás y a engañar a la métrica. También animan a los demás a castigar a los desertores que desafían el desajuste. Bunny Colvin, el comandante de policía que comprende que la guerra contra las drogas es un juego de trileros, lo desafía y es despedido por ello. Tommy Carcetti, que se convierte en alcalde como un idealista que intenta cambiar el sistema, acaba jugando con los números como el mejor de los políticos maquinales corruptos.

En la cuarta temporada, el sistema escolar ofrece otro buen ejemplo. En realidad, los profesores no enseñan mejor cuando los resultados de los exámenes se convierten en la única métrica, sino que se convierten en expertos en la preparación de exámenes. Todo el plan de estudios se distorsiona. Se oculta a los alumnos con dificultades. El material avanzado se abandona en favor de rituales de preparación de exámenes que hacen que la escuela parezca buena. Si, como Prez, el maravilloso policía reconvertido en profesor, intentas hacer lo correcto por los niños, pones en peligro la existencia de toda tu escuela. No esperes que nadie te reconozca: tendrás suerte si no te despiden a ti.

Roland “Prez” Pryzbylewski: No lo entiendo, ¿todo esto para que saquemos mejores notas en los exámenes estatales? Si estamos enseñando a los niños las preguntas del examen, ¿qué estamos evaluando en ellos?

Profesor: Nada, nos evalúan a nosotros. Si los resultados suben, pueden decir que las escuelas están mejorando. Si los resultados bajan, no pueden.

Prez: Trampeando las estadísticas

Profesor: ¿Perdón?

Prez: Convirtiendo robos en hurtos, haciendo desaparecer violaciones. Trampeamos las estadísticas, y los mayores se convierten en coroneles. He estado aquí antes.

(Fuente: Bill Moyers Journal)

Cuanto más complejo sea el resultado deseado, más cuidado debemos tener a la hora de medir e incentivar el rendimiento. Las métricas sencillas funcionan bien para objetivos sencillos, pero pueden fracasar catastróficamente cuando se aplican a objetivos sociales complejos. La genialidad de The Wire reside en mostrarnos esta verdad a través de múltiples instituciones, cada una de ellas luchando con la brecha entre lo que pueden medir y lo que realmente quieren conseguir.

The Wire es algo más que una gran serie de televisión. Es una clase magistral de economía organizativa, una demostración brutal y hermosa de cómo los incentivos moldean el comportamiento humano y de cómo los sistemas mejor intencionados pueden producir los resultados más perversos.

Estos problemas –la diferencia entre lo que deseamos y lo que podemos medir– son omnipresentes. Consideremos dos aplicaciones actuales y de actualidad:

1. El greenwashing. El mundo de los créditos de carbono está plagado de empresas que mejoran sus indicadores medioambientales mediante una contabilidad creativa. Por ejemplo, las compensaciones de carbono mediante créditos de preservación forestal. Las empresas pueden reclamar la neutralidad de carbono pagando para proteger bosques que nunca estuvieron en riesgo de tala. Cuantos más árboles se salven en comparación con el bosque de referencia, más créditos de carbono se ganan.

Un caso reciente en Zimbabue ilustra perfectamente los problemas que plantea este sistema: South Pole, la mayor empresa de compensación de carbono del mundo, vendió créditos por proteger tierras forestales cerca del lago Kariba. Cuando descubrieron que tanto su bosque protegido como el bosque de referencia estaban prácticamente intactos –buenas noticias para el planeta pero malas para el negocio de los créditos de carbono– siguieron vendiendo créditos de todos modos. Un ejecutivo, cuando le preguntaron si los créditos reflejaban la realidad, respondió: “¿Qué es la realidad?”. La medición se convierte en el objetivo, en lugar de la reducción real de carbono.

Como ha señalado Matt Levine en Bloomberg, existe un incentivo perverso: se podría ganar aún más dinero organizando en secreto la destrucción del bosque de referencia, con lo que el bosque protegido parecería más exitoso en comparación. Al igual que los mandos policiales de Baltimore preferían no encontrar cadáveres para mantener bajas las estadísticas de asesinatos, los comerciantes de compensaciones de carbono podrían preferir ver arder los bosques de referencia para demostrar que sus esfuerzos de protección “funcionaban”

Del mismo modo, se pretende que los criterios ESG (medioambientales, sociales y de gobierno corporativo) proporcionen una inversión limpia, pero maximizar los criterios ESG puede significar gastar en invertir en empresas sucias. Por ejemplo, una empresa energética divide sus operaciones entre una filial “verde” que obtiene financiación favorable a través de bonos verdes, y una entidad “marrón” que posee activos más sucios y recurre a la financiación tradicional. Saudi Aramco crea dos filiales separadas de oleoductos y gasoductos y vende el 49% de cada una a vehículos de inversión en Luxemburgo. Estos vehículos utilizan préstamos bancarios para pagar a Aramco. Los vehículos luxemburgueses –EIG Pearl y Greensaif Pipelines– no están señalados por los sistemas de calificación ESG del mismo modo que Aramco. Aunque esencialmente financian la infraestructura de combustibles fósiles de Aramco, los fondos ESG pueden comprar sus bonos sin activar los criterios de exclusión. Las agencias de calificación crediticia se dan cuenta de ello, otorgando a estos bonos la misma calificación que a Aramco, pero los marcos ESG los tratan como entidades separadas. Al igual que las estadísticas de The Wire, se trata de hacer que los números parezcan buenos en lugar de lograr un cambio real.

2. Puntos de referencia de la IA. La noticia para la humanidad en esta época prenavideña fue el asombroso progreso del modelo o3 de OpenAI. La empresa anunció un rendimiento sin precedentes en el Corpus de Abstracción y Razonamiento (ARC) de François Chollet, una prueba diseñada para medir la inteligencia genuina. Los medios tecnológicos se llenaron de entusiasmo. Algunos incluso bromeaban con la llegada de la Inteligencia Artificial General. Luego estalló una gran polémica. Algunos (sobre todo Gary Marcus) argumentaron que OpenAI estaba, para decirlo en un lenguaje que Prez entendería, enseñando a o3 a hacer la prueba.

Cuando la medida del progreso de la IA es el rendimiento de los puntos de referencia, se corre el riesgo de que, en lugar de desarrollar un auténtico razonamiento abstracto, los modelos de IA se dediquen a una elaborada forma de optimización métrica. Del mismo modo que la “eficacia policial” se resiste a una medición sencilla, la “inteligencia artificial” desafía la evaluación comparativa fácil. El creador de ARC, François Chollet, está desarrollando ahora una versión más dura, reconociendo que la actual se ha “saturado” con este tipo de técnicas.

Epílogo: Consejos profesionales: elige bien tu organización

Un consejo profesional para nuestros lectores más jóvenes. Averigua rápido si tu organización (y tu trabajo) valora hacer lo correcto, y si no es así, déjala. Si resuelves delitos, puede que seas feliz en tu trabajo. Si tu organización se dedica a cubrirte las espaldas, probablemente no lo serás. El trabajo es casi un tercio de tu vida. Ya sea cocinando, resolviendo delitos o dando clases, puedes hacer un trabajo honesto y serio –lo que McNulty llama “hacer de buen policía”– o puedes estar en un lugar que te exige que finjas.

He trabajado en el mundo académico, en la política y en el sector privado, y he encontrado de los dos tipos. Hay organizaciones académicas que miran constantemente las clasificaciones y hacen hincapié en lo que “cuenta” (puede ser por alguna métrica arbitraria inventada, por ejemplo, por un editor de FT) y otras en las que te animan a hacer tu mejor trabajo independientemente de dónde acabe. Los partidos políticos son famosos, por supuesto, por anteponer otros parámetros, sobre todo la lealtad, al mérito, aunque es más probable que un partido emergente recompense el mérito. Incluso en las empresas, donde la maximización de beneficios debería ser un parámetro claro, he visto muchos juegos de azar, como invertir en proyectos con un VPN (Valor Presente Neto) negativo para que las cifras a corto plazo parezcan buenas.

En todos estos casos, hay que mirar más allá de las declaraciones de misión y los valores corporativos pegados en las paredes. Enron era famosa por defender “La Integridad, la Comunicación, el Respeto, la Excelencia”, hasta que colapsó. En su lugar, estudia lo que realmente se recompensa, a quién se asciende. ¿Recompensa este lugar el trabajo bueno, creativo, intenso y honesto o prefieren a los que manipulan las estadísticas?

Traducción del inglés de Ricardo Dudda.

Publicado originalmente en Silicon Continent.

Tomado de https://letraslibres.com/