Ley de Goodhart

La Ley de Goodhart indica que las personas pueden anticipar los efectos de una política cuando evalúan los resultados de sus acciones, y de este modo, tendrán en cuenta la política a la hora de tomar decisiones.

La Ley de Goodhart es un adagio muy importante a la hora de definir políticas económicas o empresariales, como también a la hora de analizar los resultados de esa política. También se conoce como "Dilema de Goodhart".

Cuando la política se enfoca en una sola medida, las personas comienzan a optimizar esa medida en particular. Es decir, ante un cambio en los incentivos, modifican su comportamiento buscando maximizar su beneficio individual. El resultado final puede ser una disminución del bienestar general.

Ejemplos de la Ley de Goodhart

Un buen ejemplo es lo que sucedió en India, cuando ese país estaba bajo control británico. Buscando disminuir la cantidad de serpientes venenosas que andaban sueltas por las calles, el gobierno comenzó a ofrecer dinero a cambio de cada Cobra muerta que se entregue.

En un comienzo, la medida pareció ser exitosa: la gente comenzó a matar cobras y a entregarlas al gobierno. Pero luego de un tiempo, muchos se dieron cuenta que era mas fácil criar cobras que cazarlas. Florecieron criaderos de cobras cuyo negocio consistía en entregar cobras muertas al gobierno, a cambio de dinero.

Cuando el gobierno se dio cuenta de esta estrategia, decidieron eliminar el programa de compensaciones. ¿Adivinas qué pasó cuando el gobierno eliminó el programa? Los criadores de cobras dejaron libres a muchas serpientes. ¡La cantidad de serpientes sueltas en las calles aumentó!

¿Qué lecciones podemos aprender de este caso? Cuando se pone énfasis en una medida a optimizar, las personas pueden manipularla para maximizar cierto objetivo.

La Ley de Goodhart usualmente se conoce de la siguiente manera:

Cuando una medida se convierte en objetivo, deja de ser una buena medida.

Charles Goodhart

Charles Goodhart es un economista británico nacido en 1936. Fue miembro del Comité de Política Monetaria del Banco de Inglaterra y profesor de la London School of Economics. La Ley de Goodhart se hizo popular cuando Goodhart publicó un paper en 1975, que criticaba la política económica de Margaret Thatcher.

Interpretaciones de la Ley de Goodhart

La formulación original de Goodhart era:

Cualquier regularidad estadística observada tenderá a desplomarse una vez se presione para utilizarla con propósitos de control.Goodhart, 1975

La Ley de Goodhart es importante en política económica y en la administración de empresas. La ley está implícita en la idea de las expectativas racionales: las personas son conscientes de las implicaciones de sus acciones y actúan de acuerdo a ellas.

Una hermosa formulación de la Ley de Goodhart es la realizada por Jón Danı́elsson, un economista que enseña en la London School of Economics:

Cualquier relación estadística fracasa cuando se usa como propósito de política. Jón Danı́elsson

Ejemplos de la Ley de Goodhart

- Optimización para buscadores: Durante mucho tiempo, Google usó un sistema llamado PageRank para ordenar los resultados de búsqueda. PageRank usaba los vínculos desde otras páginas como un proxy de la calidad del resultado, y las páginas que tenían mas vínculos subían en las posiciones de los resultados de búsqueda.

Cuando la Ley de Goodhart entró en acción, muchos webmaster comenzaron a intercambiar vínculos entre sus páginas o a crear "granjas" de vínculos, para mejorar sus rankings.

Google cambió su algoritmo para ordenar los resultados. Para evitar que la Ley de Goodhart entre en acción nuevamente, muchos aspectos del algoritmo actual no son públicos.

- Objetivos de Ventas: en muchas empresas de venta, se establecen objetivos a vendedores para aumentar su productividad. Por ejemplo, un vendedor de autos puede obtener un bono de $1000 si vende mas de 20 autos por mes.

Esto puede tener dos consecuencias negativas: cuando se acerca fin de mes, quienes no hayan logrado vender mas de 20 autos se apresurarán para lograr el objetivo haciendo muchas llamadas y ofreciendo descuentos que no habrían ofrecido en circunstancias normales.

También, los que sí hayan logrado vender mas de 20 autos, tendrán menos incentivos para aumentar el número de ventas: cerca de fin de mes preferirán posponer sus ventas hasta que comience el mes siguiente.

Estas estrategias pueden ser perjudiciales para la empresa en su conjunto, a pesar de que pueden ser beneficiosas para cada uno de los vendedores.

- Cupones de Descuento: Cuando empresas ofrecen cupones de descuento regularmente, los clientes pueden retrasar compras para obtener un descuento en el futuro.

- Call Centers: Muchos call centers establecen objetivos de tiempo promedio de llamada, como tres minutos por llamada en promedio. Para cumplir con este objetivo, los operadores pueden apresurarse a terminar sus llamadas mas rápida, lo que implica que en muchos casos la calidad de atención al cliente disminuirá para reducir el tiempo de llamada, en especial, los operadores evitarán llamadas que impliquen largas conversaciones, sin tener en cuenta la importancia de las mismas.

- Notas Escolares y Universitarias: Las calificaciones en los exámenes se usan como proxy de la calidad académica. Estudiantes están memorizando para rendir exámenes con buenas notas en lugar de aprender en profundidad y relacionar contenidos entre diversas materias de estudio.

- Publicaciones Académicas: en el mundo académico muchas veces se tiene en cuenta la cantidad de trabajos publicados en revistas académicas como un indicador de la productividad de un investigador. Los académicos, para lograr que sus trabajos sean publicados, tienen incentivos para manipular sus datos y de este modo lograr significancia estadística en sus investigaciones, por ejemplo, usando sets de datos menores que los originales. Puede existir un sesgo en las publicaciones, dado que los trabajos que no lograron significancia estadística no fueron publicados y no se encuentran disponibles.

Implicaciones para el Análisis de Datos

Cuando un modelo basado en datos del pasado se aplica en el "mundo real", las personas pueden comenzar a cambiar su comportamiento en respuesta a la aplicación del modelo, lo que lo podría invalidar.

En Data Science, la Ley de Goodhart se puede expresar como "El comportamiento puede variar como consecuencia de la presencia del modelo."

Se pueden realizar pruebas para testear la presencia de la Ley de Goodhart. Por ejemplo, se puede verificar si existe un cambio estructural luego de que se haya aplicado el modelo.

¿Cómo superar la Ley de Goodhart?

No existe una solución simple al problema planteado por la Ley de Goodhart. El comportamiento humano es complejo y difícil de modelar.

Una primera opción es usar mejores medidas, que tengan en cuenta múltiples factores.

Cuando no es necesario comunicar explícitamente las recompensas, no hacerlo puede lograr que los agentes no tengan un proxy que optimizar. Las personas usarán el sentido común para optimizar objetivos amplios.

Teniendo en cuenta el comportamiento social de los grupos humanos, para evitar los problemas ocasionados por la Ley de Goodhart, en muchos casos puede ser útil evitar grandes grupos de trabajo y jerarquías. De este modo, se evita la introducción de objetivos o Key Performance Indicators (KPIs o Indicadores Clave de Rendimiento). Los grupos pequeños naturalmente pueden comenzar a optimizar una diversidad de indicadores como medida de su éxito.

Resumen y Conclusiones

La Ley de Goodhart es un fenómeno que se presenta en muchas areas de negocios y científicas. Los hacedores de política, analistas de datos, científicos y administradores deben tener en cuenta la Ley de Goodhart a la hora de diseñar indicadores de rendimiento, y evitar caer en el error de usar recompensas basadas en indicadores cuando la introducción de esta política puede traer consecuencias indeseadas.