Eric Ries: Porqué las métricas de vanidad son peligrosas

Este post de Eric Ries fue publicado originalmente en su blog Startup Lessons Learned con el título Why Vanity Metrics and Dangerous. Traducido por Magma Partners. Recomendamos su libro The Lean Startup si quieres aprender más sobre el tema.

En un post anterior, definí dos tipos de métricas: las de vanidad y las accionables. En ese post, di por sentado que las métricas de vanidad eran negativas, y me centré en las técnicas para crear y aprender a partir de métricas accionables. En este post, me gustaría hablar sobre los riesgos de las métricas de vanidad.

Mis métricas de vanidad favoritas son las de “éxitos”. Tiene todas las peores características de una métrica de vanidad. Viola la regla de ” los parámetros son personas también “: cuenta un proceso técnico, no el número de seres humanos. Es un número bruto, no por cliente: una visita de un millón de personas es una cosa muy distinta a un millón de visitas de una sola persona. La mayoría de la gente normal no lo entiende: de todos modos ¿qué es lo que cuenta como un hit (una imagen, una página, un archivo JS …)? Y no tiene incorporado ninguna medida de la causalidad: si conseguimos un millón de visitas este mes, ¿qué las causó? ¿cómo podríamos generar más visitas? ¿son todas esas visitas de igual valor? Como cada una de estas preguntas requiere sumergirse en una sub-métrica diferente, ¿por qué no utilizar esas métricas en su lugar? Esa es la esencia de las métricas accionables.

Pero las métricas accionables son más trabajo. Así que es razonable preguntarse: ¿qué hay de malo con las métricas de vanidad, al menos como sustituto de comportamiento de los clientes? Si las visitas (hits?) son más grandes este mes que el mes pasado, eso es progreso. ¿Por qué tenemos que hacer preguntas difíciles acerca de la métrica, si es al menos direccionalmente correcta?

Cuando confiamos en las métricas de vanidad, una cosa divertida sucede. Cuando los números suben, he sido testigo personalmente de que todos en la compañía lo atribuyen naturalmente a lo que están trabajando en el momento. Eso no es tan malo, a excepción de este correlato: cuando los números bajan, invariablemente culpamos a alguien más. Con el tiempo, esto permite que cada persona en la empresa viva en su propia realidad privada. A medida que estas realidades divergen, se hace cada vez más difícil para los equipos llegar a un consenso sobre qué hacer a continuación. Si esos equipos están organizados funcionalmente, el problema se amplifica. Si todos los ingenieros trabajan en la misma cosa al mismo tiempo, y todos los vendedores hacen lo mismo, y QA, y ops, y todo el mundo hasta el fin de la línea, entonces, cada departamento desarrolla su propia realidad privada en equipo. Ahora imagínese reuniones de priorización de productos en una empresa de este tipo. Cada equipo no puede creer que los idiotas del otro lado de la oficina quieren probar otro proyecto foo cuando es tan evidente que los proyectos foo siempre fallan.

¿Alguna vez has construido una de esas cartas que muestra un indicador en el tiempo, con la anotación “eventos clave” que explican lo que pasó con los números en los puntos de inflexión clave? Si nunca lo has tenido, puedes crear uno usando Google Finance. Anda, pruébalo, y luego vuelve. Acabas de experimentar un infierno en las métricas de vanidad. Todo el mundo sabe que estos gráficos son totalmente poco persuasivos. A lo sumo, sólo pueden mostrar correlación, no causalidad. Claro, puedo construir un gráfico de acciones, como éste, que muestra que el precio de las acciones de eBay entró en un declive de cuatro años inmediatamente después de que “eBay Inc compra Dutch Company Marktplaats.nl.” Pero, ¿realmente crees que eso es lo que causó los problemas de eBay? Por supuesto que no. En el peor de los casos, este tipo de métricas de vanidad se pueden utilizar fácilmente para grandes distorsiones. Y esa potencialidad puede paralizar a las empresas en esos momentos clave cuando más necesitan comprender sus datos.

Permíteme tomar un ejemplo de una empresa que estaba pasando por un momento duro de “cruzar el abismo”. Ellos acababan de experimentar dos trimestres de baja después de muchos trimestres de crecimiento constante. Naturalmente, acababan de recaudar dinero, y sus nuevos inversores estaban comprensiblemente molestos. La empresa tuvo muchas dificultades con la forma de explicar esta mala noticia. Ellos estaban acostumbrados a medir su progreso principalmente por los ingresos brutos en comparación con sus objetivos. Cuando los números comenzaron a bajar, empezaron a investigar. Resultó que, durante el curso de la decadencia, un segmento de clientes estaba perdiendo clientes, mientras que otro los fue ganando. Es sólo que los clientes del segmento en declive eran más valiosos. En retrospectiva, puedo ver la ironía de la situación perfectamente. Este descenso fue en realidad el resultado de que la empresa estaba ejecutando con éxito su estrategia. Los clientes en su salida eran más valiosos en el corto plazo, pero los nuevos clientes que entraban eran donde el crecimiento real iba a suceder en el largo plazo. Por desgracia, la magnitud del cambio, y los valores relativos de los dos segmentos, tomaron a la compañía por sorpresa.

Adivina qué tan bien les fue a esas reuniones de la junta. De repente, ahora que la compañía estaba peligrando, nuevas métricas estaban siendo utilizadas para juzgar el éxito. Los gráficos de vanidad aparecieron, mostrando los cambios que la compañía había hecho a su estrategia y los cambios posteriores en el comportamiento del cliente, desglosados ​​por segmentos. Todo muy razonable, bien diseñado, bien argumentada. En otras palabras, un desastre total. Esta tabla no tenía forma de saber si estaban escuchando una visión real o excusas simplemente bien elaboradas. La idea resultó ser correcta (siempre es claro en retrospectiva). Lástima que varios de los ejecutivos que hacían la presentación no estaban alrededor para ser vindicados.

Toda la situación se podría haber evitado si la empresa hubiera utilizado métricas accionables para establecer y evaluar los objetivos desde el principio. Los cambios de estrategia se podrían haber descartado gradualmente, segmento por segmento, en ensayos controlados. Los datos de estos ensayos podrían haber sido utilizados para predecir los efectos futuros, y podrían haber permitido a la empresa tomar decisiones más inteligentes. Las métricas accionables no garantizan que vayas a  tomar buenas decisiones. Pero al menos puedes tener los datos en la sala en el momento preciso.

Y ese es mi heurística de métricas. Considera las últimas decisiones críticas de un equipo. No las que tienen una discusión cuidadosamente coreografiada y una agenda formal. Esas son las reuniones fáciles. Estoy hablando de las decisiones de crisis adhoc, las reuniones periódicas de priorización de productos, y las de fracaso post-mortem. ¿Cuántos datos procesables habían en la habitación en ese momento? Con los datos, los equipos tienen una oportunidad de mejorar sus decisiones con el tiempo, entrenando sistemática su intuición para ajustarse a la realidad. Sin ella, sólo están tirando los dados.

Y es por eso que las métricas de vanidad son peligrosas.

Scroll to top