La información es poder, se nos ha dicho durante siglos. De hecho, desde hace varios años se habla de cómo las “decisiones basadas en datos” son un objetivo que empresas y personas deberían buscar. Por supuesto, siempre es mejor tomar una decisión informada, pero la información por sí sola tiene límites y los datos solo ofrecen la respuesta a una medición específica, que podría no ser aplicable en la decisión que debes tomar.

De hecho, creer ciegamente en un resultado o en una pieza de información y tomarla como la única verdad son errores muy comunes que cometen los líderes y gerentes de organizaciones. 

Pero entonces, ¿cómo tomar decisiones basadas en datos si no podemos garantizar su aplicabilidad para cada caso?

Esta es la pregunta que han investigado durante años Michael Luca, profesor de administración de empresas y director de la Iniciativa Tecnología y Sociedad en la Universidad Johns Hopkins; y Amy Edmondson es profesora de liderazgo Novartis  en la Harvard Business School.

“En nuestras interacciones con empresas, incluidas firmas enfocadas en los datos, notamos que esta práctica no se sigue constantemente. Muchas veces creencias predeterminadas, comparaciones problemáticas y pensamiento de manada dominan las discusiones”, escriben en su más reciente texto para la HBR Magazine. 

También proponen algunas recomendaciones para analizar de manera más rigurosa la información y evitar sesgos al evaluar evidencia.

Prueba y presiona la relación causa y efecto

Durante años, Ebay creyó que el incremento constante de sus usuarios se debía a su estrategia de publicidad en Google. Sin embargo, una investigación interna mostró que el crecimiento se debía a una mayor demanda de sus servicios, por lo que habrían crecido con o sin publicidad.

Una manera de acercarse a la causalidad es indagar sobre cómo se hizo la investigación. El estándar dorado para determinar causalidad son los ensayos controlados, en los que un conjunto de personas escogidas al azar es dividido en dos grupos: uno en el que se probará el experimento y otro que no.

Pero esta manera de encontrar datos no siempre es posible. En estas situaciones, los líderes de las organizaciones deben estar atentos a los factores que puedan alterar las variables de una investigación en la que quiera basarse la organización. 

Subestimar la importancia de la muestra

También es importante considerar el tamaño de las personas estudiadas. Por ejemplo, entre dos hospitales, uno grande que gestiona miles de nacimientos cada año y otro que atiende apenas cientos de alumbramientos anualmente. Entre estos dos, solo el pequeño tiene más días en los que la tasa de varones que nacen supera el 60%. 

Esto ocurre porque las muestras pequeñas tienden a mostrar fluctuaciones porcentuales más grandes. Sin embargo, las investigaciones sobre sesgos de los psicólogos Daniel Kahneman y Amos Tversky muestran que la mayoría de personas se equivocan al considerar esto”.

“Las personas tienden a subestimar el efecto que el tamaño de las muestras tienen sobre la precisión de un estimado. Este error común puede llevar a malas decisiones. No importa lo que quieras averiguar, es importante considerar el tamaño de la muestra que se tuvo”, afirman.

Enfocarse en los resultados equivocados

“Lo que mides es lo que tienes”, sostenían Robert Kaplan y David Norton en un clásico artículo del HBR de 1992. Aunque han pasado más de tres décadas, para Luca y Edmondson esto es más cierto ahora que nunca, pues los análisis predictivos y experimentos suelen enfocarse en resultados que son fáciles de medir y calcular. En cambio, los empresarios suelen estar interesados más que nada en resultados y evidencia que es impráctica de probar o de demostrar. 

“Como resultado de esto, las métricas de estos resultados usualmente no capturan completamente el funcionamiento general de la operación empresarial”, dicen los investigadores. 

Por ejemplo, una investigación mostró que los beneficios que una empresa tuvo luego de aumentar unilateralmente el salario de sus trabajadores de bodega, superaron con creces el costo del incremento en el pago. Sin embargo, la satisfacción de los trabajadores es más difícil de medir que el costo monetario de un aumento salarial, y muchos líderes pueden quedarse con el resultado más tangible, aunque sea contrario a su interés. 

Por esto, para sacar provecho y aprender de cualquier resultado o conjunto de datos, es necesario hacer preguntas como:

  • ¿Qué resultados fueron medidos y si se incluyeron los que son relevantes para la decisión que vamos a tomar?
  • ¿Fueron lo suficientemente grandes para identificar consecuencias intencionadas y accidentales?
  • ¿Estos resultados se obtuvieron luego de un periodo suficiente de medición?

Generalizar incorrectamente

Una pregunta que siempre debe surgir al analizar estudios y acudir a la información para tomar decisiones es si los datos y resultados obtenidos implica lo mismo para otros escenarios o si una conclusión obtenida en una tipo de industria puede valer también para otros sectores.

De acuerdo con la experiencia de Luca y Edmondson, los empresarios cometen errores tanto sobreestimando los resultados de un estudio como subestimándolos. Por ejemplo, un vicepresidente de ingeniería de una importante empresa de tecnología le contó que su empresa tenía como regla no revisar las calificaciones de la universidad para ocupar roles de ingeniero. 

La razón de esta decisión, cuentan los expertos, era que este vicepresidente había leído una supuesta declaración de un directivo de Google sobre que no existía relación entre las calificaciones y las proyecciones profesionales. “Al tomar esta pieza de información como si fuera un evangelio, ignoró limitaciones potenciales en la aplicabilidad tanto interna como externa”.

Sin embargo, al evaluar qué tan generalizable es un resultado o un dato, puede ayudar a discutir sobre los mecanismos detrás de esta pieza de información y si aplican en otros contextos. Algunas preguntas que pueden guiar esta discusión pueden ser: 

  • ¿Qué tan similar es el escenario del estudio comparado con nuestro negocio?
  • ¿El contexto o el periodo del análisis lo hacen más o menos relevante para nuestro caso?
  • ¿Cómo está compuesta la muestra de la investigación y cómo esto puede influir en la aplicación de resultados?

Darle demasiada importancia a un resultado específico

Un último error que las investigaciones de Luca y Edmondson han identificado es confiar demasiado en un solo resultado. Por eso, el investigador sugiere un principio básico del conocimiento: duda de la evidencia presentada y busca más investigaciones sobre la materia. 

Otra opción puede ser que la organización misma haga un análisis propio, aunque hay que considerar esta preguntas: 

  • ¿Existen otros análisis que validen o respalden estos resultados?
  • ¿Qué información adicional podríamos recolectar y qué tanto nos costaría y beneficiaría hacerlo?

Ahora que conoces cuáles son los errores más comunes, te contaremos qué puedes hacer para evitarlos y  poder abordar la información y los conjuntos de datos de formas más holísticas, analíticas y, sobre todo, beneficiosas. Pero eso será en una segunda parte sobre este tema.