¿El mayor desafío del Big Data? Convencer a la gente de que NO confíe en su juicio

¿El mayor desafío del Big Data? Convencer a la gente de que NO confíe en su juicio

A medida que aumenta la cantidad de datos, la importancia del juicio humano debe bajar.

Eleva tus habilidades de liderazgo y negocios

Súmate a más de 52,000 líderes en 90 empresas mejorando habilidades de estrategia, gestión y negocios.



He aquí una regla sencilla para el segunda edad de la máquina estamos ahora: a medida que aumenta la cantidad de datos, la importancia del juicio humano debería disminuir.

La declaración anterior se lee como herejía, ¿no? Hoy en día, la educación gerencial se trata educar para juzgar—desarrollar las capacidades de comparación de patrones de los futuros líderes, generalmente mediante la exposición a muchos estudios de casos y otros ejemplos, para que puedan navegar con confianza en el panorama empresarial. Y estemos o no en la escuela secundaria, se nos dice que confiemos en nuestras agallas e instintos, y que (especialmente después de ganar experiencia) podemos hacer evaluaciones precisas en un parpadear.

Este es el concepto erróneo más dañino en el mundo de los negocios de hoy (tal vez en el mundo completo). Como he escrito aquí antes, la intuición humana es real, pero también es realmente defectuosa. Juntas de libertad condicional humana hacer cosas mucho peores que simples fórmulas para determinar qué prisioneros deben volver a salir a la calle. Patólogos altamente capacitados no hagas un trabajo tan bueno como software de análisis de imágenes para diagnosticar el cáncer de mama. Profesionales de compras hacer algo peor que un algoritmo sencillo predecir qué proveedores tendrán un buen desempeño. Los mejores académicos jurídicos de Estados Unidos fueron superados por una regla de decisión basada en datos al predecir el valor de un año de votos en casos de la Corte Suprema.

Podría seguir y seguir, pero dejaré la última palabra aquí al psicólogo Paul Meehl, que inició la investigación sobre «expertos» humanos frente a algoritmos hace casi 60 años. Al final de su carrera, resumió: «No hay controversia en las ciencias sociales que muestre un cuerpo tan grande de estudios cualitativamente diversos que salen tan uniformemente en la misma dirección que este. Cuando estás impulsando más de 100 investigaciones, prediciendo todo, desde el resultado de los partidos de fútbol hasta el diagnóstico de enfermedad hepática, y cuando apenas se puede llegar a media docena de estudios que muestren incluso una débil tendencia a favor del médico, es hora de sacar una conclusión práctica».

La conclusión práctica es que debemos pasar muchas de nuestras decisiones, predicciones, diagnósticos y juicios, tanto triviales como consecuentes, a los algoritmos. Ya no hay controversia sobre si hacerlo nos dará mejores resultados.

Cuando se presenta esta evidencia, la respuesta típica de un experto contemporáneo es algo así como «Sé lo importantes que son los datos y el análisis. Por eso los tengo en cuenta a la hora de tomar mis decisiones». Esto suena bien, pero en realidad está a unos 180 grados mal. Una vez más, la investigación es clara: cuando los expertos aplican su criterio a la salida de un algoritmo o modelo matemático basado en datos (en otras palabras, cuando lo adivinan), generalmente les va peor de lo que haría el algoritmo por sí solo. Como sociólogo Chris Snijders dice: «Lo que suele ver es [que] el juicio de los expertos asistidos está en algún punto intermedio entre el modelo y el experto sin ayuda. Así que los expertos mejoran si les das el modelo. Sin embargo, el modelo por sí solo funciona mejor».

Las cosas mejoran mucho cuando cambiamos esta secuencia y hacemos que el experto proporcione información al modelo, en lugar de viceversa. Cuando se cuantifican las opiniones subjetivas de los expertos y se añaden a un algoritmo, su calidad suele aumentar. Por lo tanto, las estimaciones de los patólogos sobre lo avanzado que está un cáncer podrían incluirse como aportación al software de análisis de imágenes, las previsiones de los juristas sobre cómo votarán las Supremes sobre un caso próximo mejorarán la capacidad predictiva del modelo, etc. Como Ian Ayres lo pone en su gran libro Supercrunchers, «En lugar de tener las estadísticas como sirvientes de la elección de los expertos, el experto se convierte en un servidor de la máquina estadística».

Por supuesto, esto no va a ser un cambio fácil de hacer en la mayoría de las organizaciones. La mayoría de las personas que toman decisiones hoy en día creen que son bastante buenas en ello, ciertamente mejores que un algoritmo desalmado y despojado, y también creen que quitarles gran parte de su autoridad en la toma de decisiones reducirá su poder y su valor. La primera de estas dos percepciones es claramente errónea; la segunda mucho menos.

Entonces, ¿cómo se producirá esta gran inversión de expertos y algoritmos? ¿Cómo obtendrán mejores resultados nuestras organizaciones, economías y sociedades si se basen más verdaderamente en los datos? Va a requerir transparencia, tiempo y consecuencias: transparencia para dejar claro lo peor que es el juicio de los «expertos», tiempo para dejar que esta noticia se difunda y se asiente, y consecuencias para que nos preocupemos lo suficiente por las malas decisiones como para pasar por el cambio desgarrador necesario para hacer otras mejores.

Hemos tenido los tres en el caso de las juntas de libertad condicional. Como dice Ayres: «En los últimos veinticinco años, dieciocho estados han reemplazado sus sistemas de libertad condicional por pautas de sentencia. Y los estados que conservan la libertad condicional han cambiado sus sistemas para depender cada vez más de las evaluaciones de riesgo [algorítmicas] de la reincidencia».

Las consecuencias de las malas decisiones de libertad condicional son enormemente consecuentes para los votantes, por lo que las juntas de libertad condicional donde las reglas de juicio humano están afortunadamente en camino de salir. En el mundo empresarial, será la competencia, especialmente de rivales verdaderamente basados en datos, lo que traerá las consecuencias a los responsables de la toma de decisiones inferiores. No sé qué tan rápido sucederá, pero estoy muy seguro de que las empresas dominadas por los datos van a quitarle cuota de mercado, clientes y beneficios a quienes todavía dependen demasiado de sus expertos humanos.

De los datos a la acción
Un centro de información de HBR
¿El mayor desafío del Big Data? Convencer a la gente de que NO confíe en su juicio


Escrito por
Andrew McAfee




Eleva tus habilidades de liderazgo y negocios

Súmate a más de 52,000 líderes en 90 empresas mejorando habilidades de estrategia, gestión y negocios.