Guía paso a paso para experimentos empresariales inteligentes

Durante la última década, los gerentes han despertado al poder de la analítica. Las computadoras y el software sofisticados han dado a las empresas acceso a inmensos tesoro de datos: según una estimación, las empresas recopilaron más información sobre sus clientes en 2010 que en todos los años anteriores juntos. Esta avalancha de datos presenta a las empresas grandes oportunidades para aumentar los beneficios, si pueden encontrar una forma de utilizarlos de forma eficaz.

La realidad es que la mayoría de las empresas no pueden hacerlo. La analítica, que se centra en analizar datos del pasado, es una tarea complicada. Pocas empresas tienen los conocimientos técnicos necesarios para implementar un programa de análisis a gran escala. Incluso las empresas que realizan grandes inversiones en análisis suelen encontrar los resultados difíciles de interpretar, sujetos a limitaciones o difíciles de usar para mejorar inmediatamente los resultados.

La mayoría de las empresas obtendrán más valor de los experimentos empresariales sencillos. Esto se debe a que es más fácil sacar las conclusiones correctas utilizando datos generados a través de experimentos que estudiando transacciones históricas. Los gerentes deben ser expertos en el uso de técnicas básicas de investigación. Específicamente, deben adoptar el enfoque de «probar y aprender»: realizar una acción con un grupo de clientes, realizar una acción diferente (o a menudo ninguna acción) con un grupo de control y, a continuación, comparar los resultados. Los resultados son fáciles de analizar, los datos se interpretan fácilmente y la causalidad suele ser clara. El enfoque de prueba y aprendizaje también es notablemente potente. Los comentarios de un puñado de experimentos pueden producir mejoras inmediatas y drásticas en los beneficios (consulte la barra lateral «Cómo un minorista probó su estrategia de descuento»). Y, a diferencia de la analítica, la experimentación es una habilidad que casi cualquier gerente puede adquirir.

Es cierto que puede ser difícil saber por dónde empezar. En este artículo, proporcionamos una guía paso a paso para llevar a cabo experimentos empresariales inteligentes.

Se trata de probar las respuestas de los clientes

En algunas industrias, la experimentación ya es una forma de vida. El catálogo de J. Crew o Pottery Barn que llega a tu buzón es casi seguro parte de un experimento: probar productos, precios o incluso el peso del papel. Las solicitudes benéficas y las ofertas de tarjetas de crédito también suelen formar parte de las pruebas de marketing. Capital One lleva a cabo decenas de miles de experimentos cada año para mejorar la forma en que adquiere clientes, maximiza el valor de su vida útil e incluso pone fin a los que no son rentables. Al hacerlo, Capital One ha pasado de ser una pequeña división de Signet Bank a ser una empresa independiente con una capitalización bursátil de 19.000 millones de dólares.

La facilidad con la que las empresas pueden experimentar depende de la facilidad con la que puedan observar los resultados. Las empresas de correo directo, las empresas de catálogos y los minoristas en línea pueden dirigirse con precisión a personas con diferentes acciones y evaluar las respuestas. Sin embargo, muchas empresas participan en actividades o llegan a los clientes a través de canales que hacen imposible obtener comentarios fiables. El ejemplo clásico es la publicidad televisiva. Coke solo puede adivinar cómo respondieron los espectadores a su publicidad durante los últimos Juegos Olímpicos, una limitación reconocida por el famoso axioma de John Wanamaker: «La mitad del dinero que gasto en publicidad se desperdicia; el problema es que no sé cuál mitad». Sin un mecanismo de retroalimentación eficaz, la base de la toma de decisiones vuelve a la intuición.

En la práctica, la mayoría de las empresas se encuentran entre estos dos extremos. Muchos son capaces de realizar pruebas solo a nivel agregado y se ven obligados a comparar grupos de tratamiento y control no equivalentes para evaluar la respuesta. Si Apple quiere experimentar con los precios de un nuevo iPhone, puede limitarse a cobrar precios diferentes en diferentes países y observar la respuesta. En general, es más fácil experimentar con los precios y las decisiones de productos que con la gestión de canales o las decisiones publicitarias. También es más fácil experimentar en entornos de consumidores que en entornos de empresa a empresa, porque los mercados B2C suelen tener muchos más clientes potenciales para servir como sujetos.

Piensa como un científico

La realización de un experimento empresarial requiere dos cosas: un grupo de control y un mecanismo de retroalimentación.

Aunque la mayoría de los gerentes entienden el propósito de los grupos de control en la experimentación, muchas empresas descuidan utilizarlos y ponen en marcha pruebas de nuevas ofertas en toda su base de clientes. Una empresa que quiere evaluar el efecto de la exclusividad en su red de distribuidores, por ejemplo, está perdiendo una oportunidad si ofrece exclusividad a todos sus distribuidores. Debe mantener la no exclusividad en ciertas regiones para facilitar la evaluación de cómo la exclusividad afecta a los resultados.

Idealmente, los grupos de control se seleccionan mediante aleatorización. Cuando Capital One quiso probar la eficacia de las transferencias gratuitas de saldos de otras tarjetas de crédito (la innovación que inicialmente inició su éxito), ofreció la promoción a una muestra aleatoria de posibles clientes, mientras que una muestra aleatoria diferente (el grupo de control) recibió una oferta estándar. A menudo tiene sentido que una empresa establezca un grupo de tratamiento y luego utilice el resto de la base de clientes como grupo de control, como lo hizo un banco cuando quiso experimentar con su plataforma de comercio minorista en línea. Este enfoque proporcionó a los administradores de bancos una muestra muy amplia de clientes equivalentes con los que evaluar la respuesta a la nueva plataforma.

La clave del éxito con los grupos de tratamiento y control es garantizar la separación entre ellos para que las acciones tomadas con un grupo no se traspasen al otro. Esto puede ser difícil de lograr en un entorno en línea en el que los clientes pueden visitar tu sitio web repetidamente, lo que dificulta el seguimiento de las versiones del sitio a las que estuvieron expuestos. La separación también puede ser difícil de lograr en entornos tradicionales, donde los tratamientos variados entre las tiendas pueden provocar efectos indirectos para los clientes que visitan varias tiendas. Si no puedes lograr la separación geográfica, una solución puede ser variar tus acciones a lo largo del tiempo. Si existe la preocupación de que los cambios en la demanda subyacente puedan confunder las comparaciones a lo largo del tiempo, considere la posibilidad de repetir las diferentes acciones en varios períodos cortos de tiempo.

El segundo requisito es un mecanismo de retroalimentación que le permita observar cómo responden los clientes a los diferentes tratamientos. Hay dos tipos de métricas de retroalimentación: conductuales y perceptivas. Las métricas de comportamiento miden las acciones, idealmente, las compras reales. Sin embargo, incluso los pasos intermedios del proceso de compra proporcionan datos útiles, como lo demuestra el éxito de Google. Una de las razones por las que Google es tan valioso para los anunciantes es que les permite observar expresiones de interés conductuales, como hacer clic en los anuncios. Si Google pudiera medir las compras en lugar de los simples clics, sería aún más valioso. Por supuesto, Google y sus competidores se dan cuenta de ello y están explorando activamente formas de medir los efectos de la publicidad en las decisiones de compra en los canales online y tradicionales.

Las medidas de percepción indican cómo piensan los clientes que responderán a tus acciones. Esta forma especulativa de retroalimentación suele obtenerse a través de encuestas, grupos focales, estudios conjuntos y otras formas tradicionales de investigación de mercado. Estas medidas son útiles para diagnosticar cambios intermedios en los procesos de decisión de los clientes.

Dado que el objetivo de la mayoría de las empresas es influir en el comportamiento de los clientes y no solo en sus percepciones, los experimentos que miden el comportamiento proporcionan un vínculo más directo con los beneficios, especialmente cuando miden el comportamiento de compra.

Siete reglas para realizar experimentos

Al igual que con muchos emprendimientos, los mejores programas de experimentación comienzan con la fruta que cuelga, experimentos fáciles de implementar y que producen conocimientos rápidos y claros. Una empresa realiza una acción, como subir o bajar un precio o enviar una oferta por correo directo, y observa las reacciones de los clientes.

Puede identificar oportunidades de experimentos rápidos en su empresa utilizando estos criterios.

1. Concéntrese en las personas y piense a corto plazo.

Los experimentos más precisos implican acciones dirigidas a clientes individuales, en lugar de segmentos o geografías, y observaciones de sus respuestas. Las pruebas miden el comportamiento de compra (en lugar de las percepciones) y revelan si los cambios generan mayores beneficios. Enfoca tus experimentos en entornos en los que los clientes responden de inmediato. Cuando UBS estaba considerando cómo utilizar los experimentos para mejorar su negocio de gestión patrimonial, reconoció que el punto de partida era la adquisición de clientes, no la mejora del valor del cliente durante toda la vida. Los efectos de los experimentos en las adquisiciones de clientes se pueden medir de inmediato, mientras que el impacto en el valor de la vida útil del cliente podría tardar 25 años en evaluarse.

2. Mantenlo sencillo.

Busque experimentos que sean fáciles de ejecutar con los recursos y el personal existentes. Cuando un banco quería llevar a cabo un experimento con el cliente, no empezaba con acciones que requerían el reciclaje de los cajeros minoristas. En cambio, se centró en acciones que podrían automatizarse a través de los sistemas de información del banco. Los experimentos que requieren una manipulación exhaustiva del diseño de la tienda, las ofertas de productos o las responsabilidades de los empleados pueden ser prohibitivamente costosos. Conocemos a un minorista que llevó a cabo un experimento de precios con miles de artículos en un gran número de tiendas, una acción laboriosa que costó más de 1 millón de dólares. Mucho de lo que el minorista aprendió de ese experimento de mamut podría haberse extraído de una prueba más pequeña que utilizó menos tiendas y menos productos y conservó recursos para las pruebas de seguimiento.

3. Comience con una prueba de concepto.

En los experimentos académicos, los investigadores cambian una variable a la vez para saber qué causó el resultado. En un entorno empresarial, es importante establecer primero una prueba de concepto. Cambia tantas variables en cualquier combinación que creas que es más probable que obtengas el resultado que deseas. Cuando una cadena de tiendas de conveniencia quiso probar la mejor manera de trasladar la demanda de las marcas nacionales a las marcas privadas, aumentó los precios de las marcas nacionales y redujo los precios de las marcas privadas. Una vez que estableció que era factible cambiar la demanda, el minorista perfeccionó su estrategia variando cada uno de los precios individualmente.

4. Cuando lleguen los resultados, corta los datos.

Cuando los clientes se asignan aleatoriamente a grupos de tratamiento y control, y hay muchos clientes en cada grupo, es posible que tenga que analizar varios experimentos. Por ejemplo, si su muestra incluye hombres y mujeres, puede evaluar el resultado con hombres y mujeres por separado. La mayoría de las acciones afectan a algunos clientes más que a otros. Por lo tanto, cuando lleguen los datos, busque subgrupos dentro de los grupos de control y tratamiento. Si examina únicamente los datos agregados, puede concluir erróneamente que no hay efectos en ningún cliente. (Consulte la exposición «Cortar un experimento»).

Cortar un experimento

Al realizar un experimento, es importante recordar que los resultados iniciales pueden ser engañosos. Considere la posibilidad de una editorial que intentó evaluar cómo los descuentos afectan el comportamiento de compra futuro de los clientes. Le envió por correo a un grupo de clientes de control un catálogo que contenía un descuento superficial, su práctica habitual. El grupo de clientes de tratamiento recibió catálogos con grandes descuentos en ciertos artículos. Durante dos años, la empresa realizó un seguimiento de las compras a nivel agregado y la diferencia entre los dos grupos fue insignificante:

Pero esa visión de los datos no contaba toda la historia. Un análisis más detallado reveló un resultado inquietante entre los clientes que habían comprado recientemente un artículo de alto precio y luego recibieron un catálogo que ofrecía el mismo artículo con un descuento del 70%. Aparentemente molestos por este sobrecargo percibido, estos clientes (algunos de ellos antiguos) recortan el gasto futuro en un 18%:

Al conocer estos resultados, la editorial modificó su enfoque de correo directo para evitar antagonizar inadvertidamente a sus mejores clientes.

Las características que utilizas para agrupar a los clientes, como el género o los patrones de compra históricos, deben ser independientes de la acción en sí. Por ejemplo, si desea analizar cómo afecta la apertura de una tienda a la demanda del catálogo, no puede comparar simplemente a los clientes que hicieron una compra en la tienda con los clientes que no lo hicieron. Los resultados reflejarán las diferencias existentes entre los clientes y no el impacto de abrir la tienda. En su lugar, considera comparar las compras de los clientes que viven cerca de la nueva tienda con los clientes que viven lejos. Siempre que los dos grupos sean aproximadamente equivalentes, las diferencias en su comportamiento pueden atribuirse a la apertura de la tienda.

5. Pruebe a pensar de forma innovadora.

Un error común que cometen las empresas es llevar a cabo experimentos que solo ajustan de forma incremental las políticas actuales. Por ejemplo, IBM puede experimentar con los ingresos por ventas variando los precios mayoristas que ofrece a los revendedores. Sin embargo, puede ser más rentable experimentar con enfoques de ventas completamente diferentes, tal vez con territorios exclusivos o programas de publicidad cooperativa. Si nunca te involucras en el pensamiento «qué pasaría si», es poco probable que tus experimentos produzcan mejoras revolucionarias. Tesco, la cadena de supermercados del Reino Unido, proporciona una buena ilustración. Según se informa, descubrió que era rentable enviar cupones para alimentos orgánicos a los clientes que compraban alpiste silvestre. Este es un pensamiento innovador. Tesco permite que los analistas relativamente jóvenes de su sede corporativa realicen experimentos con un pequeño número de clientes. Estos empleados ofrecen algo que los altos directivos no suelen ofrecer: un flujo constante de nuevas ideas creativas que son relevantes para los clientes más jóvenes.

6. Mide todo lo que importa.

Advertencia sobre las medidas de retroalimentación: Deben capturar todos los efectos relevantes. Un gran minorista nacional de ropa realizó recientemente una prueba a gran escala para decidir con qué frecuencia enviar catálogos y otras promociones por correo a diferentes grupos de clientes. Algunos clientes recibieron 17 catálogos durante nueve meses, mientras que otro grupo seleccionado aleatoriamente recibió 12 catálogos durante el mismo período. El minorista descubrió que, para sus mejores clientes, los catálogos adicionales aumentaban las ventas durante el período de prueba, pero disminuían las ventas en los meses siguientes. Cuando el minorista comparó las ventas en sus canales, descubrió que sus mejores clientes compraban más a menudo a través del canal de catálogo (por correo y teléfono) pero menos en sus tiendas online. Cuando la empresa sumó las ventas en los diferentes períodos de tiempo y en sus canales minoristas, llegó a la conclusión de que podía enviar correos con mucha menos frecuencia a sus mejores clientes sin sacrificar las ventas. La visualización de los resultados en contexto es fundamental cuando las acciones de un canal afectan a las ventas de otros canales o cuando las acciones a corto plazo pueden dar lugar a resultados a largo plazo. Esta es la razón por la que recomendamos comenzar con acciones que solo tengan resultados a corto plazo, como acciones que impulsen la adquisición de clientes.

7. Busca experimentos naturales.

La economista noruega Trygve Haavelmo, que ganó el Premio Nobel de 1989, observó que hay dos tipos de experimentos: «los que nos gustaría hacer» y «la corriente de experimentos que la naturaleza está saliendo constantemente de su propio enorme laboratorio, y que simplemente observamos como observadores pasivos». Si las empresas pueden reconocer cuándo se producen los experimentos naturales, pueden aprender de ellos con poco o ningún gasto adicional. Por ejemplo, cuando un minorista de ropa abrió su primera tienda en un estado, estaba obligado por ley a empezar a cobrar impuestos sobre las ventas en los pedidos en línea y por catálogo enviados a ese estado, mientras que antes esas compras estaban libres de impuestos. Esto brindó la oportunidad de descubrir cómo los impuestos sobre las ventas afectaban a la demanda en línea y por catálogo. El minorista comparó las ventas en línea y por catálogo antes y después de la apertura de la tienda para los clientes que vivían a ambos lados de la frontera sur del estado, que estaba muy lejos de la nueva tienda. Es probable que ninguno de los clientes comprara en la nueva tienda, por lo que su apertura no tendría ningún efecto sobre la demanda; el único cambio fue la imposición de las compras en línea y por catálogo, que afectaban a los consumidores solo a un lado de la frontera. La comparación reveló que la introducción de los impuestos sobre las ventas provocó una gran caída de las ventas en línea, pero esencialmente no tuvo ningún impacto en la demanda del catálogo.

La clave para identificar y analizar experimentos naturales es encontrar grupos de tratamiento y control creados por algún factor externo, no recopilados específicamente para un experimento. La segmentación geográfica es un enfoque común para los experimentos naturales, pero no siempre será una característica distintiva. Por ejemplo, cuando GM, Ford y Chrysler ofrecieron al público la oportunidad de comprar autos nuevos con niveles de descuento para empleados, no hubo una separación geográfica natural: a todos los clientes se les ofreció la oferta. En cambio, para evaluar el resultado de estas promociones, los investigadores compararon las transacciones en las semanas inmediatamente anteriores y posteriores a la introducción de las promociones. Curiosamente, descubrieron que el salto en los niveles de ventas iba acompañado de un fuerte aumento de los precios. Los clientes pensaban que estaban recibiendo una buena oferta, pero en realidad los precios en muchos modelos eran más bajos antes de la promoción que con los precios de descuento para empleados. Los clientes respondieron a la promoción en sí en lugar de a los precios reales, con el resultado de que muchos clientes estaban satisfechos con la oferta, aunque pagaban precios más altos.

Evita los obstáculos

Las empresas que quieren aprovechar el poder de la experimentación deben ser conscientes de los obstáculos, tanto externos como internos. En algunos casos, existen obstáculos legales: las empresas deben tener cuidado al cobrar precios diferentes a los distribuidores y minoristas, en particular a las empresas que compiten entre sí. Aunque hay menos ramificaciones legales cuando se cobran precios diferentes a los consumidores (la persona sentada a tu lado en tu vuelo de aerolínea suele pagar más o menos que tú), la amenaza de una reacción adversa de los consumidores es un elemento disuasorio suficiente para algunas empresas. A nadie le gusta que le traten menos favorablemente que a los demás. Esto es especialmente cierto cuando se trata de precios, y la amplia disponibilidad de información de precios en línea hace que las variaciones a menudo se descubran fácilmente.

Los obstáculos internos a la experimentación suelen ser mayores que las barreras externas. En una organización con una cultura de toma de decisiones por intuición, el cambio a una cultura de experimentación requiere un cambio fundamental en la perspectiva de la dirección. La gestión por intuición suele estar enraizada en el deseo de una persona de tomar decisiones rápidamente y en una cultura que desaprueba el fracaso. Por el contrario, la experimentación requiere un estilo de toma de decisiones más mesurado y la voluntad de probar muchos enfoques, algunos de los cuales no tendrán éxito.

Algunas empresas creen erróneamente que los únicos experimentos útiles son los exitosos. Pero el objetivo no es llevar a cabo experimentos perfectos; más bien, el objetivo es aprender y tomar mejores decisiones de las que estás tomando ahora mismo. Sin experimentación, los directivos suelen basar las decisiones en el instinto intestinal. Lo sorprendente no es solo lo malas que suelen ser esas decisiones, sino lo buenos que se sienten los gerentes al respecto. No deberían hacerlo, por lo general hay mucho margen de mejora. Las organizaciones que cultivan una cultura de experimentación suelen estar dirigidas por altos directivos que tienen una clara comprensión de las oportunidades e incluyen la experimentación como objetivo estratégico de la empresa. Esto es cierto en el caso de Gary Loveman, CEO de Harrah’s, ahora llamado Caesars Entertainment, quien transformó la cultura de una organización de 35 000 empleados para consagrar la experimentación como un valor fundamental. Invirtió en las personas y la infraestructura necesarias para apoyar la experimentación y también aplicó un mecanismo de gobernanza que recompensaba este enfoque. Las decisiones basadas únicamente en la intuición fueron censuradas, incluso si posteriormente se demostró que la corazonada era correcta.

En general, existe un límite práctico en cuanto al número de experimentos que pueden realizar los administradores. Por eso, la analítica puede desempeñar un papel importante, incluso en empresas en las que los experimentos impulsan la toma de decisiones. Cuando Capital One solicita nuevos titulares de tarjetas por correo, puede ejecutar miles de experimentos; no es necesario realizar pruebas previas de los experimentos analizando datos históricos. Sin embargo, los modelos de negocio de otras empresas pueden permitir solo unos pocos experimentos; en tales casos, los gerentes deben planificar y probar cuidadosamente los experimentos mediante análisis. Por ejemplo, realizar experimentos en la configuración del canal es difícil porque los cambios implican confrontación e interrupción de las relaciones existentes. Esto significa que la mayoría de las empresas estarán limitadas en cuanto a la cantidad de experimentos de canal que pueden llevar a cabo. En estas situaciones, el análisis de datos históricos, incluidas las acciones y los resultados de la competencia en sectores relacionados, puede ofrecer información inicial valiosa que le ayudará a centrar sus experimentos.

Tanto si los experimentos son pequeños como grandes, naturales o creados, tu objetivo como gerente es el mismo: cambiar tu organización de una cultura de toma de decisiones por intuición a una cultura de experimentación. La intuición seguirá desempeñando un papel importante en la innovación. Sin embargo, debe validarse mediante experimentación antes de que las ideas vean una implementación generalizada. A largo plazo, las empresas que realmente adopten este enfoque basado en datos podrán delegar autoridad para llevar a cabo experimentos a pequeña escala incluso a niveles bajos de gestión. Esto fomentará las innovaciones listas para usar que conducen a una transformación real.