Investigación: Cuando las pruebas A/B no le cuentan toda la historia

Puede ser una herramienta valiosa para prevenir la batición del cliente, si se usa correctamente.
Pesquisa: Quando o teste A/B não conta toda a história
Pesquisa: Quando o teste A/B não conta toda a história
Resumen.

Cuando se trata de la prevención de las transgresiones, los especialistas en marketing tradicionalmente empiezan por identificar qué clientes tienen más probabilidades de perder y luego realizar pruebas A/B para determinar si una intervención de retención propuesta será eficaz para retener a esos clientes de alto riesgo. Si bien esta estrategia puede ser efectiva, el autor comparte nuevas investigaciones basadas en experimentos de campo con más de 14.000 clientes, lo que sugiere que no siempre es la mejor manera de maximizar el ROI en el gasto en marketing. En cambio, el autor sostiene que las empresas deben utilizar datos de pruebas A/B junto con los datos demográficos y de comportamiento de los clientes para determinar qué subgrupo de clientes será más sensible a la intervención específica que se está considerando. Es importante destacar que los datos sugieren que este subgrupo no se corresponde necesariamente con el grupo de clientes «de alto riesgo»; en otras palabras, es muy posible que la intervención no sea tan efectiva para retener clientes de alto riesgo como para retener a otro grupo de clientes. Al identificar las características que realmente se correlacionan con la alta sensibilidad a una intervención determinada, los especialistas en marketing pueden dirigir proactivamente sus campañas a los clientes que serán más receptivos a ellos, reduciendo en última instancia las tasas de pérdida y aumentando el ROI.


Cada año, los especialistas en marketing gastan miles de millones de dólares en campañas destinadas a atraer, retener y vender más clientes. Sin embargo, a pesar de esta inversión masiva, puede ser sumamente difícil determinar qué tan efectivas son realmente estas iniciativas y cómo pueden mejorarse. Un método común para medir el retorno de la inversión (ROI) de una campaña es ejecutar un Prueba A/B: Los especialistas en marketing se dirigirán a los clientes con dos intervenciones diferentes y luego compararán los resultados entre los dos grupos. Con el enfoque correcto del análisis, estas pruebas A/B pueden proporcionar información útil, pero también tienen el potencial de ser muy engañosas.

Para comprender las deficiencias de cómo se emplean a menudo las pruebas A/B, es útil considerar un ejemplo hipotético. Imagina que trabajas para una gran organización artística que está preocupada por la disminución de las tasas de retención entre sus miembros. Estás pensando en enviar un pequeño regalo junto con la notificación de renovación a los miembros que has determinado que corren un mayor riesgo de cancelar sus membresías, pero dado que esto conlleva un costo, quieres asegurarte de que la intervención sea efectiva antes de implementarla de forma más amplia. Así que decides llevar a cabo una pequeña campaña piloto, eligiendo aleatoriamente a un grupo de miembros «en riesgo» para recibir un regalo y otro no hacerlo, para ver si los que reciben el regalo tienen más probabilidades de renovarse.

Ahora, supongamos que no encuentras ninguna diferencia en las tasas de retención entre los miembros que reciben el regalo y los del grupo de control. Si finalizaste tu análisis allí, probablemente te llevaría a cancelar el programa de regalos, ya que los datos parecen sugerir que enviar regalos no tiene ningún impacto en la retención. Pero tras un examen más detenido de los datos, es posible que descubra que para un determinado subgrupo de clientes, como los que habían visitado el lugar en el último año, el regalo aumentó significativamente sus posibilidades de renovación, mientras que para los clientes que no habían visitado el lugar en mucho tiempo, el regalo en realidad los hizo menos propensos a renovarse, tal vez porque sirvió como un recordatorio más destacado de la poca frecuencia que habían estado utilizando su membresía. El uso de una prueba A/B para evaluar el efecto medio de una intervención puede encubrir información importante sobre las cuales es probable que los clientes sean más o menos receptivos a esa campaña (ya sea que el análisis sugiera que la intervención tiene un efecto positivo, negativo o, como en este ejemplo, un efecto insignificante), lo que lleva especialistas en marketing para tomar decisiones equivocadas en torno a qué campañas llevar a cabo con qué clientes.

Optimización de las campañas de prevención de los

Esto no es solo hipotético; de hecho, este ejemplo se basa en una organización real con la que trabajé como parte de mi investigación. Cuando se trata de aumentar la retención, las empresas suelen identificar» alto riesgo » clientes, es decir, clientes cuyo comportamiento reciente u otras características sugieren que son particularmente propensos a cancelar sus suscripciones o dejar de comprar el producto de una empresa, y luego realizar pruebas A/B para determinar si sus campañas de retención serán efectivas con este grupo. Si bien esta es una estrategia comprensible (ciertamente no querrás desperdiciar recursos de marketing en clientes que de todos modos no iban a batir), mi investigación sugiere que puede ser muy contraproducente, ya que puede llevar a los especialistas en marketing a tomar decisiones erróneas que realmente reducen las tasas de retención generales y el retorno de la inversión en marketing.

Concretamente, llevé a cabo experimentos de campo con dos grandes empresas que estaban implementando campañas de retención. En la primera parte de mi estudio, las empresas desarrollaron intervenciones de reducción de los movimientos y luego realizaron pruebas A/B que rastreaban las tasas de pérdida de un total de más de 14.000 clientes, donde un grupo de clientes asignados aleatoriamente recibió las intervenciones y la otra no. A continuación, recopilé un amplio conjunto de datos de información de los clientes, incluida la actividad reciente y el compromiso con la empresa, la tenencia como cliente de la empresa, la ubicación y otras métricas que se utilizaron para predecir el riesgo de pérdida, y examiné cuál de estas características se correlacionaba con una respuesta positiva al campañas de retención.

En ambas empresas, descubrí que los clientes que habían sido identificados como que tenían el mayor riesgo de agitación no eran necesariamente los mejores objetivos para los programas de retención; de hecho, había poca correlación entre el nivel de riesgo de pérdida de los clientes y su sensibilidad a las intervenciones. Los datos mostraron que hay era un grupo distinto de clientes que respondieron enérgicamente a cada intervención (clientes con características demográficas o de comportamiento particulares que se correlacionan consistentemente con tener menos probabilidades de que se produzcan después de recibir las intervenciones), pero ese grupo de «alta sensibilidad» casi no se solapó con el personas identificadas como «alto riesgo de agitación». Y esto tuvo serias implicaciones para el ROI: Mi análisis descubrió que si las dos empresas gastaran la misma cantidad de presupuesto de marketing dirigido al grupo de alta sensibilidad en lugar del grupo de alto riesgo de pérdida, reduciría sus tasas de pérdida en un 5% y un 8% adicionales, respectivamente.

Por supuesto, los factores específicos que hacen que un cliente tenga más probabilidades de estar receptivo a una campaña de retención variarán de organización a organización e incluso de campaña a campaña, pero ejecutar pilotos como los descritos anteriormente puede ayudarlo a identificar las características que serán los mejores predictores de su sensibilidad de los clientes a una intervención específica. Por ejemplo, una de las organizaciones de mi estudio fue una empresa de telecomunicaciones con acceso a datos detallados sobre métricas de comportamiento, como el número de llamadas que los clientes habían realizado en el último mes, el número de textos que enviaron, gigabytes de datos descargados y más. Para esta empresa, los datos mostraron que la última vez que un cliente se había comprometido con la empresa predijo su nivel de riesgo de rebasamiento, pero no tuvo ningún impacto en su sensibilidad a la intervención de la rotación. Lo que sí predijo la sensibilidad fue su uso de datos, lo que sugiere que, para maximizar el ROI, la empresa debería considerar la posibilidad de dirigirse a su campaña de retención no a los clientes que no habían participado durante mucho tiempo, sino a los clientes que usaron más datos.

Pasar de la predicción a la receta

Entonces, ¿qué significa esto para los especialistas en marketing? El punto de vista clave es que las intervenciones de marketing deben centrarse en función de la respuesta esperada de cada cliente a esa intervención, no en lo que se espera que hagan los clientes en ausencia de dicha intervención. En cierto sentido, los especialistas en marketing son como los médicos: los médicos no solo dan tratamientos aleatorios a los pacientes que tienen más probabilidades de morir, sino que prescriben tratamientos específicos a los pacientes que tienen más probabilidades de responder positivamente a esos tratamientos.

En lugar de intentar predecir lo que harán los clientes (es decir, tratar de determinar su riesgo de agitación), los especialistas en marketing deben centrarse en cómo responderán los diferentes tipos de clientes a campañas concretas y, a continuación, diseñar campañas que sean más eficaces para reducir la pérdida entre un grupo determinado de clientes. Las empresas deben aprovechar los datos de las pruebas A/B no solo para intentar medir la eficacia global de una campaña entre todos los clientes, sino para explorar qué tipos de clientes serán más sensibles a determinadas intervenciones. Esto significa combinar los datos demográficos y de transacciones históricas de los clientes con los datos recopilados mediante pruebas A/B para identificar los comportamientos y características que hacen que un cliente responda con mayor probabilidad a una intervención en particular. Afortunadamente, muchas empresas ya recopilan todos estos datos; se trata simplemente de aprovecharlos de una forma nueva.

***

El concepto de campañas de marketing dirigidas no es nada nuevo, pero es fundamental pensar detenidamente cómo toma esas decisiones de segmentación. En lugar de simplemente adivinar qué factores podrían indicar que alguien es un objetivo sólido, o centrarse en un grupo que se ha considerado de alta prioridad (como clientes de alto riesgo de pérdida), las empresas deben dirigirse a los clientes que serán los más sensibles a la intervención específica que están implementando. Para maximizar el ROI, los especialistas en marketing deben dejar de preguntar, «¿Es eficaz esta intervención?» y empieza a preguntar, «¿Para quién es la más eficaz esta intervención?» — y, a continuación, orientar sus campañas en consecuencia.


Escrito por
Eva Ascarza



Related Posts
Fondos rojos Apriete las cuerdas del bolso

Fondos rojos Apriete las cuerdas del bolso

Cuando se presentó un paquete de vacaciones de precio negociable en línea contra un fondo azul, los sujetos de investigación hicieron una "mejor oferta" de $ 712, en promedio, pero fueron tan altos como $ 684 cuando el fondo era rojo. Rajesh Bagchi, de Virginia Tech, y Amar Cheema, de la Universidad de Virginia, dicen que Rojo induce la agresión, por lo que aumentó [...]
Leer más
Fondos rojos Apriete las cuerdas del bolso

Salir de nuestra zona de confort

Este es un comentario sobre "La paradoja del ascenso de Samsung", un artículo de Tarun Khanna, la canción de Jaeyong y Kyungmook Lee en el HBR. Así como Samsung intenta mover a los gerentes de sus centros dulces en Corea y exponerlos a nuevas realidades en nuevas geografías, Mahindra, también, busca ampliar el rango [...]
Leer más
Fondos rojos Apriete las cuerdas del bolso

El costo oculto de trasladar pacientes

Un buen ejemplo de un programa que mejora la atención al paciente, mejora el entorno de trabajo y reduce los costos, todo en un área de atención médica que a menudo se pasa por alto, es una de las que lideré: el programa de manejo de pacientes con seguridad integrado de Intermountain Healthcare. Se enfoca en reducir las lesiones a pacientes y empleados debido a las transferencias, el levantamiento, [...]
Leer más

Cómo se ve realmente poner a los pacientes primero

Proporcionar atención empática a las personas cuando están en su más vulnerable yo lo correcto para hacer. Además, el incumplimiento de las expectativas de los pacientes es cada vez más costoso como parte del reembolso de Medicare a las puntuaciones de satisfacción de los pacientes. Scripps Health anima activamente al personal de primera línea a realizar cambios sencillos y personales en sus rutinas diarias con los pacientes que puedan mejorar la experiencia del paciente. A través de un sitio web, videos y sesiones de capacitación, Scripps invita a sus 15.000 empleados y 3.000 médicos a identificar «Una cosa diferente» que harán cada día, desde hacer la cama de un paciente hasta tomarla de la mano mientras se la lleva a la sala de cirugía, y compartirlos en el sitio. En su primer año, el programa ha acumulado más de 4.000 entradas de personal, y Scripps ha visto una mejora de seis percentiles en las puntuaciones de la experiencia del paciente en todo el sistema

Leer más
Fondos rojos Apriete las cuerdas del bolso

Japón y EE. UU.: Luchando hacia la reciprocidad

A mi manera de pensar, la economía de los Estados Unidos es como un estómago duro. Digreste todo lo nuevo y extraño y lo convierte en un elemento de fuerza. La gestión de estilo japonés es solo uno de esos elementos de ese elemento brevemente desde la distancia, luego estudió rápidamente y formó parte de la cultura empresarial estadounidense. Este extraordinario poder de asimilación ha hecho [...]
Leer más
Fondos rojos Apriete las cuerdas del bolso

Cruzada de un solo hombre para reformar la cultura insular de I+D de la India

En mi último viaje a la India, tuve el privilegio de reunirme con el Dr. R a Mashelkar, el principal científico de la India. De 1995 a 2006, el Dr. Mashelkar fue Director General del Consejo de Investigación Científica e Industrial (CSIR). CSIR es la red más grande de instituciones de I + D industriales financiadas públicamente en el mundo, con treinta y ocho laboratorios [...]
Leer más
Fondos rojos Apriete las cuerdas del bolso

Indicadores gráficos de operaciones

Uno de los problemas más espinosos que enfrenta la alta gerencia es la mejor manera de mejorar la eficiencia de la producción, y cómo averiguar si se toman medidas para fomentar que realmente funcionan la mejora. Las empresas ya pasan mucho tiempo y dinero, lo que ideamos sistemas intrincados para hacer el trabajo e imponerlos en un no dispuesto, sin comprensión, y con frecuencia, [...]
Leer más
Fondos rojos Apriete las cuerdas del bolso

No descuentes a los minoristas con precios bajos

En la década actual, la venta al por menor de precios se está anunciando como un fenómeno que está alterando la cara de la industria. Ocupando el área gris entre las tiendas de servicio completo y los descuentos, los minoristas fuera de precio llevan nombres de marcas reconocidos a nivel nacional (en su mayoría en productos blandos) en tiendas de estilo de tubería. Las indicaciones de la fortaleza de este grupo incluyen el [...]
Leer más

Newsletter

Avanza tu carrera profesional, con el resumen semanal de las publicaciones, un libro de negocio resumido en 10 minutos y entrevistas con líderes de negocio