A veces la tecnología nos engaña, no lo sabemos, tomamos decisiones y nos quedamos tan panchos. En mis primeros días de A/B testing me di cuenta que la medición de los experimentos en el mundo digital es más compleja de lo que parece. Y a priori, la tecnología no nos recuerda que existen muchas variables muy variables que afectan a la veracidad de nuestros tests. Hacer A/B Testing Cross Device puede no ser tan sencillo. Déjame que te cuente.
Dentro del mundo experimentos, existen muchos términos que tenemos que entender y al mismo tiempo tener en cuenta. Cosas como el cálculo de muestra previa, el stadistical power o el confidence level son esenciales para jugar a A/B testing. A estos, hay que añadir nuevas técnicas de análisis con machine learning y AI tipo Auto-Allocate o Auto-Target de Adobe Target. Sin embargo, en este post no voy a hablar de ninguno de estos conceptos, sino de las malditas Cookies.
Hacer experimentos en el mundo Internet requiere reconocer a la persona a la que metemos en un «Control» o en una «Variación». No hacerlo supone obtener falsos positivos, es decir, creer que la tasa de conversión sube gracias a un A/B test cuando en realidad es mentira. Te pongo un ejemplo teniendo en cuenta que hablamos de un test de asignación de tráfico manual y aleatorio:
- Día 1. Entro en la web y veo la versión «Control» con una imagen y mensaje que me convence de contratar el servicio. Me llaman por teléfono y me digo: «ya lo haré mañana».
- Día 2. Entro de nuevo en la web, pero esta vez veo la versión «Variante 1». Al no poder reconocerme, la tecnología de A/B test me pone en esa versión «Variante 1» (de manera aleatoria). Esto ocurre porque no había ninguna traza que le dijese a la tecnología: «espera que Víctor ya estaba en el «Control». Como ya estaba convencido en el Día 1, entonces contrato el servicio.
- Resultado del test. La «Variante» es mejor que el «Control». O lo que es lo mismo, falso positivo.
Y dirás, Víctor, ¡para eso están las cookies!. Para reconocer que el usuario es el mismo y poder ofrecerle de manera consistente siempre la experiencia en la que primero haya entrado. Of course! Ese fue el objetivo para el que se inventaron. Gracias a ellas resolvemos el problema del ejemplo anterior… siempre y cuando esté en el mismo navegador.
Y ¿si ahora te digo que en el Día 1 entré por Desktop y en el Día 2 por mobile (web)? Aquí es cuando se complica la cosa. La cookies son únicas por dispositivo-navegador. Así que en cada uno de ellos soy una persona distinta para la herramienta de A/B testing. ¿Solución?
Necesitamos que el usuario se identifique en cada dispositivo-navegador. La tecnología que usemos para los experimentos debe permitir unificar las cookies (id anónimos) con esos identificadores determinísticos (tipo login) para saber que hablamos de la misma persona. O lo que es lo mismo, que la herramienta de A/B testing tenga capacidad de Cross-Device.
Sí amig@s, cuando ya tenemos una hipótesis lista, un objetivo y una muestra suficiente de usuarios, todavía deberíamos añadir un requisito más: ¿Cross-device? o ¿no cross-device?
Si no planteamos esto como requisito, podemos llegar a tener falsos positivos en la mayoría de nuestros tests (como hemos visto en el ejemplo). Muchos expertos recomiendan entre otras cosas separar los test de móvil y desktop o incluso diferenciar entre test de clientes (pueden identificarse) y prospectos (no pueden) y usar esta tecnología cross-device.
¿Cross-device? o ¿No Cross-device?
Si la tecnología no permite la consistencia de experiencias a través de los dispositivos, corremos el riesgo (dependiendo de como sea test, por supuesto) de que los usuarios del test estén cayendo en el «Control», al mismo tiempo que en la «Variación». Por ello es muy importante tener claro si la hipótesis se puede ver influenciada por el Journey del usuario a través de diferentes dispositivos y cómo esto puede afectar al resultado del experimento.
Algunas tecnologías que facilitan el A/B testing Cross-Device son herramientas como Adobe Target, que tienen una tecnología propia de Real Time Profile Stiching para mantener la consistencia de las experiencias a través de los diferentes dispositivos. También nos podemos apoyar en un DMP o CDP si la herramienta de personalización o A/B testing no tiene esas capacidades de cross-device o perfilado.
Y ¿qué podemos decir respecto a un futurible mundo sin cookies? La identificación de los usuarios se hace todavía más necesaria para el desarrollo de estrategias de A/B test. La tecnología de cross-device A/B testing a través de esa capacidad de perfil con la la identificación de los clientes será una de la soluciones a esa posible nueva realidad. Donde incluso el viaje a través de los dispositivo nos sea el problema, sino la consistencia de la experiencia visita tras visita.
De ahí mi frase inicial: A veces la tecnología nos engaña, no lo sabemos, tomamos decisiones y nos quedamos tan panchos. Sin duda, el marketing digital tienen un componente tecnológico y debemos tener en cuenta todas sus posibles variables técnicas también. El Cross-device y las capacidades de stiching y perfilado son muy importantes a la hora de experimentar en Internet para evitar tomar decisiones sobre falsos positivos.
¿Cómo planteas tu el A/B testing Cross-Device?
Foto del post por Hal Gatewood en Unsplash
Cargando…
Deja una respuesta