• Ir al contenido principal

Víctor de la Iglesia

Blog de Journey Analytics y Personalización

  • Analítica Web
  • CRO y Personalización
  • Marketing Tech
  • Blog
  • Contacto
    • – Acerca de Víctor –
    • – Contactar –

May 24 2020

A/B testing Cross Device

A/B testing Cross Device

A veces la tecnología nos engaña, no lo sabemos, tomamos decisiones y nos quedamos tan panchos. En mis primeros días de A/B testing me di cuenta que la medición de los experimentos en el mundo digital es más compleja de lo que parece. Y a priori, la tecnología no nos recuerda que existen muchas variables muy variables que afectan a la veracidad de nuestros tests. Hacer A/B Testing Cross Device puede no ser tan sencillo. Déjame que te cuente.

Dentro del mundo experimentos, existen muchos términos que tenemos que entender y al mismo tiempo tener en cuenta. Cosas como el cálculo de muestra previa, el stadistical power o el confidence level son esenciales para jugar a A/B testing. A estos, hay que añadir nuevas técnicas de análisis con machine learning y AI tipo Auto-Allocate o Auto-Target de Adobe Target. Sin embargo, en este post no voy a hablar de ninguno de estos conceptos, sino de las malditas Cookies.

Hacer experimentos en el mundo Internet requiere reconocer a la persona a la que metemos en un «Control» o en una «Variación». No hacerlo supone obtener falsos positivos, es decir, creer que la tasa de conversión sube gracias a un A/B test cuando en realidad es mentira. Te pongo un ejemplo teniendo en cuenta que hablamos de un test de asignación de tráfico manual y aleatorio:

  1. Día 1. Entro en la web y veo la versión «Control» con una imagen y mensaje que me convence de contratar el servicio. Me llaman por teléfono y me digo: «ya lo haré mañana».
  2. Día 2. Entro de nuevo en la web, pero esta vez veo la versión «Variante 1». Al no poder reconocerme, la tecnología de A/B test me pone en esa versión «Variante 1» (de manera aleatoria). Esto ocurre porque no había ninguna traza que le dijese a la tecnología: «espera que Víctor ya estaba en el «Control». Como ya estaba convencido en el Día 1, entonces contrato el servicio.
  3. Resultado del test. La «Variante» es mejor que el «Control». O lo que es lo mismo, falso positivo.

Y dirás, Víctor, ¡para eso están las cookies!. Para reconocer que el usuario es el mismo y poder ofrecerle de manera consistente siempre la experiencia en la que primero haya entrado. Of course! Ese fue el objetivo para el que se inventaron. Gracias a ellas resolvemos el problema del ejemplo anterior… siempre y cuando esté en el mismo navegador.

Y ¿si ahora te digo que en el Día 1 entré por Desktop y en el Día 2 por mobile (web)? Aquí es cuando se complica la cosa. La cookies son únicas por dispositivo-navegador. Así que en cada uno de ellos soy una persona distinta para la herramienta de A/B testing. ¿Solución? 

Necesitamos que el usuario se identifique en cada dispositivo-navegador. La tecnología que usemos para los experimentos debe permitir unificar las cookies (id anónimos) con esos identificadores determinísticos (tipo login) para saber que hablamos de la misma persona. O lo que es lo mismo, que la herramienta de A/B testing tenga capacidad de Cross-Device.

Sí amig@s, cuando ya tenemos una hipótesis lista, un objetivo y una muestra suficiente de usuarios, todavía deberíamos añadir un requisito más: ¿Cross-device? o ¿no cross-device?

Si no planteamos esto como requisito, podemos llegar a tener falsos positivos en la mayoría de nuestros tests (como hemos visto en el ejemplo). Muchos expertos recomiendan entre otras cosas separar los test de móvil y desktop o incluso diferenciar entre test de clientes (pueden identificarse) y prospectos (no pueden) y usar esta tecnología cross-device. 

¿Cross-device? o ¿No Cross-device?

Si la tecnología no permite la consistencia de experiencias a través de los dispositivos, corremos el riesgo (dependiendo de como sea test, por supuesto) de que los usuarios del test estén cayendo en el «Control», al mismo tiempo que en la «Variación». Por ello es muy importante tener claro si la hipótesis se puede ver influenciada por el Journey del usuario a través de diferentes dispositivos y cómo esto puede afectar al resultado del experimento.

Algunas tecnologías que facilitan el A/B testing Cross-Device son herramientas como Adobe Target, que tienen una tecnología propia de Real Time Profile Stiching para mantener la consistencia de las experiencias a través de los diferentes dispositivos. También nos podemos apoyar en un DMP o CDP si la herramienta de personalización o A/B testing no tiene esas capacidades de cross-device o perfilado.

Y ¿qué podemos decir respecto a un futurible mundo sin cookies? La identificación de los usuarios se hace todavía más necesaria para el desarrollo de estrategias de A/B test. La tecnología de cross-device A/B testing a través de esa capacidad de perfil con la la identificación de los clientes será una de la soluciones a esa posible nueva realidad. Donde incluso el viaje a través de los dispositivo nos sea el problema, sino la consistencia de la experiencia visita tras visita.

De ahí mi frase inicial: A veces la tecnología nos engaña, no lo sabemos, tomamos decisiones y nos quedamos tan panchos. Sin duda, el marketing digital tienen un componente tecnológico y debemos tener en cuenta todas sus posibles variables técnicas también. El Cross-device y las capacidades de stiching y perfilado son muy importantes a la hora de experimentar en Internet para evitar tomar decisiones sobre falsos positivos.

¿Cómo planteas tu el A/B testing Cross-Device?

Foto del post por Hal Gatewood en Unsplash

Written by Víctor de la Iglesia · Categorized: CRO, Experiencia del Usuario, Personalización · Tagged: AB test, Cross-Device, Experimentos


¡No te olvides! Valora este post
1 Star2 Stars3 Stars4 Stars5 Stars (1 votos. Media: 5,00 sobre 5)
Cargando…


Suscríbete a la newsletter

Ultimos artículos del blog

Journey Analytics
Analítica Web

Hola Journey Analytics. Hasta luego Analítica Digital.

Parece que la analítica digital se va quedando relegada a un segundo lugar para comenzar con la nueva disciplina de Journey Analytics. ¿Qué es y como nos ayuda analizar los journeys del usuario?

Leer más >>
Adobe Target Frequency Capping
Adobe Target

Frequency Capping en Adobe Target

De entre todos los casos de uso que podemos desplegar con Adobe Target, existe uno muy interesante para resolver la maravillosa problemática de frequency capping de banners comerciales internos (dentro de nuestra web/app).

Leer más >>
Personalización web y APP
CRO

¿Podemos personalizar una web/app sin un CDP?

No hace falta tener un CDP para personalizar. Basta con herramientas como Adobe Target para poder llevar a cabo tácticas sencillas y a la vez potentes de personalización.

Leer más >>

Víctor de la Iglesia

Solutions Consultant - Adobe

Linkedin Twitter Youtube

Enamorado de la Analítica Digital y la Tecnología para el Marketing. Investigo y aplico todo tipo de soluciones para lograr obtener los datos que más necesitan las empresas. 

He trabajado en muchos sectores como E-Gaming, Calzado y Moda, Banca y Salud, tanto desde el cliente como  desde la agencia. 

Lee más sobre mi aquí: +info

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Información sobre protección de datos

  • Responsable: Víctor de la Iglesia
  • Fin del tratamiento: Controlar el spam, gestión de comentarios
  • Legitimación: Tu consentimiento
  • Contacto: hola@victordelaiglesia.com.

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Copyright © 2023 · www.victordelaiglesia.com · Política de Privacidad