Cómo evitar problemas en la toma de decisiones basada en datos

El UX Research se basa en datos, en realidad, en obtener unos datos que nos sirvan para llegar a conclusiones que, posteriormente, se usarán para implementar y mejorar la experiencia de los usuarios.

Pero, ¿qué sucede si nuestros datos no son los correctos? ¿O si esos datos están sesgados o adolecen de algún vicio?

Para poder obtener los mejores resultados, hemos de saber evitar esos problemas. Una de las mejores técnicas al alcance de cualquier UX Researcher es la triangulación, el uso de varios métodos de investigación para corroborar datos y que estos sean los correctos. 

Tomando como inspiración este artículo de Dimitris Niavis en UX Matters, vamos a hacer un repaso a dos grandes problemas que pueden afectar a los datos. 

Garantizar la calidad de los datos: eligiendo la herramienta correcta

Parece haber consenso en el elevado gasto que supone la mala calidad de los datos: según la consultora Gartner cuesta una media de 15 millones de dólares anuales a cada compañía objeto del estudio, aunque el impacto puede ser superior, ya que este estudio es de 2018.

Para poder garantizar la calidad de los datos hemos de tener en cuenta que el UX Research es un proceso en el que el primer paso es siempre e invariablemente un objetivo. 

Una vez tenemos ese objetivo, buscaremos la mejor manera de obtener nuestros datos, apoyándonos en nuestra experiencia y en la caja de herramientas de la investigación UX. De esta manera, siempre nos aseguraremos de utilizar la mejor para ese objetivo que nos hemos marcado. 

En realidad, no hay una única mejor herramienta, sino una conjunción de varias, cualitativas y cuantitativas. Para ello, insistimos, la triangulación es nuestro aliado.

Usar varios métodos de investigación nos ayudará a aprender, más que a conocer. De hecho, la investigación siempre tiene una función exploradora y por ello no hemos de confiar únicamente en una técnica.

Si de las entrevistas a usuarios obtenemos información relativa a una mejora, hemos de corroborar con otras técnicas que realmente lo es: el uso de test A/B, análisis heurísticos de usabilidad o benchmarkings pueden ayudarnos a comprender si efectivamente implementar esos cambios son una mejora o un paso atrás.

Orientar los datos a objetivos: aprende, no reafirmes

Partiendo de un buen objetivo, el siguiente paso es formular las hipótesis correctas, como siempre se ha de hacer en el diseño de una buena estrategia de UX Research. Pero el trabajo con hipótesis ha de hacerse siempre con una mentalidad abierta.

Como buenos UX Researchers, siempre hemos de aprender de los datos, nunca usarlos para probar que teníamos razón. ¿Qué hubiera pasado si alguien hubiera dicho “no, siempre hay que pedir los datos de facturación porque son diferentes a los del pedido” y lo hubiera reafirmado en una investigación B2B para aplicarlo en un B2C? 

Seguramente, seguiríamos con tasas de abandono elevadas en las tiendas online por lo tedioso que es rellenar dos veces el mismo formulario, ¿verdad?

Para poder obtener las conclusiones correctas, hemos de evitar aplicar sesgos a nuestros datos. El cherry picking o falacia de evidencia completa es uno de los males que puede afectar a nuestros datos, en realidad a la selección de los mismos, ya que elegimos los que a nosotros nos interesan para reafirmar la hipótesis inicial.

Puedes evitar este tipo de situaciones a través de algunas técnicas como la anonimización de datos o la selección aleatoria de muestras, pero siempre a través de una buena planificación. De hecho, una buena planificación te evitará problemas en los datos, sobre todo cuando vayas a realizar pruebas en un intervalo temporal concreto.

Por ejemplo, si vas a realizar un test A/B o multivariante, deberás realizar siempre tus pruebas en el mismo intervalo de tiempo, de manera aleatoria y con una selección totalmente aleatoria de muestras. Apoyarte en herramientas que permitan hacer estas selecciones aleatorias como Google Optimize, Optimizely u Omniconvert (que se integran con Hotjar) siempre es una buena idea. 

Otro posible problema a la hora de enfrentarnos a los datos es que nos fijemos en los datos que tenemos, por ejemplo, los datos de un embudo de conversión en una web, sin hacer preguntas sobre los datos que no tenemos. Lo que se llama el sesgo del superviviente.

Nos vamos a la 2ª Guerra Mundial

Un ejemplo de cómo la calidad de los datos es fundamental lo tenemos en la 2ª Guerra Mundial. La Royal Air Force inglesa tenía un auténtico problema con los bombarderos que hacían incursiones en la Alemania nazi: muchos no volvían.

La RAF documentaba de manera exhaustiva los impactos que recibían los aviones que volvían:

Su primera reacción fue pensar que esas zonas deberían ser las elegidas para ser reforzadas y, así, garantizar que los aviones volvieran a origen tras las incursiones. Pero alguien decidió pedir una segunda opinión, que recayó en el matemático de origen húngaro Abraham Wald, que utilizó el método de muestreo secuencial. 

Gracias a ello llegó a la conclusión de que era mejor reforzar las áreas no impactadas. ¿Por qué? Justamente porque esas eran las áreas que no mostraban los aviones que volvían, con lo que los aviones recibieron refuerzos en esa zona.

Este es uno de los más claros ejemplos de ese sesgo del superviviente y que ha sido aplicado en varias ocasiones en el ámbito militar.

Recuerda: documenta

La mejor manera de evitar todos estos sesgos o problemas es documentar correctamente todo el proceso, permitiendo así que cualquier persona involucrada en la investigación pueda comprobar la validez de los datos y, sobre todo, ayudar a mejorar todos los procesos.

Si somos capaces de identificar los malos datos o las malas prácticas, podremos evitar estos problemas de raíz, consiguiendo así que todas nuestras decisiones basadas en datos sean las correctas.

Nuestro consejo es que te formes para poder identificar correctamente todos los posibles problemas que pueden afectar a los datos y así tomar las medidas necesarias cuando aparezcan. En UX Learn hemos preparado algunos programas específicos que te ayudarán a mejorar en tu trabajo diario de investigación. 

Échales un vistazo y suscríbete a la lista de correo para estar al tanto de las próximas convocatorias.