El error de preguntar para refutar o refrendar

Vamos a empezar con lo básico. ¿Qué es refutar y qué es refrendar? Puede parecer un tema puramente semántico. Pero va mucho más lejos. Cuando investigamos, las palabras pueden tener un gran impacto, y depende de cómo formulemos las preguntas obtendremos unos resultados u otros, por lo que tenemos que elegir muy bien nuestras palabras 

Esto es lo que dice la RAE:

Refutar. Del lat. refutāre.

1. tr. Contradecir o impugnar con argumentos o razones lo que otros dicen.
2. tr. desus. Rechazar, rehusar.

Refrendar. De refrendo.

1. tr. Autorizar un despacho u otro documento por medio de la firma de persona hábil para ello.
2. tr. Revisar un pasaporte y anotar su presentación.
3. tr. Corroborar algo afirmándolo.
4. tr. coloq. Volver a ejecutar o repetir la acción que se había hecho; p. ej., volver a comer o beber de lo mismo.
5. tr. desus. Marcar las medidas, pesos y pesas.

Cuando hacemos preguntas refutando quiere decir que estamos preguntando a la vez que debilitamos el argumento de la otra persona atacando las premisas en que se apoya, como ideas preconcebidas. Por otra parte, cuando refrendamos estamos aprobando, confirmando o autorizando algo.

Estas dos técnicas pueden dar lugar a sesgos cognitivos en las entrevistas con personas usuarias. Tenemos que tener mucho cuidado durante todo el proceso de diseño, ya que los resultados de nuestras investigaciones se pueden ver influenciados por los sesgos cognitivos, y el problema se puede dar desde cuando formulamos las preguntas hasta cuando las interpretamos y presentamos los datos.

Los sesgos cognitivos son un conjunto de modelos mentales que nos ayudan a analizar el mundo que nos rodea. Facilita la toma de decisiones con la información de la que se dispone, y el problema se da cuando esta información no es suficientemente precisa como para generalizar. Pero en las entrevistas con personas usuarias tenemos que evitarlos a toda costa. 

Sesgos cognitivos en la investigación con personas usuarias

Estos son algunos de los sesgos cognitivos relevantes en las sesiones con personas usuarias y que pueden afectar al análisis de la información.

Sesgo de confirmación

El sesgo de confirmación se da cuando se busca o se interpreta la información para confirmar algo que ya se ha decidido previamente.  

En esta ocasión las personas tienden a favorecer la información que confirma sus propias hipótesis, sin tener en cuenta si la información es veraz. 

Por ejemplo, si estamos haciendo una sesión con personas usuarias y quien entrevista no está de acuerdo con cómo se ha configurado la barra de navegación, podría cometer el error de caer en el sesgo de confirmación y preguntar algo como:

• ¿Qué opinas de la barra de navegación? ¿Te parece poco intuitiva?

El problema de esta frase es que está condicionando a las personas a contestar de la manera que esperamos, que en este caso es de forma negativa.

Sesgo de opciones

Cuando hacemos una sesión de entrevistas, podemos caer en la tentación de acotar las preguntas directamente dando diferentes opciones para las respuestas, en vez de formularlas de forma abierta. Esto puede llevar a que se limite la búsqueda de nuevos resultados.

Podemos preguntar a la persona, por ejemplo:

• ¿Qué característica del producto crees que es más importante: X o Y?

Si planteamos la pregunta de esta forma, elegirán una de las dos opciones, incluso si ninguna de ellas coincide al 100% con sus opiniones.

Esto también se puede dar en los cuestionarios, ya que si no incorporamos todas las respuestas posibles en una pregunta de respuesta múltiple o añadimos una opción de campo abierto podríamos obligar a las personas que están contestando la encuesta a responder algo con lo que no están completamente de acuerdo. 

Sesgo de referencias

Este sesgo se da cuando las preguntas hacen referencia, por ejemplo, a la entrevista de otro u otra participante, lo que guiará de forma inevitable las respuestas de las demás personas.

Un ejemplo de una pregunta consejo de referencia podría ser:

• La gran parte de los participantes nos hicieron saber que X parte del producto digital les planteaba problemas. ¿Tú también estás de acuerdo con eso?

Este tipo de preguntas da lugar a respuestas muy similares a las del resto de los participantes, y deja poco espacio para la opinión personal al que le estás preguntando.

Efecto de arrastre

Hasta ahora hemos hablado de sesgos cognitivos por parte de las personas entrevistadoras, pero también se puede dar en los y las participantes.

El efecto de arrastre se da cuando una persona se ve influenciada por las demás personas, como puede ocurrir por ejemplo en los focus groups.

Por ejemplo:

• En un focus group, si la mayoría del grupo está de acuerdo con una opinión, por ejemplo están de acuerdo en que un elemento de la propuesta de diseño es válido, puede ocurrir que la minoría que no está de acuerdo acabe adoptando la opinión predominante en el grupo.

El efecto de arrastre también puede ocurrir si en el focus group hay una persona líder, por lo que tendremos que manejar esa situación para que todas puedan tener un espacio para sus opiniones.

El punto común de todos estos sesgos es que guían las preguntas, y cuando estamos haciendo una investigación con personas usuarias no nos podemos permitir que nuestras propias ideas preconcebidas se vean reflejadas en los resultados de la investigación. Como personas expertas en UX también tenemos que evitar que este tipo de sesgos se extienda a través de las personas usuarias.

No podemos refutar o refrendar en las preguntas de las entrevistas, porque provocará sesgos en las respuestas.