Cómo replicar los hallazgos del research

MeasuringU ha publicado un artículo sobre cómo replicar los hallazgos del research.

El artículo comienza hablando del experimento de la prisión de Stanford. En este experimento, similar al experimento de Milgram, unos sujetos tenían que hacer de dos roles, guardias y cautivos. El experimento psicólogico era para averiguar el porqué la vida en prisión es como es. El experimento se tuvo que cancelar a la semana porque los sujetos tenían rasgos similares a la situación en prisión, incluso daños psicológicos similares a vida en ésta. El experimento demostró la impresionabilidad y la obediencia cuando se da las condiciones necesarias para legitimar ideológicamente el maltrato y se da apoyo institucional para ello.

Otros experimentos de la universidad de Cornell encontraron que tener platos más grandes hacia comer más a la gente.

En MeasuringU nos dicen que es difícil cuestionar la veracidad de estos experimentos que han aparecido en revistas científicas revisadas por pares o han salido de experimentos pagados por el gobierno.

Sin embargo, se ha cuestionado la metodología del experimento de la prisión de Stanford y se han retractado los autores del artículo de Cornell sobre las porciones servidas, incluso el autor se vió obligado a dimitir de su puesto en Cornell.

Estos casos son raros, sin embargo hay un caso más común los estudios cuyas experiencias no se pueden replicar por otros.

El Net Promoter Score (o NPS) es una métrica muy popular, con muchos apoyos y muchos críticos en la academia.

La replicación no siempre es posible, lo cual sólo indica que son unos resultados son poco generalizables. No significa que los hallazgos estén inventados o no valen.

A continuación exponemos una serie de elementos que en MeasuringU han logrado replicar y la manera en qué lo han hecho.

Análisis de las tareas a priorizar

Priorizar tareas no es un concepto nuevo, y hay muchos métodos para que los usuarios puntúen y hagan un ranking.

Gerry McGovern propuso una manera única de conseguir que los usuarios consideren muchas funcionalidades. Presentar a los usuarios con una lista distribuido al azar y que los usuarios escojan 5 tareas. Los resultados que se consiguen son generalmente comparables a otros métodos según MeasuringU.

Este método se replicó, para ello es esencial que se le muestren a los usuarios los resultados aleatoriamente y que elijan 5, aunque puede ser otro número. MeasuringU ha encontrado resultados similares cuando los usuarios escogen sus 5 tareas a priorizar de esta manera.

Detractores hablan mal de una empresa

Las razones detrás de una puntuación de 0 a 6 como detractores en el test de 11 puntos que se usa para el NPS es que esos respondedores son los que es más frecuente que hablen mal de la empresa. Según Fred Reichheld el 80% de las opiniones negativas vienen de esas respuestas en el research.

En un análisis independiente hecho por MeasuringU han corroborado este hallazgo. Según ellos el 90% de los comentarios negativos son de los detractores, la gente que ha puntuado de 0 a 6 en la escala de puntos.

Este método se replicó, este dato no indica que el 90% de los comentarios de los detractores sean negativos o que ellos no vuelvan a comprar de nuevo, significa que la mayoría de comentarios negativos vendrán de este tipo de usuario que da las puntuaciones más bajas.

El CE11 es superior al NPS

Jared Spool ha abogado porque los diseñadores de UX abandonen el NPS y en su lugar usen el cuestionario de marca de 11 puntos, el CE11. Curiosamente uno de los elementos usados en él es el mismo que el NPS.

MeasuringU replicó el estudio de Jared Spool pero encontró poca evidencia que esta medida fuera mejor al diagnostica problemas. De hecho, ellos encontraron que el LTR de 11 puntos rendía tan bien o mejor que el CE11 diferenciando experiencias entre sitios.

Este punto falló al replicarse debido a usar una medida válida en un contexto erróneo.

El NPS es superior a la satisfacción

Una de los elementos que reclama el NPS es que es mejor que otras medidas de satisfacción que son muy largas, no correlacionan con conductas futuras y son fáciles de jugar.

MeasuringU no ha encontrado ningún research destacable que sugiera que el NPS es mejor que otras medidas de satisfacción. De hecho, ellos encontraron que todas son altamente correlacionadas y indistiguibles la una de la otra.

Este punto falló de replicarse porque el NPS no se ha mostrado superior a las encuestas de satisfacción y la mayoría de los estudios muestran que rinden de manera similar.

Los promotores recomiendan más

Fred Reichheld informó que más del 80% de las referencias de clientes vienen de los promotores (aquellos que puntúan con 9 o 10 en el LTR de 11 puntos). Pero algunos han cuestionado esta denominación y hay muy pocos datos que corroboren los hallazgos. MeasuringU hizo un estudio longitudinal de 90 días y encontraron que la gente que reportaba que estaba más a favor de recomendar dan cuenta de la mayoría de las recomendaciones autorreportadas.

Este punto se replicó, las recomendaciones autorreportadas dieron cuenta de menos que el 80% que Reichheld reportó, pero ellos no usaron referencias, sólo recomendaciones autorreportadas. Mientras que los promotores pueden recomendar, en MeasuringU encontraron evidencias muy fuertes que los que menos van a recomendar son un mejor predictor de aquellos que no van a recomendar.

El NPS predice el crecimiento de la compañía

Cuando en MeasuringU revisaron los datos de Fred Reichheld sobre la habilidad predictiva del NPS, estábamos decepcionados de ver que los datos de validación actuales usan el NPS para predecir beneficios históricos, no futuros. En MeasuringU usaron los datos originales y los extendieron al futuro y encontraron que predecía los ratios de crecimiento a dos y cuatro años. Pero no estaba claro cómo de representativos eran los datos y lo consideraron un caso de “mejor escenario”.

Usando datos de NPS de terceras partes y datos de crecimiento de 269 empresas en 14 industrias encontraron una relación similar. La correlación entre el NPS y el ratio de crecimiento fue alta.

Este punto se replicó, el NPS parece predecir el futuro crecimiento en muchas industrias la mayoría del tiempo. El NPS no es un predictor universal en grandes periodos de tiempo.
Los hallazgos del research hay veces que son replicables y otras que no. Esto indica que los hallazgos son poco generalizables, no que estén inventados o sean inválidos. Los diseñadores de UX y los project managers tienen que aprender que los hallazgos no son siempre generalizables y se deben usar con cautela para no equivocarse al lanzar un producto.