Encuestas NPS. Errores comunes y por qué no las usamos

En Cuéntica hemos estado utilizando las encuestas NPS desde hace más de 2 años ininterrumpidamente. Durante este tiempo, hemos investigado mucho para conseguir algo que fuera realmente útil para nosotros y hemos mantenido conversaciones con otras personas/empresas sobre sus experiencias, problemas y opiniones. Hemos aprendido mucho y, a pesar de que ha sido una herramienta muy importante para nosotros, hace poco que hemos decidido dejar de utilizarla.

Dicho esto, y como es un tema muy recurrente dentro de nuestro mundillo tecnológico, creo que puede resultar interesante hacer un repaso a por qué comenzamos a usar las encuestas NPS, la experiencia vivida y mis impresiones personales sobre el tema.

Antes de nada: ¿qué es el NPS y para qué sirve?

NPS son las siglas de Net Promoter Score, un indicador cuyo objetivo es medir la lealtad de los clientes de una empresa. La forma de conseguir tan valiosa información es una encuesta con una única pregunta, seguro que te suena: “¿Con qué probabilidad recomendarías XXXXXXX a un amigo o compañero?“.

El cliente puede dar su respuesta en una escala del 0 al 10, siendo 0 “muy improbable” y el 10 “extremadamente probable”. En la mayoría de las ocasiones, cuando el cliente ha respondido, se le permite, además, explicar las razones de su respuesta. La traducción de las respuestas a una métrica matemática viene de la puntuación que van dando los clientes con sus respuestas:

Los que responden de 0 a 6 son considerados “detractores“.
Los que responden 7 u 8 son considerados “pasivos“.
Los que responden 9 o 10 son “promotores“.

Explicación de las valoraciones NPS y tipos de usuarios en función de sus respuestas.

La cifra final es en realidad un porcentaje que se consigue restando el porcentaje de detractores al de promotores, de modo que los índices de la métrica van de -100 a +100. Por ejemplo, si en una encuesta obtienes un 25% de “promotores”, un 15% de “pasivos” y un 60% de “detractores”, entonces el valor NPS es -35 (25 – 60 = -35). A partir de una valoración de 0 se considera un “buen” resultado y una valoración de 50 en adelante se considera “excelente”.

Es una métrica fácil de obtener y que permite comparar períodos, o incluso la valoración dentro de un sector, de manera muy sencilla. Por ello, se ha convertido en un estándar de medición en las empresas.

En Cuéntica, en este tiempo hemos enviado la encuesta un total de 25.000 veces, con un 10% de ratio de respuesta, de las cuales el 45% ha dejado un comentario personal explicando sus razones y un 0,5% de los usuarios se han desuscrito para no volver a recibirla.

Resultados de la encuesta NPS de Cuéntica (dashboard de Promoter).

Errores y problemas de las encuestas NPS

1. Usarlo como una vanity metric.

He visto muchas empresas que utilizan las encuestas NPS únicamente con el objetivo de conocer el numerito final. La usan – no sé si voluntaria o involuntariamente – como un chute para el ego que… ejem, no sirve realmente para nada. ¿Qué más da si tienes 40 o 43 de NPS? ¿Qué ocurre si de repente baja a 20? ¿Para qué lo estás midiendo?

Un poquito más abajo comento más en detalle cómo lo teníamos implementado en Cuéntica y qué pretendíamos conseguir exactamente con la encuesta.

2. Hacer mal la encuesta.

En mi opinión, las encuestas NPS deben hacerse por email, respetando el “estándar” del formato de la encuesta y teniendo muy en cuenta el timing en el envío.

Es un error reformular la frase, cambiar la forma de puntuar o maquetar de forma muy bonita y muy chuli la encuesta. La frase, la forma de valorar, el formato… todo está muy estudiado y probado. Si una encuesta de este tipo ya introduce – siempre – incógnitas respecto a la validez y la interpretación, solo falta que tú añadas más variables para que sea mucho más complejo interpretar los resultados.
El resultado de la encuesta para la misma persona variará mucho dependiendo del momento en el que recibe la encuesta. No tiene nada que ver responder a la pregunta justo después de haber contratado un servicio, con el que tienes unas expectativas y una emoción evidente, a responder a la pregunta después de haber estado usándolo durante unas semanas. Y tampoco será el mismo resultado si recibes la pregunta mientras estás trabajando o si la recibes cuando estás tomando una copa con tus amigos o en el baño haciendo tus cosas. Al hacerla in-app hay una probabilidad muy alta de que el usuario responda en base a lo que estaba haciendo en ese momento. Por ejemplo, si entro en Cuéntica, emito una factura y me salta la encuesta… responderé probablemente según cómo haya ido la emisión de la factura unos segundos antes, y esa no es la idea.
Siempre vas a tener este problema, así que lo mejor es sistematizar para que los datos se vayan homogeneizando e intentar evitar momentos que sepas que tienen un componente emocional, aquellos que tú puedas controlar (por ejemplo la primera vez que alguien ve tu producto o nada más haberlo comprado). En nuestro caso, enviábamos las encuestas únicamente por email, 45 días después de haber comprado Cuéntica y a las 18:00 de la tarde.
Otra mala implementación, bajo mi punto de vista, es hacer envíos segmentados y no a todos los usuarios. El valor de la encuesta NPS reside en que, en un escenario ideal, todos tus clientes respondan. ¿Qué valor tiene si solo se la envías a los usuarios que tienen el plan X y no a los que tienen un plan gratis? Si necesitas poder diferenciar el NPS en función del plan que el usuario tiene contratado, añade un atributo a su ficha y así podrás hacer un filtrado adicional para conocer los resultados en base a ese atributo. Pero envíasela a todos.

3. No entenderla como un flujo constante de trabajo.

Uno descubre eso del “NPS”, lee un poco sobre cómo funciona, se registra en alguna herramienta que permita subir toda la base de datos de emails de los clientes y… listo, directamente lanza una súper campaña para conseguir tener la respuesta en 24 horas. FAIL TOTAL. Ni se te ocurra hacer eso, a no ser que tu objetivo sea cometer el error #1 (obtener una vanity metric como una casa que no sirva para nada).

En mi opinión, las encuestas NPS requieren primero diseñar bien un sistema que se adapte bien al flujo de trabajo normal. Si mandas de repente 2.000 encuestas, ¿quién se va a encargar de revisar todas las respuestas? ¿Cómo se va a responder a todos los usuarios que pongan un comentario? ¿Y a los que solo envíen su valoración, sin comentar nada? Lo mejor es planificar bien todas estas cuestiones y lanzar una campaña que no sea puntual, sino una campaña por goteo, que funcione continuamente. De esta forma, el feedback llega también de forma continuada y se puede encajar mejor en el flujo normal de trabajo.

4. ¿Qué significa cada respuesta?

Un problema inherente a las encuestas NPS es el choque entre la lógica matemática y la incertidumbre de no poder saber qué significa realmente cada respuesta. En realidad, este es un problema que viene de serie con cualquier intento de captura de datos a través de encuestas a los usuarios: tú esperas que las respondan bien, y cuantos más mejor, pero no puedes saber con certeza si lo harán correctamente. Puede que no lo hagan como esperabas o que ni siquiera puedan responder, y es muy difícil detectarlo. Pero en el caso del NPS este problema es todavía más incisivo.

Comento algunos casos que ocurren habitualmente:

Caso 1: le llega la encuesta a un usuario contentísimo con el producto y que, de hecho, ya se lo ha recomendado a algunos amigos. Responde con un 8. Con su experiencia personal, un 8 es una flipada de nota, pero sin embargo tú lo estás contabilizando como un usuario “pasivo”, que ni siquiera cuenta para los cálculos.
Caso 2: usuario que no ha tenido todo el tiempo para poder formarse una opinión – o eso cree – y responde con una valoración que considera “neutral”. Le da un 5, a la espera de seguir conociendo el producto o lo que sea. ¿Realmente esa persona es “detractora” de la empresa?
Caso 3: le llega la encuesta a un usuario que está encantado con el producto pero que ha descubierto que necesita una funcionalidad que no está implementada. Responde, frustrado, con un 1. ¿Seguro que no recomendaría el producto a un amigo que no necesite esa funcionalidad?

La encuesta asume que todo el mundo tiene la misma interpretación de las palabras “improbable” o “extremadamente“, cuando no es así. De la misma forma, se asume que todo el mundo interpreta igual una nota de 5 sobre 10. Y tampoco es así. Y no tiene en cuenta absolutamente nada del contexto del usuario. Falla claramente al usar como objetivos datos que son completamente subjetivos.

Encuestas NPS en Cuéntica

En nuestro caso, planteé usar encuestas NPS en Cuéntica no para conocer la puntuación final, sino como un método sistemático para generar nuevas conversaciones con clientes.

Al principio del proyecto, obviamente sabíamos que hablar con los clientes y tener feedback era importante. Pasado un tiempo, descubrimos que “capturar feedback” no es tan sencillo:

no todo el feedback vale,
hay que saber pedirlo,
hay que saber identificar cuál es válido y cuál debe ser ignorado,
hay que diseñar un buen sistema para organizarlo y que sea útil,
hay que conseguir que sea un flujo constante en la empresa y, sobre todo,
hay que utilizarlo para intentar averiguar POR QUÉ:
- tener en cuenta el contexto del usuario,
- averiguar qué está intentando conseguir,
- para qué lo está intentando conseguir y
- por qué tu solución está o no está ayudando en el proceso.

Ahí es donde vas a poder innovar y diseñar soluciones y mejoras que ayuden realmente a tus clientes.

Queda claro que, para nosotros, un envío de feedback es solamente la punta del iceberg, por lo que una norma evidente de nuestra implementación de NPS es que hay que responder a todas y cada una de las respuestas, y hacerlo de una forma determinada. Seguimos una filosofía de trabajo basada en JTBD (Jobs-to-be-Done) y, cuando un usuario responde a una encuesta, es una muy buena oportunidad para comenzar a trabajar en una conversación que realmente sirva para descubrir cosas interesantes, y no solo quedarse con las quejas/dudas/peticiones superficiales. Pero bueno, de este tema ya hablaré en otro post, que da para largo.

Con esta forma de entender las encuestas NPS, así es como hemos tenido montado nuestro sistema durante más de 2 años:

La herramienta para el envío de las encuestas es Promoter. Allí subimos nuestra lista de emails y, cuando un usuario se da de alta en Cuéntica, lo damos de alta también en la BD de Promoter y lo metemos en la campaña NPS de forma automática. Promoter funciona muy bien, siempre la recomiendo.
En esa herramienta tenemos configurada una única campaña que solamente envía la primera encuesta a los usuarios 45 días después de haberse registrado. Una vez pasado ese tiempo, la encuesta se le vuelve a enviar cada 180 días (2 veces al año).
Un par de veces a la semana se revisan los resultados. Pero no se revisa el número en sí, sino la lista de respuestas. De cada respuesta, se observa si solo ha respondido con su valoración o si también ha añadido un comentario explicativo.
Tenemos respuestas preguardadas para no tener que estar escribiendo lo mismo constantemente, pero solo se usan como plantilla. Esto va de construir relaciones, de modo que cada respuesta debe ser siempre personalizada para cada usuario y hay que responder a todos, de modo que:
- Tienen prioridad los “detractores”. Probablemente de ellos es de los que más se puedan averiguar problemas que no estamos resolviendo correctamente.
- Después los “pasivos” y los “promotores”. En el segundo caso, las respuestas son básicamente de agradecimiento o, incluso, de petición de difusión en sus redes sociales. Pro tip: si vas a hacer esto, pónselo fácil: usa alguna herramienta que te permita pre-escribir un tweet inspirado en el mensaje del usuario, que él pueda revisar y publicar con un solo click sintiendo que transmite lo que él piensa sobre el producto.
A cada respuesta que tiene un mensaje explicativo, le ponemos unas etiquetas que describan el mismo. Si hay una conversación posterior a la respuesta, se van actualizando estas etiquetas conforme va llegando más información. Por supuesto, es necesario crear un “vocabulario de etiquetas”, para que sea fácil utilizarlas y poder analizar tendencias. Que no ocurra que tengas varias etiquetas que quieran decir lo mismo. A nosotros mantener bien este sistema nos ha ayudado mucho a descubrir qué es lo que realmente valoran los usuarios de Cuéntica y cuáles son las razones principales por las que dejan de usar nuestro producto.
El caso ideal es conseguir generar una conversación por cada respuesta. Hay herramientas que permiten esta funcionalidad (mantener un hilo de mensajes con el usuario desde la propia herramienta), aunque en nuestro caso esa conversación pasa a ser directamente por email. Conforme la conversación avanza van surgiendo nuevos insights importantes (si se aplica bien la filosofía JTBD), por lo que hay que pensar en cómo plasmar toda esa información para que esté bien organizada y que pueda usarse fácilmente (y no se quede oculta en un hilo de emails personales).

¿Por qué hemos dejado de usar las encuestas NPS?

Nunca hemos usado las encuestas NPS por el indicador numérico que se supone que debe conseguir, y nunca hemos atendido demasiado a si hay más treses que sietes, sino como un disparador para generar conversaciones y capturar feedback de nuestros clientes. Sin embargo, como es lógico, las herramientas para gestionar encuestas NPS están muy orientadas a eso, y generan ruido.

Para nosotros, las encuestas NPS han sido una forma de sistematizar y una ayuda para desarrollar una cultura de captura/investigación de información de los clientes cuando no sabíamos cómo hacerlo. Durante este tiempo, hemos aprendido también formas mejores y más eficientes para conseguir lo que buscamos. Hemos aprendido a detectar mejor cuándo y cómo “tirar del hilo” (muy útil teniendo en cuenta que también nos llega mucho feedback de forma orgánica) y a pedir feedback en los momentos adecuados y a las personas idóneas.

Dejo como pendiente ese próximo post explicando mejor cómo lo hacemos y cómo nos organizamos respecto al feedback, pero la idea es que hemos evolucionado significativamente en este área y ya no necesitamos ese disparador para conseguir lo que queríamos. Como el disparador ya no es necesario y el indicador final de NPS nunca nos ha interesado, hemos decidido dejar de hacer estas encuestas.

Algunos enlaces y recursos (muy) recomendados sobre el tema:

Publicado por Guillermo Latorre

CEO de Cuéntica // @superwillyfoc