Los peligros ocultos de las encuestas web

Las empresas están sustituyendo las encuestas de papel con versiones basadas en la web que pueden distorsionar peligrosamente los resultados.

Los peligros ocultos de las encuestas web
Resumen.

Reimpresión: F0307C

La misma pregunta planteada en la Web y en forma impresa puede dar respuestas muy diferentes, distorsionando drásticamente los resultados de las encuestas y engañando a la gestión. Pero, como demuestra el psicólogo Palmer Morrel-Samuels, los problemas se solucionan fácilmente.


Las encuestas web de Workplace se utilizan cada vez más con encuestas impresas, o en lugar de ellas, para medir la motivación de los empleados, la eficacia del programa y el desempeño del personal. Pero pocas de las empresas que los acogen son conscientes de un problema fundamental: la misma pregunta planteada en la Web y en la prensa puede dar respuestas muy diferentes.

No es que las encuestas web sean siempre poco fiables. Si se hacen correctamente, pueden producir resultados confiables, incluso superiores. Pero si se hacen mal, como suelen ser, pueden distorsionar drásticamente los resultados, llevando a la gerencia a malas decisiones e incluso descarrilando carreras. Las encuestas web suelen producir puntuaciones más altas que las encuestas impresas, tasas de respuesta más bajas, un rango de respuestas más restringido (menos puntuaciones muy altas o muy bajas) y muchas otras distorsiones. Sin embargo, en nuestra experiencia en el diseño, ejecución y solución de problemas para grandes empresas como Disney, EDS, Xerox, Fallon Clinic y GM, hemos descubierto que cada uno de estos problemas se puede corregir si se comprenden correctamente.

Puntuaciones sesgo

Cinco tipos de problemas pueden socavar la validez y fiabilidad de las encuestas web.

Optar por no hacerlo.

Las tasas de respuesta de las encuestas web pueden ser hasta un 80% inferiores a las de sus contrapartes impresas. Hemos descubierto que los empleados (encuestados reacios en el mejor de los caso) se resisten a las encuestas web por varias razones, entre ellas, dificultad para acceder a la encuesta, incapacidad para avanzar o retroceder en las preguntas, dificultad para completar una encuesta interrumpida y temor a la confidencialidad.

Revestimiento azucarado.

Las encuestas web mal diseñadas suelen producir respuestas inverosímiles favorables. En muchos casos, el problema se debe a la renuencia de los empleados a quejarse porque no están seguros de que su identidad estará protegida. Aunque las causas de este sesgo son complejas, la conclusión es clara: una evaluación del desempeño de los empleados basada en la web poco confiable que recientemente nos llamaron a rediseñar para un minorista nacional elevó artificialmente las puntuaciones en un 16%. Eso fue suficiente para etiquetar erróneamente el desempeño «bueno» como «superlativo» en una evaluación utilizada para establecer la compensación.

Skimming.

En el lugar de trabajo, las encuestas impresas y las encuestas web suelen atraer a encuestados claramente diferentes. El usuario típico de la encuesta web tiene acceso privado a una computadora, tiene mayor responsabilidad y recibe una mejor remuneración. Cuando una empresa ofrece encuestas tanto impresas como web, este sesgo de autoselección significa que la encuesta web tiende a despreciar a los encuestados de nivel superior, mientras que los empleados de nivel inferior se quedan con el papel. Debido a que los empleados de alto nivel suelen tener una visión única y excepcionalmente favorable de su empresa, el skimming puede sesgar drásticamente los resultados.

Recorte.

Las encuestas web tienden a obtener respuestas «recortadas»: comprimen artificialmente el rango entre puntuaciones altas y bajas. En consecuencia, las respuestas recortadas pueden obstaculizar seriamente el análisis al excluir información importante, tal como lo haría un velocímetro de automóvil si solo mostrara tu velocidad entre 40 y 60 millas por hora. Esto es fundamental en las encuestas utilizadas para medir la calidad de los productos porque no pueden distinguir entre lo fabuloso y lo bastante bueno. Y es crucial para las evaluaciones de desempeño, porque no pueden distinguir entre los jugadores C y B o los jugadores B+ y A-, por lo que la gente puede ser despedida injustamente o ascendida impávidamente.

Reorganización.

Las encuestas web casi siempre reorganizan las clasificaciones de las puntuaciones. Es decir, cuando calculas la respuesta media de cada pregunta de tu encuesta y clasificas esas medias de mayor a menor, lo más probable es que la clasificación de los dos formatos sea diferente. Esto es grave porque cuando se interrumpe la clasificación de los promedios, las correlaciones entre las preguntas también se interrumpen. Y son estas correlaciones las que determinan el resultado de cualquier análisis que examine los vínculos entre las respuestas «suaves» a las encuestas y las métricas de rendimiento «estrictas», por ejemplo, el vínculo entre la motivación de los empleados y la retención del personal.

Solucionar los problemas

Dados los posibles inconvenientes, las encuestas web pueden parecer excesivamente arriesgadas. Pero una encuesta web bien diseñada puede ser más barata, fácil de usar, más rápida, mejor recibida por los participantes y, en realidad, más precisa que su equivalente en papel. Acabamos de completar un estudio en el que participaron casi 1.000 empleados de Duke Energy, una empresa de servicios públicos internacional con sede en Carolina del Norte, que demostró las mejores prácticas de las encuestas web en acción. La mitad de los participantes utilizó una versión impresa de una evaluación de liderazgo de 360 grados que diseñamos especialmente para Duke; la otra mitad utilizó una versión de la misma evaluación habilitada para Internet. Las preguntas eran idénticas en los dos formatos, pero la encuesta web incorporó más de 40 características diseñadas para neutralizar los problemas que acabamos de discutir. Cuando analizamos las respuestas de la encuesta, descubrimos que los datos de los dos formatos coincidían con precisión. Así es como lo hicimos:

Mejora del acceso y la facilidad de uso.

Para limitar el problema del skimming y aumentar las tasas de respuesta, es imperativo hacer que la interfaz sea fácil de usar, incluso para aquellos que tienen conocimientos informáticos marginalmente. Recomendamos colocar los equipos en entornos privados para los empleados que aún no los tienen y eliminar caracteres inusuales de la dirección web de la encuesta (como ~ y/y) para que los errores tipográficos no detengan a los usuarios incluso antes de empezar. También sugerimos añadir una herramienta de navegación que permita a los encuestados avanzar o retroceder fácilmente entre las preguntas. Otras características importantes incluyen un botón de salida y guardado rápido en cada pantalla, para que los usuarios puedan salir y regresar fácilmente sin perder datos; un indicador de progreso para que los encuestados sepan cuánto más tienen que hacer; y una sencilla función de deshacer, para que puedan revisar las respuestas sin complicaciones.

Mejora de la precisión.

Hemos descubierto que los ajustes de formato sencillos pueden mejorar la precisión y reducir los efectos como el recorte y la reorganización. Es importante centrar las escalas de respuesta (para valoraciones de 1 a 5, por ejemplo) en la pantalla del usuario y proporcionar una opción de «No saber/no aplicable» que sea claramente visible pero no demasiado prominente. Otros ajustes de precisión incluyen una función de bloqueo, que requiere que los participantes proporcionen una respuesta antes de permitirles avanzar, y una función de cambio de tamaño automático para que, independientemente del tamaño de la ventana en el escritorio del usuario, aparezca una página completa de la encuesta en la pantalla.

A diferencia de sus contrapartes impresas, las encuestas web pueden proporcionar una comprobación instantánea de errores. Por ejemplo, los encuestados a veces interpretan mal las preguntas con redacción negativa (es decir, preguntas en las que una respuesta afirmativa o una calificación alta significan que algo es no bueno) y dan erróneamente una respuesta que es incoherente con todas sus demás respuestas. Los filtros en las encuestas web pueden detectar estos valores atípicos (y también otras anomalías importantes y más sutiles) e prompt a los encuestados a confirmarlos o corregirlos. Es por eso que las encuestas web con filtros pueden ser más precisas que las encuestas impresas.

Por último, dado que la preocupación por la confidencialidad puede socavar la precisión, es importante sacar las encuestas web de la intranet de la empresa y colocarlas en un servidor externo seguro; también es recomendable que los usuarios creen sus propias contraseñas.

No es posible enumerar aquí todos los problemas asociados con las encuestas web y sus soluciones. Sin embargo, comprender que las encuestas web tienen deficiencias particulares, soluciones listas y fortalezas únicas puede ayudarlo a utilizarlas con prudencia. Después de todo, como cualquier buen carpintero sabe, es importante tener en claro las diferencias entre un patrón de madera y una regla de acero, especialmente si pretendes usar ambos para construir tu casa.


Escrito por
Palmer Morrel-Samuels



Te pueden interesar

Newsletter

Avanza tu carrera profesional, con el resumen semanal de las publicaciones, un libro de negocio resumido en 10 minutos y entrevistas con líderes de negocio.