E-learning de cumplimiento: finalización frente a competencia real

La eficacia de un e-learning de cumplimiento no se lee en su tasa de finalización. Una tasa muy alta indica que casi todo el mundo ha llegado a la última pantalla. No dice que los empleados sabrían qué hacer ante una situación real. La finalización mide un recorrido, la competencia mide un comportamiento.

Este artículo explica por qué ambas cosas se confunden tan a menudo. Resume lo que permite decir la investigación sobre la memoria y propone medir otra cosa distinta del clic. Se inscribe en nuestra guía de las formaciones obligatorias de cumplimiento.

Por qué seduce tanto la tasa de finalización

La finalización es fácil de conseguir. El LMS la ofrece sin esfuerzo, cabe en un panel de control y se compara de un año a otro. Para un responsable de cumplimiento que debe rendir cuentas a su dirección o a un supervisor, es una cifra tranquilizadora.

El problema viene de lo que se le hace decir. Esa cifra prueba que la formación se difundió y se siguió. No dice nada de lo que los empleados retuvieron. Dice todavía menos de lo que harán un martes por la mañana, al teléfono, con un cliente que se irrita.

Las recomendaciones de la Agencia Francesa Anticorrupción (AFA) de 2021 van, por cierto, más allá de la asistencia. Piden herramientas para verificar la buena comprensión de las formaciones, por ejemplo un test al final de la sesión o pasado un tiempo. Proponen también seguir la tasa de cobertura del público objetivo y las horas dedicadas.

Lo que se sabe del olvido

Un experimento de 2015, publicado en PLoS ONE por Murre y Dros, reprodujo la curva del olvido descrita por Ebbinghaus en 1880. Sus resultados son cercanos a los datos originales: se olvida rápido después del aprendizaje y luego más despacio. Este experimento se refiere a listas de sílabas, no a reglas de cumplimiento, pero recuerda el principio.

Una formación vista una sola vez, sin repaso, deja por tanto poca huella pasadas unas semanas. Los empleados no son negligentes. Hacen lo que hace toda memoria humana cuando una información no se reutiliza.

Los trabajos de Roediger y Karpicke, publicados en Psychological Science en 2006, apuntan en el mismo sentido. Los estudiantes que se pusieron a prueba sobre un texto lo retuvieron mejor, a los dos días y a la semana, que quienes lo habían releído. Ponerse a prueba, es decir, ir a buscar uno mismo la información, refuerza la memoria más que la simple relectura.

Saber no es saber hacer

Incluso un empleado que recuerda la regla puede no aplicarla. Entre la regla y el gesto hay una conversación. Pensemos en un asesor que debe hacer una pregunta de diligencia debida a un cliente con prisa, o en un mando que debe cortar un comentario fuera de lugar. Ambos saben. Pocos lo han hecho ya.

Se repiten tres obstáculos:

• la presión social, que hace más difícil mantener la regla ante un humano que ante una pantalla;
• la falta de palabras: sin una frase preparada, se improvisa o se calla;
• la ausencia de feedback: nadie dice al empleado si su respuesta fue buena.

Un e-learning, aunque esté bien diseñado, trata mal estos tres puntos. Puede incluir un test, pero un test verifica un reconocimiento, no una producción oral. Para un análisis comparable en ciberseguridad, vea nuestro artículo sobre los límites del e-learning para los reflejos de seguridad.

¿Qué medir en lugar de la finalización?

Un buen panel de cumplimiento conserva la finalización, porque sigue siendo útil como prueba de difusión. Le añade medidas de competencia. Estas son las más accesibles.

1. La puntuación en un test diferido. Volver a plantear tres o cuatro preguntas un mes después muestra lo que queda.
2. Las decisiones en escenario. Ante un caso, ¿elige el alumno la conducta correcta y la justifica?
3. La calidad de la conversación. ¿Ha hecho la pregunta adecuada, se ha negado con claridad, ha evitado prometer lo que no puede cumplir?
4. Las señales del terreno. Consultas al referente, comunicaciones, preguntas que llegan, errores detectados en los controles.
5. La progresión de un intento al siguiente. Si el alumno mejora al repetir, la formación produce un efecto.

Nuestro artículo sobre la medición de la eficacia de una concienciación en ciberseguridad retoma esta lógica en el ámbito cíber.

Lo que aporta una puesta en situación oral

La puesta en situación hace producir una respuesta. El alumno debe hablar, elegir sus palabras, mantener su posición, y lo hace ante un interlocutor que reacciona. Es la forma de esfuerzo de recuerdo que describe la investigación sobre las pruebas, aplicada a un gesto profesional.

Produce además una constancia más rica. En lugar de una puntuación, se dispone de lo que la persona ha dicho y de lo que ha evitado. Se ven también sus progresos de una sesión a otra. Un formador puede releer estos elementos y decidir dónde concentrar su acompañamiento.

Tres niveles de prueba que conviene distinguir

Para dirigir con honestidad un programa de cumplimiento, conviene separar tres niveles, que el panel de control suele mezclar.

El nivel de la difusión

¿Quién ha recibido la formación, cuándo, durante cuánto tiempo? Es la finalización y la asistencia. Este nivel responde a la pregunta «¿hemos hecho lo previsto?».

El nivel de la comprensión

¿Han retenido los participantes lo esencial? Un test al final del itinerario y después un test diferido responden a esta pregunta. Sigue estando en el registro del saber, lo que ya es más informativo que la asistencia.

El nivel del comportamiento

¿Hacen los participantes lo correcto cuando se presenta la situación? Solo la puesta en situación y la observación del terreno responden a esto. Es el nivel más difícil de alcanzar y el más valioso para reducir un riesgo real.

Un programa serio rinde cuentas de los tres niveles, sin ocultar ninguno. Admite que el tercero es el peor cubierto y planifica cómo mejorarlo.

Cómo pasar de un módulo a una práctica

No es necesario rehacerlo todo. Basta un camino progresivo.

1. Conservar el módulo existente para la información común.
2. Elegir las dos o tres situaciones en las que la distancia entre saber y hacer cuesta más cara.
3. Añadir una puesta en situación corta por cada situación, jugada unas semanas después del módulo.
4. Comparar el primer y el segundo intento, y después el resultado de un trimestre al siguiente.
5. Ajustar el módulo a partir de lo que la práctica revela como mal comprendido.

Este circuito da un segundo beneficio: la práctica ilumina los puntos débiles del contenido. Si todos los alumnos tropiezan con la misma pregunta, el problema suele estar en el módulo, no en los alumnos.

Usar el juego de rol como medida de competencia

Un juego de rol no sustituye al módulo de información: llega después, para verificar lo que se sostiene. Con Face Up, el formador crea un escenario a partir de sus casos reales (por ejemplo, un cliente que se irrita ante una pregunta de diligencia debida). El alumno habla con un personaje interpretado por una IA y después lee su debriefing: objetivos alcanzados o no, puntos fuertes, puntos que mejorar, citas, plan de acción. Puede repetir.

Face Up se integra con los LMS mediante LTI 1.3. El módulo en línea permanece, por tanto, en su plataforma, y la práctica se añade a él. Para el principio, vea nuestra página sobre los juegos de rol.

Un último consejo de método: anuncie desde el principio a los empleados que la puesta en situación sirve para aprender, no para puntuar. Si el ejercicio se vive como un examen, los participantes juegan a lo seguro y ocultan sus dudas. Si se vive como un entrenamiento, lo intentan, fallan, repiten y progresan.

Los errores frecuentes al dirigir el cumplimiento

• Tomar la finalización por el resultado. Prueba la difusión, nada más.
• Hacer el test final demasiado fácil. Un test que todos aprueban no enseña nada a quien dirige el dispositivo.
• Medir solo en caliente. La satisfacción del mismo día no dice nada del efecto a un mes.
• Multiplicar los indicadores. Tres medidas bien elegidas valen más que quince.
• Ocultar los malos resultados. Un equipo que fracasa en la puesta en situación es una información útil, no un fracaso que esconder.

Preguntas frecuentes

¿Hay que abandonar el e-learning de cumplimiento?

No. Es adecuado para difundir una información común a todos y para dejar constancia. Resulta insuficiente cuando se espera un comportamiento. Lo ideal es conservarlo para el saber y añadir práctica para el gesto.

¿Qué responder a un auditor que pide pruebas de eficacia?

Muestre la finalización, pero también resultados de tests diferidos, evaluaciones en escenario e indicadores del terreno. Nuestro artículo sobre la prueba de formación en auditoría detalla los documentos que conviene conservar.

¿Cómo evitar que los empleados hagan clic sin leer?

Cambiando lo que se les pide: producir una respuesta en lugar de validar una pantalla. El tema del cansancio se trata en nuestro artículo sobre el cansancio de las formaciones anuales.

Para ver cómo una puesta en situación puede complementar sus módulos y medir algo distinto del clic, reserve una demostración.