Medir la eficacia de una sensibilización en ciberseguridad

Para medir la eficacia de una sensibilización en ciberseguridad, hay que mirar más allá de la tasa de finalización y la tasa de clics. Los indicadores útiles son de comportamiento: tasa de notificación, plazo y calidad de la notificación, éxito en ejercicios orales y progresión de una sesión a otra. Así se eligen y se leen.

La idea central: no se mide lo que los empleados saben, sino lo que harían. Es el vínculo con la guía de formación en ciberseguridad y vishing.

Por qué la tasa de finalización no basta

La tasa de finalización indica que el módulo se ha abierto y terminado. Es un indicador de difusión, útil para una auditoría, pero no dice nada del comportamiento futuro. Un empleado puede marcar las respuestas correctas para terminar antes.

La tasa de clics de las campañas de correos falsos es mejor, porque observa un gesto real. Pero se limita al correo electrónico, como explica nuestro artículo sobre los límites de la simulación de phishing frente a la voz.

Estas dos cifras responden a la pregunta «¿hemos difundido?», no a «¿reaccionarían bien los equipos?». Hacen falta otras.

Los cuatro niveles de evaluación, aplicados a la ciberseguridad

El modelo de Kirkpatrick distingue cuatro niveles de evaluación de una formación: la reacción, el aprendizaje, el comportamiento y los resultados. Ofrece un marco sencillo para ordenar sus indicadores.

• Reacción: ¿se ha considerado útil y clara la formación? Fácil de medir, poco informativo.
• Aprendizaje: ¿se conocen las reglas? Un cuestionario basta, con sus límites.
• Comportamiento: ¿aplican los empleados la regla en situación? Es el nivel decisivo.
• Resultados: los incidentes evitados, las pérdidas reducidas, los plazos de detección acortados.

La mayoría de los programas se detienen en los dos primeros niveles. El valor está en los dos siguientes. Para el método general, véase nuestra metodología de medición del impacto de una formación.

¿Qué indicadores de comportamiento seguir?

La tasa de notificación

Es la proporción de empleados que notifican un mensaje o una llamada sospechosos, en relación con el número de situaciones reales o simuladas. Una tasa que sube indica que la cultura de notificación progresa. Una tasa nula también puede significar que nadie se atreve a hablar.

El plazo de notificación

Cuanto antes se avisa al equipo de seguridad, más puede actuar: bloquear una transferencia, avisar a otros compañeros. Mida el tiempo entre la llamada sospechosa y la notificación, en horas o en minutos.

La calidad de la notificación

Una notificación útil contiene el nombre dado, el departamento, el número, las peticiones y lo que se ha comunicado. Nuestra tabla para notificar un incidente de seguridad sirve de referencia. Puede puntuar cada notificación de 0 a 5 según el número de elementos presentes.

El éxito en los ejercicios de verificación

Se mide con criterios observables. ¿Ha pedido el alumno un número de expediente? ¿Ha propuesto devolver la llamada al número oficial? ¿Ha evitado dar un código? Estos puntos se comprueban en la transcripción de un juego de rol.

La tasa de falsas alertas

Un empleado que notifica cualquier cosa satura al equipo de seguridad. Siga la proporción de notificaciones pertinentes. El objetivo es la alerta acertada, no el volumen.

Medir la progresión en el juego de rol

Un ejercicio oral produce datos más ricos que un cuestionario. Cada sesión puede evaluarse con la misma lista de criterios, lo que permite seguir la progresión de una persona o de un grupo.

Con Face Up, el alumno recibe tras cada sesión un informe de evaluación. En él encuentra los objetivos logrados o no, sus puntos fuertes, sus puntos a mejorar, un plan de acción y citas de lo que ha dicho. El formador puede apoyarse en estos elementos para comparar un primer intento con otro repetido.

Imaginemos un escenario de falso asesor en el que la proporción de participantes que proponen devolver la llamada aumenta claramente entre la primera y la tercera sesión. Esa progresión, observable en las transcripciones, es más elocuente que la puntuación de un módulo. El método de construcción se detalla en nuestro artículo sobre la simulación de vishing con juegos de rol con IA.

Cómo puntuar la calidad de una notificación

Una notificación de calidad se puntúa con una tabla corta, aplicada de la misma manera a todos. Una nota sobre 5 es adecuada: un punto por cada elemento presente.

1. El nombre que dio quien llamó.
2. El departamento o la empresa anunciados.
3. El número de llamada que aparecía o que se facilitó.
4. Lo que se pidió (código, transferencia, acceso, información).
5. Lo que la persona dijo o dio, incluido «nada».

El seguimiento de esta nota en el tiempo muestra si los equipos saben qué retener durante una llamada. Esta competencia se trabaja. En la puesta en común dirigida por el formador tras un juego de rol, cada uno cuenta su llamada como si la notificara. El grupo completa lo que falta.

Fijar un punto de partida antes de lanzar el programa

Una medida solo tiene sentido por comparación. Antes del primer ejercicio, anote la situación de partida: tasa de notificación de los últimos doce meses, calidad media de las notificaciones existentes, éxito en un primer escenario oral.

No busque una cifra halagadora. Un punto de partida bajo es una buena noticia para lo que viene, porque deja un margen de progresión visible. Un equipo que hoy notifica poco puede convertirse, en unos meses, en uno de los que mejor notifican, si se le entrena y se le tranquiliza.

Decida también, antes de empezar, qué hará con los resultados. Un indicador sin decisión asociada acaba ignorado. Por ejemplo: si el plazo de notificación supera un umbral en un equipo, se prevé un ejercicio adicional para él.

Presentar los resultados a la dirección y al comité de auditoría

La dirección quiere saber si el riesgo baja. Los auditores quieren pruebas de que la formación existe y de que se sigue. Estas dos expectativas se satisfacen con los mismos datos, presentados de forma distinta.

• Para la dirección: tres indicadores de comportamiento, su tendencia y una acción decidida.
• Para la auditoría: la lista de las sesiones realizadas, los criterios utilizados y el registro de los informes de evaluación.
• Para los equipos: sus propios progresos, con ejemplos concretos de frases bien dichas.

Para las organizaciones reguladas, la prueba de práctica completa útilmente la prueba de difusión. Nuestro artículo sobre la simulación de vishing con juegos de rol con IA explica qué rastro pueden dejar estas sesiones.

Construir un cuadro de mando sencillo

Bastan cuatro a seis indicadores. Más allá, nadie los lee. Esta es una base reutilizable:

1. Tasa de notificación (por equipo, por trimestre).
2. Plazo mediano de notificación.
3. Calidad media de las notificaciones.
4. Proporción de participantes que cumplen los criterios clave de un ejercicio de verificación.
5. Evolución entre la primera sesión y la última, para una misma población.
6. Tasa de clics en las campañas de phishing, como complemento.

Para cada indicador, fije un punto de partida, un objetivo realista y una frecuencia de medición. Presente los resultados por equipo y nunca por persona, para evitar un clima de vigilancia.

Las trampas que evitar

• Premiar solo una tasa de clics baja. Puede reflejar un mensaje falso demasiado fácil.
• Castigar el error. Una persona que teme la sanción deja de notificar.
• Comparar campañas de dificultad distinta. Anote la dificultad cada vez.
• Esperar al incidente para juzgar. Los incidentes reales son raros, los ejercicios frecuentes.
• Olvidar el grupo de control. Cuando es posible, compare un equipo entrenado con uno que aún no lo está.

Preguntas frecuentes

¿Cuál es el mejor indicador de una buena sensibilización?

No hay uno solo. La tasa de notificación, combinada con su calidad y su plazo, da la mejor imagen del comportamiento. Añada ejercicios orales para el teléfono.

¿Cómo medir el vishing sin falsas llamadas sorpresa?

Mediante ejercicios anunciados, practicados como juego de rol, con criterios observables. Se obtienen datos comparables sin engañar a nadie y sin riesgo jurídico.

¿Se puede medir un retorno de la inversión?

Se pueden estimar con prudencia los costes evitados, pero los incidentes raros hacen frágil el cálculo. Es mejor seguir indicadores de comportamiento y de plazo, más estables de un año a otro. Véase también la evaluación antes y después para demostrar una progresión.

¿Con qué frecuencia medir los indicadores?

Una vez por trimestre es un buen ritmo para el cuadro de mando. Los ejercicios, en cambio, pueden ser más frecuentes y más cortos, lo que alimenta las mediciones.

Para seguir la progresión de sus equipos con criterios que sus propios formadores definen, reserve una demostración de Face Up.