Mesurer l'efficacité d'une sensibilisation cybersécurité en pratique

Pour mesurer l'efficacité d'une sensibilisation cybersécurité, il faut regarder au-delà du taux de complétion et du taux de clic. Les indicateurs utiles sont comportementaux : taux de signalement, délai et qualité du signalement, réussite à des exercices oraux et progression d'une session à l'autre. Voici comment les choisir et les lire.

L'idée centrale : on ne mesure pas ce que les salariés savent, mais ce qu'ils feraient. C'est le lien avec le guide de la sensibilisation cybersécurité et du vishing.

Pourquoi le taux de complétion ne suffit pas

Le taux de complétion indique que le module a été ouvert et terminé. C'est un indicateur de diffusion, utile pour un audit, mais il ne dit rien du comportement futur. Un salarié peut cliquer sur les bonnes réponses pour finir plus vite.

Le taux de clic des campagnes de faux e-mails est meilleur, car il observe un geste réel. Il reste limité à l'e-mail, comme l'explique notre article sur les limites de la simulation de phishing face à la voix.

Ces deux chiffres répondent à la question « avons-nous diffusé ? », pas à « les équipes réagiraient-elles bien ? ». Il en faut d'autres.

Les quatre niveaux d'évaluation, appliqués à la cybersécurité

Le modèle de Kirkpatrick distingue quatre niveaux d'évaluation d'une formation : la réaction, l'apprentissage, le comportement et les résultats. Il offre un cadre simple pour ranger vos indicateurs.

• Réaction : la formation a-t-elle été jugée utile et claire ? Facile à mesurer, peu informatif.
• Apprentissage : les règles sont-elles connues ? Un quiz suffit, avec ses limites.
• Comportement : les salariés appliquent-ils la règle en situation ? C'est le niveau décisif.
• Résultats : les incidents évités, les pertes réduites, les délais de détection raccourcis.

La plupart des programmes s'arrêtent aux deux premiers niveaux. La valeur est aux deux suivants. Pour la méthode générale, voyez notre méthodologie de mesure de l'impact d'une formation.

Quels indicateurs comportementaux suivre ?

Le taux de signalement

C'est la proportion de salariés qui signalent un message ou un appel suspect, rapportée au nombre de situations réelles ou simulées. Un taux qui monte indique que la culture de signalement progresse. Un taux nul peut aussi signifier que personne n'ose parler.

Le délai de signalement

Plus l'équipe sécurité est prévenue tôt, plus elle peut agir : bloquer un virement, prévenir d'autres collègues. Mesurez le temps entre l'appel suspect et le signalement, en heures ou en minutes.

La qualité du signalement

Un signalement utile contient le nom donné, le service, le numéro, les demandes et ce qui a été communiqué. Notre grille pour signaler un incident de sécurité sert de référence. Vous pouvez noter chaque signalement de 0 à 5 selon le nombre d'éléments présents.

La réussite aux exercices de vérification

Elle se mesure sur des critères observables. L'apprenant a-t-il demandé un numéro de dossier ? A-t-il proposé de rappeler par le numéro officiel ? A-t-il évité de donner un code ? Ces points se vérifient dans la transcription d'un jeu de rôle.

Le taux de mauvaises alertes

Un salarié qui signale tout et n'importe quoi noie l'équipe sécurité. Suivez la part de signalements pertinents. L'objectif est la bonne alerte, pas le volume.

Mesurer la progression en jeu de rôle

Un exercice oral produit des données plus riches qu'un quiz. Chaque session peut être évaluée sur la même liste de critères, ce qui permet de suivre la progression d'une personne ou d'un groupe.

Avec Face Up, l'apprenant reçoit après chaque session un débriefing. Il y trouve les objectifs atteints ou non, ses points forts, ses points à améliorer, un plan d'action et des citations de ce qu'il a dit. Le formateur peut s'appuyer sur ces éléments pour comparer une première tentative et une rejouée.

Imaginons un scénario de faux conseiller où la part de participants qui proposent un rappel augmente nettement entre la première et la troisième session. Cette progression, observable dans les transcriptions, est plus parlante qu'un score de module. La méthode de construction est détaillée dans notre article sur la simulation de vishing par jeu de rôle IA.

Comment noter la qualité d'un signalement

Un signalement de qualité se note avec une grille courte, appliquée de la même façon à tous. Une note sur 5 convient : un point par élément présent.

1. Le nom que l'appelant a donné.
2. Le service ou l'entreprise annoncé.
3. Le numéro d'appel affiché ou fourni.
4. Ce qui a été demandé (code, virement, accès, information).
5. Ce que la personne a dit ou donné, y compris « rien ».

Le suivi de cette note dans le temps montre si les équipes savent quoi retenir pendant un appel. Cette compétence se travaille. Lors de la restitution animée par le formateur après un jeu de rôle, chacun raconte son appel comme s'il le signalait. Le groupe complète ce qui manque.

Fixer un point de départ avant de lancer le programme

Une mesure n'a de sens que par comparaison. Avant le premier exercice, relevez la situation de départ : taux de signalement des douze derniers mois, qualité moyenne des signalements existants, réussite à un premier scénario oral.

Ne cherchez pas un chiffre flatteur. Un point de départ bas est une bonne nouvelle pour la suite, car il laisse une marge de progression visible. Une équipe qui signale peu aujourd'hui peut devenir, en quelques mois, l'une de celles qui signalent le mieux, si on l'entraîne et si on la rassure.

Décidez aussi, avant de commencer, de ce que vous ferez des résultats. Un indicateur sans décision attachée finit ignoré. Par exemple : si le délai de signalement dépasse un seuil dans une équipe, on prévoit un exercice supplémentaire pour elle.

Présenter les résultats à la direction et au comité d'audit

La direction veut savoir si le risque baisse. Les auditeurs veulent des preuves que la formation existe et qu'elle est suivie. Ces deux attentes se satisfont avec les mêmes données, présentées différemment.

• Pour la direction : trois indicateurs de comportement, leur tendance et une action décidée.
• Pour l'audit : la liste des sessions réalisées, les critères utilisés et la trace des débriefings.
• Pour les équipes : leurs propres progrès, avec des exemples concrets de phrases bien dites.

Pour les organisations réglementées, la preuve de pratique complète utilement la preuve de diffusion. Notre article sur la simulation de vishing par jeu de rôle IA explique ce que ces sessions peuvent laisser comme trace.

Construire un tableau de bord simple

Quatre à six indicateurs suffisent. Au-delà, personne ne les lit. Voici une base réutilisable :

1. Taux de signalement (par équipe, par trimestre).
2. Délai médian de signalement.
3. Qualité moyenne des signalements.
4. Part des participants qui réussissent les critères clés d'un exercice de vérification.
5. Évolution entre la première session et la dernière, pour une même population.
6. Taux de clic aux campagnes de phishing, en complément.

Pour chaque indicateur, fixez un point de départ, une cible réaliste et une fréquence de relevé. Présentez les résultats par équipe et jamais par personne, pour éviter un climat de surveillance.

Les pièges à éviter

• Récompenser le faible taux de clic seul. Il peut traduire un faux message trop facile.
• Punir l'erreur. Une personne qui craint la sanction cesse de signaler.
• Comparer des campagnes de difficulté différente. Notez la difficulté à chaque fois.
• Attendre l'incident pour juger. Les vrais incidents sont rares, les exercices fréquents.
• Oublier le groupe témoin. Quand c'est possible, comparez une équipe entraînée à une équipe qui ne l'est pas encore.

Questions fréquentes

Quel est le meilleur indicateur d'une bonne sensibilisation ?

Il n'y en a pas un seul. Le taux de signalement, combiné à sa qualité et à son délai, donne la meilleure image du comportement. Ajoutez des exercices oraux pour le téléphone.

Comment mesurer le vishing sans faux appels surprises ?

Par des exercices annoncés, joués en jeu de rôle, avec des critères observables. Vous obtenez des données comparables sans piéger personne et sans enjeu juridique.

Peut-on mesurer un retour sur investissement ?

On peut estimer des coûts évités avec prudence, mais les incidents rares rendent le calcul fragile. Mieux vaut suivre des indicateurs de comportement et de délai, plus stables d'une année à l'autre. Voyez aussi l'évaluation avant et après pour prouver une progression.

À quelle fréquence relever les indicateurs ?

Une fois par trimestre est un bon rythme pour le tableau de bord. Les exercices, eux, peuvent être plus fréquents et plus courts, ce qui alimente les relevés.

Pour suivre la progression de vos équipes sur des critères que vos formateurs définissent eux-mêmes, réservez une démonstration de Face Up.