Doeltreffendheid van security awareness meten, in de praktijk

Om de doeltreffendheid van een security awareness training te meten, moet u verder kijken dan het voltooiingspercentage en het klikpercentage. De bruikbare indicatoren zijn gedragsindicatoren: meldingspercentage, termijn en kwaliteit van de melding, slagen voor mondelinge oefeningen en vooruitgang van sessie tot sessie. Hier leest u hoe u ze kiest en interpreteert.

Het kernidee: u meet niet wat medewerkers weten, maar wat ze zouden doen. Dat is de link met de gids voor security awareness training en vishing.

Waarom het voltooiingspercentage niet volstaat

Het voltooiingspercentage geeft aan dat de module is geopend en afgerond. Het is een indicator van verspreiding, nuttig voor een audit, maar hij zegt niets over toekomstig gedrag. Een medewerker kan de juiste antwoorden aanklikken om sneller klaar te zijn.

Het klikpercentage van campagnes met nep-e-mails is beter, want het observeert een echt gebaar. Het blijft beperkt tot e-mail, zoals ons artikel over de grenzen van phishingsimulatie ten opzichte van de stem uitlegt.

Deze twee cijfers beantwoorden de vraag ‘hebben we het verspreid?’, niet ‘zouden de teams goed reageren?’. Er zijn andere nodig.

De vier evaluatieniveaus, toegepast op cybersecurity

Het model van Kirkpatrick onderscheidt vier niveaus van evaluatie van een opleiding: reactie, leren, gedrag en resultaten. Het biedt een eenvoudig kader om uw indicatoren in te delen.

• Reactie: werd de opleiding nuttig en duidelijk gevonden? Makkelijk te meten, weinig informatief.
• Leren: zijn de regels bekend? Een quiz volstaat, met zijn beperkingen.
• Gedrag: passen de medewerkers de regel toe in een situatie? Dat is het doorslaggevende niveau.
• Resultaten: de voorkomen incidenten, de beperkte verliezen, de kortere detectietijden.

De meeste programma's stoppen bij de eerste twee niveaus. De waarde zit in de volgende twee.

Welke gedragsindicatoren volgt u?

Het meldingspercentage

Dat is het aandeel medewerkers dat een verdacht bericht of gesprek meldt, afgezet tegen het aantal echte of gesimuleerde situaties. Een stijgend percentage wijst erop dat de meldcultuur vooruitgaat. Een percentage van nul kan ook betekenen dat niemand durft te spreken.

De meldingstermijn

Hoe eerder het beveiligingsteam wordt gewaarschuwd, hoe meer het kan doen: een overschrijving blokkeren, andere collega's waarschuwen. Meet de tijd tussen het verdachte gesprek en de melding, in uren of minuten.

De kwaliteit van de melding

Een nuttige melding bevat de opgegeven naam, de afdeling, het nummer, de verzoeken en wat er is meegedeeld. Ons overzicht voor het melden van een beveiligingsincident dient als referentie. U kunt elke melding van 0 tot 5 scoren naargelang het aantal aanwezige elementen.

Het slagen voor verificatieoefeningen

Dat meet u aan de hand van waarneembare criteria. Heeft de lerende om een dossiernummer gevraagd? Heeft hij voorgesteld terug te bellen via het officiële nummer? Heeft hij vermeden een code te geven? Die punten zijn te controleren in het transcript van een rollenspel.

Het percentage valse meldingen

Een medewerker die alles en niets meldt, overspoelt het beveiligingsteam. Volg het aandeel relevante meldingen. Het doel is de juiste melding, niet het volume.

De vooruitgang meten in rollenspel

Een mondelinge oefening levert rijkere gegevens op dan een quiz. Elke sessie kan worden beoordeeld op dezelfde lijst van criteria, waardoor u de vooruitgang van een persoon of een groep kunt volgen.

Met Face Up krijgt de lerende na elke sessie een debriefing. Daarin vindt hij de al dan niet bereikte doelen, zijn sterke punten, zijn verbeterpunten, een actieplan en citaten van wat hij heeft gezegd. De trainer kan op die elementen steunen om een eerste poging en een herspeelde poging te vergelijken.

Stel een scenario met een nepadviseur waarin het aandeel deelnemers dat voorstelt terug te bellen duidelijk stijgt tussen de eerste en de derde sessie. Die vooruitgang, zichtbaar in de transcripten, zegt meer dan een modulescore. De opbouwmethode wordt uitgewerkt in ons artikel over vishingsimulatie met AI-rollenspel.

Hoe scoort u de kwaliteit van een melding

Een kwaliteitsmelding scoort u met een kort schema, voor iedereen op dezelfde manier toegepast. Een score op 5 volstaat: een punt per aanwezig element.

1. De naam die de beller opgaf.
2. De aangekondigde afdeling of het bedrijf.
3. Het getoonde of opgegeven telefoonnummer.
4. Wat er werd gevraagd (code, overschrijving, toegang, informatie).
5. Wat de persoon heeft gezegd of gegeven, ook als dat ‘niets’ is.

Het volgen van deze score in de tijd laat zien of de teams weten wat ze tijdens een gesprek moeten onthouden. Die vaardigheid is te trainen. Bij de nabespreking onder leiding van de trainer na een rollenspel vertelt iedereen zijn gesprek alsof hij het meldt. De groep vult aan wat ontbreekt.

Een uitgangspunt vastleggen voordat u het programma lanceert

Een meting heeft alleen betekenis door vergelijking. Leg vóór de eerste oefening de beginsituatie vast: meldingspercentage van de laatste twaalf maanden, gemiddelde kwaliteit van de bestaande meldingen, slagen voor een eerste mondeling scenario.

Zoek geen flatteus cijfer. Een laag uitgangspunt is goed nieuws voor het vervolg, want het laat zichtbare ruimte voor vooruitgang. Een team dat vandaag weinig meldt, kan in enkele maanden een van de teams worden die het best melden, als u het traint en geruststelt.

Beslis ook vóór de start wat u met de resultaten zult doen. Een indicator zonder gekoppelde beslissing wordt uiteindelijk genegeerd. Bijvoorbeeld: als de meldingstermijn in een team een drempel overschrijdt, plant u voor dat team een extra oefening.

De resultaten presenteren aan de directie en het auditcomité

De directie wil weten of het risico daalt. De auditors willen bewijzen dat de opleiding bestaat en wordt gevolgd. Aan beide verwachtingen voldoet u met dezelfde gegevens, anders gepresenteerd.

• Voor de directie: drie gedragsindicatoren, hun trend en een genomen actie.
• Voor de audit: de lijst van gehouden sessies, de gebruikte criteria en het spoor van de debriefings.
• Voor de teams: hun eigen vooruitgang, met concrete voorbeelden van goed gezegde zinnen.

Voor gereguleerde organisaties vult het bewijs van oefening het bewijs van verspreiding nuttig aan. Ons artikel over vishingsimulatie met AI-rollenspel legt uit welk spoor deze sessies kunnen nalaten.

Een eenvoudig dashboard bouwen

Vier tot zes indicatoren volstaan. Daarboven leest niemand ze. Hier is een herbruikbare basis:

1. Meldingspercentage (per team, per kwartaal).
2. Mediane meldingstermijn.
3. Gemiddelde kwaliteit van de meldingen.
4. Aandeel deelnemers dat slaagt voor de kerncriteria van een verificatieoefening.
5. Evolutie tussen de eerste en de laatste sessie, voor dezelfde populatie.
6. Klikpercentage bij phishingcampagnes, als aanvulling.

Leg voor elke indicator een uitgangspunt, een realistisch doel en een meetfrequentie vast. Presenteer de resultaten per team en nooit per persoon, om een klimaat van toezicht te vermijden.

De valkuilen om te vermijden

• Alleen een laag klikpercentage belonen. Het kan wijzen op een te makkelijk nepbericht.
• De fout bestraffen. Een persoon die sancties vreest, stopt met melden.
• Campagnes van verschillende moeilijkheid vergelijken. Noteer elke keer de moeilijkheid.
• Op het incident wachten om te oordelen. Echte incidenten zijn zeldzaam, oefeningen frequent.
• De controlegroep vergeten. Vergelijk waar mogelijk een getraind team met een team dat nog niet getraind is.

Veelgestelde vragen

Wat is de beste indicator van een goede security awareness?

Er is niet één. Het meldingspercentage, gecombineerd met kwaliteit en termijn, geeft het beste beeld van het gedrag. Voeg mondelinge oefeningen toe voor de telefoon.

Hoe meet u vishing zonder onverwachte nepgesprekken?

Met aangekondigde oefeningen, gespeeld in rollenspel, met waarneembare criteria. U krijgt vergelijkbare gegevens zonder iemand in de val te lokken en zonder juridisch risico.

Kunt u een return on investment meten?

U kunt voorkomen kosten voorzichtig inschatten, maar zeldzame incidenten maken de berekening fragiel. Volg liever gedrags- en termijnindicatoren, die van jaar tot jaar stabieler zijn. Denk ook aan de evaluatie vóór en na om een vooruitgang te bewijzen.

Hoe vaak meet u de indicatoren?

Eén keer per kwartaal is een goed ritme voor het dashboard. De oefeningen zelf kunnen frequenter en korter zijn, wat de metingen voedt.

Om de vooruitgang van uw teams te volgen op criteria die uw trainers zelf bepalen, reserveer een demo van Face Up.