Compliance e-learning: voltooiing tegenover echte competentie

De effectiviteit van compliance e-learning lees je niet af aan het voltooiingspercentage. Een zeer hoog percentage zegt dat bijna iedereen het laatste scherm heeft bereikt. Het zegt niet dat medewerkers zouden weten wat ze moeten doen in een echte situatie. Voltooiing meet een traject, competentie meet gedrag.

Dit artikel legt uit waarom die twee zo vaak door elkaar worden gehaald. Het vat samen wat geheugenonderzoek toelaat te zeggen en stelt voor iets anders te meten dan de klik. Het maakt deel uit van onze gids voor verplichte compliance-opleidingen.

Waarom het voltooiingspercentage zo aanspreekt

Voltooiing is makkelijk te verkrijgen. Het LMS levert ze moeiteloos, ze past in een dashboard en je kunt ze van jaar tot jaar vergelijken. Voor een compliance officer die verantwoording moet afleggen aan zijn directie of aan een toezichthouder, is het een geruststellend cijfer.

Het probleem zit in wat men het laat zeggen. Dit cijfer bewijst dat de opleiding is verspreid en gevolgd. Het zegt niets over wat medewerkers ervan hebben onthouden. Nog minder zegt het wat ze zullen doen op een dinsdagochtend, aan de telefoon, met een klant die geërgerd raakt.

De aanbevelingen van de Franse anticorruptiedienst AFA (Agence française anticorruption) uit 2021 gaan overigens verder dan aanwezigheid. Ze vragen om instrumenten om het goede begrip van de opleidingen te controleren, bijvoorbeeld een test na afloop of na enige tijd. Ze stellen ook voor de dekkingsgraad van de doelgroep en de bestede uren op te volgen.

Wat we weten over vergeten

Een experiment uit 2015, gepubliceerd in PLoS ONE door Murre en Dros, reproduceerde de vergeetcurve die Ebbinghaus in 1880 beschreef. De resultaten liggen dicht bij de oorspronkelijke gegevens: na het leren vergeet je snel, daarna trager. Dat experiment gaat over lijsten van lettergrepen, niet over compliance-regels, maar het herinnert aan het principe.

Een opleiding die je één keer ziet, zonder herhaling, laat na enkele weken dus weinig sporen na. Medewerkers zijn niet nalatig. Ze doen wat elk menselijk geheugen doet wanneer informatie niet wordt hergebruikt.

Het werk van Roediger en Karpicke, gepubliceerd in Psychological Science in 2006, wijst in dezelfde richting. Studenten die zich op een tekst testten, onthielden hem na twee dagen en na een week beter dan degenen die hem hadden herlezen. Jezelf testen, dat wil zeggen de informatie zelf gaan halen, versterkt het geheugen meer dan simpel herlezen.

Weten is niet kunnen doen

Zelfs een medewerker die de regel onthoudt, past hem misschien niet toe. Tussen de regel en het gebaar zit een gesprek. Neem een adviseur die een waakzaamheidsvraag moet stellen aan een haastige klant, of een manager die een misplaatste opmerking moet afkappen. Beiden weten het. Weinigen hebben het al gedaan.

Drie obstakels komen terug:

• sociale druk, waardoor de regel tegenover een mens moeilijker vol te houden is dan op een scherm;
• gebrek aan woorden: zonder klaarstaande zin improviseer je, of zwijg je;
• het ontbreken van feedback: niemand zegt de medewerker of zijn antwoord goed was.

E-learning, zelfs goed ontworpen, behandelt deze drie punten slecht. Het kan een quiz bevatten, maar een quiz controleert herkenning, geen mondelinge productie. Voor een vergelijkbare analyse aan de cybersecurityzijde, zie ons artikel over de grenzen van e-learning voor beveiligingsreflexen.

Wat meet je in plaats van voltooiing?

Een goed compliancedashboard houdt de voltooiing, want ze blijft nuttig als bewijs van verspreiding. Het voegt er competentiemetingen aan toe. Dit zijn de meest toegankelijke.

1. De score op een vertraagde test. Drie of vier vragen een maand later opnieuw stellen toont wat blijft hangen.
2. De beslissingen in een scenario. Kiest de deelnemer in een casus het juiste gedrag, en kan hij het verantwoorden?
3. De kwaliteit van het gesprek. Heeft hij de juiste vraag gesteld, duidelijk geweigerd, vermeden te beloven wat hij niet kan houden?
4. De signalen uit de praktijk. Doorverwijzingen naar het aanspreekpunt, meldingen, opgekomen vragen, bij controle ontdekte fouten.
5. De vooruitgang van poging tot poging. Als de deelnemer beter wordt door opnieuw te spelen, heeft de opleiding effect.

Ons artikel over het meten van de effectiviteit van security awareness volgt dezelfde logica aan de cyberzijde.

Wat een mondelinge oefensituatie oplevert

De oefensituatie laat een antwoord produceren. De deelnemer moet spreken, zijn woorden kiezen, zijn positie volhouden, en dat doet hij tegenover een gesprekspartner die reageert. Het is de vorm van terughaalinspanning die het onderzoek naar testen beschrijft, toegepast op een beroepsgebaar.

Ze levert ook een rijker spoor op. In plaats van een score beschik je over wat de persoon heeft gezegd en wat hij heeft vermeden. Je ziet ook zijn vooruitgang van sessie tot sessie. Een trainer kan die elementen herlezen en beslissen waar hij zijn begeleiding op richt.

Drie bewijsniveaus om te onderscheiden

Om een compliance-programma eerlijk aan te sturen, is het nuttig drie niveaus te scheiden die het dashboard vaak door elkaar haalt.

Het niveau van de verspreiding

Wie heeft de opleiding gekregen, wanneer, hoe lang? Dat is voltooiing en aanwezigheid. Dit niveau beantwoordt de vraag ‘hebben we gedaan wat gepland was?’.

Het niveau van het begrip

Hebben de deelnemers de essentie onthouden? Een test aan het einde van het traject, daarna een vertraagde test, beantwoordt die vraag. Het blijft in het register van weten, wat al informatiever is dan aanwezigheid.

Het niveau van het gedrag

Doen de deelnemers het juiste wanneer de situatie zich voordoet? Alleen de oefensituatie en de waarneming in de praktijk beantwoorden dat. Het is het moeilijkst te bereiken niveau, en het waardevolst om een echt risico te verkleinen.

Een serieus programma rapporteert over de drie niveaus, zonder er één te verbergen. Het erkent dat het derde het minst goed gedekt is en plant hoe dat te verbeteren.

Hoe ga je van een module naar een praktijk

Je hoeft niet alles opnieuw te doen. Een geleidelijk pad volstaat.

1. De bestaande module bewaren voor de gemeenschappelijke informatie.
2. De twee of drie situaties kiezen waar de kloof tussen weten en doen het duurst uitvalt.
3. Per situatie een korte oefensituatie toevoegen, gespeeld enkele weken na de module.
4. De eerste en de tweede poging vergelijken, daarna het resultaat van kwartaal tot kwartaal.
5. De module bijstellen op basis van wat de praktijk onthult als slecht begrepen.

Die lus levert een tweede voordeel op: de praktijk belicht de zwakke punten van de inhoud. Als alle deelnemers op dezelfde vraag struikelen, ligt het probleem vaak bij de module, niet bij de deelnemers.

Rollenspel gebruiken als competentiemeting

Een rollenspel vervangt de informatiemodule niet: het komt erna, om te controleren wat blijft hangen. Met Face Up maakt de trainer een scenario op basis van zijn echte gevallen (bijvoorbeeld een klant die geërgerd raakt over een waakzaamheidsvraag). De deelnemer spreekt met een persona gespeeld door een AI en leest dan zijn debriefing: wel of niet behaalde doelen, sterke punten, verbeterpunten, citaten, actieplan. Hij kan opnieuw spelen.

Face Up sluit via LTI 1.3 aan op LMS'en. De online module blijft dus in je platform en de oefening komt erbij. Voor het principe, zie onze pagina over rollenspellen.

Een laatste methodetip: kondig medewerkers vanaf het begin aan dat de oefensituatie dient om te leren, niet om te beoordelen. Als de oefening als een examen wordt ervaren, spelen deelnemers op veilig en verbergen ze hun aarzelingen. Als ze als training wordt ervaren, proberen ze, mislukken ze, spelen ze opnieuw en gaan ze vooruit.

De veelgemaakte fouten bij het aansturen van compliance

• Voltooiing voor het resultaat nemen. Ze bewijst de verspreiding, niets meer.
• De eindquiz te makkelijk maken. Een quiz die iedereen haalt, leert de bewaker van het systeem niets.
• Alleen meteen meten. De tevredenheid van de dag zelf zegt niets over het effect na een maand.
• Indicatoren vermenigvuldigen. Drie goed gekozen metingen zijn beter dan vijftien.
• Slechte resultaten verbergen. Een team dat faalt in een oefensituatie is nuttige informatie, geen mislukking om te maskeren.

Veelgestelde vragen

Moet je compliance e-learning opgeven?

Nee. Het past goed om een gemeenschappelijke informatie voor iedereen te verspreiden en om een spoor te bewaren. Het wordt onvoldoende wanneer je gedrag verwacht. Ideaal is het te bewaren voor het weten en oefening toe te voegen voor het gebaar.

Wat antwoord je een auditor die bewijs van effectiviteit vraagt?

Toon de voltooiing, maar ook resultaten van vertraagde tests, evaluaties in scenario's en indicatoren uit de praktijk. Ons artikel over het bewijs van opleiding bij een audit beschrijft de te bewaren stukken.

Hoe voorkom je dat medewerkers klikken zonder te lezen?

Door te veranderen wat je van hen vraagt: een antwoord produceren in plaats van een scherm bevestigen. Het onderwerp vermoeidheid behandelen we in ons artikel over de vermoeidheid bij jaarlijkse opleidingen.

Om te zien hoe een oefensituatie je modules kan aanvullen en iets anders kan meten dan de klik, boek een demo.