“Basis op orde”: waarom meten zonder betrouwbare data een schijnzekerheid is

In een blog op HRMorgen schreven we vanuit EXIRE al over een terugkerend patroon: HR onderneemt actie tegen verzuim, maar weet achteraf zelden of die actie ook echt iets heeft opgeleverd. De oorzaak lag niet bij een gebrek aan inzet, maar bij het ontbreken van een nulmeting. Zonder een vastgelegd beginpunt is er simpelweg niets om een resultaat tegen af te zetten. Meten vóór je ingrijpt, was de kernboodschap.

Maar meten op zich is nog geen garantie voor weten. Ook als je wél meet, kan het misgaan.. namelijk wanneer de data die je verzamelt zelf niet betrouwbaar, valide of vrij van bias is.

Is meten hetzelfde als weten?

Het korte antwoord: niet automatisch. Je kunt keurig data verzamelen, een baseline vastleggen, en tóch een vertekend beeld hebben. Namelijk wanneer die data zelf niet betrouwbaar, valide of vrij van bias is. Dan meet je wel iets, maar niet wat je dénkt of hoopt te meten.

Dit wordt extra belangrijk zodra je als organisatie verder gaat dan een eenmalige meting, en de data gebruikt om voorspellingen te doen. Bijvoorbeeld over wie een verhoogd risico loopt op uitval of vertrek. Een voorspellend model bouwt namelijk voort op de data die je het voedt. Is die data scheef, dan is de voorspelling dat ook, hoe geavanceerd het model verder ook is. Garbage in = Garbage out.

Casus: een vertekende baseline met verregaande gevolgen voor machine learning

Een bekend voorbeeld van garbage in = garbage out is afkomstig van Amazon. Het techbedrijf ontwikkelde vanaf 2014 een AI-tool om cv’s te screenen en kandidaten te scoren van één tot vijf sterren, met als doel: honderd cv’s erin, de beste vijf eruit. Tijdbesparing. 

Het model werd getraind op tien jaar aan binnengekomen sollicitaties. Omdat de tech-sector destijds mannelijk gedomineerd was, kwam het merendeel van die cv’s uit de database van mannen. Het model “leerde” daaruit dat mannelijke kandidaten de voorkeur verdienden: het strafte cv’s af met het woord “women’s” erin en filterde afgestudeerden van twee vrouwenopleidingen weg. Reuters onthulde dit in 2018; Amazon schrapte het project nadat bleek dat het algoritme niet meer betrouwbaar genderneutraal te krijgen was.

Het punt in dit voorbeeld is niet dat AI slecht is, of dat Amazon onzorgvuldig te werk ging. Het punt is dat de bias al in de basis zat. In de historische data. Nog vóórdat er een voorspellend model op werd losgelaten. Het model deed precies wat het moest doen: patronen herkennen. Het probleem was dat het patroon dat het model herkende, geen gewenst patroon was.

• Lees ook: Wie heeft straks het laatste woord: mens of algoritme?

Wat dit betekent voor predictive analytics specifiek

Bij een eenmalige HR-interventie leidt een verkeerde baseline tot één verkeerde conclusie. Bij predictive analytics (en eigenlijk voor alle andere vormen van AI) is de impact vele malen groter: een model dat leert van een vervormde baseline herhaalt die vervorming keer op keer, op schaal, en vaak zonder dat iemand het doorheeft, want het model “werkt”. Het geeft immers uitkomsten, toch? Alleen zijn die uitkomsten net zo scheef als de data waarop ze zijn gebaseerd. 

Vergelijk het met het bouwen van een huis. Je kunt een prachtig ontwerp hebben, de beste materialen gebruiken en vakkundig metselwerk laten uitvoeren, maar als de fundering niet deugt, komt het huis op termijn toch scheef te staan, met scheuren, verzakkingen en in het ergste geval onbewoonbaarheid tot gevolg. Zo werkt het ook met data: hoe geavanceerd je model ook is, als de basis eronder niet klopt, bouw je onvermijdelijk iets dat op termijn instabiel en onbruikbaar blijkt. Vandaar dat het zo belangrijk is om eerst de fundering -de basis-goed te kennen en daarin te investeren, vóór je start met het implementeren.

Wat kan HR morgen doen?

Concreet betekent dit dat “basis op orde” begint vóór er ook maar één voorspellend model wordt gebouwd:

• Breng in kaart welke data je hebt, en waar: welke systemen bevatten HR-data (verzuim, verloop, beoordelingen, contracten, roostering, werving)? hoe compleet en actueel is die data? en hoe consistent wordt ze ingevoerd?
• Toets de betrouwbaarheid en validiteit: meet je daadwerkelijk wat je denkt te meten en is de manier van meten consistent over tijd en teams?
• Ga na of er historische bias in kan zitten: reflecteert de data een periode of locatie waarin bepaalde groepen structureel over- of ondervertegenwoordigd waren?

Dit is precies waar het werk van EXIRE begint: niet bij het bouwen van een voorspellend model, maar bij het eerst grondig in kaart brengen of de data die daaraan ten grondslag ligt betrouwbaar, valide en zo bias-vrij mogelijk is. Voor dit specialistische en vaak arbeidsintensieve onderzoek werkt EXIRE waar nodig met gespecialiseerde auditors. 

• Lees ook: De Workday AI-rechtszaak: Waarom dit een wake-up call is voor HR in Nederland

Tot slot

Meten is een noodzakelijke stap, maar geen doel op zich en zeker geen garantie voor weten. Pas wanneer de data waarop je meet en voorspelt betrouwbaar, valide en zo bias-vrij mogelijk is, bouw je op een fundering die je voorspelling ook daadwerkelijk kan dragen. Zonder die stap loop je het risico onderbuikgevoel te vervangen door iets dat nog gevaarlijker is: een vals gevoel van zekerheid, verpakt in cijfers – met alle (juridische) gevolgen van dien.