Twitter lijkt witte mensen op foto's eerder uit te lichten dan zwarte mensen, bleek deze week uit tests van gebruikers. Media schreven over "racistische algoritmes", maar kunnen we dat wel zo noemen? En hoe ontstaat discriminatie in computersystemen?

Het begon vorige week allemaal met een gesprek tussen de witte student Colin Madland en een zwarte faculteitsmedewerker via de videobeldienst Zoom.

Op Zoom is het mogelijk om een virtuele achtergrond in te stellen, zodat de ander niet kan zien in welke ruimte je werkelijk zit. Maar de software wist de uitsnede niet goed te maken, waardoor het hoofd van de zwarte man wegviel in de achtergrond. Daardoor was alleen een shirt zonder hoofd erboven te zien.

De student plaatste een screenshot op Twitter om het probleem aan te kaarten, toen hij op een andere fout stuitte. Twitter toont previews van afbeeldingen die uitklapbaar zijn, maar sneed in dit geval in de mobiele app alleen de witte man uit.

De tweet won aan aandacht en niet lang daarna experimenteerden veel andere gebruikers met plaatjes waarop witte en zwarte mensen stonden. In veel gevallen bleek de witte persoon uitgesneden te worden.

Alles begint met de trainingsdata

Media spraken van "racistische algoritmes", maar met dat label moeten we oppassen, zegt neuro-informaticus Sennay Ghebreab van de Universiteit van Amsterdam. "Effecten kunnen discriminerend zijn. Het probleem met refereren aan algoritmes die racistisch zijn, is dat je het probleem van de maatschappij naar het algoritme verschuift."

Algoritmes bepalen deels wat mensen op het internet te zien krijgen, op basis van een wiskundige formule. Vaak leren ze zelf beslissingen nemen op basis van de informatie waarmee ze worden gevoed.

"Algoritmes komen niet uit de lucht vallen", zegt Marlies van Eck, onderzoeker technologie en (belasting)recht aan de Radboud Universiteit. "In het geval van gezichtsherkenning worden afbeeldingen van gezichten in een poel met trainingsdata gestopt. Als dat voornamelijk gezichten van witte mannen zijn, kent het systeem alleen die voorbeelden."

'Diversiteit in ontwikkelaarsteams is heel belangrijk'

Zowel Ghebreab en Van Eck zegt dat het begint bij teams die aan dit soort algoritmes werken. "Die moeten bestaan uit mensen met verschillende achtergronden", zegt Ghebreab. "Als je kijkt naar de diversiteit in die teams bij grote techbedrijven, is die totaal niet in verhouding met de realiteit."

Het is een van de zaken die prioriteit hebben in de zoektocht naar een oplossing. "Je kunt nooit alles uit de systemen houden, maar je kan wel proberen het te minimaliseren", zegt Ghebreab. Dat onderschrijft Van Eck, die aanvult dat het nooit mogelijk is om bij nieuwe innovaties tot achter de komma te voorspellen wat er gebeurt. "Je kunt een hamer maken en aan alle voorwaarden voldoen, en dan zul je zien dat er toch iemand op een andere manier mee aan de haal gaat."

Van Eck onderstreept het belang van diversiteit met een voorbeeld uit de echte wereld: "Er bestaan trappen met een doorzichtige onderlaag. Dat is voor een vrouw in een rok heel vervelend. Dan denk ik: ja hoor, hier is weer een man aan de slag geweest."

Het gaat vaker mis met algoritmes

In de praktijk kunnen algoritmes die (al dan niet onbewust) met bevooroordeelde data zijn gevoed problemen veroorzaken.

Zo was er het inmiddels gestaakte systeem SyRI, waarmee overheden en organisaties fraude konden opsporen door veel data van burgers te verzamelen en daar algoritmes op los te laten. Op basis daarvan werd een risicoanalyse gemaakt en kon bepaald worden welke mensen mogelijk fraudeerden. Een rechter bepaalde dat het systeem in strijd was met de mensenrechten.

En zo schreef The Washington Post vorig jaar over een algoritme in computers van Amerikaanse ziekenhuizen. Een onderzoek onthulde dat het programma ervoor zorgde dat witte patiënten vaker specialistische zorg kregen dan patiënten met een andere huidskleur.

"We leven in een steeds meer datagedreven wereld", zegt Ghebreab. "Overal waar algoritmes gebruikt worden, bestaat de kans dat discriminatie wordt uitvergroot. Het kan in Zoom opduiken, maar ook bij verzekeraars die beslissingen voor burgers moeten nemen. Of bij modellen die in ziekenhuizen worden gebruikt. Er zijn legio voorbeelden."

'Laat je onderwijzen'

Ghebreab zegt dat er een inhaalslag nodig is. "Veel van de algoritmes die nu worden gebruikt, hebben een basis die vijftien jaar geleden is gelegd. Ze hebben al een geschiedenis. Het kost tijd om de fouten eruit te halen."

Volgens hem is hierbij niet alleen een rol weggelegd voor de makers van deze systemen. "Tegen burgers zou ik zeggen: laat je onderwijzen over algoritmes. Pas als je een basisidee hebt van hoe het werkt, weet je hoe jouw data worden gebruikt en hoe het jou raakt. Ook deze ontwikkeling begint bij de mens. De mens maakt het, past het toe en kan het verbeteren. Niet de computer, maar de maatschappij is aan zet."