Data-journalist Reinier Tromp over onderzoek algoritme: 'Per ongeluk kregen we de data'

Onlangs verscheen er een nieuwsbericht over de gemeente Rotterdam en het gebruik van algoritmes, om haar burgers te controleren. Dit is niet het enige verhaal dat je hebt gemaakt over algoritmes gebruikt door overheidsinstellingen en gemeenten. Wat was de aanleiding van dit specifieke onderzoek? 

Als journalist probeer ik de macht te controleren. Het beleid dat voortkomt uit die macht, moet inzichtelijk zijn en op papier worden vastgelegd. Dit gebeurde, voordat algoritmes bestonden, aan de hand van procedures en protocollen die door bijvoorbeeld ambtenaren en wethouders bediscussieerd werden. Op basis daarvan werd bijvoorbeeld gekozen welke burgers wel of niet gecontroleerd werden in het geval van de bijstand. Wanneer je als journalist wil weten welke keuzes gemaakt zijn en waarom, kan je wobben (opvragen van overheidsinformatie via Wet openbaarheid bestuur (Wob), inmiddels Wet open overheid) of documenten opvragen. Daar was niet altijd volledige transparantie over, maar dit kon je in ieder geval wel proberen te achterhalen.

We zitten nu wel in een nieuw tijdperk, waarin veel meer onderdelen geautomatiseerd en gedigitaliseerd worden. Voor de dingen die je voorheen op papier deed, wordt nu de hulp van computers ingeschakeld. Het helpende systeem noemen we algoritmes. Ongeveer twee jaar geleden heb ik met collega-journalist David Davidson alle gemeenten en instanties gevraagd of wij hun algoritmes mochten inzien. Want als algoritmes steeds belangrijker worden bij besluitvorming, dan zitten de dingen die normaal op papier staan, daarin verwerkt. Wij dachten: als wij journalisten zijn, dan controleren we de macht, en dan moeten we ook daarnaar kijken.

Hierdoor krijg je eigenlijk een tweede laag transparantie. Normaal gesproken wil je al dat besluitvorming transparant is, en nu moeten ook die algoritmes transparant worden. Maar het is best wel moeilijk om die algoritmes open te breken, zelfs als je technisch bent opgeleid.

Wat maakt dit onderzoek nou precies zo uniek?

Als reactie op de vraag of we de algoritmes mochten inzien, hebben we van de gemeente Rotterdam in eerste instantie alleen de code van een slim fraude-algoritme gekregen. Ze gebruikten dat om mensen in de bijstand risicoscores te geven. Maar alleen de code is eigenlijk niet genoeg. In die code stonden wel kenmerken die de gemeente gebruikte, zoals de leeftijd en het niet nakomen van gemaakte afspraken, maar niet hoe de kenmerken in het algoritme werden toegepast. Het algoritme draait namelijk op data, net zoals een auto brandstof nodig heeft om te kunnen rijden. En die data, die hadden we niet. Toen is Lighthouse Reports, een van de partijen met wie wij samenwerkten, eigenlijk doorgegaan met stukje bij beetje wobben.

Uiteindelijk heeft de gemeente grafieken gestuurd waarin te zien was hoe de leeftijd was verdeeld binnen de dataset. De gemeente had het zelf niet door, maar daar was bij toeval de werkelijke trainingsdata, de brandstof van het algoritme, aan gekoppeld. Toen konden we daarmee gaan kijken: hoe zit het nou precies? Het is volgens mij voor het eerst in de wereld voorgekomen dat journalisten het algoritme én de trainingsdata van een risicomodel in handen hebben gekregen.

Wat leert het onderzoek naar het algoritme en de trainingsdata ons?

Ik denk dat het ten eerste leert dat het voor grote organisaties, dus ook voor de gemeente Rotterdam die een behoorlijke ICT-afdeling heeft met goede datawetenschappers, best moeilijk is om goed inzichtelijk te maken wat de redenen zijn dat mensen geselecteerd zijn voor controle. Als instantie moet je dit altijd kunnen uitleggen. Het is namelijk nogal wat als je een speciale behandeling krijgt. Dat kan discriminerend zijn of ongelijkheid in de hand werken.

Ten tweede is kan je volgens mij dit soort gereedschappen inzetten om het goede te doen, maar je kan er ook dingen mee die we misschien niet zo goed vinden. Stel dat dit algoritme alleen was ingezet om te achterhalen of het invullen van de formulieren bij een bijstandsaanvraag te moeilijk was voor sommige mensen, dan hadden we het misschien wel goed gevonden. Dan hadden we misschien gedacht: ‘O goh, het blijkt dat mensen die de taal niet zo goed spreken, die financiële problemen hebben en misschien ook jong moeder zijn, op de een of andere manier fouten maken bij het invullen, binnen het systeem dat wij hebben ingericht.’ Dat is misschien wel belangrijke informatie voor de gemeente Rotterdam, want dan kunnen ze hun dienstverlening verbeteren. Maar daarvoor is het niet ingezet. Het is ingezet om bijstand terug te vorderen op het moment dat er te veel uitgekeerd is, of om mensen tegen mensen te zeggen: ‘U sjoemelt met uw gegevens.’ In de pilot van het algoritme stond ook ‘pas het toe voor fraude-opsporing’. Als dit soort algoritmes worden ingezet op handhaving en op repressie, waar het nu bijna heen gaat, ligt het gevoelig.

Wat is er volgens jou nodig om de inzet van algoritmes in het sociale domein een positief effect te laten hebben? 

Ik denk dat we de positieve kant opgaan als we kunstmatige intelligentie snel gaan reguleren en de transparantie van algoritmes vergroten. Algoritmes kunnen mogelijk discriminerend werken, maar in een systeem zonder algoritmes discrimineerden ambtenaren vroeger ook, misschien zelfs in ergere mate. Dat algoritmes nu discrimineren kun je de algoritmes ook niet kwalijk nemen, want zij functioneren in die discriminerende samenleving, het is daarin eigenlijk een spiegel voor het beleid. 

En als iemand die is opgeleid om zulke algoritmes te bouwen denk ik dat we ze beter op een goede manier kunnen gebruiken, om dingen te verbeteren. Ik denk dat een veel transparanter systeem die verbeteringsslag maakt, zodat je heel duidelijk ziet waarom het algoritme sommige keuzes maakt, dat is nu namelijk totaal de realiteit niet. Terwijl vroeger, bij een keuze van een ambtenaar, niet duidelijk werd waar een keuze op was gebaseerd. Teruggaan naar pen en papier is daarmee al helemaal niet transparant. Maar totdat algoritmes inzichtelijker worden, zal ik onderzoek blijven doen naar allerlei soorten algoritmes. 

Wat is het volgende dat jij in de wereld van algoritmes onder de loep wil leggen?

Tot nu toe is het best wel moeilijk om überhaupt te achterhalen welke algoritmes overheidsinstellingen allemaal gebruiken. Denk bijvoorbeeld aan het slimme algoritme dat bij de Belastingdienst gebruikt werd met het toeslagenschandaal. Tot op de dag van vandaag hebben we nog steeds geen inzicht in dat algoritme. Het gaat nog best een tijdje duren voordat instanties hun processen zo op orde hebben dat deze inzichtelijk worden voor journalisten of burgers. Als nu ergens blijkt dat slimme algoritmes gebruikt worden mag ik die niet direct inzien, dus begin ik weer van vooraf aan met verzoeken indienen. 

Verder heb ik naar mijn smaak het gevaar van wat in tech-termen een feedbackloop heet, nog niet voldoende aangetoond. Er is sprake van zo’n feedbackloop als de nadruk in de data van een algoritme zó op een specifieke bevolkingsgroep ligt, dat deze groep voornamelijk gecontroleerd wordt en andere groepen steeds minder. En waar je meer gaat zoeken, vind je ook meer resultaten. Het gevaar hiervan is dat die eerste bevolkingsgroep op een gegeven moment helemaal de afgrond in wordt gedrukt. Dit is ook een beetje gebeurd in zwarte wijken in Amerika, hier werd steeds meer gesurveilleerd en in witte wijken steeds minder. Volgens de statistieken was er vervolgens helemaal geen criminaliteit meer in deze witte wijken, omdat niemand hier meer zocht. Dit gebeurt dus al zonder het gebruik van algoritmes. Een algoritme kan dit proces op steroïden zetten. Zo’n feedbackloop wil ik nog een keer goed in een vertelvorm gieten.