‘Burger heeft recht op transparantie over algoritme'

Rotterdam is open over de werking van het bijstandsalgoritme, andere (landelijke) overheden doen dit niet, doorgaans omdat men vreest dat burgers hun gedrag veranderen om aan controles te ontkomen. Waarom kiest Rotterdam wel voor transparantie?

‘De Rekenkamer Rotterdam heeft relevante vragen gesteld, waardoor ook landelijk met belangstelling wordt gekeken naar dit model en de vraag of het gebruik hiervan voldoende wordt gewaarborgd als het gaat om de bescherming van persoonsgegevens, ethische vraagstukken en het voorkomen van vooringenomenheid. Omdat ik overtuigd ben van het doel en het nut van onderzoek en de meerwaarde van het model hierbij, vind ik het des te belangrijker om juist transparant te zijn over wat we doen en waarom; en hoe we ervoor zorgen dat we zorgvuldig te werk gaan. En dat betekent dat we kritische vragen vanuit de maatschappij of media gewoon beantwoorden.’

Waarom wil Rotterdam eigenlijk zo’n model?

‘Het model helpt ons om onze inzet voornamelijk te richten op die uitkeringsgerechtigden bij wie de kans groter wordt geacht dat de verstrekte uitkering niet meer aansluit bij hun feitelijke situatie. Dit helpt de Rotterdammer bij het voorkomen van problemen, zoals een (grote) terugvordering van bijstand omdat iemands situatie is veranderd. Daarnaast hoeven we een uitkeringsgerechtigde bij wie we de kans op onrechtmatigheid kleiner achten, minder snel uit te nodigen voor een rechtmatigheidsonderzoek.’

Wat was uw reactie toen u vorig jaar hoorde van indicatoren zoals Nederlandse taalvaardigheid, de wijken waar mensen wonen en zelfs psychische, financiële of lichamelijke belemmeringen? 

‘Ik wil elke kans op vooringenomenheid, bijvoorbeeld op basis van nationaliteit, in dit risico-inschattingsmodel voorkomen. Om die reden heb ik begin 2021, enkele maanden voor het Rekenkamerrapport, al een check laten doen op mogelijke vooringenomenheid in het risico-inschattingsmodel en de ethische aspecten. De uitkomst hiervan was dat bij zowel de input als output van het risico-inschattingsmodel er geen sprake was van vooringenomenheid. Dus geen onder- of oververtegenwoordiging van bepaalde groepen Rotterdammers. Naar aanleiding van het Rekenkameronderzoek is er daarna opnieuw actie uitgezet om de lijst van features nogmaals kritisch te screenen. Vervolgens heb ik besloten om alle features die mogelijk zouden kunnen duiden op een proxy, niet meer te laten gebruiken in volgende versies van het model. Overigens is deze analyse nu alleen uitgevoerd op basis van de naam van variabelen en features. De conclusie of er feitelijk sprake is van een proxy, vergt statistisch onderzoek. De komende maanden gebruiken wij om te onderzoeken of er nog proxy’s overblijven. Deze analyse voeren we uit voordat we met het nieuwe model gaan werken in 2022. Dat model is een zogenoemd glass box-model, dat is transparanter en daarbij willen we toewerken naar minder variabelen.’

In hoeverre waren indicatoren volgens u discriminerend, stigmatiserend of zelfs onrechtmatig?

‘De Rekenkamer heeft in het onderzoek niet geconcludeerd dat er sprake is van ‘discriminatie’ door het risico-inschattingsmodel, maar dat er proxy-variabelen worden gebruikt die de schijn hebben van vooringenomenheid. Maar in de uitkomsten van het gebruik van het risico-inschattingsmodel zijn geen groepen onder- of oververtegenwoordigd. Wij werken zorgvuldig met het model en controleren op vooringenomenheid.’

Wat zegt u als mensen zich desondanks door het bijstandsalgoritme gediscrimineerd of gestigmatiseerd voelen?

‘Omdat we beseffen dat dit gevoel heel naar is, hebben we ervoor gekozen om het model te veranderen en alle schijn van vooringenomenheid weg te nemen. Het model wordt alleen gebruikt om voor een deel van de uitgevoerde rechtmatigheidsonderzoeken te bepalen welke uitkeringsgerechtigden we uitnodigen. Er worden ook op andere wijzen selecties gemaakt om te bepalen wie er voor een rechtmatigheidsonderzoek wordt uitgenodigd. Het risico-inschattingsmodel helpt ons alleen bij de selectie van uitkeringsgerechtigden. Het inhoudelijke onderzoek gebeurt door een medewerker. De medewerker voert een vooronderzoek uit door gebruik te maken van onze systemen en door de uitkeringsgerechtigde aangeleverde bewijsstukken. Het model zelf trekt geen conclusies over de rechtmatige verstrekking van uitkering.’

Wat doet u om te voorkomen dat toekomstige algoritmen van de gemeente ongewenste effecten hebben?

‘Momenteel zijn wij bezig om gemeentebreed een betere governance (toezicht, red.) rondom het gebruik van hoog-risico algoritmen in te richten. Deze nieuwe maatregelen dragen bij aan het waarborgen van een verantwoorde toepassing van dergelijke hoog-risico algoritmen. Onderdeel van deze maatregelen is het instellen van een externe adviescommissie (de Algorithm Advisory Board) die toezicht houdt op het verantwoorde gebruik van algoritmen door de gemeente.’ 

Gaat Rotterdam bij hercontroles voortaan bekendmaken of iemand door het algoritme in beeld is gekomen?

‘Wij zijn bezig met het uitwerken van onze communicatie rondom het risico-inschattingsmodel. Deze omvat in elk geval online publicaties over het gebruik en de werking van het risico-inschattingsmodel. Daarnaast zal de uitkeringsgerechtigde die voor een rechtmatigheidsonderzoek worden uitgenodigd, in algemene zin worden geïnformeerd over het feit dat een dergelijke uitnodiging het gevolg kan zijn van het gebruik van het risico-inschattingsmodel. Wanneer de uitkeringsgerechtigde daarom vraagt, kan informatie worden verstrekt over de herkomst van het onderzoek, op basis van het risico-inschattingsmodel of anderszins.’

Kunnen mensen dan ook inzage krijgen in hun risicoscore en de opbouw hiervan?

‘In elk geval kunnen uitkeringsgerechtigden die zijn uitgenodigd voor een rechtmatigheidsonderzoek, altijd navragen of dat op basis van het risico-inschattingsmodel is gebeurd of dat er een andere aanleiding was voor het doen van een rechtmatigheidsonderzoek. Dit lijkt me voor de uitkeringsgerechtigde de belangrijkste vraag.’

Wat is uw advies aan andere overheden, wel of niet transparant zijn over de werking van algoritmen?

‘Rotterdammers en burgers hebben in het algemeen naar mijn mening recht op transparantie. Het risico-inschattingsmodel zal daarom begin 2022 worden opgenomen in een online gepubliceerd algoritme-register. Mijn advies aan andere overheden is daarom ook om zoveel mogelijk transparant te zijn. Dit helpt om te voorkomen dat er onduidelijkheid over het gebruik en de werking van algoritmen ontstaat.’