Ook in de toekomst moeten we niet blind op cijfers varen

Maak kennis met de 65-jarige Jenipher. Ze verdiende jarenlang haar geld met het verkopen van eten in het zakendistrict van Nairobi. De zaken liepen prima, maar ze kon niet investeren. 

Het probleem? De bedragen die ze via microfinanciering kon krijgen waren te klein, de rentes bij woekeraars te hoog. En een gewone bank zag een lening aan haar niet zitten, want ze had geen onderpand. Bovendien miste ze iets: een kredietscore. 

In 1956 begonnen Bill Fair en Earl Isaac hun bedrijf Fair, Isaac and Company (FICO). FICO werd opgericht vanuit een simpele gedachte: met data kun je beter inschatten of mensen hun lening zullen terugbetalen. 

Tot dan toe werd zo’n beslissing genomen op basis van wat mensen over je zeiden, hoe je overkwam in een gesprek en hoe de onderbuik van de bankier aanvoelde. Dat pakte niet voor iedereen goed uit. In oude Amerikaanse kredietrapporten kun je lezen dat ‘voorzichtigheid [geboden is] in grote transacties met joden’.

Fair en Isaac bedachten een formule die niet keek naar je achtergrond, maar naar je financiën. Op basis van die gegevens berekenden ze een score die aangaf hoe groot de kans was dat je een lening zou terugbetalen. 

De FICO-score bleek een uitkomst: miljoenen mensen kregen toegang tot leningen en kredietverstrekkers verdienden meer geld, omdat de score veel beter dan zijzelf voorspelde wie wanbetalers waren. 

In Nederland hebben we sinds 1965 de Stichting Bureau Krediet Registratie (BKR). Als je een nieuwe lening wilt afsluiten, dan is de bank verplicht je gegevens daar op te vragen. De stichting berekent op aanvraag van kredietverstrekkers ook een persoonlijke score.

Ook in veel andere landen worden kredietscores gebruikt. Toch hebben nog altijd miljoenen mensen er geen. Maar sinds een paar jaar bestaat er een mogelijkheid om ook de Jeniphers een kredietscore te geven, vertelt Shivani Siroya in 2016 in een TED-talk. 

Siroya is de CEO van Tala, een start-up die big data gebruikt om leningen toe te kennen. Jenipher mocht dan tot een paar jaar geleden geen kredietscore hebben, ze had wel een mobiele telefoon die allerlei data over haar bijhield. 

Op een dag overtuigde Jeniphers zoon haar om de Tala-app te installeren. Ze vroeg een lening aan en, op basis van haar data, kreeg ze binnen de kortste keren een lening. Twee jaar later is haar leven compleet veranderd: ze runt drie kraampjes en heeft plannen voor een restaurant. 

(tekst loopt door onder afbeelding)

Jeniphers verhaal is hartverwarmend. En al is het een promotieverhaal van Tala, het vertelt alles over de ontwikkeling waar we nu midden in zitten: de big data-revolutie. Big data worden vaak omschreven met de vier v's: volume, velocity, variety en veracity. 

De verwachtingen zijn hoog. Beleidsmakers, bedrijfslieden en publieke intellectuelen stellen dat we met big data het klimaatprobleem kunnen oplossen, de gezondheidszorg kunnen transformeren en honger de wereld uit kunnen helpen. 

Met big data zouden we zelfs de democratie kunnen redden. We hebben niets aan verkiezingen als veel mensen toch niet stemmen, stelde universiteitsbestuurder Louise Fresco in 2016 in NRC. 'Wat als we democratische verkiezingen vervangen door een systeem van kunstmatige intelligentie?' 

Dit gedachte-experiment mag bizar lijken: big data-algoritmes krijgen al steeds meer macht. Verzekeraars gebruiken algoritmes om te berekenen welke premie je moet betalen, de Belastingdienst om in te schatten of je fraude zal plegen en Amerikaanse rechters om te beoordelen of een gevangene eerder vrijgelaten wordt. 

De aanname dat we cijfers prima kunnen laten beslissen over ons leven is gevaarlijk. Achter deze opvatting gaat namelijk een ernstig misverstand schuil: dat de data altijd overeenkomen met de werkelijkheid. 

Maar eerst een kijkje onder de motorkap. Net zoals vroeger gemiddelden en grafieken werden bedacht om de grote bergen informatie te doorgronden, zo bedenken slimmeriken nu methoden om de triljoenen bytes aan informatie te temmen. Die technieken - algoritmes - beslissen welke zoekresultaten je krijgt op Google, welke posts je ziet op Facebook en wie er een lening krijgt van bedrijven als Tala. 

Eigenlijk is een algoritme niet meer dan een aantal stappen die je zet om een bepaald doel te bereiken. Op een computerscherm ziet het er droogjes uit: regel na regel schrijft een software-ontwikkelaar in computertaal welke stappen er moeten worden gezet onder welke omstandigheden. Zo’n regel kan bijvoorbeeld een als-dan commando zijn: ‘Als iemand haar lening heeft terugbetaalt, dan gaat haar kredietscore tien punten omhoog’. 

Hoe werkt een algoritme? De Amerikaanse wiskundige en auteur Cathy O'Neil legt het uit in haar boek Weapons of Math Destruction aan de hand van een praktisch voorbeeld: koken voor haar gezin. Ze is tevreden als haar gezin (a) voldoende eet, (b) het eten lekker vindt en (c) genoeg voedingsstoffen binnenkrijgt. Door elke avond te evalueren hoe het staat, weet ze hoe het beter kan. Dat haar kinderen spinazie laten staan maar broccoli verslinden, bijvoorbeeld, helpt haar om ze gezonder te laten eten. 

Bij het bereiken van haar doelstellingen heeft ze wel een aantal beperkingen. Haar man mag geen zout en een van haar zoons lust geen hamburgers. Ook heeft ze niet eindeloos veel budget, tijd en zin om te koken.

O’Neil heeft het proces na jaren oefening goed in de vingers. Stel nu dat een computer haar taak komt overnemen. Daarvoor moet ze een manier bedenken om haar doelstellingen te standaardiseren. Om te weten of haar gezin genoeg, lekker en gezond eet, kan ze bijvoorbeeld kijken naar (a) aantal calorieën, (b) tevredenheidsscores en (c) percentage van de aanbevolen dagelijkse hoeveelheid van elke voedingsstof. 

Als ze eenmaal heeft bedacht wat en hoe ze wil gaan standaardiseren, dan kan ze de data gaan verzamelen. Ze zou kunnen beginnen met een lijst van alle mogelijke recepten, inclusief bereidingstijd, prijs en voedingswaarde. Steeds kan ze noteren hoe het eten scoort op hoeveelheid en gezondheid, en ze kan haar gezinsleden vragen om elk gerecht een cijfer te geven. 

Met die data zou O’Neil een programma kunnen schrijven dat precies uitspelt wat haar gezin elke dag van het jaar moet eten. Ze kan het programma ook zelflerend laten worden. Zolang alles in cijfers gegoten is, kan de computer analyseren wat de samenhang is tussen de gerechten en de doelstellingen. 

Uiteindelijk kan het algoritme misschien zelfs nieuwe gerechten gaan suggereren op basis van de doelstellingen die O’Neil heeft gegeven. Op die manier gebruikt haar computer machine learning, een vorm van kunstmatige intelligentie, om een taak te leren die niet stap voor stap voorgeprogrammeerd is. 

Kortom, O’Neil maakte haar kooktaak meetbaar, verzamelde de cijfers en liet software de gegevens analyseren. Maar bij de algoritmes die O’Neill schreef, kan veel misgaan. Het verhaal van kredietscores laat zien waarom.

(tekst loopt door onder afbeelding)

Er zijn in de financiële sector meer bedrijven als Tala die big data gebruiken om iemands kredietwaardigheid in te schatten. Neem Zest Finance, dat sinds 2009 meer dan driehonderd miljoen individuen een score gaf. Het bedrijf, opgericht door de voormalig Googlebestuurder Douglas Merrill, stelt dat het traditionele kredietscoresysteem beperkt is door 'little data'. 

Conventionele kredietscores, zoals ooit bedacht door Fair en Isaac, maken gebruik van 'minder dan vijftig datapunten'. Zest gebruikt daarentegen meer dan drieduizend variabelen om iemand te beoordelen, aldus het bedrijf.

Ook in Nederland gebruiken tal van bedrijven big data om de betaalmoraal van klanten te meten. Zo geeft de Nederlandse datahandelaar Focum iedereen een cijfer tussen één en elf. Heb je een rekening nog niet betaald? Tien punten eraf, of het nou om twintig of twintigduizend euro gaat. 

Nu kun je je afvragen: wat is hier mis mee? Kredietscores bieden immers ook mogelijkheden, zoals het verhaal van de Keniaanse Jenipher liet zien. Maar big data-algoritmes proberen vaak abstracte concepten te meten, en daar kan het fout gaan. 

In het Amerikaanse rechtssysteem wordt berekend wat de kans is dat een veroordeelde opnieuw de fout ingaat. Die berekeningen hebben grote gevolgen: ze spelen mee bij de beslissing of iemand vervroegd wordt vrijgelaten. Maar als íets abstract is en lastig te meten, dan is het wel wat er in de toekomst gaat gebeuren. Als we vergeten dat zulke voorspellingen slechts een benadering zijn van iemands gedrag, dan veroordelen we mensen op basis van gebrekkige cijfers.  

Bij kredietscores is nog iets aan de hand. Vaak worden ze gebruikt om ook een ander concept uit te drukken dan toekomstig gedrag, iets wat minstens even abstract is: betrouwbaarheid. Uit een Amerikaans onderzoek onder HR-medewerkers uit 2012 bleek dat zo’n 47 procent van de werkgevers de kredietgeschiedenis van sollicitanten controleert. Een ander onderzoek onder Amerikaanse huishoudens met creditcardschulden constateerde dat één op de zeven respondenten met een slechte kredietgeschiedenis te horen kreeg dat hij of zij een baan niet kreeg vanwege hun verleden. 

Terwijl er geen enkel bewijs is voor een verband tussen je leengedrag en je prestaties op de werkvloer. Onderzoeker Jeremy Bernerth en collega's deden een van de weinige studies die beschikbaar zijn. Ze legden in 2012 individuele FICO-scores naast persoonlijkheidstesten. Mensen met een hogere kredietscore scoorden beter op zorgvuldigheid, maar waren juist minder servicegericht. Op andere kenmerken was er geen enkel verschil. 

Belangrijker: er was geen enkel verband tussen kredietscores en frauduleuze praktijken. Niet voor niets is het in elf Amerikaanse staten inmiddels verboden om als werkgever naar kredietgegevens te vragen. In Nederland mogen alleen kredietverstrekkers die zijn aangesloten bij BKR je betalingsgeschiedenis inzien. 

Big data kunnen helpen om fundamentele problemen op te lossen bij dataverzameling. Zo is steekproefgrootte geen zorg meer. Zeker in een land als Nederland zit intussen bijna iedereen op internet. Bovendien houden allerlei apparaten - thermostaten, auto's, fitbits - bij wat we doen. 

Ook de bedrijven achter kredietscores weten dat in tijden van big data de persoonlijke gegevens voor het oprapen liggen. Zij hoeven deze gegevens meer niet via de officiële wegen op te vragen, maar kunnen het internet afstruinen voor data. 

Soms zijn de gegevens die ze verzamelen openbaar, zoals inschrijfgegevens bij de Kamer van Koophandel. Soms heb jij ooit - vaak zonder dat je het doorhad - toestemming gegeven tot het delen van informatie. 

Regelmatig komen de data uit obscuurdere hoeken. In oktober 2017 publiceerden De Groene Amsterdammer en Investico een onderzoek van journalisten Karlijn Kuijpers, Thomas Muntz en Tim Staal naar datahandelaren in Nederland. Ze ontdekten dat sommige bedrijven rechtstreeks gegevens ontvangen van incassobureaus. Zo kwamen schuldenaren zonder hun medeweten in een database terecht en kon hun financiële geschiedenis - ook lang nadat ze hun schulden hadden afbetaald - hen blijven achtervolgen. 

Vaak is niet te achterhalen of de gebruikte data wel kloppen, omdat het onduidelijk is welke gegevens zijn gebruikt. Om de proef op de som te nemen, schakelden de journalisten tien mensen in die hun eigen gegevens bij drie databureaus opvroegen. Ze ontvingen bijna niets. Maar toen de journalisten zich vervolgens voordeden als een klant en de data over diezelfde mensen kochten, kregen ze ineens uitgebreide datarapporten. 

Het staat buiten kijf dat er regelmatig fouten voorkomen in data. De Amerikaanse Federal Trade Commission constateerde in 2012 dat in hun steekproef maar liefst een kwart van de mensen een fout had in een kredietrapport van een van de drie grote bureaus. Voor één op de twintig was de afwijking zo ernstig, dat deze mensen waarschijnlijk onterecht een hogere rente moesten betalen voor leningen. 

En tussen 2009 en 2010 leken er in het Verenigd Koninkrijk 17.000 zwangere mannen te wonen. Jawel, zwangere mannen. De code waarmee hun medische behandeling was geregistreerd was door elkaar gehaald met die van een verloskundige procedure. 

Uit iOverheid, een rapport uit 2011 van de Wetenschappelijke Raad voor het Regeringsbeleid, bleek dat zulke datafouten ook in Nederland gemaakt worden. Verkeerde adresgegevens in de gemeentelijke basisadministratie, foutieve inkomsten bij de Belastingdienst en het UWV, een onterechte registratie als crimineel in een politiedatabase - overal duiken missers op. 

Een oud adagium in de statistiek zegt: ‘Rommel erin, rommel eruit.’ Je kunt nog zo'n glad machine learning-algoritme bouwen, je hebt er niets aan als de gebruikte gegevens niet deugen. 

(tekst loopt door onder afbeelding)

‘Ik ga echt niet jarenlang naar school als jij me toch niet wilt aannemen.’

‘Ik ga je niet aannemen als jij niet voldoende onderwijs hebt.’

In 2003 werd dit gesprek gehouden in de Amerikaanse staat Virginia. Het had een heftige discussie kunnen zijn tussen een werkgever en een sollicitant. Misschien werd de werkzoekende wel afgewezen op basis van huidskleur. Of had de werkgever een blik op het cv geworpen en geconcludeerd: onvoldoende onderwijs. 

De sollicitant was alleen niet zwart, hij was paars. En de twee waren geen echte werkzoekende en werkgever, maar studenten. Ze deden mee aan een experiment van Harvardprofessor Roland Fryer en collega’s. Hun studie zou laten zien hoe snel een gelijke wereld kan ontsporen als je blind op cijfers stuurt.

In het experiment kregen studenten willekeurig een rol toegedeeld als ‘werkgever’, ‘groene werkzoekende’ of ‘paarse werkzoekende’. Elke ronde moest een werkzoekende kiezen of zij zou investeren in haar eigen onderwijs of niet. 

Aan de ene kant had zo’n investering een nadeel: de studenten ontvingen voor hun deelname een vergoeding en het ‘onderwijs’ zou hen geld kosten. Aan de andere kant hadden ze ook meer kans op een hoge score op de ’test’ (die bestond uit een soort gewogen dobbelsteen die vaker in hun voordeel zou beslissen als ze hadden geïnvesteerd in onderwijs⁠) en daarmee maakten ze meer kans op extra geld. Werkgevers wilden namelijk het liefst werkzoekenden met een goede score, want een onderwezen werknemer leverde meer geld op. Maar omdat een werkgever alleen de testscore kon zien, was het nooit 100 procent duidelijk of de sollicitant daadwerkelijk onderwijs had genoten. Zo lijkt het experiment op de werkelijkheid: een werkgever weet nooit zeker of een sollicitant geschikt is, maar kan het wel inschatten aan de hand van imperfecte graadmeters zoals schoolcijfers.

In de eerste ronde investeerden paarse werkzoekenden net wat minder geld in onderwijs. Dit had niets te maken met hun paarse kenmerk, want de kleur was willekeurig bepaald. In de volgende ronde konden werkgevers de statistieken inzien. Paarse werkzoekenden, dachten ze, konden ze beter niet hebben. Toen de paarse deelnemers op hun beurt weer zagen dat hun groene collega’s vaker werden aangenomen, besloten ze minder te investeren. Want die investering leek niet hun kans op een baan te vergroten. 

Het gekke was: iedereen gedroeg zich rationeel. Maar binnen twintig rondes ontstond een vicieuze cirkel, die uitmondde in een extreem ongelijke wereld. ‘Ik was verbaasd. De kids waren echt boos’, vertelde onderzoeker Fryer aan Tim Harford, die over het experiment schreef in zijn boek The Logic of Life. ‘De aanvankelijke ongelijkheden kwamen door toeval, maar mensen bleven zich eraan vastklampen en lieten niet meer los.’ 

De wereld is natuurlijk veel complexer. Maar het experiment illustreert: cijfers zijn zowel gevolg als oorzaak van hoe de wereld eruitziet. En hoe meer cijfers onze wereld gaan beheersen, zoals nu gebeurt met big data, des te meer ze onze wereld zullen veranderen. 

Neem ‘predictive policing’, algoritmes die door politie worden ingezet om uit te vinden wie er mogelijk crimineel is. Amerikaanse cijfers laten een duidelijk verband zien tussen zwarte arme jongemannen en criminaliteit. Op basis van die algoritmes zul je je als politie richten op de wijken en individuen die voldoen aan dit signalement. Het gevolg? Etnisch profileren, waarbij ook veel onschuldige mensen worden aangehouden. En als je bepaalde mensen vaker aanhoudt, dan belanden ze automatisch vaker in de statistieken. De rijke witte criminelen zie je immers over het hoofd, want die vallen buiten je werkgebied. Niet vreemd dan, dat je ook in de volgende statistieken een - misschien nog wel sterker - verband ziet tussen huidskleur en criminaliteit. 

Hetzelfde risico loop je bij kredietscores: mensen met bepaalde kenmerken krijgen moeilijker een lening dan anderen, waardoor deze mensen sneller in armoede terechtkomen, waardoor ze moeilijker een lening kunnen krijgen, waardoor ze nog sneller arm worden, enzovoorts enzoverder. 

De cijfers die de werkelijkheid hadden moeten vangen, hebben haar vervangen. 

Een traditionele kredietscore, zoals de FICO-score, is gebaseerd op data over jou. Of je ooit geld hebt geleend, hoeveel je leende en of je het op tijd terugbetaalde. Die factoren, is de gedachte, kunnen voorspellen of je in de toekomst je lening terug zal betalen. 

Er is genoeg reden om deze redenering onrechtvaardig te vinden. Schulden worden regelmatig veroorzaakt door hoge medische kosten of ontslag. Sommige mensen kunnen zulke tegenslagen opvangen met hun spaargeld, maar niet iedereen heeft daar genoeg vermogen voor. Zo is een kredietscore niet alleen een maatstaf van betrouwbaarheid, maar ook van mazzel. 

De berekening van big data-kredietscores gaat nog een stap verder. Neem weer Jenipher en haar eetkraam. Hoe bepaalde Tala dat de Keniaanse een lening mocht krijgen? Daarvoor moest Jenipher het bedrijf via een app toegang geven tot haar telefoon. Haar telefoongegevens lieten zien dat ze geregeld belde met familie in Oeganda. Bovendien communiceerde ze met wel 89 verschillende mensen. Factoren die volgens Tala’s algoritme de kans verhogen dat Jenipher haar lening gaat terugbetalen. Dat ze regelmatig contact heeft met dierbaren, bijvoorbeeld, verhoogt die kans volgens de analyse met 4 procent. Ook een vast dagelijks patroon en het hebben van meer dan 58 contacten lijken gunstige signalen.  

Big data-kredietscores werken dus anders dan traditionele scores. De algoritmes kijken niet alleen naar wat jij hebt gedaan, maar naar wat mensen zoals jij hebben gedaan. Ze zoeken naar verbanden - correlaties - in de data en voorspellen daarmee wat jij zal gaan doen. Daarbij zijn alle cijfers welkom, zolang ze maar goed voorspellen. 

Zelfs de woorden in iemands aanvraag kunnen al veelzeggend zijn. Douglas Merrill van Zest Finance stelde in 2013 dat een aanmelding met enkel hoofdletters - of juist alleen kleine letters - een indicatie kan zijn van slecht betaalgedrag. Ook je koopgedrag of je socialemedia-accounts kunnen worden gebruikt om je betaalmoraal te voorspellen. 

Ooit lieten bankiers hun beslissing om iemand al dan niet een lening te verstrekken beïnvloeden door vooroordelen over ras, sekse en klasse. De FICO-scores moesten daar een eind aan maken. Maar met big data-kredietscores lijken we weer precies hetzelfde te doen als die ouderwetse bankier: iemand beoordelen aan de hand van de groep waartoe hij of zij behoort. 

Alleen worden die groepen nu gedefinieerd als de Hoofdletterschrijvers, de Koopjesjagers, de Vriendlozen. Kijk je onder het oppervlak van de cijfers dan zie je dat er weinig nieuws aan is. Het schrijven in hoofdletters is waarschijnlijk gecorreleerd met je onderwijsniveau. Het hebben van LinkedIn-contacten met het hebben van een baan. En waar je winkelt zegt veel over je inkomen. 

Zo maken algoritmes vaak precies hetzelfde onderscheid als die ouderwetse bankier: laag- of hoogopgeleid, met of zonder baan, arm of rijk. Statistici noemen het correlaties, andere mensen noemen het vooroordelen. 

Hoe zit het met correlatie en causaliteit nu we big data hebben? Volgens Chris Anderson, de voormalig hoofdredacteur van technologietijdschrift Wired, hoeven we ons daar geen zorgen meer over te maken. De verklaring voor bepaalde verbanden is onbelangrijk, schreef hij in 2008 in zijn invloedrijke artikel ‘The End of Theory’. ’Googles basisfilosofie is dat we niet weten waarom deze pagina beter is dan die: als de statistieken […] zeggen dat het zo is, dan is dat goed genoeg.' Dat correlatie niet gelijk is aan causaliteit doet er volgens Anderson niet meer toe. 'Petabytes staan het ons toe te zeggen: “Correlatie is genoeg.”’ 

Een zeer naïeve uitspraak. Ook in het big datatijdperk is correlatie niet genoeg. Neem Google Flu Trends, het algoritme dat in 2008 met veel tamtam werd geïntroduceerd. Aan de hand van zoekopdrachten beloofde Google te kunnen voorspellen waar, wanneer en hoeveel griepgevallen er zouden komen. Twee of drie jaar lang voorspelde het model vrij nauwkeurig wanneer en waar de griep zou toeslaan. Maar in de jaren die volgden zat het algoritme er steeds naast, met in 2013 het dieptepunt toen het algoritme meer dan twee keer te veel griepgevallen voorspelde. 

De bouwers van het algoritme hadden uit vijftig miljoen zoektermen de vijfenveertig gekozen die het sterkst correleerden met de bewegingen in de griepgolf. Vervolgens hielden ze de zoekacties op die termen in de gaten. Dat klinkt logisch, maar: als je maar lang genoeg zoekt, vind je altijd wel een verband. 

Sterker nog, juist bij big data heb je last van dit probleem. Want hoe meer datapunten je hebt, hoe meer verbanden je zult vinden die significant zijn. Zo vonden de onderzoekers een sterk verband tussen de zoekterm ‘high school basketball’ en de verspreiding van griep. 

Een ander probleem met het algoritme was dat bouwers belangrijke ontwikkelingen negeerden. Veranderingen in het ontwerp van Googles eigen zoekmachine bijvoorbeeld. Zo liet de website vanaf 2012 mogelijke diagnoses zien als iemand bijvoorbeeld ‘hoesten’ of ‘koorts’ opzocht. Een van die diagnoses? Griep. Hierdoor gingen mensen waarschijnlijk vaker op zoek naar informatie over de ziekte en overschatte het Googe Flu-algoritme de griepgolf.

Ook kredietbureaus, zoals we eerder zagen, doen aan voorspellen. In die voorspelling liggen net zo goed toevallige correlaties op de loer en kunnen belangrijke ontwikkelingen evenzeer roet in het eten strooien. Als eenmaal bekend wordt dat je bepaalde woorden in een aanmelding moet gebruiken, bijvoorbeeld, dan kunnen mensen daarop inspelen en zeggen de correlaties weinig meer.

Maar stel nu dat we ons in de toekomst over deze twee valkuilen geen zorgen meer hoeven te maken. Dat we manieren vinden om toevallige correlaties te herkennen en we veranderingen real time in de gaten houden. Kunnen we dan wel blind op cijfers vertrouwen?

(tekst loopt door onder afbeelding)

Uiteindelijk draaien big data - net als kleine data - om dezelfde vraag: wat wil je met de cijfers bereiken? 

We zagen eerder dat de Federal Trade Commission concludeerde dat één op de twintig kredietrapporten ernstige fouten bevatte. Consumer Data Industry Association (CDIA), de beroepsvereniging van onder meer kredietbureaus, zag dit als een positief bericht: 95 procent van de consumenten had immers geen last van fouten. 

Maar is 5 procent nu veel of weinig? Het is maar net wat je beoogt met de scores. Kredietverstrekkers zijn over het algemeen commerciële partijen. Hun doelstelling: winst. Door die bril gezien is 95 procent inderdaad netjes. Of het rechtvaardig is, is voor hen minder belangrijk. De lener is immers niet de klant, maar het product.  

Zo blijft het opletten. Ook in Nederland worden we uitgebreid gescoord. Kredietbeoordelaars proberen te berekenen of we met geld kunnen omgaan, de Belastingdienst of we fraude plegen, de politie of we een misdaad begaan, verzekeraars of we gezond blijven. 

Telkens hebben die berekeningen gevolgen voor ons dagelijks leven: je wordt geweigerd voor een lening, je krijgt een aanmaning, je wordt staande gehouden, je moet een hogere premie betalen. En vaak zijn juist die mensen de dupe die toch al een kwetsbare positie in de samenleving hebben. 

Big data kunnen de wereld mooier maken. Kijk maar naar de Keniaanse Jenipher, die dankzij een lening een beter bestaan kon opbouwen. Maar diezelfde algoritmes die mensen als Jenipher helpen, kunnen eeuwenoude ongelijkheden in stand houden en nieuwe creëren. 

Het zijn dan ook niet de algoritmes die ‘goed’ of ‘slecht’ zijn, maar de manier waarop wij ze gebruiken. Daarom is het van levensbelang om mee te praten over de vraag: Waar willen we de algoritmes voor gebruiken? 

Algoritmes zullen nooit objectief zijn, hoe betrouwbaar de data ook mogen worden en hoe geavanceerd kunstmatige intelligentie ook zal zijn. Als we deze eigenschap van algoritmes vergeten, dan laten we morele beslissingen over aan mensen die toevallig een talent hebben voor computers. En die al programmerend bedenken wat goed en fout is.

Dit is een voorpublicatie uit Het bestverkochte boek ooit (met deze titel) dat 30 oktober verschijnt bij De Correspondent. Zie www.decorrespondent.nl/cijfers voor meer informatie.