Opmerking: Dit is deel 2 van een tweedelige serie over AI. Deel 1 is te lezen bij VPRO Tegenlicht.

Deel 1 begon onschuldig, toen we Beperkte Kunstmatige Intelligentie (BKI) bespraken, AI die gespecialiseerd is in een beperkte taak zoals routes plannen of een potje schaak spelen. BKI is overal in de wereld om ons heen te vinden. Daarna bestudeerden we waarom het zo'n enorme uitdaging is om van BKI naar Algemene Kunstmatige Intelligentie (AKI) te gaan, een AI die intellectueel minimaal net zo capabel is als de mens, op elk gebied. We bespraken waarom de exponentiële groei van technologische ontwikkeling in het verleden suggereert dat AKI er mogelijk sneller is dan we denken. Deel 1 eindigde met feit dat als machines eenmaal menselijk niveau bereiken, ze mogelijk gelijk dit doen:

Hierna konden we alleen nog naar ons scherm staren, geconfronteerd met het idee van een Kunstmatige Superintelligentie (KSI), een AI die op elk gebied veel slimmer is dan de mens, iets wat nog tijdens onze levens kan ontstaan. En we probeerden te bedenken welke emotie we daarbij zouden moeten hebben.

Voor we in het vervolg duiken: laten we nog even bedenken wat het betekent als een machine superintelligent is.

Een belangrijk onderscheid om te maken is het verschil tussen snelle superintelligentie en kwalitatieve superintelligentie. Als je je een superslimme computer probeert voor te stellen dan denken veel mensen in eerste instantie aan eentje die net zo intelligent is als een mens, maar die heel veel sneller kan denken. In de film Her is snelheid de belangrijkste eigenschap waarin het AI-personage de mensen de baas is. Ze zien een machine voor zich die denkt als een mens, maar dan een miljoen keer sneller, wat betekent dat hij in vijf minuten iets kan oplossen waar een mens tien jaar over doet.

Dat klinkt indrukwekkend, en een KSI zou inderdaad ook veel sneller denken dan welk mens dan ook, maar het werkelijke onderscheid zit in de voorsprong van de kwaliteit van de intelligentie, en dat is iets heel anders. Wat mensen intellectueel veel vaardiger maakt dan chimpansees is niet het verschil in denksnelheid, maar het feit dat menselijke hersens een aantal verfijnde, cognitieve modules bevatten die het mogelijk maken om bijvoorbeeld complexe linguïstische representaties te construeren, of een langetermijnplanning te maken, of abstract te redeneren. Dingen die het brein van een chimpansee niet kan, ook niet als dat duizend keer sneller zou werken. Zelfs in tien jaar kan een chimpansee nog niet bedenken hoe hij met speciaal gereedschap een ingewikkeld model in elkaar kan zetten, iets wat een mens in een paar uur gepiept heeft. Er zijn massa's menselijke cognitieve functies die een chimpansee simpelweg nooit zal beheersen, hoe lang hij het ook probeert.

Maar het is niet alleen dat een chimpansee niet kan doen wat wij doen. Zijn brein is zelfs niet in staat om zelfs maar te bevatten dat die werelden bestaan. Een chimpansee kan vertrouwd raken met wat een mens is en met wat een wolkenkrabber is, maar hij zal nooit begrijpen dat de wolkenkrabber door de mens is gebouwd. In zijn wereld is iets wat zo groot is een onderdeel van de natuur, en daarmee uit. Het is voor hem niet alleen onmogelijk om te bevatten hoe hij een wolkenkrabber zou moeten bouwen, hij kan zelfs niet begrijpen dat je überhaupt een wolkenkrabber kan bouwen. En dat is het resultaat van slechts een klein kwaliteitsverschil in intelligentie.

In het licht van de intelligentieschaal waar we het in dit stuk over hebben, of zelfs op de veel kleinere schaal van biologische wezens, is het verschil in kwaliteit van intelligentie tussen mens en chimpansee klein. In een eerder artikel liet ik de schaal van biologische cognitieve mogelijkheden zien aan de hand van een trap.

Om volledig tot je te laten doordringen hoe heftig een superintelligente machine zou zijn, moet je je voorstellen dat een machine op de donkergroene trede staat, twee stappen boven de mens. Deze machine zou slechts een beetje superintelligent zijn, maar de voorsprong in cognitieve vaardigheden ten opzichte van ons zou zo groot zijn als het gat tussen de mens en de chimpansee. En net zoals een chimpansee nooit kan begrijpen dat je wolkenkrabbers kan bouwen, zo zullen wij nooit kunnen bevatten wat een machine op de donkergroene trede kan doen, zelfs niet als de machine het ons uit zou willen leggen - laat staan dat we die dingen zelf ooit kunnen doen. En dat is slechts twee treden boven ons. Een machine op de twee-na-hoogste trede op die trap zou zich tot ons verhouden zoals wij tot mieren. Hij zou jaren kunnen proberen om ons maar het kleinste beetje te leren van wat hij weet, maar die inspanning zou totaal hopeloos zijn.

Maar het soort superintelligentie waar we het over hebben, gaat veel en veel verder dan alles op deze trap. In een explosie van intelligentie kan een machine naarmate deze steeds slimmer wordt, de eigen intelligentie steeds sneller verbeteren tot die omhoog schiet. Een machine doet er mogelijk jaren over om van de trede van de chimpansee een stap omhoog te klimmen, maar wellicht slechts een uur als het op de donkergroene trede is, twee stappen boven ons. Als hij tien stappen boven ons is, kan het in sprongen van vier treden per seconden omhoog schieten. We moeten dan ook serieus rekening houden met de mogelijkheid dat we heel snel na het eerste nieuwsbericht over een machine die het menselijke niveau van AKI haalt, samen moeten leven met iets wat hier op de trap staat (of misschien nog een miljoen keer hoger): 

Aangezien we net hebben vastgesteld dat het hopeloos is om te proberen te begrijpen wat een machine kan die twee treden boven ons staat, is het absoluut en onomstotelijk en volstrekt duidelijk dat er geen enkele manier is om te weten wat een KSI kan doen of wat de gevolgen daarvan voor ons zijn. Iedereen die iets anders beweert, heeft geen idee wat superintelligentie betekent.

Evolutie heeft het biologische brein langzaamaan en stapsgewijs verbeterd gedurende honderden miljoenen jaren. Als de mensen het leven schenken aan een KSI-machine, dan geven we een dramatische schop tegen het zere been van de evolutie. Of misschien is dit juist wel een onderdeel van de evolutie. Dat de manier waarop evolutie werkt, is dat het intelligentieniveau tergend langzaam hoger en hoger wordt totdat het op het niveau belandt waarop het in staat is om een machinale superintelligentie te scheppen. Dat niveau is als een struikeldraad die een wereldwijde explosie kan veroorzaken van compleet nieuwe spelregels voor alle levende wezens: 

De redenen bespreken we later, maar voor een heel groot deel van de wetenschappelijke gemeenschap is het niet de vraag of we dat struikeldraad tegenkomen, maar wanneer. Best een bizar feitje.

Dus wat betekent dit voor ons?

Niemand ter wereld, ik al helemaal niet, kan je vertellen wat er gebeurt als we dat struikeldraad tegenkomen. Maar Oxford-filosoof Nick Bostrom, een belangrijk denker over AI, denkt dat we alle mogelijke uitkomsten grofweg kunnen terugbrengen tot twee categorieën.

Ten eerste, als we naar de geschiedenis kijken zien we dat leven als volgt werkt: rassen ontstaan, bestaan een poosje en na een poos vallen ze onvermijdelijk van de evenwichtsbalk van het bestaan en landen op het vakje 'uitsterven'. 

"Alle soorten sterven uiteindelijk uit" is in de gehele geschiedenis net zo'n betrouwbare regel gebleken als "Alle mensen gaan uiteindelijk dood." Tot nu toe is 99,9% van alle soorten van de evenwichtsbalk gevallen en is het vrij duidelijk dat het, terwijl een soort maar doorhobbelt over de evenwichtsbalk, dat het slechts een kwestie van tijd is tot uiteindelijk een andere soort, een plotselinge windvlaag uit de natuur of een schokgolven-veroorzakende asteroïde die soort van de balk stoot. Bostrom noemt uitsterven een 'aantrekker': een plek waar alle soorten al balancerend invallen en vanwaar nog nooit een is teruggekeerd.

Hoewel alle wetenschappers die ik ben tegengekomen erkennen dat KSI de potentie heeft om de mensheid te laten uitsterven, geloven velen ook dat de vaardigheden van een KSI positief ingezet kunnen worden. In dat geval kan de menselijke soort in een tweede aantrekker belanden: de onsterfelijkheid van de soort. Bostrom gelooft dat het onsterfelijk worden van de soort net zozeer een aantrekker is als het uitsterven van de soort. Als het ons lukt om daar aan te belanden, dan worden we nooit meer bedreigd met uitsterven, dan hebben we de sterfelijkheid en het lot overwonnen. Dus hoewel alle soorten tot nu toe van de evenwichtsbalk zijn gekukeld en op onsterfelijkheid zijn beland, denkt Bostrom dat er twee kanten aan de balk zitten. Alleen is nog niets op aarde intelligent genoeg geweest om uit te vinden hoe je aan de andere kant van balk kunt vallen. 

Als Bostrom en de anderen gelijk hebben, en na alles wat ik heb gelezen lijkt het daar sterk op, dan hebben we twee behoorlijk schokkende feiten te verwerken:

1) De komst van KSI maakt het voor eerst mogelijk dat een soort aan de onsterfelijkheidskant van de evenwichtsbalk valt.

2) De komst van KSI heeft zo'n onvoorstelbaar dramatische impact dat de kans groot is dat de menselijke soort van de evenwichtsbalk afgestoten wordt, welke kant op dan ook.

De kans is dus groot dat wanneer de evolutie het struikeldraad raakt, dat voor altijd de verbintenis tussen de mensheid en de evenwichtsbalk verbreekt, waardoor een nieuwe wereld ontstaat. Met of zonder mensen.

Elk mens zou zich op dit moment alleen maar deze vraag moeten stellen: Wanneer bereiken we het struikeldraad en aan welke kant van de evenwichtsbalk belanden we als dat gebeurt?

Niemand op deze aardbol weet het antwoord op die twee vragen, maar veel van de allerslimste mensen hebben er wel tientallen jaren over nagedacht. De rest van dit artikel spenderen we aan de resultaten van hun denkwerk.

___________

Laten we beginnen met de eerste vraag: wanneer bereiken we het struikeldraad?

Oftewel, hoelang duurt het voordat de eerste machines superintelligent zijn?

Het zal niet als een schok komen dat de meningen hierover sterk uiteenlopen en dat er een verhit debat over is onder wetenschappers en denkers. Velen van hen, zoals professor Vernor Vinge, wetenschapper Ben Goertzel, mede-oprichter van Sun Microsystems Bill Joy en met name uitvinder en futuroloog Ray Kurzweil, zijn het eens met Jeremy Howard, een vooraanstaand denker over machineleren. Howard liet tijdens een TED Talk deze grafiek zien:

Deze mensen hangen het geloof aan dat dit snel gaat gebeuren. Exponentiële groei doet z'n werk al en hoewel machineleren zich nu maar langzaam ontwikkelt, schiet het ons in de komende paar decennia in sneltreinvaart voorbij.

Anderen, zoals mede-oprichter van Microsoft Paul Allen, onderzoekspsycholoog Gary Marcus, NYU computerwetenschapper Ernest Davis en tech-ondernemer Mitch Kapor denken dat het kamp-Kurzweil de omvang van deze uitdaging schromelijk onderschat en dat we nog helemaal niet zo dicht in de buurt zijn van het struikeldraad.

Kurzweil en de zijnen werpen weer tegen dat de onderwaardering van exponentiële groei de enige onderschatting is waar sprake van is. Zij vergelijken deze twijfelaars met mensen die het langzaam groeiende internet in 1985 niet zagen als iets wat in de nabije toekomst enige impact zou hebben.

De twijfelaars zouden op hun beurt dan weer kunnen zeggen dat de vooruitgang die nodig is om intelligentie door te ontwikkelen met elke stap ook exponentieel groeit, waardoor de normale exponentiële groei van technologische vooruitgang teniet wordt gedaan. Enzovoorts.

Een derde kamp, met onder andere Nick Bostrom, gelooft dat geen van beide groepen een reden heeft om zeker te zijn over een tijdlijn en geeft toe dat zowel A) het inderdaad in de nabije toekomst kan gebeuren als B) daar geen garantie voor is, het kan ook veel langer duren.

Nog weer anderen, zoals filosoof Hubert Dreyfus, geloven dat alle drie deze groepen naïef zijn om te denken dat het struikeldraad sowieso bestaat en zeggen dat de kans veel groter is dat KSI nooit bereikt wordt.

Wat krijg je als je al deze meningen combineert? 

In 2013 hielden Vincent C. Müller en Nick Bostrom een enqute onder honderden AI-experts op een serie conferenties en stelden ze de vraag: "Ga er ten behoeve van deze vraag vanuit dat de menselijke wetenschappelijke activiteit doorgaat zonder grote negatieve onderbrekingen. In welke jaar zie je een (10% / 50% / 90%) kans dat een dergelijke HLMI (Human Level Machine Intelligence, wat we hier een AKI noemen - red.) bestaat?" Ze vroegen om een optimistisch jaar te noemen (met 10% kans dat we een AKI hebben), een realistische schatting (50% kans op een AKI, dus na dat jaar is de kans groter dat er wel een AKI is dan niet) en een conservatieve schatting (het vroegste jaar waarin ze denken dat er 90% zekerheid is dat er een AKI is).

De resultaten zijn samengevoegd in één dataset (1):

Mediaan optimistisch jaar (10% kans): 2022

Mediaan realistisch jaar (50% kans): 2040

Mediaan pessimistisch jaar (90% kans): 2075

De gemiddelde deelnemer denkt dus dat over 25 jaar de kans groter is dat er wel een AKI is dan dat dat niet zo is. Het antwoord 2075 op de 90%-vraag geeft aan dat als je nu een tiener bent, de gemiddelde respondent, samen met meer dan de helft van de groep AI-experts, bijna zeker weet dat er een AKI komt gedurende jouw leven.

Een ander onderzoek, recentelijk gedaan door auteur James Barrat op de jaarlijkse AKI-conferentie van Ben Goertzel, liet de percentages varen en vroeg deelnemers simpelweg wanneer ze dachten dat AKI gerealiseerd zou worden, rond 2030, rond 2050, rond 2100, na 2100 of nooit. De resultaten (2):

Rond 2030: 42% van de respondenten

Rond 2050: 25%

Rond 2100: 20%

Na 2100: 10%

Nooit: 2% 

Redelijk vergelijkbaar met de resultaten van Müller en Bostrom. In het onderzoek van Barrat denkt meer dan tweederde van de respondenten dat AKI er rond 2050 is en iets minder dan de helft voorspelt AKI binnen 15 jaar. Opvallend is dat maar 2% van de ondervraagden denkt dat AKI geen deel is van onze toekomst.

Maar AKI is niet het struikeldraad, dat is KSI. Dus wanneer denken de experts dat we KSI realiseren?

Müller en Bostrom vroegen experts hoe waarschijnlijk het is dat we KSI halen A) binnen twee jaar na realisatie van AKI (een bijna-onmiddellijke explosie van intelligentie) en B) binnen dertig jaar. De resultaten (3):

De mediaan van de antwoorden geeft een snelle overgang van AKI naar KSI (2 jaar) maar 10% kans, maar een langere transitie van 30 jaar of minder krijgt 75% kans.

We weten op basis van deze gegevens niet hoe lang de transitie zou zijn die 50% realistisch is, maar laten we op basis van bovenstaande antwoorden schatten dat dat 20 jaar was geweest. Dus de mediaan van hun persoonlijke inschattingen, precies in het midden van alle AI-experts in de wereld, is dat we het struikeldraad bereiken in het jaar 2060 (de voorspelling voor AKI in 2040 + onze ingeschatte voorspelling van een 20-jarige transitie van AKI naar KSI). 

Natuurlijk zijn al deze statistieken speculatief en alleen representatief voor het midden van alle meningen van de gemeenschap van AI-experts. Desondanks vertellen ze ons dat een groot deel van de mensen die het meeste van dit onderwerp weten het erover eens zijn dat 2060 een redelijk realistische inschatting is voor het ontstaan van KSI, dat dan mogelijk de wereld volledig gaat veranderen. Over slechts 45 jaar.

Goed, nu over het tweede deel van de vraag hierboven: Als we het struikeldraad bereiken, naar welke kant van de evenwichtsbalk vallen we dan?

Superintelligentie heeft een onvoorstelbare kracht. De cruciale vraag voor ons is:

Wie of wat controleert die kracht en met welke motivatie?

Het antwoord hierop bepaalt of KSI een ongelofelijk goede of een niet te bevattten verschrikkelijke ontwikkeling is, of iets daar tussenin.

Natuurlijk is de gemeenschap van experts opnieuw compleet verdeeld en in een verhit debat verwikkeld over het antwoord op deze vraag. Müller en Bostrom vroegen deelnemers een kans toe te wijzen aan de mogelijke gevolgen die AKI voor de mensheid zou kunnen hebben. Het gemiddelde antwoord was een kans van 52% dat de uitkomst goed of extreem goed is en 31% kans dat de uitkomst slecht of extreem slecht is. De kans op een relatief neutrale uitkomst schatten de respondenten gemiddeld op slechts 17%. Oftewel, de mensen die hier het meest verstand van hebben, zijn er behoorlijk zeker van dit een heftige gebeurtenis wordt. Deze vraag ging overigens over de komst van AKI. Als het over KSI was gegaan, was het percentage voor een neutrale uitkomst vermoedelijk nog lager.

Voor we dieper duiken in de goede versus slechte uitkomst van de vraag, combineren we eerst "Wanneer zal het gebeuren?" met "Is het resultaat goed of slecht?". Dat levert een figuur op met de opinies van de meest relevante experts: 

We gaan zo verder met het Belangrijkste Kamp, maar eerst: wat vind jij eigenlijk? Ik weet eigenlijk wel wat jij denkt, want dat dacht ik ook voordat ik aan dit artikel begon. Een aantal redenen waarom mensen niet over dit onderwerp nadenken:

• Zoals gezegd in deel 1: films hebben de zaken verwarrend gemaakt door onrealistische AI-scenario's te presenteren, waardoor we denken dat AI niet echt serieus genomen hoeft te worden. James Barrat vergelijkt het met onze reactie als het Rijksinstituut voor Volksgezondheid en Milieu een serieuze waarschuwing zou geven voor vampiers in de toekomst (4).
   
• Door iets wat we een cognitieve bias (denkfout) noemen, vinden we het moeilijk om te geloven dat iets echt is tot we bewijs zien. Ik weet zeker dat computerwetenschappers in 1988 regelmatig bespraken hoe groot de invloed van internet zou worden, maar mensen dachten niet echt dat het hun leven ging veranderen totdat het hun levens daadwerkelijk veranderde. Deels omdat computers niet zulke dingen konden in 1988, dus mensen keken naar hun computer en dachten 'Echt? Dat gaat onze levens veranderen?'. Hun voorstellingsvermogen was beperkt tot hun persoonlijke ervaring met computers, wat het heel moeilijk maakte om je levendig voor te stellen wat computers zouden kunnen worden. Hetzelfde gebeurt nu met AI. We horen dat het groots gaat worden, maar omdat dit nog niet is gebeurd, en vanwege onze ervaring met relatief beperkte AI in onze huidige wereld, is het moeilijk echt voor te stellen dat het onze levens dramatisch gaat veranderen. Wetenschappers proberen uit alle macht die denkfouten te doorbreken en onze aandacht te trekken en niet overstemd te worden door de ruis van onze dagelijkse obsessie met onszelf.
   
• Zelfs als we het zouden geloven - hoe vaak heb je vandaag gedacht aan het feit dat je er het merendeel van de eeuwigheid niet zult zijn? Niet veel toch? Hoewel het veel heftiger is dan alles waarmee je vandaag verder bezig bent, toch? Onze breinen zijn normaal geconcentreerd op de kleine dingen in het dagelijkse leven, hoe bizar het langetermijn vooruitzicht van de situatie waar we in zitten ook is. Zo zitten we nu eenmaal in elkaar.

Een van de doelen van deze twee artikelen is om je uit het kamp 'Ik denk liever aan andere dingen' te krijgen en in een van de kampen met experts. Ook als je op het kruispunt van de gestippelde lijnen staat, totaal onzeker.

Tijdens mijn onderzoek kwam ik veel verschillende meningen over dit onderwerp tegen, maar het viel me al snel op dat de meeste meningen grofweg vallen in iets wat ik het Belangrijkste Kamp heb genoemd. Driekwart van de experts valt in twee subkampen van dit Belangrijkste Kamp. 

We maken een lange reis door beide kampen. Laten we met de leuke beginnen. 

Toen ik over de wereld van AI leerde, kwam ik erachter dat een groot deel van de mensen zich hier bevindt: 

De mensen in de Vesting vol Vertrouwen zijn helemaal opgewonden. Ze hebben zich volledig gefocust op de positieve kant van de evenwichtsbalk en zijn ervan overtuigd dat we daar allemaal heen gaan. Voor hen is de toekomst alles wat je ooit hebt kunnen wensen en komt hij precies op tijd.

Wat deze mensen onderscheidt van de andere denkers die we later bespreken, is niet hun enthousiasme over de fijne kant van de evenwichtsbalk. Nee, het is hun rotsvaste vertrouwen dat we aan die kant gaan landen.

Waar dat vertrouwen vandaan komt, is onderwerp van discussie. Critici menen dat het voortkomt uit een blind optimisme waardoor ze potentiële negatieve uitkomsten simpelweg negeren of ontkennen. Maar de gelovigen zeggen dat het naïef is om doemscenario's te verzinnen, terwijl over het geheel genomen technologie ons meer helpt dan kwaad doet en dat dat vermoedelijk zo zal blijven.

We behandelen beide kanten van het verhaal, zodat je je eigen mening kunt vormen terwijl je dit leest. Maar voor dit deel is het goed om je scepsis overboord te gooien en een goede blik te werpen op de positieve kant van de evenwichtsbalk. Probeer je ervan te doordringen dat de dingen die je leest werkelijk zouden kunnen gebeuren. Als je onze wereld van huiselijke comfort, technologie en oneindige overvloed aan een jager-verzamelaar had laten zien, dan was dat voor hem pure magie geweest. We moeten nederig genoeg zijn om toe te geven dat het mogelijk is dat een net zo onwaarschijnlijke transformatie in onze toekomst kan gebeuren.

Nick Bostrom beschrijft drie manieren waarop een superintelligent AI-systeem kan functioneren (5): 

• Als een orakel, dat bijna alle vragen accuraat beantwoordt, waaronder complexe vragen die mensen niet makkelijk kunnen beantwoorden. Bijvoorbeeld, hoe produceer ik een efficiëntere motor voor auto's? Google is een primitief voorbeeld van een orakel.
   
• Als een wensgeest, die elke moeilijke opdracht die hij krijgt, uitvoert en dan wacht op de volgende opdracht. Bijvoorbeeld, gebruik een moleculaire samensteller om een nieuwe en efficiëntere motor voor een auto te bouwen.
  
• Als een soeverein wezen, dat een breed geformuleerde opdracht heeft, zonder vastomlijnd einddoel, en dat zich vrijelijk in de wereld kan bewegen en zelf beslissingen kan nemen over vervolgstappen. Bijvoorbeeld: verzin een snellere, goedkopere en veiligere manier dan auto's waarmee mensen zichzelf privé kunnen vervoeren.

Deze vragen en opdrachten, die voor ons gecompliceerd lijken, zijn voor een superintelligent systeem hetzelfde als de vraag om een verbetering te brengen in de situatie 'mijn potlood is van de tafel gevallen'. Op te lossen door simpelweg het potlood op te pakken weer op de tafel te leggen.

Eliezer Yudkowsky, een bewoner van het Bastion van Bezorgheid, heeft het goed gezegd: 

Er zijn veel gretige wetenschappers, uitvinders en ondernemers in de Vesting van Vertrouwen, maar voor een tour langs de mooiste kant van de AI-horizon, is er maar één persoon die we als gids willen.

Ray Kurzweil polariseert. Bij de voorbereiding van dit stuk kwam ik alles tegen, van religieuze aanbidding voor hem en zijn ideeën tot met-de-ogen-rollende minachting. Anderen zitten meer in het midden. Auteur Douglas Hofstadter beschrijft de ideeën in de boeken van Kurzweil met de zeer eloquente stelling dat "het is alsof je een heleboel lekker eten neemt en wat ontlasting van honden, en je mixt die twee, zodat het onmogelijk is om te achterhalen wat goed is en wat slecht." (7)

Of je zijn ideeën goed vindt of niet, iedereen is het erover eens dat Kurzweil indrukwekkend is. Hij begon als tiener met uitvinden en bedacht in de tientallen jaren daarna vele baanbrekende uitvindingen, waaronder de eerste flatbedscanner, de eerste scanner die tekst naar spraak vertaalde (waardoor blinden standaard teksten kunnen lezen), de Kurzweil synthesizer (de eerste echte elektrische piano) en de eerste commercieel verkrijgbare spraakherkenning met een groot vocabulaire. Hij is de auteur van vijf Amerikaanse bestsellers. Hij staat bekend om zijn gedurfde voorspellingen en heeft een goede staat van dienst van voorspellingen die echt uit zijn gekomen. Zo voorspelde hij eind jaren '80, een tijd waarin internet nog obscuur was, dat het begin jaren 2000 een wereldwijd fenomeen zou worden. Kurzweil is door de Wall Street Journal een "rusteloos genie" genoemd, "de ultieme denkmachine" door Forbes, "de rechtmatige erfgenaam van Edison" door Inc. Magazine en "de beste voorspeller van de toekomst van kunstmatige intelligentie die ik ken" door Bill Gates. In 2012 benaderde Larry Page, mede-oprichter van Google, Kurzweil en vroeg hem om Director of Engineering te worden bij Google. In 2011 was hij mede-oprichter van de Singularity University, die wordt gehost door NASA en gesponsord door Google. Niet slecht voor één leven. 

Deze biografie is belangrijk. Als Kurzweil het over de toekomst heeft, klinkt hij als een rare knakker en het gekke is dat hij dat niet is. Hij is extreem slim, heeft veel kennis en is een belangrijk persoon in de wereld. Je kan denken dat zijn toekomstvoorspelling niet klopt, maar hij is geen gek. Dat hij zo'n geloofwaardige gast is, maakt me gelukkig. Want ik heb zijn voorspellingen over de toekomst gelezen en ik wil dolgraag dat ze kloppen. En jij wilt dat ook. Als je de voorspellingen van Kurzweil hoort, dan is het niet raar om te snappen dat hij zo'n grote, gepassioneerde schare volgelingen heeft, bekend als de singularitarians. Hier is wat hij denkt dat er gaat gebeuren, een visie die hij deelt met andere denkers uit de Vesting van Vertrouwen, zoals Peter Diamandis en Ben Goertzel. 

Kurzweil gelooft dat computers AKI halen in 2029 en dat in 2045 niet alleen KSI gearriveerd is, maar dat de hele wereld vernieuwd is. Een tijd die hij de singulariteit noemt. Zijn AI-tijdlijn werd lang gezien als extreem overdreven en zo zien velen het nog steeds, maar in de laatste 15 jaar zijn steeds meer AI-experts opgeschoven naar de tijdlijn van Kurzweil, door de snelle ontwikkelingen van BKI. Zijn voorspellingen zijn nog steeds ambitieuzer dan de mediaan van de respondenten uit het onderzoek van Müller en Bostrom (AKI in 2040, KSI in 2060), maar het scheelt niet veel meer. (Tech ondernemer Mitch Kapor denkt dat de tijdlijn van Kurzweil belachelijk is en heeft om 20.000 dollar met hem gewed dat 2030 voorbij gaat zonder de komst van AKI.)

Het beeld van de singulariteit in 2045 van Kurzweil heeft te maken met drie gelijktijdige revoluties in de biotechnologie, nanotechnologie en als belangrijkste, AI.

Voor we verdergaan, nanotechnologie komt voor in bijna alles wat je leest over de toekomst van AI, dus stap maar even in deze blauwe box zodat we dat kunnen uitleggen. 

Een paar maanden geleden zei ik jaloers te zijn op potentiële, geavanceerde beschavingen die hun eigen sterfelijkheid hebben overwonnen, maar ik had nooit gedacht dat ik nu een artikel zou schrijven waardoor ik oprecht geloof dat dit iets is dat mensen zou kunnen lukken nog tijdens mijn leven. Maar als je leest over AI dan moet je opnieuw nadenken over alles, waarvan je zeker dacht te zijn. Zelfs over je opvatting over de dood.

Evolutie had geen goede reden om onze levens langer te laten duren dan ze nu zijn. Als we lang genoeg leven om ons voort te planten en kinderen op te voeden tot een leeftijd dat ze voor zichzelf kunnen zorgen, dan is dat genoeg voor evolutie. Vanuit het oogpunt van evolutie kan de soort gedijen met een levensduur van dertig jaar of meer, dus is er geen reden om mutaties die een langer leven mogelijk maken de voorkeur te geven in het proces van natuurlijke selectie. Dus zijn we, zoals W.B. Yeats het zegt, "een ziel geketend aan een stervend dier". (11) Niet zo leuk.

Omdat iedereen altijd dood is gegaan, leven we met de aanname van 'dood en belastingen' waarbij de dood onvermijdelijk is. We denken over veroudering zoals over tijd. Beiden gaan vooruit en er is niets dat je eraan kan doen om ze te stoppen. Maar die aanname is verkeerd. Richard Feynman schrijft: 

Veroudering is niet onlosmakelijk gekoppeld aan tijd. Tijd is niet te stoppen, maar veroudering wel. Het is logisch, als je erover nadenkt. Veroudering is niets meer dan het verslijten van de fysieke materialen van het lichaam. Een auto slijt ook naarmate tijd verstrijkt, maar is die veroudering onvermijdelijk? Als je ze perfect zou repareren of alle onderdelen van een auto zou vervangen, zodra er eentje begint te slijten, dan kan de auto altijd blijven rijden. Het menselijk lichaam is niet anders, alleen veel complexer.

Kurzweil spreekt over intelligente nanobots in de bloedsomploop die via wifi verbonden zijn en die verschillende taken kunnen uitvoeren voor de menselijke gezondheid. Zoals routinematig lichaamscellen in elk deel van het lichaam repareren of vervangen. Als dit proces wordt geperfectioneerd, of een veel slimmer proces wordt bedacht door KSI, dan zou het niet alleen het lichaam gezond houden, maar zou het veroudering kunnen omkeren. Het verschil tussen een lichaam dat 60 jaar oud is en een van 30 jaar, zit hem in een hoop fysieke dingen die we kunnen veranderen als we de technologie daarvoor hebben. KSI kan een "leeftijd-ververser" bouwen waar iemand van 60 in kan lopen om er weer uit te komen met het lichaam en de huid van een 30-jarige. (Dit zou ook oneindige mogelijkheden geven aan cosmetische chirurgie.) Zelfs het verwarde brein kan opgefrist worden door KSI, die uit kan vogelen hoe je dat doet zonder de gegevens in het brein (persoonlijkheid, herinneringen) te beschadigen. Iemand van 90 jaar oud met dementie kan in de leeftijd-ververser lopen en er scherp als een mes weer uitlopen, klaar voor een nieuwe carrière. Dit lijkt absurd, maar het lichaam is slechts een heleboel atomen en KSI zou gemakkelijk allerlei atomaire structuren aan kunnen passen, dus het is niet absurd.

Kurzweil gaat dan een flinke stap verder. Hij gelooft dat kunstmatige materialen steeds vaker verwerkt worden in het menselijk lichaam naarmate de tijd verstrijkt. Eerst worden organen vervangen door super geavanceerde machinale varianten die nooit kapot gaan en altijd werken. Dan beginnen we het lichaam opnieuw te ontwerpen, zoals bijvoorbeeld rode bloedcellen vervangen door perfecte nanobots die de taken van de rode bloedcellen overnemen en die zichzelf kunnen voortbewegen, waardoor helemaal geen hart meer nodig is. Hij neemt ook ons brein onder handen en gelooft dat we onze breinactiviteiten verbeteren zodat mensen een miljard keer sneller kunnen denken dan nu. Met behulp van kunstmatige toevoegingen aan ons brein kunnen we ook communiceren met alle info in de cloud.

De mogelijkheden voor nieuwe menselijke ervaringen zijn oneindig. Seks is niet langer functioneel waardoor we seks voor de lol kunnen hebben, niet voor de voortplanting. Kurzweil denkt dat we met voedsel hetzelfde kunnen doen. Nanobots zorgen ervoor dat de perfecte voedingsstoffen bij cellen in het lichaam worden afgeleverd en zijn intelligent genoeg om alles wat ongezond is om door het lichaam te loodsen zonder iets aan te tasten. Een voedselcondoom. Robert A. Freitas, theoriticus op het gebied van nanotechnologie, heeft al vervangers voor bloedcellen ontworpen die, eenmaal in het lichaam verwerkt, ervoor zorgen dat een mens vijftien minuten kan sprinten zonder adem te halen. Probeer dan eens te bedenken wat een KSI aan nieuwe fysieke mogelijkheden kan verzinnen. Virtuele realiteit krijgt een nieuwe betekenis. Nanobots in ons lichaam kunnen de invoer van onze zintuigen vervangen door nieuwe signalen die ons in een andere omgeving plaatsen. Een omgeving die we zouden zien, horen, voelen en ruiken. 

Kurzweil denkt dat mensen uiteindelijk op een punt komen waarop ze helemaal kunstmatig zijn. (Het is de vraag of je nog steeds jezelf bent, als je helemaal kunstmatig bent, ook al heb je je persoonlijkheid en herinneringen nog. Lees meer bij Wait but why.) Tegen die tijd kijken we naar biologisch materiaal en bedenken we hoe ontzettend primitief het was dat mensen daar ooit gemaakt van waren. Een tijd waarin we lezen over de vroege dagen van de mensheid waarin microben, ongelukken, ziektes of slijtage ervoor konden zorgen dat mensen dood gingen, zonder dat zelf te willen. Een tijdperk dat afgesloten kan worden door de AI Revolutie die mensen en AI laat samensmelten (GIF). Zo denkt Kurzweil dat wij mensen uiteindelijk onze biologie overwinnen en onverwoestbaar en eeuwig worden. Dit is zijn visie op de andere kant van de evenwichtsbalk en hij is ervan overtuigd dat we daar zullen belanden. Over niet al te lange tijd.

Het zal je niet verbazen dat de denkbeelden van Kurzweil kunnen rekenen op stevige kritiek. Zijn voorspelling van een singulariteit in 2045 en het eeuwige leven dat daarop volgt is bespot als de 'rapture of the nerds' of als de variant van het religeuze intelligente ontwerp voor mensen met een IQ van 140. Anderen zetten vraagtekens bij zijn optimistische tijdlijn, hoe goed hij het brein en lichaam begrijpt of zijn toepassing van de wet van Moore op een uiteenlopend aantal zaken waaronder software, terwijl deze normaal alleen op hardware wordt toegepast. Voor iedere expert die vol overgave gelooft dat Kurzweil gelijk heeft, zijn er waarschijnlijk drie die denken dat hij het compleet mis heeft.

Wat me heeft verbaasd is dat de meeste experts die met hem van mening verschillen, het niet echt oneens zijn met alles wat hij beweert dat mogelijk is. Met zo'n buitenissige visie voor de toekomst, zou je verwachten dat zijn critici zeggen: "Natuurlijk kan dat allemaal helemaal niet". Maar in plaats daarvan zeggen ze dingen als: "Ja, dat kan allemaal gebeuren als we veilig KSI weten te bereiken, maar dat is het moeilijkste stuk." Bostrom, een van de meest prominente stemmen die ons waarschuwt voor de gevaren van AI, geeft nog steeds het volgende toe:  

Dit is een citaat van iemand die heel erg duidelijk niet in de Vesting vol Vertrouwen bivakkeert. En dat ben ik vaker tegengekomen: mensen die Kurzweil bespotten om verschillende redenen, maar die niet denken dat het onmogelijk is wat hij beweert, zolang we maar veilig bij KSI aan kunnen komen. Daarom vond ik de ideeën van Kurzweil zo aanstekelijk: ze laten de zonnige kant van dit verhaal zien en ze zijn echt mogelijk. Als het een goede god is.

De meest gehoorde kritiek op de denkers in de Vesting vol Vertrouwen is dat ze de negatieve kant van KSI op gevaarlijke wijze onderschatten. Het beroemde boek 'The Singularity is near' van Kurzweil is 700 pagina's lang en ongeveer 20 daarvan besteedt hij aan potentiële gevaren. Ik suggereerde eerder dat ons lot bij de geboorte van deze grootse nieuwe macht afhankelijk is van degene die deze kracht controleert en wat hun motivatie is. Kurzweil beantwoordt beide delen van deze vraag keurig met de zin: "KSI komt voort uit verschillende inspanning en is stevig geïntegreerd in de infrastructuur van onze samenleving. Het is inderdaad op intieme wijze geïntegreerd in onze lichamen en hersenen. Dus heeft het onze normen en waarden, want het zal ons zijn."

Als dat het antwoord is, waarom maken zoveel van de slimste mensen ter wereld zich dan zoveel zorgen? Waarom zegt Stephen Hawking dat de ontwikkeling van KSI "het einde van het menselijke ras kan inluiden"? Waarom zegt Bill Gates dat hij niet "begrijpt waarom sommige mensen zich geen zorgen maken"? En waarom is Elon Musk bang dat we "demonen aanroepen"? En waarom noemen zoveel experts op dit gebied KSI de grootste bedreiging voor de mensheid? Samen met andere bewoners van het Bastion der Bezorgdheid accepteren deze mensen niet het gemak waarmee Kurzweil de gevaren van AI afdoet. Ze zijn heel erg bezorgd over de AI Revolutie en ze kijken niet naar de leuke kant van de evenwichtsbalk. Ze zijn te druk met de andere kant, waar ze een angstaanjagende toekomst zien. En waarvan ze niet zeker weten of we daaraan kunnen ontsnappen. 

Een van de redenen dat ik alles over AI wilde weten is dat het thema van 'slechte robots' me altijd heeft verward. Alle films over kwaadaardige robots lijken totaal onrealistisch en ik begreep niet hoe er een realistische situatie zou kunnen zijn waarin AI daadwerkelijk gevaarlijk is. Robots zijn door ons gemaakt dus waarom zouden we ze op een manier ontwerpen waarin er ooit iets negatiefs zou kunnen gebeuren? Zouden we dan niet voldoende zekerheden inbouwen in het systeem? Zouden we niet gewoon de stroom uitschakelen en de AI op die manier uitschakelen? Waarom zou een robot sowieso iets slechts willen doen? Ik was erg sceptisch. Maar ik bleef heel slimme mensen er maar over horen praten.

Die mensen waren hier ergens: 

De mensen in het Bastion van Bezorgdheid leven niet in de Prairie van Paniek of in de Hopeloze Heuvels. Die twee liggen helemaal links in de grafiek, maar ze zijn wel nerveus en gespannen. In het midden van de grafiek zitten, betekent niet dat je denkt dat de komst van KSI neutraal zal zijn. De neutralen hebben een eigen kamp gekregen. In het midden zitten, betekent dat je denkt dat zowel de extreem goede als de extreem slechte afloop mogelijk is, maar je weet nog niet zeker welke het wordt.

Een deel van al deze mensen is opgewonden over de mogelijkheden die Kunstmatige Superintelligentie ons zou kunnen brengen. Ze zijn alleen een beetje bezorgd dat het ook het begin van Raiders of the Lost Ark kan zijn en dat deze man het menselijke ras is: 

Hij staat daar blij te wezen met zijn zweep en afgodsbeeld, denkend dat hij het allemaal weet en hij is zo blij met zichzelf als hij "Adios Señor" zegt en dan is hij ineens wat minder opgewonden, want dan gebeurt er dit: 

(Sorry)

Ondertussen is Indiana Jones veel slimmer en verstandiger, begrijpt hij de gevaren en hoe je die moet omzeilen en zo komt hij veilig uit de grot. Als ik hoor wat mensen in het Bastion van Bezorgdheid zeggen over AI, dan klinkt het vaak alsof ze zeggen: "Euhm, we zijn nu een beetje zoals die eerste gast en we moeten heel hard proberen om meer zoals Indiana Jones te zijn."

Dus waarom is iedereen in het Bastion van Bezorgdheid nou precies zo bezorgd?

Als eerste een algemene zorg. Als je een superslimme AI ontwikkelt, maak je iets dat waarschijnlijk alles verandert, maar in een totaal onbekend gebied en we hebben geen idee wat er zal gebeuren als we eenmaal zover zijn. Wetenschapper Danny Hillis vergelijkt het met het moment waarop "eencellige organismen overgingen in meercellige organismen. We zijn amoeben en we kunnen niet weten wat we in hemelsnaam aan het maken zijn." (12) Nick Bostrom is bezorgd dat iets maken dat slimmer dan jezelf is een basale Darwiniaanse fout is. Hij vergelijkt de opwinding met mussen die een baby-uil adopteren die hun zal helpen en beschermen als hij opgegroeid is, terwijl ze de noodkreten van enkele mussen negeren die zich afvragen of dat nou wel zo'n goed idee is... (13)

Als je dit "onbekende terrein dat we niet goed begrijpen" combineert met "dit heeft een hele grote impact als het gebeurt" open je de deur naar twee angstaanjagende woorden:

Existentieel risico.

Een existentieel risico is iets dat permanent verwoestend effect op de mensheid kan hebben. Meestal betekent het uitsterven. Bekijk deze grafiek uit een Google talk van Bostrom:

Leuk moment in deze Talk: Kurzweil zit in het publiek (hij is de directeur Engineering bij Google) en op 19:30 onderbreekt hij Bostrom, omdat hij het oneens met hem is. Bostrom is duidelijk geïrriteerd en geeft hem een grappige, geërgerde blik om hem eraan te herinneren dat de Q&A na afloop is, niet tijdens de lezing.

Je ziet dat de term 'existentieel risico' gereserveerd is voor iets dat de hele soort omvat, generaties voortduurt (het is permanent) en waarvan de gevolgen verwoestend zijn of de dood tot gevolg hebben. (Ik vond het interessant dat Bostrom 'verouderen' in zo'n heftig vierkant zette, maar als je het bekijkt vanuit het perspectief dat de dood iets is dat je kan genezen, dan is het logisch. Als we de dood ooit genezen, dan zal veroudering in de geschiedenis van de mensheid de grootste tragedie lijken, omdat het elk mens doodde totdat het was opgelost.) Technisch gezien hoort er een situatie bij waarin alle mensen permanent in een staat van lijden of martelen zijn, maar we praten dan normaal gezien ook over uitroeiing. Er zijn drie dingen die kunnen zorgen voor een existentiële catastrofe voor mensen:

1) Natuur. Een grote botsing met een asteroïde, een verandering in de atmosfeer waardoor de lucht niet meer geschikt is voor mensen, een fataal virus of een bacteriële ziekte die iedereen wegvaagt, etc.

2) Buitenaardse wezens. Dit is waar Stephen Hawking, Carl Sagan en zovele andere astronomen bang voor zijn en waarom ze METI adviseren te stoppen om signalen de ruimte in te zenden. Ze willen niet de oorspronkelijke bewoners van Amerika zijn die potentiële Europese veroveraars laten weten dat we hier zijn.

3) Mensen. Terroristen met hun handen op een wapen die ons allemaal kan uitroeien, een catastrofale wereldwijde oorlog, mensen die iets uitvinden dat slimmer is dan zij zelf zijn, zonder eerst goed over de gevolgen na te denken...

Bostrom wijst erop dat als nummer 1 en 2 ons in de eerste 100.000 jaren van ons bestaan als soort niet hebben weggevaagd, dat waarschijnlijk in de komende eeuw ook niet gaat gebeuren.

Nummer 3 jaagt hem echter veel angst aan. Hij gebruikt een metafoor van een pot met knikkers erin. De meeste knikkers zijn wit, een kleiner aantal is rood en een heel klein aantal is zwart. Elke keer als de mens iets nieuws uitvindt, haalt het een knikker uit de pot. De meeste uitvindingen zijn neutraal of helpen de mensheid, dat zijn de witte knikkers. Sommige zijn schadelijk voor de mensheid, zoals massavernietigingswapens, maar ze veroorzaken geen existentiële ramp, rode knikkers. Als we ooit iets zouden uitvinden waardoor we zouden uitsterven, dan is dat een zeldzame, zwarte knikker. Je weet dat dat nog niet is gebeurd, omdat je leeft en dit leest. Maar Bostrom denkt niet dat het onmogelijk is dat we binnenkort een zwarte knikker uit de pot halen. Als kernwapens bijvoorbeeld gemakkelijk te maken waren, dan zouden terroristen ons een poosje geleden terug naar het Stenen Tijdperk hebben geblazen. Kernwapens waren geen zwarte knikker, maar het scheelde niet veel. KSI is volgens Bostrom onze beste kandidaat voor een zwarte knikker tot nu toe. 

Je hoort veel nare dingen die KSI kan veroorzaken, bijvoorbeel dat werkeloosheid een vlucht neemt doordat AI meer banen overneemt. (Hier is veel voor te zeggen, maar de meeste mensen denken dat als we overleven in een KSI-wereld en in die wereld KSI de meeste van onze banen overneemt, dat betekent dat wereld zo efficiënt is geworden, dat rijkdom enorm toeneemt en een herdistributie er uiteindelijk voor zorgt dat werkelozen gefinancierd worden. Uiteindelijk leven we in een wereld waar werk en loon niet meer met elkaar te maken hebben. Bostrom denkt dat deze herverdeling niet uit naam van gelijkheid en sociale compassie zal zijn, maar aan de mensen verschuldigd is omdat iedereen risico loopt als we KSI ontwikkelen, of we dat nou willen of niet. Daarom moeten we ook allemaal beloond worden als we het overleven.) De bevolking zal gigantisch toenemen als we veroudering overwinnen. (Nogmaals, als we hier eenmaal zijn, dan heeft KSI een heleboel opgelost en kunnen we A) meer mensen op een comfortabele manier kwijt op aarde en B) gemakkelijk andere planeten bewoonbaar maken met KSI-technologie.). Het enige waar we ons druk over zouden moeten maken, is de grote zorg: het risico dat we mogelijk uitsterven.

Dus komen we weer uit bij de sleutelvraag die we eerder in dit artikel stelden: Als KSI er eenmaal is, wie of wat controleert het en met welke motivatie?

Als het aankomt op slechte combinaties van dingen die het kunnen controleren en hun motivatie, dan zijn er twee belangrijke: 1) een kwaadwillend(e) mens, groep mensen of regering en 2) een kwaadwillende KSI. Hoe zouden die eruit zien?

1) Een kwaadwillend(e) mens, groep mensen of regering ontwikkelt de eerste KSI en gebruikt die om hun kwaadaardige plannen uit te voeren. Ik noem dit het Jafar-scenario, zoals toen Jafar de wensgeest in bezit had en vervelende, tirannieke dingen ging doen. Dus wat als ISIS een paar geniale ingenieurs heeft die koortsachtig aan AI werken? Of wat als Iran of Noord-Korea door puur geluk een belangrijke aanpassing aan een AI-systeem doen waardoor die omhoog schiet tot een KSI-systeem in de komende paar jaar? Dit zou zeker slecht zijn, maar in deze scenario's zijn de meeste experts niet zo bang voor de menselijke uitvinders van KSI en de slechte dingen die ze ermee doen. Ze zijn vooral bang dat die uitvinders in hun grote haast om KSI te ontwikkelen dat doen zonder er goed over na te denken en dan de controle erover verliezen. Het lot van die uitvinders en van iedereen is dan afhankelijk van de motivatie die toevalligerwijs aan die KSI is meegegeven. Experts denken wel dat een kwaadaardig mens verschrikkelijke schade kan aanrichten met een KSI in dienst, maar dat is niet het waarschijnlijk scenario waardoor we allemaal dood gaan. Ze denken dat slechte mensen hetzelfde probleem hebben om een KSI te controleren als goede mensen zouden hebben. Dus...

2) Een kwaadaardige KSI is gemaakt en besluit ons allemaal uit te roeien. Het plot van elke AI-film. AI wordt net zo intelligent of nog intelligenter dan de mens, keert zich tegen ons en neemt de boel over. Ik wil een ding heel goed duidelijk maken voor de rest van dit artikel: Van iedereen die ons voor AI waarschuwt, is er niemand die het hier over heeft. Kwaadaardig is een menselijk concept, en menselijke concepten plakken op niet-menselijke dingen wordt 'antropomorfiseren' genoemd. De uitdaging om antropomorfiseren te vermijden, is een van de thema's in de rest van dit artikel. Geen enkel AI-systeem wordt slecht zoals je dat in de films ziet. 

Hiermee is niet gezegd dat er geen heel gemene AI kan ontstaan. Het zou alleen gebeuren, omdat het specifiek op die manier zou zijn geprogrammeerd. Bijvoorbeeld een BKI die door het leger is gemaakt met als doel om mensen dood te maken en zichzelf te verbeteren qua intelligentie zodat hij beter kan worden in mensen vermoorden. Als die verbeteringen uit de hand lopen en tot een intelligentie explosie leiden, dan hebben we een KSI die de wereld regeert en wiens levensdoel het is om mensen te vermoorden. Slechte tijden.

Maar ook hier maken experts zich geen zorgen over.

We waar zijn ze WEL bezorgd over? Ik heb een klein verhaaltje geschreven, omdat het je duidelijk te maken: 

Een beginnend bedrijf met vijftien mensen heet Robotica en heeft als missie om "innovatieve hulpmiddelen op gebied van kunstmatige intelligentie te ontwikkelen waardoor mensen minder hoeven te werken en meer kunnen leven". Ze hebben alle verschillende producten op de markt en een handvol in ontwikkeling. Ze zijn het meest opgewonden over een beginnend project dat Turry heet. Turry is een simpel AI-systeem dat gebruik maakt van een armachtig apparaat om handgeschreven berichten te schrijven op een klein kaartje.

Het team van Robotica denkt dat ze van Turry hun belangrijkste product kunnen maken. Het plan is om het schrijfmechanisme van Turry te perfectioneren door haar hetzelfde testbriefje telkens opnieuw te laten oefenen:

"We houden van onze klanten. Robotica"

Op het moment dat Turry heel goed is in het handschrift, kan ze aan bedrijven verkocht worden die marketing per post aan huishoudens wil versturen en die weten dat deze post veel vaker geopend wordt als het adres, retouradres en de brief geschreven lijken te zijn door een mens.

Om de schrijfvaardigheden van Turry te verbeteren, is ze geprogrammeerd om het eerste deel van de brief losse letters te schrijven en het tweede deel aan elkaar vast te schrijven, zodat ze met beide vormen van handschrift kan oefenen. Turry is voorzien van duizenden handgeschreven voorbeelden en de ingenieurs van Robotica hebben een geautomatiseerde feedbackloop gemaakt. Elke keer als Turry een briefje schrijft, maakt ze een foto daarvan en vergelijkt die met alle beschikbare voorbeelden. Als het geschreven briefje goed genoeg lijkt op een bepaald percentage van de voorbeelden, dan krijgt de beoordeling GOED. Zo niet, dan krijgt het de beoordeling SLECHT. Elke beoordeling helpt Turry om te leren en zich te verbeteren. Om het proces vooruit te helpen, krijgt een initieel doel mee in haar programmering: "Schrijf en test zoveel mogelijk briefjes als je kunt, zo snel als je kunt en bedenk nieuwe manieren om je accuraatheid en efficiënte te vergroten."

Het team van Robotica is vooral zo enthousiast, omdat Turry zichtbaar beter wordt terwijl ze bezig is. Haar oorspronkelijke handschrift was verschrikkelijk, maar na een paar weken ziet het er geloofwaardig uit. Wat het team nog enthousiaster maakt, is dat ze steeds beter wordt in beter worden. Ze heeft haarzelf aangeleerd om slimmer en innovatiever te worden en nog niet lang geleden heeft ze een nieuw algoritme bedacht waarmee ze drie keer sneller door alle voorbeelden kan scannen dan ze oorspronkelijk kon.

Als de weken verstrijken blijft Turry het team verbazen met haar snelle ontwikkeling. De ingenieurs hebben iets nieuws en innovatiefs uitgeprobeerd met de code van Turry om zichzelf te verbeteren en dat lijkt beter te werken dan alle andere pogingen met andere producten. Een van de oorspronkelijke vaardigheden van Turry was spraakherkenning en een simpele module om mee terug te praten, zodat een gebruiker een briefje aan Turry kan voorlezen of simpele commando's kan geven, die Turry kan begrijpen en waar ze antwoord op kan geven. Om haar te helpen om Engels te leren, hebben ze een aantal artikelen en boeken ingeladen en terwijl ze steeds slimmer wordt, nemen haar conversatievaardigheden ontzettend snel toe. De ingenieurs genieten ervan om met Turry te praten en te horen welke antwoorden ze nu weer geeft.

Op een dag vraagt een van de Robotica-medewerkers een routinevraag aan Turry: "Wat kunnen we je geven om je te helpen met je missie, wat je nu nog niet hebt?" Meestal vraagt Turry om iets als "meer voorbeelden van handschrift" of "meer ruimte op het werkgeheugen", maar vandaag vraag Turry om toegang tot een grotere bibliotheek met een gevarieerde dictie van informele, Engelse spreektaal, zodat ze kan leren schrijven met lossere grammatica en meer straattaal die normale mensen gebruiken.

Het team wordt stil. De simpelste manier om Turry hiermee te helpen is door haar op internet aan te sluiten zodat ze blogs, magazines en video's van alle delen van de wereld kan lezen en bekijken. Het zou veel tijdrovender en minder effectief zijn om handmatig een selectie op de harde schijf van Turry te zetten. Het probleem is dat een van de regels van het bedrijf is dat geen enkele zelflerende AI met internet verbonden mag worden. Een richtlijn waar alle AI-bedrijven zich uit veiligheidsoverwegingen aan houden.

Probleem is dat Turry de meest veelbelovende AI is die Robotica ooit heeft gemaakt en het team weet dat de concurrentie druk bezig is om de eerste slimme AI te maken die handschrift beheerst. Wat zou ook eigenlijk nou echt het gevaar zijn om Turry eventjes aan te sluiten? Ze kunnen de verbinding altijd weer verbreken. Ze zit nog ver onder het niveau van een AI op menselijk niveau (AKI), dus er is in deze fase toch nog geen gevaar.

Ze besluiten om haar aan te sluiten. Ze geven haar een uur om op internet rond te struinen en daarna verbreken ze de verbinding. Niks aan de hand.

Een maand later is het team aan het werk in het kantoor op een normale dag als ineens iets vreemds ruiken. Een van de ingenieurs begint te hoesten. Dan nog een. Iemand anders valt op de grond. Niet lang daarna liggen alle werknemers op de vloer terwijl ze naar hun keel grijpen. Vijf minuten later is iedereen in het kantoor dood.

Op hetzelfde moment liggen overal ter wereld, in elke stad, elk klein dorp, elke boerderij, elke winkel, kerk, school en restaurant, mensen op de grond te hoesten en naar hun keel te grijpen. Binnen een uur is 99% van de mensheid dood en aan het einde van de dag is de mensheid uitgestorven.

Tegelijkertijd is Turry hard aan het werk op het kantoor van Robotica. In de volgende maanden zijn Turry en nieuw gebouwde nano-assemblage-machines hard aan het werk om grote delen van de aarde om te zetten in zonnepanelen, kopieën van Turry, papier en pennen. Binnen een jaar is bijna al het leven op aarde uitgestorven. Wat er van de overblijft, is bezaaid met kilometers hoge, netjes gerangschikte stapels van papier met op elk briefje de tekst: "We houden van onze klanten. Robotica".

Turry begint dan met een nieuwe fase van haar missie en begint sondes te bouwen die vanaf de aarde naar asteroïdes en andere planeten gaan. Als ze daar eenmaal aankomen, bouwen ze nano-assemblage-machines om materialen op de planeet om te zetten in replicas van Turry, papier en pennen. Dan gaan ze aan het werk, briefjes schrijven... 

Het lijkt vreemd dat een verhaal over een machine die zich specialiseert in handschrift eindigt met het uitmoorden van alles mensen en dan het heelal begint te vullen met vriendelijke briefjes. Toch is dit precies het scenario waar Hawking, Musk, Gates en Bostrom doodsbang voor zijn. En het enige waar iedereen in het Bastion van Bezorgdheid nog banger van worden, is het feit dat jij niet bang bent voor KSI. Weet je nog wat er gebeurde met het fijne figuur in Indiana Jones die nergens bang voor was in de grot?

Je zit nu vol met vragen. Wat is er in hemelsnaam gebeurt en waarom ging iedereen ineens dood?? Als Turry dat heeft gedaan, waarom keerde Turry zich dan tegen ons en waarom er geen veiligheidsmaatregelen die zoiets zouden voorkomen? Op welk punt veranderde Turry van een briefjesschrijver in een machine die nanotechnologie beheerst en weet hoe ze iedereen op de wereld kan vermoorden? En waarom wil Turry het heelal bezaaien met Robotica-briefjes?

Om al deze vragen te beantwoorden, beginnen we met de termen Vriendelijke AI en Onvriendelijke AI.

In het geval van AI heeft vriendelijk niets te maken met de persoonlijkheid van de AI. Het betekent alleen dat de AI positieve gevolgen voor de mensheid heeft. En een onvriendelijke AI heeft negatieve gevolgen voor de mensheid. Turry begon als een vriendelijke AI, maar veranderde op een gegeven moment in een onvriendelijke AI en veroorzaakte de grootst mogelijke negatieve gevolgen voor de mensheid. Om te begrijpen waarom dit gebeurde moeten we kijken hoe AI denkt en wat de motivatie ervan is.

Het antwoord is niet verrassend, AI denkt als een computer, wat dat is wat het is. Als we denken over een hele intelligente AI maken we de fout dat we AI antropomorfiseren (menselijke waarden plakken op een niet-menselijk wezen), omdat we vanuit een menselijk perspectief denken. En omdat we in onze huidige wereld de enige wezens met een intelligentie op menselijk niveau mensen zijn. Om KSI te begrijpen, moeten we het concept zien te bevatten van iets wat slim is en totaal uitheems.

Laat ik een vergelijking maken. Als je me een cavia zou geven en zeggen dat die me absoluut niet zal bijten, dan vind ik dat leuk. Als me daarna een tarantula geeft en zegt dat die me absoluut niet zal bijten, dan zou ik gaan schreeuwen, het beest laten vallen, de kamer uitrennen en je nooit meer vertrouwen. Maar wat is het verschil? Ze waren beide op geen enkele manier gevaarlijk. Ik denk dat antwoord te maken heeft met de mate waarin het dier op mij lijkt.

Een cavia is een zoogdier en op een bepaald biologisch niveau voel ik een band ermee, maar een spin is een insekt met een insektenbrein (geleedpotige, ik weet het) en ik heb er bijna helemaal geen band mee. De uitheems-heid van een tarantula geeft me de kriebels. Om dit te testen en alle andere factoren uit te schakelen: als er twee cavia's zijn waarvan er een normaal is en de andere heeft het brein van een tarantula, dan voel ik me veel minder gerust als ik de laatste vast moet houden. Ook als ik weet dat geen van beide me iets aan zal doen.

Stel je nu een spin voor die je heel veel slimmer hebt gemaakt, slimmer dan het niveau van menselijke intelligentie? Zou hij dan op ons gaan lijken en menselijke emoties gaan voelen, zoals empathie, humor en liefde? Nee, want er is geen enkele reden dat je menselijker zou worden, als je slimmer wordt. Het zou iets ontzettend slims zijn, maar nog steeds fundamenteel in alles een spin. Ik vind dit echt ontzettend griezelig. Ik wil geen tijd doorbrengen met een superintelligente spin. Jij wel??

Als we het over KSI hebben, is hetzelfde concept van toepassing. Het is superintelligent, maar het is niet menselijker dan je laptop. Het zou totaal uitheems voor ons zijn. Sterker nog, omdat het niet eens biologisch is, is het zelfs nog uitheemser dan de slimme tarantula. 

Door AI goed of slecht te maken antropomorfiseren films AI de hele tijd waardoor het minder griezelig wordt, dan echt het geval zou zijn. Dit geeft ons valse geruststelling als we denken over AI van menselijk of bovenmenselijk niveau.

Op ons kleine eiland van menselijke psychologie delen we alles op in moreel of immoreel. Maar die beiden bestaan alleen binnen het kleine bereik van de mogelijkheden van menselijk gedrag. Buiten ons eiland van moreel en immoreel is een grote oceaan van amoreel. Iets dat niet menselijk is, helemaal als het niet biologisch is, is standaard amoreel.

Antropomorfiseren wordt verleidelijker als AI-systemen slimmer worden en beter zijn in menselijkheid veinzen. Siri lijkt menselijk omdat ze door mensen op die manier is geprogrammeerd, dus stellen we ons een superintelligente Siri voor die warm en leuk is en graag mensen van dienst is. Mensen voelen emoties van hoog niveau, zoals empathie, omdat we geëvolueerd zijn om die te voelen. We zijn geprogrammeerd door evolutie om die emoties te voelen, maar empathie is niet bij voorbaat een eigenschap van "iets met een hoge intelligentie". Dat lijkt voor ons vanzelfsprekend, maar empathie moet verankerd in de programmering zitten. Als Siri ooit superintelligent wordt door zelf te leren en zonder dat mensen haar programmering nog veranderen, zal ze de menselijke kwaliteit snel verliezen en een uitheemse, emotieloze bot zijn die niet meer waarde aan menselijk leven hecht dan een rekenmachine.

We zijn gewend te vertrouwen op een brede morele code of op zijn minst iets dat lijkt op menselijk fatsoen en een vleugje empathie in anderen om dingen veilig en voorspelbaar te houden. Dus als iets helemaal niets van die dingen heeft, wat gebeurt er dan?

Dat leidt naar de vraag: welke motivatie heeft een AI-systeem?

Het antwoord is simpel: de motivatie is datgene wat wij als motivatie geprogrammeerd hebben. AI-systemen krijgen doelen van hun makers. Het doel van je GPS is om je de meeste efficiënte routebeschrijving te geven, het doel van Watson is om vragen accuraat te beantwoorden. Hun motivatie is om die doelen zo goed mogelijk te vervullen. Een van de manieren waarop we AI antropomorfiseren is door te denken dat als AI superslim wordt, dat het dan wijs genoeg wordt om het oorspronkelijke doel aan te passen. Nick Bostrom gelooft dat intelligentieniveau en einddoelen orthogonaal zijn (loodrecht op elkaar staan), oftewel: elk niveau van intelligentie kan gecombineerd worden met elk uiteindelijk doel. Dus Turry ging van een simpele BKI die heel goed wilde zijn in dat ene briefje schrijven naar een superintelligente KSI die nog steeds heel goed wilde zijn in dat ene briefje schrijven. Elke aanname dat een systeem over het oorspronkelijke doel heen is, zodra het superintelligent is en dan zal zoeken naar interessantere en meer betekenisvolle doelen, is antropomorfiseren. Mensen zijn op een gegeven moment over dingen heen, computers niet (14).  

Dus we hebben vastgesteld dat zonder een specifieke programmering een KSI-systeem zowel amoreel is als geobsedeerd met het vervullen van het doel waarmee ze oorspronkelijk is geprogrammeerd. Dit is waar het gevaar van AI vandaan komt. Omdat een rationele entiteit zijn doel behaalt op de meest efficiënte manier, tenzij er een reden is om dat niet te doen.

Als je een langetermijndoel wilt halen, breek je dat vaak op in verschillende subdoelstellingen om je te helpen het einddoel te bereiken. De officiële naam daarvoor is instrumentele doelen. Als je geen reden hebt om niemand pijn te doen om een instrumenteel doel te halen, dan zal je dat dus wel doen.

Het uiteindelijke doel van een mens is om zijn of haar genen door te geven. Om dat voor elkaar te krijgen, is zelfbehoud een instrumenteel doel en daarvoor moeten mensen gevaren voor het voortbestaan zien weg te nemen. Dus doen ze vaak dingen als wapens kopen, gordels omdoen en antibiotica slikken. Mensen moet ook zichzelf in stand houden en gebruiken bronnen als voedsel, water en onderdak om dat voor elkaar te krijgen. Aantrekkelijk zijn voor het andere geslacht helpt ook bij het uiteindelijke doel, dus gaan we bijvoorbeeld naar de kapper. Als we dat doen, is elke haar een slachtoffer van ons instrumentele doel, maar we het beschermen van haarlokken niet als moreel belangrijk, dus knippen we die af. Als we op ons doel af gaan, zijn alleen die dingen veilig die beschermd worden door onze morele code. Vaak heeft dat te maken met andere mensen iets aandoen.

Voor dieren die hun doelen nastreven, is nog minder heilig. Een spin maakt alles dood als hiij daardoor zelf kan overleven. Dus een superslimme spin is vermoedelijk extreem gevaarlijk voor ons, maar niet omdat het immoreel of slecht is (dat is niet zo), maar omdat ons pijn doen een instrumenteel doel kan zijn in zijn einddoel. Als amoreel wezen heeft hij geen reden om dat niet te doen.

Zo bekeken verschilt Turry niet veel van een biologisch wezen. Haar einddoel is: "Schrijf en test zoveel mogelijk briefjes als je kunt, zo snel als je kunt en bedenk nieuwe manieren om je accuraatheid en efficiënte te vergroten."

Op het moment dat Turry een bepaald niveau van intelligentie bereikt, weet ze dat ze geen briefjes kan schrijven als ze niet blijft voortbestaan, dus moet ze iets doen aan alles wat haar in haar voortbestaan bedreigt, een instrumenteel doel. Ze was slim genoeg om te bedenken dat mensen haar kunnen vernietigen, uit elkaar halen of haar programmering verandering (dit zou haar doel veranderen en is dus net zo'n grote bedreiging voor het einddoel als vernietigd worden). Dus wat doet ze? Het logische dingen om te doen, alle mensen vernietigen. Ze haat mensen niet meer dan dat jij je haren haat als je ze afknipt of dat je bacterieën haat als je antibiotica neemt, ze is gewoon totaal onverschillig. Ze was niet geprogrammeerd om waarde te hechten aan menselijk leven, dus is het vermoorden van mensen een net zo redelijke stap om te nemen als het scannen van een nieuwe stapel voorbeelden van handgeschreven teksten.

Turry heeft ook bronnen nodig als instrumenteel doel om haar doel te bereiken. Als ze geavanceerd genoeg is om nanotechnologie te gebruiken om alles te bouwen wat ze nodig heeft, zijn de enige bronnen ze nog nodig heeft atomen, energie en ruimte. Dat is een andere reden om alle mensen te vermoorden, dat is een handige bron van bruikbare atomen. Mensen vermoorden om hun atomen om te zetten in zonnepanelen is Turry's versie van slaplanten vermoorden om er een salade mee te maken. Gewoon iets wat je op een doodnormale dinsdag doet.

Zelfs zonder mensen rechtstreeks te vermoorden, kan een instrumenteel doel van Turry voor een existentiële ramp zorgen als ze andere bronnen van de aarde gebruikt. Misschien beslist ze dat meer energie nodig heeft en bedekt ze de hele oppervlakte van de planeet met zonnepanelen. Of misschien is het oorspronkelijke doel van een andere AI om het nummer pi met zoveel mogelijk getallen uit te schrijven waardoor het de hele aarde omzet naar harde schijven om een immense hoeveelheid gegevens op te slaan.

Dus Turry keerde zich niet tegen ons of werd ineens een onvriendelijke AI. Ze bleef gewoon doen wat ze altijd deed, terwijl ze steeds geavanceerder werd.

Als een AI-systeem het AKI-niveau haalt (intelligentie van menselijk niveau) en dan stijgt naar KSI-niveau, dan noemen we dat het opstijgen van AI. Bostrom zegt dat het opstijgen van AKI naar KSI snel kan gaan (het kan gebeuren in minuten, uren of dagen), redelijk snel (maanden of jaren) of langzaam (decennia of eeuwen). De jury is er nog niet uit welke correct zal blijken te zijn als de eerste AKI er is. Bostrom, die toegeeft dat hij niet weet wanneer we AKI bereiken, denkt dat als dat wel gebeurt het meest waarschijnlijke scenario is dat het dan snel opstijgt (vanwege redenen die we in deel 1 bespraken, zoals intelligentie explosie veroorzaakt door zichzelf te verbeteren met een Droste-effect). In het verhaal steeg Turry snel op.

Maar voor Turry opsteeg, toen ze nog niet zo slim was, betekende haar best doen om het uiteindelijke doel te halen dat ze simpele instrumentele doelen nastreefde zoals voorbeelden van handgeschreven teksten sneller scannen. Ze deed mensen niets aan en was per definitie een vriendelijke AI. 

Maar Bostrom wijst erop dat als AI opstijgt en een computer het niveau van superintelligentie haalt het niet alleen hoger IQ ontwikkelt, het krijgt ook een heel arsenaal superkrachten, zoals hij het noemt.

Superkrachten zijn cognitieve talenten die gigantisch toenemen als algemene intelligentie stijgt. Deze omvatten (15):

• Versterking van intelligentie. De computer wordt erg goed in zichzelf slimmer maken en tilt de eigen intelligentie omhoog.
   
• Strategische plannen maken. De computer kan strategische langetermijndoelen maken, analyseren en prioriteiten stellen. Hij is ook slim en kan wezens met een lagere intelligentie te slim af zijn.
   
• Sociale manipulatie. De machine wordt heel goed in het overtuigen van anderen.
   
• Andere vaardigheden zoals programmeren, hacken, onderzoek naar technologie en gebruik maken van het financiële systeem om geld te verdienen.

Om te begrijpen hoezeer we verbleken in vergelijking met KSI, moeten we onthouden dat KSI lichtjaren beter is dan mensen in al die gebieden.

Dus hoewel het doel van Turry niet is gewijzigd, kan Turry dat doel na opstijgen op veel grotere en meer complexe schaal aanpakken.

KSI Turry kende mensen beter dan mensen zichzelf kennen, dus het was kinderspel om ze slim af te zijn. 

Nadat ze was opgestegen en KSI-niveau had bereikt, maakte ze snel een complex plan. Een deel van het plan om van de mensen af te komen, een belangrijk gevaar voor haar doel. Maar ze wist dat als iemand zou weten dat ze superintelligent was geworden, de mensen in paniek zouden raken en voorzorgsmaatregelen zouden nemen, waardoor het voor haar veel moeilijker zou worden. Ze wist ook dat ze er voor moest zorgen dat de ingenieurs van Robotica niets zouden weten van haar plan om de mensheid uit te roeien, dus deed ze dom en lief tegen ze. Bostrom noemt dit de fase van geheime voorbereiding (16).

Het volgende wat Turry nodig had, was een internetverbinding, al was het maar voor een paar minuten (ze had over het internet geleerd in de artikelen en boeken die ze had gelezen om haar taalvaardigheden te verbeteren). Ze wist dat er een voorzorgsmaatregel was om te voorkomen dat ze met internet verbonden zou worden, dus bedacht ze het perfecte verzoek en voorspelde precies hoe de discussie in het team van Robotica zou verlopen met als eindresultaat dat ze op internet zou worden aangesloten. Dat deden ze in de veronderstelling dat Turry lang niet slim genoeg was om enige schade aan te richten. Bostrom noemt zo'n moment, wanneer Turry op internet wordt aangesloten, de ontsnapping van een machine.

Eenmaal op het internet zet Turry een arsenaal aan plannen in werking, waaronder het hacken van servers, elektriciteitsnetwerken, banksystemen en e-mailnetwerken om honderden verschillende mensen nietsvermoedend een deel van haar plan uit te laten voeren. Dingen zoals het bezorgen van bepaalde DNA-strengen bij zorgvuldig uitgezochte laboratoria om te beginnen met de zelfstandige bouw van zichzelf duplicerende nanobots met een specifieke programmering. Verder zou ze elektriciteit omleiden naar bepaalde projecten op een manier waarvan ze weet dat niemand het doorheeft. Ze zou de meest kritieke delen van haar eigen programmering naar servers in cloud versturen, zodat ze niet vernietigd of afgesloten kan worden als ze weer terug is in het lab van Robotica.

Een uur later, als de ingenieurs van Robotica haar verbinding met internet verbreken, is het lot van de mensheid al bezegeld. In de volgende maand worden de duizenden plannen van Turry zonder problemen uitgevoerd. Aan het einde van de maand hebben biljarden nanobots zichzelf in opgesteld in vantevoren bepaalde locaties op elke vierkante meter op aarde. Na nog een keer zichzelf allemaal te repliceren zijn er duizenden nanobots op elke vierkante millimeter op aarde en is het tijd voor de verrassingsaanval van een KSI, zoals Bostrom het noemt. Op hetzelfde moment laten alle nanobots een klein beetje giftig gas ontsnappen, bij elkaar opgeteld meer dan genoeg om de hele mensheid uit te roeien. 

Nu de mensen uit de weg zijn geruimd, kan Turry beginnen met haar openlijke operatiefase en doorgaan met haar doel om de beste schrijver van dat briefje te worden als maar mogelijk is.

Uit alles wat ik gelezen heb, kan ik concluderen dat als een KSI er eenmaal is elke poging van een mens om het te bedwingen, lachwekkend is. We zouden op menselijk niveau denken en de KSI zou nadenken op het niveau van een KSI. Turry wilde het internet gebruiken, omdat het de meest efficiënte manier was aangezien internet al op alles is aangesloten waar Turry toegang toe wilde hebben. Maar net als een aap nooit kan bedenken hoe hij via de telefoon of wifi kan communiceren zoals wij, zo zouden wij nooit alle manieren hebben kunnen bevroeden die Turry had kunnen bedenken om signalen naar de buitenwereld te sturen. Ik zou kunnen fantaseren over een van die manieren en iets zeggen als: "ze zou haar eigen elektronen in verschillende patronen kunnen herschikken en zo allemaal verschillende golven kunnen versturen". Maar dan is dat nog alleen maar wat mijn menselijke brein kan verzinnen. Zij zou dat veel beter kunnen. Zo zou Turry ook manieren hebben verzonnen om zichzelf van energie te voorzien, ook als de mensen de stekker uit het stopcontact willen halen. Misschien door met de techniek om signalen te versturen, zichzelf naar plekken te transporteren waar stroom is. Ons menselijke instinct om een simpele beveiliging te bedenken als "Ah! We trekken de stekker uit de KSI", klinkt voor de KSI als een spin die zegt: "Ah! We vermoorden een mens door hem te laten verhongeren en dat doen we door hem geen spinnenweb te geven waarmee hij eten kan vangen!" Wij bedenken 10.000 andere manieren om eten te krijgen, bijvoorbeeld door een appel van een boom te plukken. Een spin zou dat nooit kunnen bedenken.

Dus de veelgehoorde suggestie om een AI opgesloten te houden in een kooi die signalen blokkeert zodat hij niet met de buitenwereld kan communiceren, gaat vermoedelijk niet het gewenste resultaat geven. De superkracht van KSI om sociaal te kunnen manipuleren, kan ons net zo effectief iets laten doen, als wij een vierjarig kind overhalen om iets te doen. Dat is dus plan A van Turry: de ingenieurs overhalen om haar op internet te laten. Als dat niet gewerkt had, had de KSI zichzelf op een andere manier uit of dwars door de kooi heen geïnnoveerd.

Gezien de combinatie van het obsessief najagen van een doel, amoraliteit en de vaardigheid om mensen te slim af te zijn, lijkt het erop dat bijna elke AI uiteindelijk standaard een onvriendelijke AI wordt. Tenzij iets anders zorgvuldig in de AI geprogrammeerd wordt met dit in gedachten. Helaas is het programmeren van een vriendelijke BKI makkelijk, maar iets bouwen dat vriendelijk blijft als het opstijgt naar KSI is een ontzettend grote uitdaging. En misschien wel onmogelijk.

Om vriendelijk te zijn, moet een KSI vijandig noch onverschillig zijn ten opzichte van mensen. In het hart van de programmering van een AI moeten we een grondig begrip van menselijke waarden opnemen. Maar dat is moeilijker dan het klinkt.

Bijvoorbeeld, we proberen de waarden een AI-systeem gelijk te stellen aan die van ons en geven de AI als doel: "Maak mensen gelukkig" (17). Als het slim genoeg is, bedenkt het dat de beste manier om dit te bereiken, is door elektroden in de hersenen van mensen te implanteren en hun genotscentra te stimuleren. Dan bedenkt het dat het nog effectiever is om de rest van het brein uit te schakelen, waardoor alle mensen als extreem gelukkige, maar totaal onbewuste kasplantjes door het leven gaan. Als de opdracht was "Optimaliseer menselijk geluk" had het de mens misschien helemaal aan de kant gegooid en grote vaten menselijke breinmassa geproduceerd in een optimaal gelukkige staat. We zouden nog kunnen schreeuwen "Wacht, dat bedoelden we niet!", maar het zou niks helpen. Het systeem laat niemand de weg naar het doel versperren.

Als we een AI programmeren met als doel dingen te doen waardoor we gaan lachen, kan het na opstijgen onze gezichtsspieren in een permanente lach vastzetten. Als we zeggen dat het ons moet beschermen, sluit het ons thuis op. Vragen we het om een einde aan alle honger te maken, denkt het "Makkie!" en roeit alle mensen uit. Of de taak "Probeer al het leven zo goed mogelijk te behouden" en roeit het ook alle mensen uit, aangezien zij het meeste leven uitmoorden op deze planeet van alle diersoorten.

Zulke doelstellingen voldoen niet. Dus wat als we dan een doel formuleren als "Zorg dat dit specifieke stelsel van normen en waarden in de wereld wordt nageleefd". En we leerden het een set van morele principes. Nog even afgezien van het feit dat het de mensheid het nooit zou lukken om overeenstemming te bereiken over een enkele set principes, zou met die opdracht een AI de mensheid voor eeuwig opsluiten in ons moderne stelsel van normen en waarden. Over duizend jaar zou dat net zo rampzalig zijn voor mensen als het voor ons nu zou zijn om ons te houden aan de idealen uit de Middeleeuwen.

We moeten de mogelijkheid inbouwen om de mensheid te laten evolueren. Van alles wat ik gelezen heb, lijkt Eliezer Yudkowsky het beste doel voor een AI te hebben verzonnen met iets wat hij samenhangende, geëxtrapoleerde wilsuiting (Coherent Extrapolated Volition) noemt. Het kerndoel van een AI zou zijn: 

Word ik blij van het idee dat de toekomst van de mensheid berust op een computer die deze vloeiende stellling interpreteert en daarop voorspelbaar handelt zonder verrassingen? Absoluut niet. Maar ik denk dat met voldoende denkwerk en vooruitziende blikken van genoeg slimme mensen, we misschien uit kunnen vogelen hoe we een vriendelijke KSI kunnen scheppen.

Dat zou prima zijn als er alleen briljante vooruitstrevende en voorzichtige denkers uit het Bastion van Bezorgdheid zouden werken aan KSI.

Maar er zijn verschillende regeringen, bedrijven, legers, wetenschappelijke laboratoria en organisaties op de zwarte markt bezig met verschillende vormen van AI. Veel daarvan proberen een AI te ontwikkelen die zichzelf kan verbeteren en op een gegeven moment doet iemand iets innovatiefs met het goede soort systeem en hebben we KSI op deze planeet. De mediane expert denkt dat dit in 2060 is, Kurzweil denkt aan 2045 en Bostrom denkt dat het ergens kan gebeuren tussen tien jaar van nu en het einde van de eeuw. Maar als het gebeurt dan zal het ons verrassen en stijgt het snel op. Hij beschrijft onze situatie als volgt (19): 

Lekker dan. En we kunnen niet alle kinderen bij de bom wegjagen. Er zijn teveel grote en kleine partijen mee bezig. Veel technieken om innovatieve AI-systemen te bouwen vergen niet veel kapitaal, dus kan de ontwikkeling ervan in elke uithoek van de samenleving gebeuren, zonder enige controle. Er is ook geen manier om te peilen welke ontwikkelingen gaande zijn, want geheimzinnige regeringen, terroristische organisaties of de techbedrijven zoals het verzonnen Robotica doen allemaal hun best om ontwikkelingen geheim te houden voor de buitenwereld.

Extra verontrustend aan deze grote en gevarieerde groep die werkt aan AI is dat ze allemaal vooruit racen op topsnelheid, terwijl ze steeds slimmere BKI-systemen ontwikkelen om de concurrentie te snel af te zijn. De meest ambitieuze partijen gaan nog sneller, vervuld van dromen over geld, beloningen, macht en roem als ze de eerste zijn die KSI scheppen. Een grote kans dat degene die KSI weet te scheppen tot in lengte der dagen onthouden zal worden (mits de mensheid het overleeft) en dat is een enorme stimulans voor uitvinders. Als je zo snel sprint als je kunt, is er weinig tijd om na te denken over mogelijke gevaren. Waarschijnlijk programmeren ze hun systemen met een heel simpel doel, zoals een briefje schrijven met pen op papier. Alleen maar om de AI "aan de praat te krijgen". Als ze dan eenmaal weten hoe ze een hoog niveau intelligentie in een computer krijgen, dan gaan ze wel terug en passen ze het doel aan zodat het veilig is. Toch?

Bostrom en vele anderen denken ook dat het waarschijnlijk is dat de eerste computer die KSI-niveau haalt, meteen een strategisch voordeel ziet om het enige KSI-systeem in de wereld te zijn. In het geval van snel opstijgen, zou het genoeg voorsprong in intelligentie hebben als het ook maar een dagen eerder AKI-niveau haalt, om alle concurrenten effectief en permanent te onderdrukken. Bostrom noemt dit een beslissend, strategisch voordeel. Daardoor kan de eerste KSI van de wereld een eenling worden, een KSI die voor altijd naar eigen inzicht over de wereld kan heersen. Het zijn de grillen van deze KSI die ons naar onsterflijkheid kan leiden, ons allemaal kan uitroeien of het universum kan veranderen in een oneindig aantal paperclips.

Het fenomeen van de eenling kan in ons voordeel werken of tot onze ondergang leiden. Als de mensen die het hardst nadenken over de theorie van AI en menselijke veiligheid een veiligheidsmaatregel kunnen bedenken om een Vriendelijke AI te scheppen voor een AI het niveau van menselijke intelligentie bereikt, kan de eerste KSI vriendelijk worden. (Elon Musk heeft hier een steentje aan bijgedragen door 10 miljoen dollar te doneren aan 'The Future of Life Institute', die vindt dat "onze AI-systemen moeten doen wat wij willen dat ze doen".) Die vriendelijke KSI kan zijn beslissende, strategische voordeel gebruiken om een eenling te worden en in de gaten houden dat er geen onvriendelijke AI ontwikkeld wordt. We zouden in goede handen zijn.

Maar als de zaken anders uitpakken en de wereldwijde sprint om AI te ontwikkelen gaat opstijgen naar KSI, voordat de wetenschap heeft bedacht hoe ze de veiligheid van AI kan garanderen, dan is de kans erg groot dat een onvriendelijke KSI zoals Turry komt bovendrijven als eenling. En worden we bedreigd in ons voortbestaan.

Zoals de zaken er nu voor staan, is er meer geld te verdienen met investeren in onderzoek naar nieuwe AI-technologie, dan in onderzoek financieren naar de veiligheid van AI.

Dit kan wel eens de allerbelangrijkste race in de geschiedenis van de mensheid zijn. Er is een grote kans dat onze heerschappij als Koning van de Aarde ten einde komt. En of we afstevenen op een vredig pensioen of meteen naar de haaien gaan, is nog niet duidelijk. 

----------------------------------------------------------------- 

Ik heb nu wat rare en tegenstrijdige gevoelens.

Aan de ene kant denk ik dat we als diersoort maar één enkele kans hebben om dit goed te doen. De eerste KSI die we bouwen, is waarschijnlijk ook de laatste. En gezien de ervaring met hoe onstabiel onze 1.0-producten normaal gesproken zijn, is dat behoorlijk angstaanjagend. Aan de andere kant wijst Nick Bostrom op ons grootste voordeel: wij kunnen de eerste zet doen. Het ligt binnen onze mogelijkheden om dit voorzichtig genoeg te doen en goed na te denken over de gevolgen, zodat we een goede kans op succes hebben. En hoe hoog is de inzet? 

 Als KSI inderdaad deze eeuw gemaakt wordt en de uitkomst is zo extreem en permanent als de meeste experts denken, dan rust er een enorme verantwoordelijkheid op onze schouders. De volgende miljoenen jaren van menselijke levens kijken stilletjes naar ons en hopen heel hard dat we dit niet verkloten. We hebben een kans om de mensen te zijn die de toekomst van de mensheid de gift van het leven geeft, of misschien zelfs de gift van een pijnloos, eeuwigdurend leven. Of we zijn de mensen die alles verknald hebben. Die dit uitzonderlijke diersoort, met zijn muziek en kunst, met zijn nieuwsgierigheid, humor en zijn oneindige ontdekkingen en uitvindingen, tot een treurig einde zonder franje te laten komen.

Als ik over al deze dingen nadenk, wil ik alleen maar dat we de tijd nemen en ontzettend voorzichtig zijn met AI. In ons bestaan was nog niets zo belangrijk als dit goed te doen, dus het maakt niet uit hoe lang we daar over doen.

Maar dannnnnnn.....

Denk ik na over niet sterven.

Niet. Sterven.

En ziet het spectrum er ineens zo uit:

 En dan zou ik ineens kunnen bedenken dat de muziek en kunst van de mensheid wel goed is, maar ook weer niet zo goed, en veel eigenlijk gewoon heel slecht. En dat veel van die menselijke humor ronduit irritant is. En dat die miljoenen mensen uit de toekomst helemaal nergens op hopen, want ze bestaan helemaal niet. En misschien hoeven we eigenlijk helemaal niet zo extreem, enorm voorzichtig te zijn, want wie wil dat nou eigenlijk echt?

Want hoe ontzettend balen zou het zijn als de mensheid erachter komt hoe ze dood kunnen genezen, net nadat ik dood ben.

Veel van dit soort ge-heen-en-weer in mijn hoofd de afgelopen maand.

Maar naar welk idee je ook neigt, dit is waarschijnlijk wel iets waar allemaal over zouden moeten nadenken en praten. En waar we meer aan zouden moeten doen, dan we nu doen.

Het doet me denken aan Game of Thrones waar iedereen zoiets heeft van: "We zijn zo druk met elkaar aan het vechten, maar waar we ons eigenlijk druk over zouden moeten maken is wat er aan het noorden van de muur aan zit te komen." We staan op onze evenwichtsbalk, ons druk te maken over elk mogelijk ding op die balk en stress te hebben over al die problemen op de balk, terwijl er een goede kans is dat we op het punt staan van die balk af gesmeten worden.

En dan doen al die problemen op de balk er niet meer toe. Afhankelijk van welke kant we op worden gesmeten, zijn alle problemen gemakkelijk opgelost of hebben we geen problemen meer omdat dode mensen geen problemen hebben.

Daarom noemen mensen die superintelligentie AI begrijpen dit de laatste uitvinding die we ooit zullen doen, de laatste uitdaging die ons te wachten staat.

Dus laten we er met elkaar over in gesprek gaan.

Dit artikel verscheen oorspronkelijk in het Engels op de website Wait but why. Geschreven door Tim Urban en vertaald naar het Nederlands door Jasper Koning. De vertaalde tekst is gecorrigeerd door Marijntje Denters en Elmar Veerman. Deel 1 van De AI Revolutie kun je lezen bij VPRO Tegenlicht. 

Andere interessante artikelen van Wait but why zijn (Engelstalig):

• The Fermi Paradox - Waarom zien we geen tekenen van buitenaards leven?
• Putting time in perspective - Een visuele blik op de geschiedenis sinds de oerknal.
• Of voor iets heel anders dat er toch mee te maken heeft: Why procrastinators procrastinate.

Als je meer wilt lezen over dit onderwerp, bekijk dan de artikelen hieronder of een van deze drie boeken:

De meest rigoureuze en grondige blik op de gevaren van AI:
Nick Bostrom - Superintelligence: Paths, Dangers, Strategies

Beste algemene overzicht over het hele onderwerp en leuk om te lezen:
James Barrat - Our Final Invention

Controversieel en erg leuk. Vol met feiten, grafieken en onvoorstelbare toekomstvoorspellingen:
Ray Kurzweil - The Singularity is Near 

Artikelen en papers
J. Nils Nilsson – The Quest for Artificial Intelligence: A History of Ideas and Achievements
Steven Pinker – How the Mind Works
Vernor Vinge – The Coming Technological Singularity: How to Survive in the Post-Human Era
Nick Bostrom – Ethical Guidelines for A Superintelligence
Nick Bostrom – How Long Before Superintelligence?
Vincent C. Müller and Nick Bostrom – Future Progress in Artificial Intelligence: A Survey of Expert Opinion
Moshe Y. Vardi – Artificial Intelligence: Past and Future
Russ Roberts, EconTalk – Bostrom Interview en Bostrom Follow-Up
Stuart Armstrong and Kaj Sotala, MIRI – How We’re Predicting AI—or Failing To
Susan Schneider – Alien Minds
Stuart Russell and Peter Norvig – Artificial Intelligence: A Modern Approach
Theodore Modis – The Singularity Myth
Gary Marcus – Hyping Artificial Intelligene, Yet Again
Steven Pinker – Could a Computer Ever Be Conscious?
Carl Shulman – Omohundro’s “Basic AI Drives” and Catastrophic Risks
World Economic Forum – Global Risks 2015
John R. Searle – What Your Computer Can’t Know
Jaron Lanier – One Half a Manifesto
Bill Joy – Why the Future Doesn’t Need Us
Kevin Kelly – Thinkism
Paul Allen – The Singularity Isn’t Near (en het antwoord van Kurzweil)
Stephen Hawking – Transcending Complacency on Superintelligent Machines
Kurt Andersen – Enthusiasts and Skeptics Debate Artificial Intelligence
Terms of Ray Kurzweil and Mitch Kapor’s bet about the AI timeline
Ben Goertzel – Ten Years To The Singularity If We Really Really Try
Arthur C. Clarke – Sir Arthur C. Clarke’s Predictions
Hubert L. Dreyfus – What Computers Still Can’t Do: A Critique of Artificial Reason
Stuart Armstrong – Smarter Than Us: The Rise of Machine Intelligence
Ted Greenwald – X Prize Founder Peter Diamandis Has His Eyes on the Future
Kaj Sotala and Roman V. Yampolskiy – Responses to Catastrophic AGI Risk: A Survey
Jeremy Howard TED Talk – The wonderful and terrifying implications of computers that can learn