Lieve CEO

Luis Rodil-Fernández (Gr1p) en Carmen van Vilsteren (TU/e)

"Een chip die vandaag in mijn baby wordt geïmplanteerd, kan over twintig jaar de bron van discriminatie van mijn kind zijn." [LRF]

Voor Lieve CEO koppelde Stichting Gr1p op verzoek van het VPRO Medialab enkele van de meest prominente denkers van het moment aan vertegenwoordigers van bedrijven en de overheid om te debatteren over wearables en media. Samen zoeken zij in een briefwisseling de ruwe randen op van wearable technologie en leggen de meest prangende controverses bloot.

Het is aan u, als lezer, om op basis van deze betogen uw positie ten opzichte van wearable technologie in te nemen.

in deze conversatie

Luis Rodil-Fernández, schrijft voor Stichting Gr1p en is kunstenaar, onderzoeker, docent en hacker. Carmen van Vilsteren, Director of Strategic Area Health aan de Technische Universiteit van Eindhoven (TU/e). 

Luis Rodil-Fernández

Zondag 24-09-2017 15:15

 

Beste Carmen,

Dit is een nieuwe vorm voor mij, dus ik hoop dat we een manier kunnen vinden om onze argumenten in zo’n korte tijd diepgaand te bespreken, via het onhandige medium dat e-mail is.

Ik ben geschoold in de kunsten. Ik heb ook compterwetenschappen gestudeerd en werk al enkele jaren als ingenieur. Misschien moet ik wat uitgebreider vertellen over mijn relatie met het bestuderen van het menselijk lichaam met behulp van sensors. In mijn artistieke werk gebruik ik biomedische apparatuur die direct met het lichaam communiceert, dus ik heb een zekere vertrouwdheid met het registreren van lichaamssignalen en het gebruik daarvan voor uiteenlopende doeleinden.

Ik maakte deel uit van BALTAN Labs-programma "Hacking the Body" en ik liep stage bij Philips Research, waar ik experimenten voor biosynchronisch onderzoek bedacht, aan de hand van methodes uit de electrofysiologie. Buiten die meer praktische ervaring ben ik ook privacy-activist en leraar. Al mijn bezigheden voeden elkaar natuurlijk, en hoewel ik een gretig gebruiker van technologie ben, vind ik het moeilijk om niet kritisch te worden als ik een bepaalde tech-ontwikkeling eenmaal in een kader heb weten te plaatsen.

Ik begrijp dat de context van onze mailwisseling wordt geleverd door de titel ‘We Know How You Feel’, en dat de vraagstellling draait om een kunstwerk dat Nick Verstand samen met TNO heeft gemaakt, waarbij EEG-techniek wordt ingezet om gemoedstoestanden af te leiden. De VPRO legt een scenario voor waarin vergelijkbare technologie wordt toegepast in marktonderzoek, zodat media hun content veel gerichter kunnen inzetten. Als ik het goed begrijp is dat scenario het uitgangspunt voor onze conversatie.

Wat me in dat voorgelegde scenario misschien wel het meest opvalt, is het totale gebrek aan voorstellingsvermogen, omdat het is samengesteld uit zaken die allemaal al bestaan. Je hebt geen enorm voorstellingsvermogen nodig om je in te denken hoe fysiologische data zouden kunnen worden opgenomen in de data-pool die nu al wordt gebruikt om mediaconsumenten te profileren, in elk geval door online media.

Het zogenaamde ‘surveillance-kapitalisme’ is het economische model van de meeste mediaplatforms op internet. In één enkele technologische generatie zijn onze televisies veranderd van omvangrijke analoge apparaten, die maar net iets meer konden dan een radio, in uitgebreide computers. Die staan in onze woonkamers en bevatten een schat aan sensoren die zelf ook heel goed data kunnen verzamelen.

In het voorgelelegde VPRO-scenario wordt het economische model van het internet geëxtrapoleerd naar televisie, met toevoeging van een aantal bronnen, namelijk fysiologische data. Dat gebeurt allemaal al, in elk geval in afzonderliijke informatiestromen in diverse bedrijfstakken. Het afleiden van informatie, zoals het VPRO-project voorstelt, is dan ook zeer plausibel en ligt ruim binnen het bereik van de mogelijkheden. Daarom vind ik het de moeite om het diepgaander te verkennen.

Er bestaat al een economische sector die neuromarketing heet, en die past precies toe wat de VPRO in dit scenario schetst: technische middelen inzetten waarmee marketeers producten precies kunnen richten op individuen, gebaseerd op hun onbewuste biofysische activiteit. Antonio Damasio formuleerde een hypothese over somatische indicatoren, die stelt dat ons lichaam continu signalen over onze gemoedstoestand voortbrengt en verwerkt, en daardoor dingen lijkt te ‘weten’ vóór we ze zelf bewust ervaren. Neuromarketing richt zich op de exploitatie van die ruimte tussen bewustzijn en het onstaan van verlangen.

Is er een plaats voor deze technieken in onze mediaconsumptie? Zijn ze ook toe te passen voor iets anders dan ‘meer spullen verkopen’? Wat heeft de individuele mediaconsument aan dit scenario? Ik veronderstel dat Gr1p deel uitmaakt van deze conversatie om tegenwicht te bieden aan dit maar al te plausibele scenario, en om de ethische impicaties van zo’n ontwikkeling te bevragen.

De enorme hoeveelheid data die sommige bedrijven bezitten over ons, internetgebruikers, is omvangrijker dat de meesten van ons vermoeden, en geeft hen reeds inzicht in processen waar wij onszelf als individu niet bewust van zijn. Facebook bijvoorbeeld past al iets toe dat het ‘afgeleide kwalificaties’ noemt, zoals ‘waarschijnlijkheid van verslaafd raken’, waarmee de kans wordt ingeschat dat iemand aan verslaving ten prooi valt. Die afgeleide indicatoren worden opgesteld door het combineren van diverse andere gegevens die Facebook rechtstreeks kan kwantificeren, en de ‘kwalificaties’ worden gebruikt om advertenties en content nauwkeuriger op ons af te stemmen.

Facebook kan dat al doen zonder toegang tot ons lichaam, en daarom zou ik op dit punt een vraag willen opwerpen: in hoeverre is het nog belangrijk om fysieke toegang tot het lichaam van de consument te hebben om zulke informatie te kunnen afleiden? Hebben de kwantitatieve methodes die Facebook en Google gebruiken die ‘toegang tot het lichaam’ niet al onnodig en achterhaald gemaakt? Wat kan het lichaam ons nog vertellen dat we niet al te kunnen afleiden uit expliciete gewoontes en gedragingen die kunnen worden waargenomen met andere methodes dan elektrofysiologie?

Er zijn natuurlijk nog veel meer dingen te bespeken, maar ik hoop dat dit een vruchtbaar begin is en dat we van hieruit verder kunnen gaan. Ik kijk uit naar je antwoord.

Salud,

Luis

 

Wat kan het lichaam ons nog vertellen dat we niet al te kunnen afleiden uit expliciete gewoontes en gedragingen die kunnen worden waargenomen met andere methodes dan elektrofysiologie?

Luis Rodil-Fernández

Carmen van Vilsteren

Dinsdag 26-09-2017 20:40

Beste Luis,

Bedankt voor het openen van de conversatie. Ook voor mij is de vorm heel nieuw. Ik ben helemaal geen schrijver. Ik heb een technische achtergrond en ik werk al het grootste deel van mijn leven in de medische sector, voor verschilllende grote en kleine bedrijven. In de jaren negentig was ik ontwikkelingsmanager voor cardio-vasculaire beeldapparatuur bij Philips, en tot op de dag van vandaag wordt er elke seconde ergens een patiënt behandeld met een systeem dat we in die tijd hebben uitgebracht.

Momenteel combineer ik mijn functie als directeur van het strategisch onderzoeksgebied Gezondheid op de Technische Universiteit Eindhoven (TU/e) met die van directeur bij Microsure, een startup in robotica voor microchirurgie. Op de TU/e werken we aan verschillende nieuwe technologieën. In een daarvan, regeneratieve geneeskunde, proberen we het lichaam er toe aan te zetten zichzelf te helen. Bij Microsure is het onze ambitie om chirurgen bovenmenselijke precisie te geven.

Je brief herinnert me aan een project dat ik een jaar of twee geleden zag. Het heette Probes en was opgezet door Hans Robertus. Mogelijk ken je hem. De resultaten werden gepresenteerd tijdens de Dutch Design Week. Een divers samengestelde groep studenten kreeg de opdracht na te denken over oplossingen voor een samenleving waarin mensen 150 jaar oud zouden worden.

Eén groep kwam met het idee van een implanteerbare chip, die alle gebeurtenissen in het leven en de gezondheid van mensen vastlegt, die dan bijvoorbeeld kunnen worden gebruikt in preventieve en niet-preventieve behandelingen. Dus niet alleen 'We weten hoe je je voelt’, maar ook ‘We weten hoe je je in de toekomst zult voelen’.

Om dat idee te onderbouwen zetten ze een interessant experiment op. Ze huurden een kantoor in Strijp S (het hart van de DDW) en kochten een levensechte babypop en wat blanco kaarten. Ze boden de pop vervolgens aan mensen op straat aan, en vertelden dat het zogenaamd hun pasgeboren kind was, dat ze vervolgens moesten registreren bij het gemeentelijke kantoor verderop.

De meeste mensen waren bereid mee te werken aan het experiment en bedachten een naam voor hun ‘kind’. Op het kantoor werd hen verteld over de mogeijkheid om de chip te implanteren. De nieuwe ouders moesten ter plekke beslissen of ze wilden dat dit zou gebeuren, omdat het alleen zou werken als de implantatie op de eerste dag zou plaatsvinden.

De studenten verwachtten allerlei discussies en vragen over de bescherming van de gegevens, privacy en de veiligheid van de technologie. Maar wat ze niet hadden verwacht gebeurde. Alle ‘ouders’ openden de ethische discussie: wil ik dit mijn kind aandoen? Zou jij de chip hebben laten implanteren?

Groet,
 

Carmen

Zou jij de chip hebben laten implanteren?

Carmen van Vilsteren

Luis Rodil-Fernández

Vrijdag 29-09-2017 13:31

 

Hallo Carmen,

Om je vraag te beantwoorden: alvorens die beslissing te nemen zou ik iets meer moeten weten over die hypothetische chip. Wat doet die precies, waar in het lichaam bevindt hij zich, wat zijn de effecten op het kind en van wie is het implantaat? Is de chip verbonden met een netwerk of niet? Verzamelt hij op de een of andere manier data of worden de gegevens nooit opgeslagen? Welke eerdere tests zijn er gedaan met het implantaat in mensen? Wie maakt de chip? Is het ontwerp bedrijfseigendom of open source?

Uiteraard zou ik wat ernstige zorgen hebben voor ik vrolijk een technologisch object in het lichaam van mijn pasgeboren kind zou implanteren, voor de rest van zijn leven. Maar ik zou niet uit principe tegen zijn. Ik geloof dat technologie een rol heeft in het verbeteren van het leven van mensen. Mijn reactie zou niet technofobisch zijn, maar voorzichtig.

De vragen die jij van mensen verwachtte over privacy, bescherming van de gegevens en veiligheid van de techniek zijn trouwens ook ethische vragen. Voor mij is de vraag ‘zou ik dit in mijn kind implanteren?’ niet de enige over de ethische implicaties van het geschetste scenario.

Er zijn vele voorbeelden van slechte bescherming van data of privacy, waardoor een technologie die aanvankelijk onschadelijk leek potentieel als wapen zou kunnen worden ingezet. Een technologische vinding komt nooit alleen op de wereld, maar brengt altijd een stukje van de toekomst met zich mee. Een toekomst die ons heden worden als we die technologie in ons leven toelaten. We kunnen de verdere ontwikkeling onmogelijk voorspellen.

Een chip die vandaag in mijn baby wordt geïmplanteerd, kan over twintig jaar de bron van discriminatie van mijn kind zijn, of overmorgen het doelwit van een vijandige aanval. Het is van belang te beseffen dat deze scenario’s niet slechts denkbeeldig zijn. Als de technologie voorhanden is en er veel op het spel staat, dan zal die technologie als wapen worden gebruikt.

Ik wil je vragen even stil te staan bij de recente onthullingen in de pers over de rol van Facebook en Twitter bij de Russische inmenging in de Amerikaanse verkiezingen. Om te verdienen aan advertenties bieden beide bedrijven verfijnde instrumenten aan waarmee specifieke delen van hun markt kunnen worden benaderd. Die kunnen zó nauwkeurig worden ingezet dat een advertentie slechts op één enkel individu wordt gericht. Nu blijkt dat Amerikaanse kiezers in de aanloop naar de verkiezingen voor 100.000 dollar aan strategische geplaatste posts te zien hebben gekregen.

In een persverklaring toonde Mark Zuckerberg zich vorige week verontwaardigd over de rol die Facebook heeft gespeeld, en gaf hij toe dat er niet genoeg is gedaan om inmenging in het democratische proces door deze krachten te voorkomen. Degenen die invloed uitoefenden hoefden niet eens bij Facebook in te breken, of gebruik te maken van het soort kwetsbaarheden waar hackers zich gewoonlijk van bedienen. De (vermoedelijk) Russische betrokkenen die invloed wilden kopen, deden dat door gebruik te maken van instrumenten die Facebook aanbiedt aan legitieme adverteerders.

Zij zetten deze instrumenten dus in voor een ander doel dan Facebook had bedoeld. Alle technologieën, zonder uitzondering, zullen op onbedoelde manieren worden gebruikt, omdat de maatschappelijke context waarin ze zich bevinden in beweging is. Zoals William Gibson ooit schreef in zijn boek ‘Burning Chrome’: de straat vindt zijn eigen nut voor dingen. Een technologisch object dat met de beste bedoelingen is ontwikkeld, kan en zal zeer waarschijnlijk onbedoelde toepassingen krijgen.

Terugkomend op de ethische vraag die je stelde, ik zou graag in die richting verder gaan en wat wedervragen stellen: gezien je ruime ervaring met het op de markt brengen van technologische producten neem ik aan dat je hebt gewerkt met een breed scala aan technici en ontwerpers. Hoe wordt er in jouw professionele omgeving omgegaan met zulke ethische vragen? Is er een breed bewustzijn over deze kwesties? Welke rol spelen deze ethische vragen in de ontwikkelingscyclus van een product? Heb je in je lange carrière gemerkt of de opvattingen hierover veranderen?

Salud,

Luis

Als de technologie voorhanden is en er veel op het spel staat, dan zal die technologie als wapen worden gebruikt.

Luis Rodil-Fernández

Carmen van Vilsteren

Dinsdag 6-10-2017 15:34

Beste Luis,

Je wilde mijn mening weten over de advertenties die vorig jaar op Facebook en Twitter zijn geplaatst met de bedoeling de Amerikaanse presidentsverkiezing te beïnvloeden. Om eerlijk te zijn heb je daar zelf al de perfecte analyse van gemaakt. Mensen zullen inderdaad altijd onbedoelde toepassingen voor technologie en andere middelen vinden. En dan is er het directe karakter van posts op Facebook en Twitter. Dingen komen zonder vertraging online, en daardoor er is vrijwel geen ruimte voor tussenkomst of correctie.

Misschien heeft dat te maken met de manier waarop de media in het algemeen werken: erg weinig controle vóór publicatie, maar een evaluatie achteraf, waar dan lessen uit worden getrokken. Ik ontdekte die praktijk toen ik op een dag de lokale krant bezocht om uit te vinden hoe zijn er in slaagden elke dag een nieuw product - de krant - te maken, terwijl wij er meerdere jaren over deden om een nieuw röntgenapparaat te ontwikkelen. Deze benadering heet ‘benchmarking best practices’.

De redacteuren bij de krant vertelden dat ze met een simpele set regels werkten. Bijvoorbeeld: geen negatieve publiciteit over de koninklijke familie. En ze controleerden verhalen bij gebrek aan tijd niet vooraf, maar bespraken ze in plaats daarvan de volgende ochtend. Dat strookt met een citaat van Mark Zuckerberg: ‘We controleren niet wat mensen zeggen vóór ze het zeggen, en eerlijk gezegd denk ik niet dat onze samenleving zou willen dat we dat doen’. In het geval van de omstreden advertenties was de schade lang voor welke evaluatie dan ook aangericht, en daardoor onomkeerbaar.

Over je tweede vraag, omtrent de rol die ethiek speelt in de ontwikkeling van nieuwe medische technologie, moest ik wat langer nadenken. Ik kan me eerlijk gezegd geen diepgaande discussies over het onderwerp herinneren uit de dat tijd dat ik nieuwe cardiovasculaire röntgensystemen ontwikkelde. Verbeteringen aan deze systemen betekenen gewoonlijk ook verbetering van de behandeling voor de patiënt door betere beelden, verlaagde stralingsdoses, etcetera.

De veiligheid van de patiënt is van het allergrootste belang tijdens de ontwikkelingscyclus van deze beeldapparatuur, dus risico-analyses en uitvoerige tests maken altijd deel uit van het proces. Onderdeel van die tests is het bepalen van de optimale manier om de apparatuur rond patiënten te verplaatsen, en hoe hen te beschermen tegen mogelijke botsingen gedurende dat proces.

Tijdens mijn eerste project begon ik aan die tests met mezelf als patiënt op de tafel. In eerste instantie vonden enkele collega’s dat een slecht en onveilig plan. Daar had  ik het volgende antwoord op: als wij zelf al niet eens op die tafel durven te gaan liggen, dan kunnen we dat van een patiënt ook niet verlangen. En zo werd het gangbare praktijk voor ontwikkelaars om vrijwillig voor patiënt te spelen tijdens sommige van deze botsproeven.

Nu, op de Technische Universiteit Eindhoven, heb ik met veel meer ethische vragen te maken, bijvoorbeeld over de ontwikkeling van implantaten als pacemakers en hersenimplantaten. Mensen zijn afhankelijk van deze technologieën, en hun kwaliteit van leven kan erdoor in het geding komen. Een van de vier faculteiten die bij deze projecten betrokken zijn heeft een eigen vakgroep ethiek.

Tijdens de ontwikkeling van nieuwe apparatuur en apps worden ook gezonde mensen en patiënten ‘gebruikt’ als proefpersonen. Er is een groeiend aantal regels die deze praktijk in Nederland reguleren. Elk experiment moet voldoen aan deze regels en afspraken, en proefpersonen moeten voor akkoord tekenen alvorens ze mogen deelnemen. Dit alles wordt ook gecontroleerd door een ethische commissie van de universiteit.

Laten we doorschuiven van ethiek naar esthetiek. Kun je me iets vertellen over je kunst?

Vriendelijke groet,

Carmen

andere conversaties

Benieuwd wat de andere duo's hebben geschreven? Bekijk de vier 'Lieve CEO' conversaties hier.

De schrijvers zetten hun gesprek live voort tijdens de 'We Know How You Feel Tonight' debatavond, die plaatsvindt op woensdag 25 oktober 2017 in De Effenaar in Eindhoven.