Ethische vraagstukken door komst zelfrijdende auto

“You’re designing to kill,” stelt de Italiaanse Mecacci. “Zodra je voor de auto bepaalde richtlijnen inbouwt over hoe die zich moet gedragen, bewerkstellig je iets. Dat is de paradox: je ontwerpt daarmee actief om te doden, terwijl je als mens ethisch gebonden bent om níet te ontwerpen dat je bijvoorbeeld een jong persoon boven een oudere verkiest.”

Een oplossing zou kunnen zijn dat de overheid alleen auto’s goedkeurt wanneer zij op een bepaalde manier geprogrammeerd zijn. Het zal geen gemakkelijke opgave zijn daar te komen, want dan moet er eerst unanimiteit zijn over wát de juiste keuze is en met zo’n lastig thema kan dat nog heel lang duren.

Uiteindelijk is die morele kwestie een beleidsvraagstuk volgens Nynke Vellinga, onderzoekster aan de faculteit Rechtsgeleerdheid in Groningen. “De overheid kan gaan voor het minst aantal slachtoffers in zo’n dilemma. Maar het kan ook zijn dat de inzittende altijd beschermd wordt, of juist degene buiten het voertuig. Dat is afhankelijk van het gekozen beleid,” vertelt ze. Haar persoonlijke voorkeur gaat uit naar het minste aantal slachtoffers: “Dan beoordeel je mensen niet op basis van gezondheid of leeftijd, maar kun je zoiets terzijde laten en zeggen dat ieder leven evenveel waard is.”

Transitiefase

Alsof het trolleyprobleem niet complex genoeg is, dreigt er ook een ander probleem te ontstaan bij de overgang van een menselijke bestuurder naar een geautomatiseerde. Deze fase is al ingezet met autopilots van bijvoorbeeld de Tesla model S die het rijden deels overnemen. Mecacci: “Bij de Tesla moet je nog je handen aan het stuur houden en kunnen ingrijpen als de auto het laat afweten, ondanks dat hij al heel veel zelf kan. In feite ben je als inzittende de hele tijd aan het babysitten, voor zo’n taak zijn mensen niet geschikt. Uiteindelijk ga je op de auto vertrouwen, word je lakser en let je niet meer genoeg op.”

Zolang er een gedeelde besturing is, zal de verantwoordelijkheid worden toegeschreven aan de bestuurder, de eigenaar. Daardoor laten volgens de hoogleraar autofabrikanten hun verantwoordelijkheden liggen: “Wanneer je het autopilotsysteem activeert, zeg je tegelijk de hele tijd de controle te hebben. Als er iets gebeurt is het je eigen schuld, want zodra je aan het stuur zit zal de auto meebewegen. De autopilot ondersteunt je alleen, jij moet constant doen alsof je zelf rijdt. Daar ligt heel veel verwarring op dit moment.”

Bewustmaken van consumenten

De RDW en het CBR bespreken volgens Mecacci ideeën over een nieuw soort rijbewijs, waarbij mensen zich bewust zijn van de beperkingen en risico’s van een autopilot. “Zodra je het systeem van Tesla accepteert, werk je jezelf in een slechte positie. Daarvan moet je op de hoogte zijn. Als je naar een rijschool gaat, moet iemand je dat vertellen,” aldus de hoogleraar. Toch lijken de ideeën hierover verre van concreet, dus het blijft de vraag in hoeverre dit werkelijkheid wordt.

De transitie van controle is een cruciaal punt in de ontwikkeling, volgens Vellinga. Ook zij vindt dat fabrikanten en de overheid consumenten bewust moeten maken van hun verantwoordelijkheid en wat de auto zelf doet. Waymo, dochteronderneming van Google, zou het niveau van autonomie zelfs willen overslaan waarbij die interactie tussen mens en machine nodig is.

“Ze hebben gemerkt dat er te vaak fouten optreden, dat mensen in slaap vallen terwijl ze eigenlijk een oogje in het zeil moeten houden. In de internationale verdragen staat dat je bijvoorbeeld geen mobiel mag gebruiken of je mag laten afleiden. Je moet een goede reden kunnen geven dat je niet aansprakelijk bent als het mis gaat,” aldus de onderzoekster.

Event Data Recorder

Het kan natuurlijk ook voorkomen dat ingrijpen simpelweg onmogelijk is. Een ongeluk schuilt in een klein hoekje, een keer knipperen en je bent te laat. Zo zijn er in Amerika al enkele ongevallen gebeurd waarbij in eerste instantie onduidelijk was of de bestuurder beter had moeten opletten of dat de autopilot er compleet naast zat. Voor deze situaties is de Event Data Recorder een uitkomst.

In de Verenigde Staten zijn ze nog niet verplicht voor zelfrijdende auto’s, maar moeten ze wel aan bepaalde eisen voldoen. De EDR neemt, afhankelijk van de eisen, bijvoorbeeld de laatste dertig seconden voor een ongeluk allerlei data op: wat je aan het doen was, of je handen aan het stuur zaten, de richtingwijzer aan- of uitstond, hoe snel de wagen ging en noem maar op. Volgens Vellinga kun je met al die informatie waarschijnlijk een goede reconstructie maken van wat er is gebeurd en daaruit afleiden wie of wat fout zat. “Het speelt voor aansprakelijkheid een cruciale rol en het idee komt van de black box in vliegtuigen.”

Dit soort 360° camera's en sensoren herkennen jou straks ook op straat

Door de aanwezigheid van een EDR zal alles voortdurend gemonitord worden. Wat deze precies opneemt en hoelang dat bewaard blijft hangt sterk af van de privacywetgeving. Vellinga: “Je moet je voorstellen dat misschien iedere minuut gewist wordt wat daarvoor is opgenomen als er niets is gebeurd. Dat kunnen camerabeelden zijn waarop te zien is dat je zit te neuspeuteren of in slaap bent gevallen, maar ook sensordata aan de buitenkant van de auto. Er kleven veel knelpunten aan op het gebied van privacy. De auto neemt namelijk van alles waar in de directe omgeving.”

Kennis is macht

Met de komst van steeds geavanceerdere zelfrijdende auto’s mag je er vanuit gaan dat ze ook steeds beter ‘rondgluren’. Wie weet zien ze je straks als verkeersdeelnemer langslopen met een volle boodschappentas. Vellinga ziet een dergelijk scenario wel gebeuren: “Als ze alles in de omgeving opnemen zien ze mij ook oversteken. Misschien zit er uiteindelijk wel een software voor gezichtsherkenning op die kan zien ‘oh dat is Nynke, ze doet boodschappen bij de HEMA’ en vervolgens krijg ik advertenties in mijn mailbox.”

Ook Mecacci deelt zijn zorgen: “De laatste generatie van bijna élke technologie heeft te maken met persoonlijke data. De auto-industrie is hier hoogstwaarschijnlijk ook in geïnteresseerd, want dataverzameling is goud waard, miljarden zelfs. De zelfrijdende auto zal de meest perceptieve en slimme entiteit in ons universum zijn. Als een spion voelt, hoort en ziet hij álles. Als je er een miljoen van laat rondrijden heb je een digitaal model van de wereld. Dat is ongelooflijk en volgens meerdere experts een van dé redenen waarom de industrie de techniek zo hard pusht. Veiligheid verkoopt alleen beter.”

De hoogleraar is dan ook tegen dit soort dataverzameling op enorme schaal, waar we in de afgelopen jaren al veel mee in aanraking zijn geweest. Denk aan het hele Facebook-debat in het Europarlement en je hebt een idee van de risico’s. Het gevaar is volgens de hoogleraar dat de informatie zo makkelijk uitgebuit kan worden en heel lastig te reguleren is. “Het is waarom Google een van de meest dominante bedrijven ter wereld is. Ze beheersen informatie en verdienen daar bakken geld mee.”

Innovaties en beleid parallel

Hoe moet Nederland hiermee omspringen? Door compromissen te sluiten, bewustwording te stimuleren en een open houding aan te nemen komen we een eind. Een consortium bestaande uit meerdere Nederlandse universiteiten, waaronder de TU Delft en de Universiteit Twente, levert wat dat betreft een bijdrage met haar onderzoeken. Mecacci: “Wij gaan op zoek naar ideeën en concepten met betrekking tot de menselijke notie in deze technologie. Daarmee informeren we instanties als Rijkswaterstaat zodat zij weloverwogen beslissingen kunnen nemen. We moeten bedrijven niet wegduwen door dingen te gaan verbieden, maar de innovaties parallel laten lopen aan het beleid.”

Ook de Hanze Hogeschool en RUG denken mee op dit vlak. Zo volgt Vellinga de ontwikkelingen nauw en heeft ze afgelopen jaar haar laatste onderzoek gepubliceerd, over de juridische uitdagingen bij het testen en inzetten van zelfrijdende auto’s. “Het is goed dat de overheid haar beleid niet dichttimmert, maar ze alles meer per voorstel beoordeelt en zo stappen zet. Bovendien, als we geconfronteerd worden met een onvermijdelijke situatie waarin we iemand aanrijden en we moeten kiezen hebben we een heel kort tijdsbestek. Nu hebben we ineens jaren om erover na te denken hoe we het willen oplossen. Dat is heel goed, die discussie moet ook stevig gevoerd worden en dan kun je uiteindelijk vast tot een goed onderbouwd beleid komen,” besluit ze.