Thema - De digitale dokter weet niet wie hij voor zich heeft (2020-01)

Artikel in PDF
L.M. Cornips, M.H.N. Schermer

De belofte van kunstmatige intelligentie is vermoedelijk in geen sector zo groot als in de zorg. Te midden van alle hype en ook dystopische verhalen zou je haast vergeten dat de bijdrage aan maatschappelijke vraagstukken van intelligente systemen – ‘zelflerende’ of machine learning systemen – vooralsnog gering is. Het Engelse bedrijf Babylon beweerde met veel bombarie dat zijn chatbot net zo goed is als artsen in het beoordelen van symptomen. Die claim haalde zelfs de BBC, maar bleek later misleidend. Mogelijk ziet Babylon ernstige gevallen over het hoofd, en stuurt het systeem tegelijkertijd meer patiënten ten onrechte naar de dure eerste hulp. In april verwijderde Babylon stilletjes alle berichtgeving over een demonstratie die de waarde van het systeem moest aantonen. Om als patiënt, zorgverlener en maatschappij de vruchten te kunnen plukken van zogenaamde medische expertsystemen dient nog een hoop werk verzet te worden én is ethische reflectie nodig. 

Expertsystemen blijken vaak niet goed aan te sluiten op het complexe werk in ziekenhuizen, waardoor artsen het gebruik ervan als een storende onderbreking ervaren. Een oudere generatie expertsystemen waarschuwt artsen bijvoorbeeld als er een interactie dreigt tussen twee of meerdere voorgeschreven medicijnen. Zo worden fouten voorkomen, maar bij te veel van dat soort digitale assistentie dreigt waarschuwingsmoeheid. Artsen klikken waarschuwingen dan gedachteloos weg, met als paradoxaal effect dat de zorg juist onveiliger wordt. Een bekend voorbeeld van een nieuw expertsysteem is IBM’s Watson for oncology. Dit systeem analyseert wetenschappelijke literatuur en de individuele kenmerken van een patiënt en geeft op basis daarvan behandeladviezen. ‘Watson’ kan bijna oneindige hoeveelheden data en literatuur verwerken en wordt ook na een lange dienst niet moe. Het systeem is bovendien getraind door artsen in een gespecialiseerd Amerikaans ziekenhuis. Klinkt goed, toch?

Verkeerde spoor 
Maar of de behandelaanbevelingen van Watson ook passen bij een patiënt in de spreekkamer blijft onduidelijk. Misschien werd het systeem alleen getraind met heel bijzondere gevallen, misschien ging het vooral om jonge patiënten die heel agressieve behandelingen kozen. Uit een van de weinige wetenschappelijke publicaties over de werking van Watson for oncology bleek namelijk dat hoe ouder de patiënt was, hoe minder goed de aanbevelingen van het systeem strookten met de aanbevelingen van een groep artsen, de zogenoemde ‘gouden standaard’. De artsen hielden meer rekening met de wensen en draagkracht van die specifieke, oudere patiënt. Dit voorbeeld laat zien dat allerlei vormen van bias, vertekening, onbedoeld ingebouwd worden in intelligente systemen. Patiënten en artsen kunnen daardoor op het verkeerde spoor gezet worden door expertsystemen. Nu is het zo dat bias ook in de medische literatuur voorkomt. Maar in tegenstelling tot de nieuwe generatie intelligente systemen wordt in goed medisch onderzoek beschreven welke data en analysemethoden zijn gebruikt. Bedrijven houden de precieze werking van hun intelligente systemen liever geheim om zo de concurrent niet in de kaart te spelen. Zo blijft een expertsysteem een black box, en daardoor is het moeilijk te vertrouwen. Want hoe is vast te stellen of een systeem het best mogelijke advies geeft voor een individuele patiënt als de werking van het systeem niet transparant is?

Werking en doelen 
Ethische vragen waar artsen, ontwikkelaars en patiënten mee te maken krijgen, gaan onder andere over aansprakelijkheid bij medische fouten. Welke taken in de complexe zorg kunnen en willen we wel, en welke kunnen en willen we niet overlaten aan expertsystemen? Zeker aan het einde van het leven zal een arts goed met de patiënt en diens naasten moeten spreken over het doel van een medische behandeling. Maar welk doel streven expertsystemen eigenlijk na; zo lang mogelijk leven, zo lang mogelijk mobiel blijven, zo min mogelijk lijden? Ontwikkelaars doen er goed aan om de precieze werking en doelen van expertsystemen inzichtelijk te maken. Artsen kunnen dan ook beter beoordelen of een expertsysteem een waardevolle bijdrage aan de zorg kan leveren. Gelukkig krijgen momenteel niet alleen de kansen maar ook de risico’s van kunstmatige intelligentie en data(misbruik) aandacht in de politiek en maatschappij. Maar ook bij andere vormen van digitale technologie in de zorg doen zich medischinhoudelijke en ethische vragen voor. Op verzoek van de minister voor Medische Zorg en Sport, Bruno Bruins (VVD), brengt het Centrum voor Ethiek en Gezondheid (CEG) daarom het komend jaar rapporten uit over de ethische aspecten van wearables en gezondheidsapps, robots en het gebruik van sensoren. Voor al deze technologieën is onafhankelijke reflectie nodig op nut en wenselijkheid, liefst in een vroege fase zodat de technologie nog kan worden bijgestuurd. Zonder openheid van ontwikkelaars zal de goede digitale dokter voorlopig nog toekomstmuziek blijven.

Dit artikel is gebaseerd op de CEG publicatie Digitale dokters, een ethische verkenning van medische expertsystemen. Het artikel verscheen eerder in NRC Handelsblad van 9 augustus 2019  

Correspondentieadressen 

Lucas Cornips
E-mail: lm.cornips@gr.nl

Maartje Schermer
E-mail: m.schermer@erasmusmc.nl