Thema Artificiële intelligentie - Een empathische healthbot (2023-08)

Artikel in PDF
R.C. Beljaards, K-P de Roos, T.E. Sangers

Disclaimer: Deze publicatie is tot stand gekomen zonder enige tussenkomst of bemoeienis van artificiële intelligentie (ChatGPT, Bard)

Zijn de antwoorden aan patiënten gegeven door een kunstmatige intelligentie chatbot van eenzelfde niveau als die van artsen? De auteurs van de publicatie hebben geprobeerd deze vraag te beantwoorden door gebruik te maken van het forum op het openbaar sociaal medium Reddit (r/AskDocs). In een cross-sectionele studie werden willekeurig 195 gedetailleerde vragen van dit forum afgehaald en verzameld. Deze vragen werden in hun oorspronkelijke vorm vervolgens aangeboden aan ChatGPT (versie 3.5). Elke vraag werd, tezamen met het antwoord van de chatbot en het antwoord van de arts op het forum, geblindeerd aangeboden aan een team van drie zorgprofessionals en door hen beoordeeld. De beoordeling bestond uit “wat is de kwaliteit van het antwoord dat is gegeven?” en “hoe empathisch is het antwoord dat is gegeven?”, alsmede uit een conclusie over de vergelijking tussen beide antwoorden in de vorm van “welk antwoord is beter?”.

Van de 195 antwoorden werd in 78,6% van de gevallen datgene wat door de chatbot was gegeven als van betere kwaliteit beoordeeld dan dat van de arts. De antwoorden van de arts waren significant korter dan de antwoorden van de chatbot (gemiddeld 52 versus 221 woorden). Het team had meer waardering voor lange antwoorden.

De gezamenlijke antwoorden van de chatbot kregen 3.6 keer meer de kwalificatie ‘goed of zeer goed’ ten opzichte van die van de arts. Bovendien was het aandeel ‘empathisch tot zeer empathisch’ in de antwoorden van chatbot significant hoger (9,8 keer hoger) dan in die van de arts. Omgekeerd werd 80 procent van de antwoorden van de arts beoordeeld als minder dan ‘weinig empathisch’, tegen nog geen 15 procent van chatbot.

Concluderend kan worden gesteld dat de door de chatbot gegenereerde kwaliteit en het empathisch vermogen op vragen van patiënten hoog is. Er kan echter niet worden geconcludeerd dat een chatbot betere prestaties levert dan artsen in regulier patiëntencontact. Immers, de artsen antwoordden op voor hen anonieme patiënten in een forum, niet op een patiënt van vlees en bloed in een direct fysiek contact in de spreekkamer. Verder onderzoek in een klinische setting is daarom wenselijk.

Wel mag nu al worden verondersteld dat artificiële intelligentie een arts kan ondersteunen bij het leveren van informatie aan de patiënt.

Ayers JW, Poliak A, Dredze M, et al. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA Intern Med. 2023; 183:589-6.

Correspondentieadres

Rob Beljaards
E-mail: r.beljaards@nvdv.nl