Diabeteseksperter kan godt gennemskue, når ChatGPT giver råd om diabetes

Kunstig intelligens har i 2023 for alvor gjort sin indtræden på verdensscenen, hvor især ChatGPT er blevet et velkendt navn for mange.

Vi havde en hypotese om, at ChatGPT ville være i stand til at svare på diabetesrelaterede spørgsmål lige så godt som en ekspert, men det kan teknologien ikke endnu

Adam Hulman, senior data scientist, Steno Diabetes Center Aarhus

I dag bruger millioner af mennesker dagligt chatbotten til alt fra at skrive festsange til at oversætte bøger fra dansk til hindi. Nogle bruger også ChatGPT til at svare på spørgsmål om deres sygdom.

Man skulle umiddelbart tro, at når nu ChatGPT har adgang til al tilgængelig sygdomsviden i verden, at den så også ville være i stand til at komme med de bedste svar på relativt simple spørgsmål.

Sådan ser det dog ikke ud inden for diabetesområdet, hvor et nyt studie viser, at diabeteseksperter godt kan se, hvilke svar på diabetesrelaterede spørgsmål, som ChatGPT er kommet med, og hvilke der står mennesker med ekspertviden bag.

Ifølge en af forskerne bag undersøgelsen kommer vi i stigende grad til at se kunstig intelligens som en del af den kliniske hverdag, og derfor er det vigtigt at kende til teknologiens forcer og ikke mindst dens begrænsninger.

»Vi havde en hypotese om, at ChatGPT ville være i stand til at svare på diabetesrelaterede spørgsmål lige så godt som en ekspert, men det kan teknologien ikke endnu. Man skal huske på, at ChatGPT ikke er udviklet til kliniske formål, hvilket alle bør være opmærksomme på, men at der allerede nu er muligheder for at bruge teknologien til mindre risikofyldte formål uden direkte betydning for behandlingen af patienter,« forklarer Adam Hulman, senior data scientist og leder af en forskningsgruppe for kunstig intelligens på Steno Diabetes Center Aarhus, Aarhus Universitetshospital, samt lektor, ved Institute for Folkesundhed, Aarhus Universitet.

Forskningen er offentliggjort i PLOS ONE.

ChatGPT er her, der og alle vegne

Studiet tog sit udspring i januar 2023, hvor alle talte om ChatGPT, ChatGPT og ChatGPT.

Det gjorde forskerne også på Steno Diabetes Center Aarhus, hvor de blev interesseret i den mulige kliniske brug af de store såkaldte Large Language Models.

Forskellige undersøgelser viste tidligt, at ChatGPT blandt andet kunne bestå den amerikanske lægefaglige embedseksamen, men kunne ChatGPT også svare på mere patientnære spørgsmål, hvor der ikke på forhånd var opgivet svarmuligheder?

»Det fik os til at planlægge dette studie, hvor vi ikke ville evaluere, om ChatGPT kunne svare korrekt eller forkert på diabetesrelaterede spørgsmål, men om det for personer, der arbejder med diabetes, er muligt at skelne mellem de svar, som fagprofessionelle kommer med, og de svar, som ChatGPT kommer med,« forklarer Adam Hulman.

183 diabeteseksperter ledte efter svar fra ChatGPT

I studiet fik forskerne ChatGPT til at svare på ti hyppigt stillede spørgsmål vedrørende diabetes.

Spørgsmålene og svarene fik forskerne fra blandt andet Diabetesforeningen og Videncenter for Diabetes ved Steno Diabetes Center Copenhagen.

Spørgsmålene kunne som eksempel være, ‘hvor meget frugt må jeg spise, hvis jeg har diabetes?’ eller ‘hvordan skal jeg opbevare insulin på lange rejser?’.

Efterfølgende fik forskerne 183 personer, der arbejder inden for diabetesområdet på Steno Diabetes Center Aarhus, til at evaluere, om de kunne identificere svarene fra ChatGPT og svarene fra Diabetesforeningen og Videncenter for Diabetes.

»Hvis vores hypotese skulle holde stik, burde folk svare 50/50 på, om de troede, at et givent svar var givet af ChatGPT eller af eksperter i Diabetesforeningen og Videncenter for Diabetes. Det ville betyde, at svarene fra ChatGPT ikke kan skelnes fra eksperternes svar,« siger Adam Hulman.

Han uddyber, at forskerne i studiet ikke kun fik læger til at svare på, om de kunne kende forskel, men også sygeplejersker, forskere og ikke-klinisk personale.

Eksperter kan godt genkende svar fra ChatGPT

Resultatet af studiet viser, at det er muligt for diabeteseksperter i et vist omfang at identificere de svar, som ChatGPT kommer med.

Implementeringen af kunstig intelligens i vores sundhedssystem kommer til at ske i flere faser, hvor den første fase er inden for lavrisiko-områder uden betydning for den direkte behandling af patienter

Adam Hulman, senior data scientist, Steno Diabetes Center Aarhus

Eksperterne identificerede svarene fra ChatGPT i 59,5 pct. af tilfældene, og det tal steg til tæt ved 70 pct., hvis forsøgsdeltagerne havde arbejdet med ChatGPT før.

Forsøgsdeltagere, der havde patientnær kontakt, identificerede svarene fra ChatGPT i 65 pct. af tilfældene.

»Det viser, at både svarene, og det sprog, som svarene er formuleret i, giver indsigt i, om et menneske eller ChatGPT er kommer med dem,« siger Adam Hulman.

ChatGPT ramte ved siden af på to spørgsmål

Forskningen viste også, at ChatGPT faktisk svarede forkert på to spørgsmål, hvilket også var medvirkende til, at forsøgsdeltagerne identificerede ChatGPT som afsender af svarene.

For det første svarede ChatGPT, at graviditetsdiabetes er en form for type 2-diabetes, hvilket det ikke er, og hvilket en diabetesekspert heller ikke vil sige. Mange forsøgsdeltagere opsnappede denne fejl.

Det andet spørgsmål handlede om, hvordan forskellige former for træning påvirker blodsukkeret hos personer med type 1-diabetes. Også her svarede ChatGPT forkert, men det blev ikke i samme grad fanget af forsøgsdeltagerne.

Fagpersoner, der arbejder med personer med type 1-diabetes i en trænings-setting, vil formentlig vide, hvad det rigtige svar er.

Endelig fandt forskerne faktisk også, at på et spørgsmål vedrørende opbevaring af insulin svarede 62 pct. af forsøgsdeltagerne forkert i deres gæt på, om svaret kom fra ChatGPT eller en ekspert.

Mere kunstig intelligens på vej

Adam Hulman mener, at studiet peger på, at både sundhedsprofessionelle og den generelle befolkning skal være opmærksomme på, at svarene fra large language models som ChatGPT ikke altid rammer plet, og at de ikke altid flugter med den viden, som kommer fra ekspertkilder.

Det betyder dog ikke, at kunstig intelligens ikke skal spille en rolle i fremtidens diabetesbehandling og måske også på et senere tidspunkt kan svare lige så godt som verdens førende diabeteseksperter.

Det tidspunkt kan allerede være nu, efter at ChatGPT er blevet opdateret fra ChatGPT-3 til ChatGPT-4.

Først og fremmest kan kunstig intelligens dog komme til at spille en rolle inden for andre områder med betydning for adgangen til viden om diabetes.

Forskerne fra Steno Diabetes Center Aarhus samarbejder som eksempel med Videncenter for Diabetes om at udvikle og evaluere et digitalt værktøj, der kan ekstrahere viden fra videnskabelige artikler om diabetes og formulere indholdet i et sprog, som almindelige mennesker kan forstå.

»Implementeringen af kunstig intelligens i vores sundhedssystem kommer til at ske i flere faser, hvor den første fase er inden for lavrisiko-områder uden betydning for den direkte behandling af patienter, men med brugbarhed inden for det at skabe viden om for eksempel diabetes og også gøre folk bekendte med teknologien, så de også senere kan stille spørgsmål og få svar fra for eksempel chatbotter,« siger Adam Hulman.