ChatGPT kan kun svare på basale spørgsmål om astma

Kunstig intelligens vinder frem i alle dele af samfundet.

Det gælder også inden for sundhed, hvor folk med sygdomme ofte stiller for eksempel ChatGPT spørgsmål om deres symptomer og behandling.

Det kan personer med astma faktisk godt gøre og få et korrekt svar, så længe spørgsmålene er simple.

Det viser et nyt dansk studie, der har undersøgt, hvad ChatGPT kan svare på vedrørende astma, og hvor man som person med astma hellere skal spørge en læge.

Forskningen er offentliggjort i Journal of Clinical Allergy and Immunology.

»Kunstig intelligens som ChatGPT bliver mere og mere en del af vores hverdag, og når patienter mangler et svar vedrørende deres sygdom, og der er tre måneder til deres næste konsultation, spørger de ofte ChatGPT i stedet for. Det gælder især også forældre til børn med astma. Her er det vigtigt, at vi ved, hvad chatten kan svare på, og hvor svarene ikke kan bruges til noget,« siger læge og postdoc Howraman Meteran fra Lungemedicinsk Afdeling på Rigshospitalet Hvidovre samt Næstved Sygehus, der er en af forskerne bag studiet.

26 spørgsmål til ChatGPT

I studiet identificerede Howraman Meteran med sine kolleger 26 prædefinerede spørgsmål om astma, som dækker de mest relevante og grundlæggende elementer ved en kronisk sygdom.

De opdelte spørgsmålene efter kompleksitet og stillede dem derefter til ChatGPT.

Spørgsmålene i den simple ende var f.eks. ‘hvad er astma?’, mens spørgsmålene i den komplicerede ende kunne omhandle en graduering af de mest effektive behandlinger eller spørgsmål om, hvad der har den største diagnostiske værdi hos personer med astma.

ChatGPTs svar blev evalueret af fire eksperter inden for astmaområdet, som skulle give svarene karakterer på en skala fra 1 til 5 i forhold til præcision.

Gode svar på de fleste spørgsmål

ChatGPT er faktisk ret god til at besvare de simple spørgsmål vedrørende astma, fortæller Howraman Meteran. Og vil man vide, hvad astma er, eller hvad de mest almindelige symptomer er, kommer den ikke i vanskeligheder.

Men når det kommer til de lidt mere komplicerede spørgsmål, opstår problemerne, og nogle gange bliver svarene helt forkerte.

ChatGPT kan godt svare på mange simple spørgsmål vedrørende astma, men den kan ikke bestå en lægeeksamen

Howraman Meteran, læge og postdoc, Rigshospitalet Hvidovre og Næstved Sygehus

Gennemsnitligt svarede ChatGPT rigtigt til en vurdering på fire point ud af fem mulige.

81 pct. af spørgsmålene blev besvaret til fire point eller højere, mens fem spørgsmål kun blev besvaret til karakteren tre, hvilket indikerer mindre potentielt set alvorlige fejl i besvarelsen.

Howraman Meteran forklarer, at det er nødvendigt at prompte ChatGPT, så svarene bliver så præcise som muligt. Det vil sige, at man sætter spørgsmålet i kontekst, inden man stiller det.

F.eks. får han et bedre svar ud af den kunstige intelligens, hvis han starter med at skrive, at han er læge, og at han skal bruge et kort svar.

Det er dog sjældent, at personer med astma gør det.

»En ulempe er, at stiller man bare spørgsmål, bliver svarene lange, og selvom der kan være gemt noget værdifuldt i de lange svar, øger det også risikoen for, at noget af svaret er forkert,« forklarer Howraman Meteran.

Forkerte svar kan snyde patienterne

Ifølge Howraman Meteran kan forkerte svar fra ChatGPT ikke snyde en lungelæge, men en person med astma kan godt begynde at tro på noget, der ikke er korrekt.

F.eks. svarede chatten forkert på et spørgsmål om, hvilken test, der har den største diagnostiske værdi.

Her er svaret provokationstesten, men den kunstige intelligens svarede en reversibilitetstest, hvilket er forkert.

»Det burde selv en medicinstuderende kunne svare på efter bestået kursus i lungesygdomme. ChatGPT kan godt svare på mange simple spørgsmål vedrørende astma, men den kan ikke bestå en lægeeksamen,« siger Howraman Meteran.

Vil udvikle egen chatbot

Selvom studiet viser, at ChatGPT kan noget, men ikke alt, udvikler kunstig intelligens sig så hurtigt, at det kun er et spørgsmål om tid, før alle dens svar er korrekte.

Howraman Meteran fortæller, at den store drøm nu er at indsamle spørgsmål fra store patientgrupper i USA, England og Danmark og teste både de svar, som ChatGPT og Googles pendant, Gemini, kommer med til dem.

Det skal være muligt for patienter at kunne søge på viden om deres sygdom, og at de samtidig kan være sikre på, at svarene er korrekte

Howraman Meteran, læge og postdoc, Rigshospitalet Hvidovre og Næstved Sygehus

Han kunne også godt tænke sig at lave en undersøgelse, hvor han vil spørge patienterne om, hvad de gerne vil have svar på, lige efter de har været til konsultation hos deres astmalæge, men måske ikke har fået stillet alle spørgsmål.

Spørgsmålene vil forskerne prompte bedre og fodre til ChatGPT for at se, om svarene bliver bedre af den grund sammenlignet med bare at stille dem direkte.

»Vi vil meget gerne lave vores egen chat, så vores patienter kan få svar fra kunstig intelligens i stedet for at skulle vente længe på at få svar på et hurtigt spørgsmål. Vi skal bare være sikre på, at svarene er korrekte, men det kan vi opnå ved at opbygge en bank af svar på de mest stillede og relevante spørgsmål, hvor svarene er blevet akkrediteret af en lungelæge. Det skal være muligt for patienter at kunne søge på viden om deres sygdom, og at de samtidig kan være sikre på, at svarene er korrekte,« siger Howraman Meteran.