ChatGPT meistert Fragen einer US-Medizinprüfung bravourös

Der Hype um Chatbots hat nun auch die Wissenschaft erreicht. Zumindest könnte ChatGPT gar Prüfungsfragen beantworten, für die normalerweise eine jahrelange medizinische Ausbildung nötig wäre.

Der Text-Roboter ChatGPT würde sich in einer Prüfung für angehende Mediziner in den USA beachtlich gut schlagen.

Denn: Die KI-Software konnte bei den drei theoretischen Teilen des United States Medical Licensing Exam mehrfach die vorgeschriebene Mindestpunktzahl erreichen. Dies berichten US-Experten im Fachjournal «PLOS Digital Health». Allerdings hatte das Team vom kalifornischen Start-up AnsibleHealth einige Fragen ausgeklammert.

Die Autoren der Studie mussten jedoch beachten, dass die künstliche Intelligenz nur Texteingaben entgegennehmen kann. Fragen, die auf Bilder basierten, wurden entfernt.

Zudem wurden nicht eindeutige Antworten weggelassen. Infolge erzielte ChatGPT bei den drei Prüfungsteilen jeweils 52,4 bis 75 Prozent der dann noch erreichbaren Punkte.

Die Schwelle zum Bestehen liegt bei rund 60 Prozent und ändert sich je nach Jahr leicht. Wurden die nicht eindeutigen Antworten in das Ergebnis einberechnet, erreichte ChatGPT 36,1 bis 61,5 Prozent der dann möglichen Punkte.

Den Autoren zufolge übertraf ChatGPT die Leistung von PubMedGPT, einem Gegenmodell, das ausschliesslich auf biomedizinische Fachliteratur trainiert wurde.

Das Team kam zur Erkenntnis, dass ChatGPT die medizinische Ausbildung und damit auch die klinische Praxis verbessern könne. «Das Erreichen der Mindestpunktzahl für diese notorisch schwierige Expertenprüfung ist ein bemerkenswerter Meilenstein in der Entwicklung der klinischen KI.»