ChatGPT besteht zum ersten Mal die neurologische Prüfung

OpenAIs neuestes Update seines Large Language Model (LLM), ChatGPT 4.0, hat in einer Proof-of-Concept-Studie eine klinische Neurologieprüfung mit 85 % richtigen Antworten bestanden. Die Forschungsautoren glauben, dass LLMs nach einer gewissen Feinabstimmung „bedeutende Anwendungen“ in der klinischen Neurologie haben könnten.

Die Ergebnisse des Experiments, das von einer Gruppe von Forschern des Universitätsklinikums Heidelberg und des Deutschen Krebsforschungszentrums in Heidelberg durchgeführt wurde, wurden am 7. Dezember veröffentlicht. Der am 31. Mai durchgeführte Test umfasste zwei LLMs, ChatGPT 3.5 und höher Version: ChatGPT 4.0.

Die Forscher nutzten den Fragenkatalog für eine neurologische Prüfung des American Board of Psychiatry and Neurology mit einer kleinen Kohorte von Fragen des European Board for Neurology.

Verwandt: Googles Gemini-Demo wird nun beschuldigt, „gefälscht“ zu sein

Während die ältere Version von ChatGPT 66,8 % erreichte und 1.306 von 1.956 Fragen richtig beantwortete, erreichte das neuere Modell, ChatGPT 4.0, 85 % mit 1.662 richtigen Antworten. Der durchschnittliche menschliche Wert lag bei 73,8 %. ChatGPT 4.0 übertraf menschliche Benutzer bei verhaltensbezogenen, kognitiven und psychologischen Fragen und bestand die Neurologieprüfung effektiv, da 70 % der richtigen Antworten in Bildungseinrichtungen allgemein als bestanden gelten.

Allerdings zeigten beide Modelle bei Aufgaben, die „Denken höherer Ordnung“ erforderten, eine schwächere Leistung als bei Fragen, die nur „Denken niedrigerer Ordnung“ erforderten.

Nach Angaben der Forschergruppe, die das Experiment durchführte, dienen diese Ergebnisse als Empfehlung, die LLMs nach einigen Modifikationen in der klinischen Neurologie einzusetzen:

„Diese Ergebnisse legen nahe, dass große Sprachmodelle mit weiteren Verfeinerungen bedeutende Anwendungen in der klinischen Neurologie haben könnten.“

Die Forscher weisen darauf hin, dass es noch einige Vorbehalte gebe. Während es eine klare Perspektive für die Anwendung der LLMs in den Dokumentations- und Entscheidungsunterstützungssystemen gibt, sollten Neurologen bei ihrer Verwendung in der Praxis vorsichtig sein, da sie in Bezug auf kognitive Aufgaben höherer Ordnung noch unvollkommen sind. Im Gespräch mit Cointelegraph sagte einer der Autoren der Studie, Dr. Varun Venkataramani:

Wir sehen unsere Studie eher als Proof of Concept für die Leistungsfähigkeit von LLMs. Es besteht noch Entwicklungsbedarf und wahrscheinlich sogar eine spezifische Feinabstimmung der LLMs, um sie für die klinische Neurologie richtig anwendbar zu machen.

KI arbeitet bereits an einigen wichtigen Aufgaben im Gesundheitswesen, beispielsweise an der Suche nach einem Heilmittel gegen Krebs für AstraZeneca oder an der Bekämpfung der übermäßigen Verschreibung von Antibiotika in Hongkong.

Zeitschrift: Die Angst und der Zweifel der Gesetzgeber treiben die vorgeschlagenen Krypto-Regulierungen in den USA voran