Kopf-an-Kopf-Rennen gegen AI: Pharmaziestudenten gewinnen
Eine Studie hat gezeigt, dass ChatGPT 3.5 im Vergleich zu Studenten die Fragen in den auf klinische Anwendungen und Fälle ausgerichteten therapeutischen Prüfungen mit geringerer Wahrscheinlichkeit richtig beantwortet.
Studierende, die einen Doktortitel in Pharmazie anstreben, legen routinemäßig strenge Prüfungen ab, um ihre Kompetenz in verschiedenen Bereichen nachzuweisen - und bestehen sie auch. Kann ChatGPT dieselben Fragen genau beantworten? Eine neue Studie von Forschern des R. Ken Coit College of Pharmacy der Universität von Arizona besagt, dass dies nicht der Fall ist.
rian Erstad, PharmD, ist Interimsdekan und Professor an der R. Ken Coit Hochschule für Pharmazie.
Photo by Kris Hanning, U of A Office of Research and Partnerships
Die Forscher fanden heraus, dass ChatGPT 3.5, eine Form der künstlichen Intelligenz, bei der Beantwortung von Fragen zu therapeutischen Prüfungen, die sicherstellen sollen, dass die Studenten über das Wissen, die Fähigkeiten und das kritische Denken verfügen, um eine sichere, wirksame und patientenorientierte Versorgung zu gewährleisten, schlechter abschnitt als Pharmaziestudenten.
ChatGPT beantwortete anwendungsbezogene Fragen mit geringerer Wahrscheinlichkeit richtig (44 %) als Fragen, die sich auf die Erinnerung an Fakten konzentrierten (80 %). Auch die Wahrscheinlichkeit, fallbezogene Fragen richtig zu beantworten, war geringer (45 %) im Vergleich zu Fragen, die sich nicht auf Patientenfälle bezogen (74 %). Insgesamt beantwortete ChatGPT nur 51 % der Fragen richtig.
Die Ergebnisse geben zusätzliche Einblicke in den Nutzen und die Grenzen der Technologie und könnten sich auch als wertvoll für die Entwicklung von Prüfungsfragen in der Pharmazie erweisen.
"KI hat viele potenzielle Einsatzmöglichkeiten im Gesundheitswesen und in der Ausbildung, und sie wird nicht verschwinden", sagte Christopher Edwards, PharmD, ein außerordentlicher klinischer Professor für pharmazeutische Praxis und Wissenschaft. "Mit der Studie wollten wir unter anderem die Frage beantworten, wie die Studenten abschneiden würden, wenn sie KI in einer Prüfung einsetzen wollten. Ich wollte Daten haben, die ich den Studenten zeigen und ihnen sagen kann, dass sie bei den Prüfungen gut abschneiden können, wenn sie fleißig lernen, und dass sie diese Hilfsmittel nicht unbedingt brauchen."
Ein weiteres Ziel war es, herauszufinden, mit welcher Art von Fragen KI Schwierigkeiten hat. Der Interimsdekan des Coit College of Pharmacy, Brian Erstad, PharmD, war nicht überrascht, dass ChatGPT bei einfachen Multiple-Choice- und True-False-Fragen besser abschnitt und bei anwendungsbezogenen Fragen weniger erfolgreich war.
"In den Bereichen, in denen die Evidenz begrenzt ist und ein Urteilsvermögen erforderlich ist, was oft im klinischen Umfeld der Fall ist, fanden wir die Technologie etwas unzureichend", sagte er. "Ironischerweise sind das genau die Fragen, mit denen Kliniker immer wieder konfrontiert werden".
Edwards, Erstad und Bernadette Cornelison, PharmD, außerordentliche Professorin für Pharmaziepraxis und -wissenschaft, werteten die Antworten auf 210 Fragen aus sechs Prüfungen in zwei Pharmakotherapie-Kursen aus, die Teil des PharmD-Programms des Coit College of Pharmacy der Universität sind.
Die Fragen stammten aus einem PharmD-Kurs im ersten Jahr, der sich auf Störungen im Zusammenhang mit nicht verschreibungspflichtigen Medikamenten gegen Sodbrennen, Durchfall, atopische Dermatitis, Erkältung und Allergien konzentrierte. Der andere Kurs war ein Kurs im zweiten Studienjahr, in dem es um Kardiologie, Neurologie und Intensivmedizin ging.
Um die Prüfungsleistungen von Pharmaziestudenten und ChatGPT zu vergleichen, berechneten sie die durchschnittliche Gesamtpunktzahl als Maß für die Fähigkeit, Fragen richtig zu beantworten. Für ChatGPT addierten sie die Einzelergebnisse für jede Prüfung und teilten sie durch die Anzahl der Prüfungen. Um die durchschnittliche Gesamtpunktzahl für die Schüler zu ermitteln, teilten sie die Summe der durchschnittlichen Klassenleistung bei jeder Prüfung durch die Anzahl der Prüfungen. Die durchschnittliche Gesamtpunktzahl für sechs Prüfungen lag für ChatGPT bei 53 im Vergleich zu 82 für Pharmaziestudenten.
Pädagogen, Kliniker und andere diskutieren weiterhin über den Wert von großen KI-Sprachmodellen wie ChatGPT in der akademischen Medizin. Während solche Modelle weiterhin eine Reihe von Rollen im Gesundheitswesen, in der pharmazeutischen Praxis und in anderen Bereichen spielen werden, sind viele besorgt, dass ein zu starkes Vertrauen in die Technologie die Entwicklung der erforderlichen Fähigkeiten des logischen Denkens und des kritischen Denkens bei den Studenten behindern könnte.
Sowohl Erstad als auch Edwards räumten ein, dass neuere und fortschrittlichere Technologien diese Ergebnisse mit der Zeit verändern könnten.
Hinweis: Dieser Artikel wurde mit einem Computersystem ohne menschlichen Eingriff übersetzt. LUMITOS bietet diese automatischen Übersetzungen an, um eine größere Bandbreite an aktuellen Nachrichten zu präsentieren. Da dieser Artikel mit automatischer Übersetzung übersetzt wurde, ist es möglich, dass er Fehler im Vokabular, in der Syntax oder in der Grammatik enthält. Den ursprünglichen Artikel in Englisch finden Sie hier.
Originalveröffentlichung
Weitere News aus dem Ressort Wissenschaft
