Face à face avec l'IA, les étudiants en pharmacie l'emportent
Une étude a montré que, comparé aux étudiants, le ChatGPT 3.5 était moins susceptible de répondre correctement aux questions des examens de thérapeutique axés sur les applications et les cas cliniques.
Les étudiants qui préparent un doctorat en pharmacie passent et réussissent régulièrement des examens rigoureux pour prouver leurs compétences dans plusieurs domaines. Le ChatGPT peut-il répondre avec précision aux mêmes questions ? Une nouvelle étude menée par des chercheurs du R. Ken Coit College of Pharmacy de l'université de l'Arizona répond par la négative.
rian Erstad, PharmD, est doyen par intérim et professeur au R. Ken Coit College of Pharmacy.
Photo by Kris Hanning, U of A Office of Research and Partnerships
Les chercheurs ont constaté que ChatGPT 3.5, une forme d'intelligence artificielle, répondait moins bien que les étudiants en pharmacie aux questions des examens thérapeutiques qui visent à s'assurer que les étudiants possèdent les connaissances, les compétences et l'esprit critique nécessaires pour fournir des soins sûrs, efficaces et centrés sur le patient.
ChatGPT avait moins de chances de répondre correctement aux questions basées sur l'application (44 %) qu'aux questions axées sur le rappel de faits (80 %). Il était également moins susceptible de répondre correctement aux questions basées sur des cas (45 %) par rapport aux questions qui n'étaient pas centrées sur des cas de patients (74 %). Dans l'ensemble, ChatGPT n'a répondu correctement qu'à 51 % des questions.
Les résultats fournissent des indications supplémentaires sur les utilisations et les limites de la technologie et peuvent également s'avérer utiles pour l'élaboration de questions d'examen en pharmacie.
"L'IA a de nombreuses utilisations potentielles dans les soins de santé et l'éducation, et elle n'est pas près de disparaître", a déclaré Christopher Edwards, PharmD, professeur agrégé de pratique et de science pharmaceutiques. "L'une des questions auxquelles nous souhaitions répondre dans le cadre de cette étude était la suivante : si les étudiants voulaient utiliser l'IA lors d'un examen, quels seraient leurs résultats ? Je voulais avoir des données à montrer aux étudiants et leur dire qu'ils peuvent réussir leurs examens en étudiant dur et qu'ils n'ont pas nécessairement besoin de ces outils."
L'un des objectifs secondaires était de découvrir les types de questions qui poseraient problème à l'IA. Le doyen intérimaire du Coit College of Pharmacy, Brian Erstad, PharmD, n'a pas été surpris de constater que ChatGPT réussissait mieux avec les questions à choix multiples et les questions vrai-faux, mais moins bien avec les questions d'application.
"Nous avons trouvé que la technologie était quelque peu déficiente dans les domaines où les preuves sont limitées et où il faut faire preuve de discernement, ce qui est souvent le cas dans un contexte clinique", a-t-il déclaré. "Paradoxalement, c'est le genre de questions auxquelles les cliniciens sont toujours confrontés.
Edwards, Erstad et Bernadette Cornelison, PharmD, professeur agrégé de pratique et de science pharmaceutiques, ont évalué les réponses à 210 questions provenant de six examens dans deux cours de pharmacothérapie qui font partie du programme PharmD du Coit College of Pharmacy de l'université.
Les questions provenaient d'un cours de PharmD de première année axé sur les troubles liés aux médicaments en vente libre pour les brûlures d'estomac, la diarrhée, la dermatite atopique, le rhume et les allergies. L'autre cours était un cours de deuxième année portant sur la cardiologie, la neurologie et les soins intensifs.
Pour comparer les performances des étudiants en pharmacie et celles du ChatGPT, ils ont calculé les scores composites moyens comme mesure de la capacité à répondre correctement aux questions. Pour le ChatGPT, ils ont additionné les scores individuels pour chaque examen et les ont divisés par le nombre d'examens. Pour calculer le score composite moyen des étudiants, ils ont divisé la somme des performances moyennes de la classe à chaque examen par le nombre d'examens. Le score composite moyen pour les six examens de ChatGPT était de 53 contre 82 pour les étudiants en pharmacie.
Les éducateurs, les cliniciens et d'autres acteurs continuent de débattre de la valeur des modèles de langage à grande échelle de l'IA, tels que ChatGPT, dans la médecine universitaire. Même si ces modèles continueront à jouer un rôle dans les soins de santé, la pratique de la pharmacie et d'autres domaines, beaucoup craignent que le fait de trop compter sur la technologie n'entrave le développement des compétences nécessaires en matière de raisonnement et de pensée critique chez les étudiants.
Erstad et Edwards ont tous deux reconnu qu'avec le temps, une technologie plus récente et plus avancée pourrait modifier ces résultats.
Note: Cet article a été traduit à l'aide d'un système informatique sans intervention humaine. LUMITOS propose ces traductions automatiques pour présenter un plus large éventail d'actualités. Comme cet article a été traduit avec traduction automatique, il est possible qu'il contienne des erreurs de vocabulaire, de syntaxe ou de grammaire. L'article original dans Anglais peut être trouvé ici.
Publication originale
Autres actualités du département science
