Testa a testa contro l'intelligenza artificiale, gli studenti di farmacia hanno vinto
Uno studio ha dimostrato che, rispetto agli studenti, ChatGPT 3.5 aveva meno probabilità di rispondere correttamente alle domande degli esami di terapeutica incentrati su applicazioni e casi clinici.
Gli studenti che si laureano in Farmacia sostengono abitualmente - e superano - esami rigorosi per dimostrare le proprie competenze in diverse aree. La ChatGPT può rispondere accuratamente alle stesse domande? Secondo un nuovo studio condotto dai ricercatori del R. Ken Coit College of Pharmacy dell'Università dell'Arizona, no.
rian Erstad, PharmD, è preside ad interim e professore presso il R. Ken Coit College of Pharmacy.
Photo by Kris Hanning, U of A Office of Research and Partnerships
I ricercatori hanno scoperto che ChatGPT 3.5, una forma di intelligenza artificiale, ha ottenuto risultati peggiori rispetto agli studenti di Farmacia nel rispondere alle domande degli esami terapeutici che assicurano che gli studenti abbiano le conoscenze, le competenze e le capacità di pensiero critico per fornire un'assistenza sicura, efficace e incentrata sul paziente.
ChatGPT ha avuto meno probabilità di rispondere correttamente alle domande basate sull'applicazione (44%) rispetto a quelle incentrate sul ricordo dei fatti (80%). Inoltre, ha risposto meno correttamente alle domande basate sui casi (45%) rispetto a quelle non incentrate sui casi dei pazienti (74%). Complessivamente, ChatGPT ha risposto correttamente solo al 51% delle domande.
I risultati forniscono ulteriori approfondimenti sugli usi e i limiti della tecnologia e potrebbero rivelarsi preziosi per lo sviluppo di domande per l'esame di farmacia.
"L'intelligenza artificiale ha molti utilizzi potenziali nell'assistenza sanitaria e nell'istruzione, e non è destinata a scomparire", ha dichiarato Christopher Edwards, PharmD, professore clinico associato di pratica e scienza della farmacia. "Una delle cose a cui speravamo di rispondere con questo studio era: se gli studenti volessero usare l'IA in un esame, come si comporterebbero? Volevo avere dei dati da mostrare agli studenti e dire loro che possono ottenere buoni risultati agli esami studiando sodo e che non hanno necessariamente bisogno di questi strumenti".
Un obiettivo secondario era quello di scoprire con quali tipi di domande l'AI avrebbe avuto difficoltà. Il preside ad interim del Coit College of Pharmacy, Brian Erstad, PharmD, non è rimasto sorpreso dal fatto che ChatGPT sia andato meglio con le domande a scelta multipla e vero-falso, mentre ha avuto meno successo con le domande basate sulle applicazioni.
"Il tipo di domande in cui le prove sono limitate e in cui è richiesto un giudizio, come spesso accade in ambito clinico, è quello in cui la tecnologia ci è sembrata un po' carente", ha detto. "Ironia della sorte, questi sono i tipi di domande che i medici devono sempre affrontare".
Edwards, Erstad e Bernadette Cornelison, PharmD, professore associato di pratica e scienza farmaceutica, hanno valutato le risposte a 210 domande di sei esami di due corsi di farmacoterapia che fanno parte del programma di dottorato del Coit College of Pharmacy dell'università.
Le domande provenivano da un corso di dottorato del primo anno incentrato sui disturbi legati ai farmaci senza prescrizione per bruciore di stomaco, diarrea, dermatite atopica, raffreddore e allergie. L'altra classe era un corso del secondo anno che trattava argomenti di cardiologia, neurologia e assistenza critica.
Per confrontare le prestazioni degli studenti di farmacia e di ChatGPT, sono stati calcolati i punteggi medi compositi come misura della capacità di rispondere correttamente alle domande. Per ChatGPT, hanno sommato i punteggi individuali per ogni esame e li hanno divisi per il numero di esami. Per calcolare il punteggio composito medio degli studenti, hanno diviso la somma dei risultati medi della classe in ogni esame per il numero di esami. Il punteggio medio composito per sei esami per ChatGPT è stato di 53 rispetto a 82 per gli studenti di farmacia.
Educatori, clinici e altri continuano a discutere il valore dei modelli linguistici di grandi dimensioni dell'IA, come ChatGPT, nella medicina accademica. Anche se tali modelli continueranno a svolgere una serie di ruoli nell'assistenza sanitaria, nella pratica farmaceutica e in altri settori, molti temono che affidarsi troppo alla tecnologia possa ostacolare lo sviluppo delle necessarie capacità di ragionamento e di pensiero critico negli studenti.
Sia Erstad che Edwards hanno riconosciuto che, col tempo, una tecnologia più nuova e più avanzata potrebbe cambiare questi risultati.
Nota: questo articolo è stato tradotto utilizzando un sistema informatico senza intervento umano. LUMITOS offre queste traduzioni automatiche per presentare una gamma più ampia di notizie attuali. Poiché questo articolo è stato tradotto con traduzione automatica, è possibile che contenga errori di vocabolario, sintassi o grammatica. L'articolo originale in Inglese può essere trovato qui.
Pubblicazione originale
Altre notizie dal dipartimento scienza
