Frente a frente com a IA, os estudantes de farmácia venceram
Um estudo demonstrou que, em comparação com os estudantes, o ChatGPT 3.5 tinha menos probabilidades de responder corretamente a perguntas em exames de terapêutica centrados em aplicações e casos clínicos.
Os estudantes que pretendem obter o grau de Doutor em Farmácia fazem - e passam - rotineiramente exames rigorosos para provar a sua competência em várias áreas. Poderá o ChatGPT responder com exatidão às mesmas perguntas? Um novo estudo efectuado por investigadores da Faculdade de Farmácia da Universidade do Arizona R. Ken Coit diz que não, não pode.
rian Erstad, PharmD, é o reitor interino e professor no R. Ken Coit College of Pharmacy.
Photo by Kris Hanning, U of A Office of Research and Partnerships
Os investigadores descobriram que o ChatGPT 3.5, uma forma de inteligência artificial, teve um desempenho pior do que os estudantes de Farmácia ao responder a perguntas sobre exames terapêuticos que garantem que os estudantes têm os conhecimentos, as competências e as capacidades de pensamento crítico para prestar cuidados seguros, eficazes e centrados no doente.
O ChatGPT teve menos probabilidades de responder corretamente a perguntas baseadas em aplicações (44%) em comparação com perguntas centradas na recordação de factos (80%). Também foi menos provável que respondesse corretamente a perguntas baseadas em casos (45%) em comparação com perguntas que não se centravam em casos de pacientes (74%). No geral, o ChatGPT respondeu corretamente a apenas 51% das perguntas.
Os resultados fornecem informações adicionais sobre as utilizações e limitações da tecnologia e podem também revelar-se valiosos para o desenvolvimento de perguntas para exames de farmácia.
"A IA tem muitos usos potenciais nos cuidados de saúde e na educação, e não está a desaparecer", disse Christopher Edwards, PharmD, professor clínico associado de prática e ciência farmacêutica. "Uma das coisas que esperávamos responder com o estudo era se os alunos quisessem usar IA em um exame, como eles se sairiam? Queria ter dados para mostrar aos alunos e dizer-lhes que podem sair-se bem nos exames se estudarem muito e que não precisam necessariamente destas ferramentas".
Um objetivo secundário era descobrir com que tipo de perguntas a IA teria dificuldades. O reitor interino do Coit College of Pharmacy, Brian Erstad, PharmD, não ficou surpreendido com o facto de o ChatGPT se ter saído melhor com perguntas simples de escolha múltipla e verdadeiro-falso e ter tido menos sucesso com perguntas baseadas em aplicações.
"Os tipos de lugares onde as evidências são limitadas e o julgamento é necessário, o que geralmente ocorre em um ambiente clínico, foi onde achamos a tecnologia um pouco deficiente", disse ele. "Ironicamente, são esses os tipos de questões que os médicos estão sempre a enfrentar."
Edwards, Erstad e Bernadette Cornelison, PharmD, professora associada de prática e ciência farmacêutica, avaliaram as respostas a 210 perguntas de seis exames em dois cursos de farmacoterapêutica que fazem parte do programa PharmD da Coit College of Pharmacy da universidade.
As perguntas vieram de um curso de PharmD do primeiro ano focado em distúrbios relacionados a medicamentos não prescritos para azia, diarréia, dermatite atópica, resfriado e alergias. A outra turma era um curso do segundo ano que abrangia tópicos de cardiologia, neurologia e cuidados intensivos.
Para comparar os desempenhos dos exames dos estudantes de farmácia e do ChatGPT, calcularam as pontuações médias compostas como uma medida da capacidade de responder corretamente às perguntas. Para o ChatGPT, somaram as pontuações individuais de cada exame e dividiram pelo número de exames. Para calcular a pontuação média composta para os alunos, dividiram a soma do desempenho médio da turma em cada exame pelo número de exames. A pontuação média composta de seis exames para o ChatGPT foi de 53, em comparação com 82 para os estudantes de farmácia.
Educadores, clínicos e outros continuam a debater o valor dos modelos de linguagem de IA de grande dimensão, como o ChatGPT, na medicina académica. Embora estes modelos continuem a desempenhar uma série de papéis nos cuidados de saúde, na prática da farmácia e noutras áreas, muitos estão preocupados com o facto de confiar demasiado na tecnologia poder prejudicar o desenvolvimento das competências de raciocínio e pensamento crítico necessárias nos estudantes.
Tanto Erstad como Edwards reconheceram que, com o tempo, uma tecnologia mais recente e mais avançada poderá alterar estes resultados.
Observação: Este artigo foi traduzido usando um sistema de computador sem intervenção humana. A LUMITOS oferece essas traduções automáticas para apresentar uma gama mais ampla de notícias atuais. Como este artigo foi traduzido com tradução automática, é possível que contenha erros de vocabulário, sintaxe ou gramática. O artigo original em Inglês pode ser encontrado aqui.
Publicação original
Outras notícias do departamento ciência
