La IA identifica la novedad científica
El equipo de Jülich gana un concurso internacional
Anuncios
Un equipo de investigación del Forschungszentrum Jülich ha ganado el concurso internacional «Metascience Novelty Indicators Challenge». Los científicos de Jülich Systems Analysis desarrollaron un método que permite a la inteligencia artificial evaluar la novedad de las publicaciones científicas; en otras palabras, hasta qué punto un estudio contribuye al avance del conocimiento científico. Por su éxito, el equipo ha recibido un premio de 300 000 libras esterlinas para seguir desarrollando el método.
El desafío fue organizado por la Unidad de Metaciencia del Reino Unido (UKRI) en colaboración con socios internacionales. El objetivo era desarrollar un método escalable para evaluar la novedad de los artículos de investigación en el momento de su publicación.
Para ello, los organizadores proporcionaron un conjunto de datos de 100 000 publicaciones científicas recientes. Expertos de las respectivas disciplinas evaluaron su novedad de forma independiente entre sí. La tarea de los equipos participantes consistía en predecir estos juicios de los expertos con la mayor precisión posible, sin conocer las evaluaciones.
El enfoque de Jülich obtuvo los mejores resultados en todos los criterios de evaluación.
«Hasta ahora, la capacidad de evaluar lo que es verdaderamente novedoso y valioso en un artículo científico se ha limitado a los expertos humanos», afirma el Dr. Ing. Jann Michael Weinand, director del Departamento de Escenarios Integrados del Instituto de Sistemas Climáticos y Energéticos – Análisis de Sistemas de Jülich (ICE-2). «Nuestro enfoque demuestra que los sistemas modernos de IA pueden apoyar esta tarea con una fiabilidad asombrosa».
La IA analiza el contenido en lugar del recuento de citas
A diferencia de muchas métricas de investigación establecidas, el sistema de Jülich no evalúa la frecuencia con la que se cita un artículo posteriormente. «Los metadatos no son suficientes para evaluar la novedad en el momento de la publicación. Por lo tanto, nuestro sistema examina el contenido de un estudio y lo relaciona con el estado del conocimiento en el momento de su publicación», afirma el director del proyecto, Jan Göpfert, también del ICE-2, quien desarrolló el enfoque junto con su colega Samuel Kieling.
Para ello, el sistema analiza primero el propio estudio, así como artículos científicos seleccionados a los que hace referencia. Sobre esta base, la IA reconstruye el estado del conocimiento en el momento de la publicación, incluyendo las lagunas conocidas en la investigación. A continuación, evalúa la contribución del nuevo estudio. ¿Introduce un nuevo método? ¿Ofrece resultados sorprendentes? ¿Resuelve un problema que antes no tenía solución? Al hacerlo, el sistema recopila deliberadamente argumentos a favor y en contra de la novedad de un artículo y los sopesa entre sí.
Al final, la IA asigna una puntuación de novedad entre 0 y 100. También proporciona un intervalo que indica el grado de confianza del modelo en su evaluación. A continuación, una justificación escrita detallada hace que la evaluación sea transparente. «El mayor reto fue definir la novedad de una manera significativa. Para nosotros, la novedad no significa simplemente diferencia. Lo que importa es la contribución de un trabajo al progreso científico», afirma Kieling.
Visibilidad temprana para investigaciones importantes
El número de publicaciones científicas sigue creciendo rápidamente. Al mismo tiempo, cada vez se producen más artículos con la ayuda de herramientas de IA. Esto hace que sea cada vez más difícil para los investigadores, las revistas académicas y las organizaciones de financiación identificar contribuciones especialmente relevantes en una fase temprana.
Aquí es donde el indicador de novedad podría ayudar en el futuro. Las investigaciones con un potencial especialmente alto para generar nuevos conocimientos podrían identificarse durante el proceso de revisión por pares o de publicación, en lugar de solo años más tarde, cuando su importancia se hace evidente a través de las métricas de citas.
«Esperamos que esto beneficie especialmente a la investigación que a menudo pasa desapercibida para las métricas tradicionales», afirma Kieling. «Nuestro objetivo no es sustituir el juicio humano. Más bien, la IA debería ayudar a llamar la atención sobre investigaciones potencialmente importantes y respaldar decisiones mejor fundamentadas».
Además, el Indicador de Novedad abre nuevas posibilidades para la metaciencia, es decir, el estudio científico del propio sistema de investigación.
El premio en metálico permite seguir desarrollando el proyecto
Con el premio de 300 000 libras esterlinas, el equipo pretende seguir desarrollando el prototipo existente para convertirlo en una herramienta científica fiable. El indicador de novedad pretende ser transparente, resistente a la manipulación y no debe agravar las desigualdades existentes dentro del sistema científico.
A largo plazo, los investigadores prevén aplicaciones que van mucho más allá de las publicaciones científicas, por ejemplo, en el contexto de las patentes o la identificación de nuevas y prometedoras preguntas e hipótesis de investigación. «Al mismo tiempo, este desarrollo plantea preguntas fundamentales: ¿qué papel debería desempeñar la IA en la toma de decisiones científicas en el futuro? ¿Y cómo podemos garantizar que la evaluación y el progreso científicos sigan siendo transparentes y trazables?», afirma Göpfert.
El trabajo de los investigadores de Jülich demuestra que la IA es ahora capaz de mucho más que analizar datos o resumir textos. Cada vez es más capaz de evaluar la propia investigación científica, lo que abre nuevas posibilidades para la ciencia del mañana.
Nota: Este artículo ha sido traducido utilizando un sistema informático sin intervención humana. LUMITOS ofrece estas traducciones automáticas para presentar una gama más amplia de noticias de actualidad. Como este artículo ha sido traducido con traducción automática, es posible que contenga errores de vocabulario, sintaxis o gramática. El artículo original en Inglés se puede encontrar aquí.
Más noticias del departamento ciencias
