KI erkennt wissenschaftliche Neuheit

Die Challenge wurde von der britischen Metascience Unit (UKRI) gemeinsam mit internationalen Partnern organisiert. Ziel war es, eine skalierbare Methode zu entwickeln, mit der sich bereits zum Zeitpunkt der Veröffentlichung der Neuheitswert einer Forschungsarbeit erkennen lässt.

Dafür stellten die Organisatoren einen Datensatz von 100.000 aktuellen wissenschaftlichen Publikationen bereit. Fachleute aus den jeweiligen Disziplinen bewerteten deren Neuheit unabhängig voneinander. Die Aufgabe der teilnehmenden Teams bestand darin, diese Expertenurteile möglichst genau vorherzusagen – ohne die Bewertungen zu kennen.

Der Jülicher Ansatz erzielte in allen Bewertungsmaßstäben die besten Ergebnisse

„Bislang war die Einschätzung, was an einer wissenschaftlichen Arbeit wirklich neu und wertvoll ist, vor allem menschlichen Expertinnen und Experten vorbehalten“, sagt Dr.-Ing. Jann Michael Weinand, Leiter der Abteilung Integrierte Szenarien am Institute of Climate and Energy Systems – Jülicher Systemanalyse (ICE-2). „Unser Ansatz zeigt, dass moderne KI-Systeme diese Aufgabe erstaunlich zuverlässig unterstützen können.“

KI analysiert Inhalte statt Zitationszahlen

Anders als viele etablierte Forschungsmetriken bewertet das Jülicher System nicht, wie oft eine Arbeit später zitiert wird. „Um Neuheit zum Zeitpunkt der Veröffentlichung zu bewerten, sind Metadaten nicht ausreichend. Daher untersucht unser System den Inhalt einer Studie und setzt ihn in Beziehung zum Wissensstand zum Zeitpunkt ihrer Veröffentlichung“, sagt Projektleiter Jan Göpfert, ebenfalls vom ICE-2, der den Ansatz gemeinsam mit seinem Kollegen Samuel Kieling entwickelt hat.

Dafür analysiert das System zunächst die Studie selbst sowie ausgewählte wissenschaftliche Arbeiten, auf die sie sich bezieht. Auf dieser Grundlage rekonstruiert die KI den Wissensstand zum Zeitpunkt der Veröffentlichung, inklusive bekannter Forschungslücken. Anschließend bewertet sie, welchen Beitrag die neue Studie dazu leistet. Führt sie eine neue Methode ein? Liefert sie überraschende Ergebnisse? Löst sie ein bislang ungelöstes Problem? Dabei sammelt das System bewusst sowohl Argumente für als auch gegen die Neuheit einer Arbeit und wägt diese gegeneinander ab.

Am Ende vergibt die KI einen Neuheitswert zwischen 0 und 100. Zusätzlich gibt sie ein Intervall an, das beschreibt, wie sicher sich das Modell bei seiner Einschätzung ist. Eine detaillierte, schriftliche Begründung macht die Bewertung anschließend nachvollziehbar. „Die eigentliche Herausforderung bestand darin, Neuheit überhaupt sinnvoll zu definieren. Für uns bedeutet Neuheit nicht einfach Andersartigkeit. Entscheidend ist, welchen Beitrag eine Arbeit zum wissenschaftlichen Fortschritt leistet“, so Kieling.

Frühere Sichtbarkeit für wichtige Forschung

Die Zahl wissenschaftlicher Veröffentlichungen wächst seit Jahren rasant. Gleichzeitig entstehen immer mehr Arbeiten mithilfe von KI-Werkzeugen. Für Forschende, Fachzeitschriften und Förderorganisationen wird es dadurch zunehmend schwieriger, besonders relevante Beiträge frühzeitig zu erkennen.

Hier könnte der Neuheitsindikator künftig unterstützen. Forschung mit besonderem Potenzial für neue Erkenntnisse ließe sich bereits während des Begutachtungs- oder Veröffentlichungsprozesses identifizieren – statt erst Jahre später, wenn sich ihre Bedeutung in Zitationszahlen widerspiegelt.

„Wir hoffen, dass insbesondere solche Arbeiten profitieren, die von klassischen Kennzahlen oft übersehen werden“, sagt Kieling. „Unser Ziel ist nicht, menschliche Urteile zu ersetzen. Die KI soll Aufmerksamkeit auf potenziell wichtige Forschung lenken und damit bessere Entscheidungen unterstützen.“

Darüber hinaus eröffnet der Neuheitsindikator neue Möglichkeiten für die sogenannte Metaforschung (engl. Metascience), also die wissenschaftliche Untersuchung des Forschungssystems selbst.

Preisgeld ermöglicht Weiterentwicklung

Mit dem Preisgeld von 300.000 Pfund will das Team den bisherigen Prototypen zu einem verlässlichen, wissenschaftlichen Instrument weiterentwickeln. Der Neuheitsindikator soll transparent arbeiten, möglichst schwer zu manipulieren sein und bestehende Benachteiligungen im Wissenschaftssystem nicht verstärken.

Langfristig sehen die Forschenden Anwendungen weit über wissenschaftliche Publikationen hinaus – etwa bei Patenten oder der Identifizierung neuer, vielversprechender Forschungsfragen und -hypothesen. „Gleichzeitig wirft die Entwicklung grundlegende Fragen auf: Welche Rolle soll KI künftig bei wissenschaftlichen Entscheidungen spielen? Und wie lässt sich sicherstellen, dass wissenschaftliche Bewertung und Fortschritt transparent und nachvollziehbar bleiben?“, sagt Göpfert.

Die Arbeit der Jülicher Forschenden zeigt: KI kann inzwischen nicht nur Daten auswerten oder Texte zusammenfassen. Sie beginnt auch, wissenschaftliche Beiträge selbst einzuordnen – und eröffnet damit neue Möglichkeiten für die Forschung von morgen.