25.05.2020 - Forschungszentrum Jülich GmbH

Wissenschaftliche Datenanalyse: Die Welt ist nicht schwarz-weiß

Wie die Datenanalyse wissenschaftliche Schlussfolgerungen beeinflusst

Was passiert, wenn 70 Forscherteams unabhängig voneinander denselben Datensatz analysieren, um dieselben Hypothesen zu testen? Nahezu 200 Wissenschaftler aus aller Welt haben untersucht, wie die Art der Datenanalyse das Endresultat beeinflusst.

Durch die Corona-Pandemie hat in den letzten Monaten ein großer Teil der Bevölkerung den wissenschaftlichen Erkenntnisprozess in Echtzeit mitverfolgen können. Anders als nur das Endergebnis einer Forschungsarbeit zu sehen, kann derzeit die breite Öffentlichkeit Schritt für Schritt miterleben, wie neue Daten analysiert werden, wie Ergebnisse revidiert und neu eingeschätzt werden. Das hat unter anderem zur Folge, dass verschiedene Experten unterschiedliche Prognosen liefern, über die Ausbreitung des Virus, den Verlauf der Krankheit, Auswirkungen auf die Wirtschaft – und damit auch voneinander abweichende und zum Teil sogar einander widersprechende Empfehlungen, wie man der Gefahr am besten begegnet.

"Der wissenschaftliche Prozess umfasst viele Schritte: Eine Theorie wird entwickelt, Hypothesen erstellt, schließlich Daten gesammelt und ausgewertet", erklärt Prof. Simon Eickhoff vom Jülicher Institut für Neurowissenschaften und Medizin. "Jeder dieser Schritte kann die endgültigen Schlussfolgerungen potenziell beeinflussen, aber in welchem Umfang? Werden zum Beispiel verschiedene Forscher auf der Grundlage derselben Daten und Hypothesen zu unterschiedlichen Schlussfolgerungen kommen?"

Nahezu 200 Forscher aus Neurowissenschaften, Psychologie, Statistik und Wirtschaft haben sich zusammengeschlossen, um Antworten auf diese Fragen zu finden. In einer großangelegten Studie haben sie untersucht, wie sich die Art der Datenanalyse auf die Ergebnisse auswirkt. Verwendet wurden Daten der bildgebenden Hirnforschung, speziell der funktionellen Magnetresonanztomographie (fMRI).

Die komplexen fMRI-Datensätze stammten von 108 Teilnehmern einer Studie zur finanziellen Entscheidungsfindung der Universität Tel Aviv. Die Datensätze wurden an 70 Analyseteams aus der ganzen Welt verteilt, darunter drei Teams aus Simon Eickhoffs Institut. Jedes Team analysierte unabhängig die gleichen Daten: Dabei verwendeten sie jeweils ihre Standard-Analysemethoden, um neun vordefinierte Hypothesen zu testen. "Bei jeder dieser Hypothesen wurde gefragt, wie sich bestimmte Aspekte der Entscheidungsfindung auf die Hirnaktivität auswirken", erläutert Eickhoff. "Beispielsweise: Ändert sich die Aktivität in einer bestimmten Gehirnregion der Probanden, wenn es darum geht, wieviel Geld sie bei einer Entscheidung gewinnen oder verlieren könnten? Ja oder Nein?"

Die Analyseteams hatten drei Monate Zeit, um die Daten auszuwerten. Danach lieferten sie ihre 'Ja / Nein'-Resultate für die verschiedenen Hypothesen – zusammen mit detaillierten Informationen über die genaue Art und Weise, wie sie die Datensätze Schritt für Schritt analysiert haben, inklusive ihrer Zwischenergebnisse.

Die Ergebnisse der Analysegruppen variierten erheblich. Bei über der Hälfte der neun Hypothesen gab es erhebliche Meinungsverschiedenheiten: Zum Teil gelangten bis zu 40 Prozent der Teams zu einem abweichenden Resultat. "Die Zwischenergebnisse waren zum Teil sehr ähnlich", erklärt Eickhoff. "Spätere Analyseschritte führen dann jedoch zum Teil zu einer unterschiedlichen Gewichtung. Da die Endresultate die Breite der Daten auf eine einfache 'Ja / Nein'-Antwort reduzierten, hatte das zur Folge, dass selbst sehr ähnliche Zwischenergebnisse zu anderen Endresultaten führten." Eine Metaanalyse, bei der Zwischenergebnisse von verschiedenen Teams kombiniert und gemeinsam ausgewertet wurden, führte wiederum zu ähnlichen Resultaten.

Nicht nur für die Neurowissenschaften interessant

Die Studie belegt zum ersten Mal, dass die Art der Analyse komplexer Neuroimaging-Datensätze einen starken Einfluss auf das Ergebnis haben kann – trotz identischer Ausgangsdaten und festgelegter Fragestellungen. "Der Grund dafür ist, dass Forscher bei so komplexen Datensätzen auf dem Weg zum Ergebnis viele einzelne Entscheidungen treffen müssen, wie die vorliegenden Daten verarbeitet, geordnet, modelliert, analysiert werden", so Eickhoff. "Dass Metaanalysen zu konvergenteren Ergebnissen führen, ist besonders interessant. Die gemeinsame Analyse von Zwischenergebnissen einzelner Forschergruppen könnte in Zukunft die Hirnforschung voranbringen."

Tatsächlich ist die Studie nicht nur für die Neurowissenschaften interessant. "Dieses spezielle Problem der Analyse betrifft alle Bereiche, in denen mit hochkomplexen Daten gearbeitet wird, die am Ende auf ein nacktes 'Ja / Nein'-Resultat reduziert werden müssen", erklärt Eickhoff. "Die in der Studie aufgezeigte Variabilität der Ergebnisse ist ein inhärenter Bestandteil des komplexen Prozesses wissenschaftlicher Arbeit. In einer immer stärker datenbasierten und spezialisierten Wissenschaft sind daher Kooperation und Transparenz essentiell."

Die Tatsache, dass fast 200 Experten bereit waren, zum Teil Hunderte Stunden in eine kritische Selbstbewertung zu investieren, zeigt, wie stark die Wissenschaftler in diesem Bereich engagiert sind. "Wie die COVID-19-Pandemie derzeit deutlich macht, gibt es keinen Ersatz für die selbstkorrigierende wissenschaftliche Methode, um der globalen menschlichen Gesellschaft die Bewältigung der vor uns liegenden Herausforderungen zu ermöglichen – selbst unter Berücksichtigung der Unsicherheit, die dem wissenschaftlichen Prozess eigen ist."

Sowohl Daten als auch verwendete Computercodes der Studie sind offen zugänglich. Alle Analysen sind komplett reproduzierbar.

Fakten, Hintergründe, Dossiers
  • Datenanalysen
Mehr über Forschungszentrum Jülich
  • News

    Neuer Hinweis auf Zusammenhang zwischen Alzheimer und Diabetes

    Krankhaft verklumpte Eiweiße sind für eine ganze Reihe von Erkrankungen charakteristisch, unter anderem Alzheimer, Parkinson und der verbreitete Typ-2-Diabetes. Wissenschaftler des Forschungszentrums Jülich, der Heinrich-Heine-Universität Düsseldorf und der Universität Maastricht haben mitt ... mehr

    Zusammenlagerung von Proteinen nicht nur bei Alzheimer und Parkinson relevant

    Bei neurodegenerativen Erkrankungen spielen Amyloid-Fibrillen eine gefährliche Rolle. Wissenschaftler der Heinrich-Heine-Universität Düsseldorf (HHU) und des Forschungszentrums Jülich konnten nun mit Hilfe der Kryoelektronenmikroskopie (Kryo-EM) erstmals die räumliche Struktur der Fibrillen ... mehr

    Geistig fit durch Zweitsprache?

    Wer eine zusätzliche Sprache intensiv erlernt, legt an Gehirnvolumen zu. Der Effekt ist besonders zu Beginn des Lernprozesses zu beobachten. Wissenschaftler aus Jülich, Düsseldorf und Aachen haben im Rahmen der "1.000-Gehirne-Studie" erforscht, wie sich die entsprechenden Gehirnregionen im ... mehr

  • Videos

    Zukunft ist unsere Aufgabe: Das Forschungszentrum Jülich

    Das Forschungszentrum Jülich betreibt interdisziplinäre Spitzenforschung in den Bereichen Energie und Umwelt sowie Information und Gehirn. Es stellt sich drängenden Fragen der Gegenwart und entwickelt Schlüsseltechnologien für morgen. mehr

    Chlorophyllfluoreszenz: Das Leuchten der Pflanzen

    „Ich glaube etwas erst, wenn ich es sehe“, betont Andreas Burkart. Dazu nimmt er Besucher gerne mit in einen abgedunkelten Raum im Erdgeschoss des Instituts. Auf dem Weg dorthin zupft er rasch ein Blatt einer Birkenfeige ab, die auf dem grauen Institutsflur für etwas Behaglichkeit sorgen so ... mehr

    Ein 3-D-Modell des menschlichen Gehirns

    Jülicher Wissenschaftler entwickeln ein 3-D-Modell des menschlichen Gehirns. Dafür analysieren sie Tausende von hauchdünnen histologischen Hirnschnitten mit Hilfe von Mikroskopen und modernen Bildauswertungsmethoden und rekonstruieren diese anschließend dreidimensional am Computer. Die hier ... mehr

  • Firmen

    Forschungszentrum Jülich GmbH, Projektträger Jülich

    mehr

  • Forschungsinstitute

    Forschungszentrum Jülich GmbH

    Das Forschungszentrum Jülich betreibt interdisziplinäre Spitzenforschung zur Lösung großer gesellschaftlicher Herausforderungen in den Bereichen Gesundheit, Energie & Umwelt sowie Informationstechnologie. Kombiniert mit den beiden Schlüsselkompetenzen Physik und Supercomputing werden in Jül ... mehr