Wenn man sich nicht auf die Forschung verlassen kann

Es war ein gefundenes Fressen für Aufklärer und Religionskritiker: Allein die Betrachtung der berühmten Rodin-Skulptur «Der Denker» brachte Menschen dazu, ihren Glauben anzuzweifeln. Das berichtete 2012 eine Studie im renommierten Fachblatt Science. Doch seit dieser Woche weiss man: Das vermeintlich bahnbrechende Ergebnis stimmt wohl nicht. Zu diesem Schluss kam ein gross angelegtes Projekt, welches sich zum Ziel gesetzt hatte, Studien aus dem Bereich der Sozialwissenschaften zu replizieren.

Dazu wiederholte ein internationales Forscherkonsortium Experimente aus 21 Studien aus Nordamerika und Europa, die sich mit unserem Verhalten beschäftigen und die zwischen 2010 und 2015 erschienen waren. Dabei hielten sich die Forschenden peinlich genau an die originalen Versuchsprotokolle.

Ergebnis: Ganze acht der 21 Forschungsberichte, also fast 40 Prozent, konnten die Forschenden nicht bestätigen. Und das, obwohl alle Berichte mit der Veröffentlichung in den Top-Journalen «Nature» oder «Science» den Wissenschaftsolymp erklommen hatten. Und, obwohl die Forschenden die statistische Auswertung bei der Wiederholung so anlegten, dass eine Studie auch dann noch als replizierbar galt, wenn die Ergebnisse weniger klar herauskamen als in der Originalstudie.

Ein Grund für das schlechte Abschneiden mancher Studien sei, dass diese mit zu kleinen Teilnehmerzahlen durchgeführt wurden, sagt Mitautor der Wiederholungsstudie Felix Holzmeister von der Universität Innsbruck. Einige der ursprünglichen Untersuchungen hätten sich auf weniger als 50 Teilnehmer gestützt. Solche Ergebnisse würden die Wirklichkeit nicht widerspiegeln. Ausserdem, so Holzmeister, könnte das sogenannte «p-hacking» eine Rolle spielen. Bei dieser verpönten – doch scheinbar recht gängigen – Praxis durchforsten Forschende ihre Datensätze so lange, bis sie ein statistisch signifikantes Ergebnis gefunden haben. Auch wenn dieses Ergebnis nichts mit ihrer ursprünglichen Hypothese zu tun hat. Eine Art Datenmanipulation also.

Um dieser Praxis vorzubeugen, sollten Forschende zukünftig ihre Hypothese, die sie überprüfen wollen, auf einer öffentlichen Plattform registrieren, empfiehlt Holzmeister. Und zwar vor Beginn der Experimente.

Um die Verlässlichkeit von Studienergebnissen vorherzusagen, könnten Wissenschaftler aber auch einfach auf sie wetten. Das klingt kurios, funktioniert aber. Denn bevor Holzmeister und seine Kollegen die 21 Berichte auf den Prüfstand hoben, baten sie Forscherkollegen zu wetten, inwiefern eine Studie replizierbar sein würde. Ganze 400 Wissenschaftlerinnen und Wissenschaftler aus aller Welt beteiligten sich und hatten dabei einen guten Riecher: Sie prognostizierten die Ergebnisse von 18 der 21 Wiederholungen korrekt. «Die Studien müssen also irgendetwas an sich haben, das Forscherkollegen erkennen», so Holzmeister. So wurden die Forschenden offenbar bei geringen Teilnehmerzahlen und unsauberer Statistik misstrauisch. Oder auch schlicht bei Ergebnissen, die sich nicht mit ihren bisherigen wissenschaftlichen Erfahrungen decken.

Zurück zum «Denker»: Dass Menschen, nur weil sie eine Skulptur anschauen, nicht gleich ihre Religion anzweifeln – das konnte man sich ja eigentlich denken. Oder?

Produced by higgs – das Magazin für alle, die es wissen wollen.

Initiated by Gebert Rüf Stiftung