Sie erwarten, dass Wissenschaftler sehr vorsichtig sind, wenn sie sich auf frühere Forschungen beziehen

Alles, was in wissenschaftlichen Publikationen steht, ist immer vollkommen richtig. Wobei so ein Artikel durch all die sauberen Verweise und soliden Begründungen manchmal weniger lesbar ist. Oder wie Paulien Cornelisse letzten Donnerstag schrieb: ‚[Ik] war überrascht, wie langweilig und langatmig ich das fand.‘

Oder warte, Cornelisse sprach von dem BFG von Roald Dahl und nicht um einen wissenschaftlichen Artikel. Und der erste Satz meiner Kolumne entpuppt sich bei näherer Betrachtung als falsch. Lassen Sie mich noch einmal beginnen.

Wissenschaftliche Forschung baut oft auf früherer Forschung auf – es ist das berüchtigte „Auf den Schultern von Giganten stehen“. Sie erwarten, dass Wissenschaftler sehr vorsichtig sind, wenn sie sich auf Ergebnisse früherer Forschung beziehen.

Letzte Woche die Ergebnisse von a lernen in dem der Psychologe Cory Cobb und vier Kollegen überprüften, ob wissenschaftliche Veröffentlichungen frühere Arbeiten korrekt zitieren. Es handelte sich um insgesamt 3.347 Verweise auf frühere Forschungen in 89 wissenschaftlichen Artikeln zur Psychologie. Die gute Nachricht ist, dass 2.718 dieser Zitate genau beschrieben, was die ursprüngliche Studie herausgefunden hat. Eine etwas weniger gute Nachricht ist, dass 311-Referenzen etwas ungenauer waren. Beispielsweise wurden die Ergebnisse für chinesische Einwanderer auf andere asiatische Bevölkerungsgruppen verallgemeinert.

Noch schlimmer ist, dass 318 Referenzen völlig falsch waren. Dies betraf hauptsächlich Behauptungen, die in der ursprünglichen Studie vollständig fehlten – wie ich es bei der Kolumne von Paulien Cornelisse tat. Schlimmer noch, etwa ein Drittel der falschen Referenzen behauptete etwas, das dem zitierten Artikel vollständig widersprach. Beispielsweise wurde eine Studie, die keine Beweise für ein bestimmtes Phänomen fand, salopp zitiert als „diese Studie zeigt, dass dieses Phänomen auftritt“.

Kurzum: Knapp 10 Prozent der geprüften Verweise waren inhaltlich fehlerhaft. Diese Studie befasste sich mit Psychologie, aber frühere Studien haben gezeigt, dass ähnliches Elend in Bereichen von der Medizin bis zur Meeresbiologie und von den Erdwissenschaften bis zur Bildung vorkommt (obwohl das wissenschaftliche Papier den Begriff „Elend“ nicht verwendet).

Cobb und Kollegen bieten eine Reihe von Tipps für verbesserte Zitate, insbesondere die Bedeutung einer genaueren Überprüfung von Zitaten in der Zukunft. Die Frage ist natürlich, wer das machen soll. Wissenschaftliche Artikel werden von anderen Forschern (oft in ihrer eigenen Zeit) überprüft, und es gibt oft Dutzende von Referenzen in einer Veröffentlichung. Es ist unrealistisch zu erwarten, dass diese Gutachter alle zugrunde liegenden Artikel genau prüfen.

Vielleicht sollten wir – wie so oft – am anderen Ende ansetzen: bei den jungen Forscherinnen und Forschern, die wir ausbilden. Diese Woche habe ich zwei Forschungsvorschläge von Studenten begutachtet. Mehrmals schrieb ich an den Rand einer Erklärung: ‚Haben Sie dafür eine Referenz?‘ Plötzlich wurde mir klar, dass diese Frage die Schüler dazu veranlassen könnte, schnell einen Artikel zu finden, der mehr oder weniger ihrem Anspruch zu entsprechen schien. Von nun an werde ich also an den Rand setzen, dass sie sehen sollten, ob sie ihre Behauptung belegen können. Was sagt die bisherige Forschung dazu? Und vielleicht ist die richtige Schlussfolgerung, dass ihre Behauptung falsch ist und sie von vorne anfangen müssen. „Langweilig und ermüdend“, würde Paulien Cornelisse es nennen.