Im Oktober begann der Schulleiter der Schule meines Sohnes jede Versammlung mit der Präsentation der Tabelle der Premier League, mit Tottenham Hotspur an der Spitze. (Mein Sohn, ein Fan von Tottenhams Lokalrivalen Arsenal, war empört.) Wer sich mit dem englischen Fußball auskennt, wird wissen, dass Tottenham den größten Teil des Oktobers an der Spitze der Liga stand, aber nur diejenigen mit guten Erinnerungen können sich an das letzte Saisonende der Spurs erinnern in dieser Position. Es war 1961.
Dennoch braucht es nicht viel, um ein alternatives Universum zu schaffen, in dem die Spurs eine Siegermaschine sind. Alles, was Sie tun müssen, ist, was der Schulleiter getan hat: Wenn Tottenham gewinnt, zeigen Sie die Ligatabelle an; Wenn dies nicht der Fall ist, bleiben Sie ruhig. In letzter Zeit war es ruhig um den Schulleiter. Dieses Verhalten hat einen Namen: Publikationsbias. Niemand wird sich von einer humorvollen Schulversammlung zu der Annahme verleiten lassen, dass Tottenham die Premier League gewinnen wird, aber in anderen Zusammenhängen ist die Publikationsvoreingenommenheit eine ernste Angelegenheit.
Wenn wir versuchen, die Welt zu verstehen, ist es wichtig, dass es einen systematischen Unterschied zwischen den Informationen, die uns präsentiert werden, und den Informationen, die verborgen bleiben, gibt. Wir sind umgeben von Bildern und Ideen, die durch den trügerischen Filter der Publikationsvoreingenommenheit gesiebt wurden, und im Gegensatz zu den jungen Fußballfans, die wissen, dass die Spurs nicht viele Trophäen gewinnen, fehlt uns normalerweise das Hintergrundwissen, um die richtigen Schlussfolgerungen zu ziehen.
Publikationsbias ist in wissenschaftlichen Fachzeitschriften traditionell ein Problem: Überraschende, spannende, neuartige und insbesondere statistisch signifikante Ergebnisse werden tendenziell veröffentlicht, während „Null“-Ergebnisse, bei denen die Statistiken keine eindeutige Wirkung zeigen, tendenziell in den Aktenschubladen schlummern. Das hört sich vielleicht wie eine kleine Belästigung an, aber in Wirklichkeit hinterlässt es ein bösartiges irreführendes Bild der Beweise, die verfügbar sein sollten.
Um herauszufinden, warum, ersetzen Sie „Tottenham führt die Premier League an“ durch „Neues Antidepressivum ist in klinischen Studien hochwirksam“. Wenn Studien, die keine Wirkung zeigen, unveröffentlicht bleiben, während Studien, die eine Wirkung zeigen, propagiert werden, dann ist die veröffentlichte Evidenzbasis systematisch verzerrt und führt zu schlechten klinischen Entscheidungen.
Während der Publikationsbias am ausgeprägtesten ist und in der formalen Forschung am besten untersucht wird, gilt die gleiche Tendenz viel allgemeiner. Denken Sie darüber nach, wen wir sehen, wenn wir den Fernseher einschalten. Menschen, die im Fernsehen auftreten, sehen in der Regel besser aus, sind reicher als der Rest von uns und sind fast per Definition berühmter. Wir sind eine soziale Spezies und führen oft soziale Vergleiche. Wenn wir uns nicht mit unseren Freunden vergleichen, sondern mit den Prominenten, die wir so oft beobachten, haben wir möglicherweise das Gefühl, dass wir nicht mithalten können.
Oder denken Sie an Kriminalität. In jedem Land mit einer Millionenbevölkerung wird es eine stetige Flut schrecklicher Verbrechen geben. Solche Verbrechen kommen gerade häufig genug vor, um jedes Mal aufzutauchen, wenn man sich die Nachrichten ansieht, und sind gleichzeitig gerade selten genug, um einen Nachrichtenwert zu haben. Laut dem Crime Survey for England and Wales, der angesehensten Datenreihe des Vereinigten Königreichs zur Kriminalität, ist die Gewaltkriminalität seit ihrem Höhepunkt im Jahr 1995 um mehr als 75 Prozent zurückgegangen; seit 2010 ist sie um etwa die Hälfte gesunken.
Doch Umfragen zur öffentlichen Meinung deuten häufig darauf hin, dass Kriminalität ein dringendes Problem darstellt, und die Mehrheit der Menschen glaubt, dass die Kriminalität zunimmt. Die wahrscheinliche Erklärung für diese Fehleinschätzung ist einfach, dass wir von Kriminaldramen und Berichten über schreckliche Verbrechen umgeben sind, und nicht von Berichten über ausgeraubte Banken, entriegelte Häuser und Frauen, die nachts sicher nach Hause gingen. Unsere Wahrnehmung von Kriminalität spiegelt nicht die Realität wider, aber sie stimmt genau mit den Nachrichten und der Unterhaltung überein, die uns präsentiert werden.
Unser eigenes Gehirn erzeugt wohl jeden Tag eine Art Publikationsbias in Form der „Fokussierungsillusion“. Wann immer wir über eine Entscheidung nachdenken, rufen wir uns einige Überlegungen ins Gedächtnis, während wir andere vernachlässigen. Wenn wir beispielsweise darüber nachdenken, ob wir neue Gartenmöbel kaufen sollen, stellen wir uns ein sonniges Wochenende vor. Wir denken nicht an all die Tage, an denen es kalt und regnerisch sein wird oder an die wir im Büro und nicht im Garten sein müssen. Mit den Worten des Nobelpreisträgers Daniel Kahneman: „Nichts im Leben ist so wichtig, wie man denkt, während man darüber nachdenkt.“
Ich bin mir nicht sicher, ob es ein Gegenmittel gegen die Tatsache gibt, dass schöne Menschen das Fernsehen dominieren, aber es gibt zumindest eine wohlverstandene Behandlung für Publikationsbias in der Medizin: Jede Studie sollte vor Beginn öffentlich registriert werden (damit sie nicht untergeht). fehlen) und bei jedem Versuch sollten die Ergebnisse ordnungsgemäß gemeldet werden.
Die „All Trials“-Kampagne wurde 2013 ins Leben gerufen, um Druck auf Pharmaunternehmen und Universitäten auszuüben, jede klinische Studie vorab zu registrieren und jedes Ergebnis zu veröffentlichen. Die Kampagne erhielt weiteren Auftrieb, als einer ihrer Mitbegründer, Ben Goldacre, ein Team zur Entwicklung einer automatisierten Studie leitete Auditsystem, Trials Tracker. Trials Tracker überprüft automatisch, ob klinische Studien in den USA, der EU und im Vereinigten Königreich zeitnah gemeldet werden.
Goldacre erzählte mir kürzlich, dass 2019 ein Wendepunkt kam, als der Wissenschafts- und Technologieausschuss des britischen Parlaments an die medizinischen Fakultäten führender britischer Universitäten schrieb. Der Ausschussvorsitzende warnte sie, dass der Ausschuss die Daten des Trials Tracker untersucht habe und bald die größten Nachzügler einladen werde, persönlich auszusagen.
„In mancher Hinsicht hat mir das nicht weitergeholfen“, sagte Goldacre ausdruckslos, „weil ich damals noch keine feste Anstellung hatte [academic] Post und so etwas verärgert die Dekane der medizinischen Fakultäten ein wenig und macht die Leute ein bisschen verärgert und traurig.“
Aber die Nachricht wurde empfangen. Angesichts der Kombination aus klaren Kennzahlen und der Gefahr öffentlicher Beschämung entdeckten britische Universitäten plötzlich einen neuen Eifer für die Berichterstattung über ihre klinischen Studien. Laut EU Trials Tracker können sie inzwischen eine hervorragende Erfolgsbilanz bei der Veröffentlichung aller Ergebnisse vorweisen, ebenso wie Pharmaunternehmen. Wenn nur das Gleiche auch für Schulleiter gelten würde.
Tim Harfords neues Kinderbuch „The Truth Detective“ (Wren & Rook) ist jetzt erhältlich
Folgen @FTMag um zuerst unsere neuesten Geschichten zu erfahren