• Wednesday July 17,2019

Zur Voranmeldung in der Grundlagenforschung

Anonim

Vor kurzem schrieb der Postdoc Sebastien Mathôt aus dem Bereich der kognitiven Wissenschaften zwei Artikel, die Fragen zu der Idee der Reform der wissenschaftlichen Kommunikation zur Vorregistrierung von Experimenten aufwerfen: Die Vor- und Nachteile der Vorregistrierung in der Grundlagenforschung und auch The Black Swan .

Die Registrierung war schon lange mein Lieblingsthema. Es ist etwas, das ich seit meinem allerersten Beitrag befürwortet habe. Jetzt wird es eine Realität, die ich für großartig halte. Dennoch sind viele Forscher der Idee misstrauisch, und Mathôt macht einige wichtige Punkte.

Kurz gesagt, meine Antwort ist, dass die Vorregistrierung im Kontext der aktuellen Wissenschaftskultur beängstigend erscheint - aber das ist ein Problem mit der aktuellen Kultur.

Das Kernargument von Mathôt ist, so wie ich es verstehe, folgendes (aus dem ersten Artikel, Hervorhebung meines):

Meine Kollegen und ich haben kürzlich ein Experiment durchgeführt, bei dem wir die Augenbewegungen der Teilnehmer aufgezeichnet haben, während sie Fotos von natürlichen Szenen sahen. Bei der Hälfte der Versuche manipulierten wir die Szene, je nachdem, wohin die Teilnehmer schauten. Die andere Hälfte der Versuche diente als Kontrollbedingung.

[Unsere Manipulation] erwies sich als nicht die vorhergesagte Wirkung. Nach den Regeln der Vorregistrierung bedeutet dies, dass unsere Studie wertlos war: Wir haben eine Vorhersage gemacht, sie ist nicht herausgekommen, und jeder Versuch, diesen Datensatz für einen anderen Zweck zu verwenden, grenzt an wissenschaftlichen Betrug.

In den Kontrollstudien sind wir jedoch auf ein unerwartetes, aber interessantes und statistisch höchst zuverlässiges Phänomen gestoßen. So was jetzt? Dürfen wir diesen Effekt nicht betrachten, weil wir ihn vorher nicht vorhergesagt haben? Sollten wir eine neue Studie durchführen, in der wir vorhersagen, was wir bereits gefunden haben, und nur die Daten des neuen Experiments verwenden?

Ihre Intuition schreit zweifellos 'nein ' oder zumindest meine. Die Logik hinter der Vorregistrierung sagt jedoch "Ja". Der wesentliche Konflikt besteht darin, dass die Vorregistrierung explorative Forschung abschreckt und davon ausgeht, dass ein Befund kein realer Befund ist, wenn er nicht vorhergesagt wurde - eine fragwürdige Annahme.

In diesem Beispiel haben die Autoren zwei Entdeckungen gemacht: 1) das ursprünglich vorhergesagte Phänomen ist nicht aufgetreten ( 'negativ '); und 2) ein anderes, unvorhergesehenes Phänomen wurde beobachtet ("positiv").

Beides sind interessante Ergebnisse und beide sollten veröffentlicht werden. Nummer 1) ist interessant, weil die Autoren sicherlich gute Gründe hatten, um vorauszusagen, dass der Effekt eintreten würde. Die Tatsache, dass dies nicht der Fall war, ist eine Entdeckung. es erzählt uns von der Welt, wenn auch nur durch die Eingrenzung der Möglichkeiten. Es trägt zur Wissenschaft bei. Unter dem gegenwärtigen Publikationssystem wird diese interessante Erkenntnis jedoch möglicherweise niemals veröffentlicht - und, was noch schlimmer ist, als unveröffentlicht angesehen werden.

Dann gibt es 2) die zufällige positive Beobachtung. Dies sollte auch öffentlich gemacht werden - und es gibt keine Hindernisse, um dies unter einem System der Vorregistrierung zu tun, allerdings "nur", wenn es eindeutig als zufällige Beobachtung gekennzeichnet ist . Zufällig zu sein ist keine schlechte Sache - aber man muss ehrlich sein.

Wenn es sich für Wissenschaftler heute schlecht anhört, liegt das daran, dass wir unsere zufälligen Ergebnisse so lange verschleiern. Wir schreiben Papiere, damit "positive" Ergebnisse vorhersehbar erscheinen, selbst wenn sie nicht taten - so wie wir "negative" Befunde verschwinden lassen.

Wenn eine solche Manipulation unmöglich gemacht wird, würde die Vorregistrierung sowohl den unerwarteten als auch den negativen Befund befreien. Es würde viel mehr von beiden Arten von Ergebnissen geben, wenn nichts anderes; Ich vermute, ihr Status würde sich entsprechend erhöhen.

Ich werde auf diesen Satz von Mathôt zurückkommen, der meines Erachtens eine sehr klare Beschreibung einer allgemeinen Sorge ist: "Nach den Regeln der Vorregistrierung bedeutet [das Nichtfinden des vorhergesagten Effekts], dass unsere Studie wertlos war."

Die Sorge hier ist, dass ein gutes Experiment "verschwendet" wird, wenn sich herausstellt, dass die Primärvorhersage falsch ist. Die Wahrheit ist jedoch, dass es das derzeitige System ist, das den Wert einer Studie anhand ihrer p-Werte misst.

Vorregistrierung ist der Traum, dass eines Tages Studien nicht nach der Bedeutung ihrer Ergebnisse, sondern nach dem Inhalt ihrer Methoden beurteilt werden.

PS Mathôt ist auch der Schöpfer von OpenSesame, einem Toolkit zur Entwicklung von freiem psychologischen Experimenten. Ich habe es noch nicht benutzt, aber die verschiedenen kommerziellen lassen sicherlich sehr zu wünschen übrig.


Interessante Artikel

Der Hofnarr und der durchschnittliche Irrtum

Der Hofnarr und der durchschnittliche Irrtum

Das Pith: Klimatische und biologische Evolutionsdrücke auf ein Ökosystem, die sich auf verschiedenen Ebenen ergänzen. Es ist auch nicht "dominant", da dieser Rahmen nicht einmal falsch ist. Gestern habe ich auf die Court Jester-Hypothese einer evolutionären Veränderung hingewiesen, die oft der Red Queen-Hypothese gegenübergestellt wird. Die

Capitol Hill Oceans Week auf Ihrem Desktop

Capitol Hill Oceans Week auf Ihrem Desktop

gepostet von Sheril R. Kirshenbaum Ich habe versprochen, den Rest dessen, was in DC während der Capitol Hill Oceans Week (CHOW) 2007 vor sich ging, zur Verfügung zu stellen. Drei Tage, als sich die größten Spieler des Ozeane-Spiels versammelten, um über aktuelle Meeres- und Küstenfragen zu diskutieren. Die

Rezept für einen aggressiven Mann: Schauen Sie sich mehr Fleisch an

Rezept für einen aggressiven Mann: Schauen Sie sich mehr Fleisch an

Sogar der Anblick des rötesten, rohen Steaks bringt dein Blut nicht zum Kochen. Überraschende neue Forschungen haben gezeigt, dass das Anstarren auf Fleischbilder die Menschen weniger aggressiv macht. Die Erkenntnisse stammen von Frank Kachanoff, einem Studenten der McGill University. Er fragte sich, ob der Anblick des Essens die Verteidigungswünsche der Männer wecken würde, ähnlich wie ein Hund, der seine Futternapf aggressiv schützt, erklärte er in einer Pressemitteilung: „Ich war inspiriert von Forschungen zu Priming und Aggression, die gezeigt haben, dass der Blick auf ein Objekt, von dem g

Sind Darwins Finken eine oder viele Arten?

Sind Darwins Finken eine oder viele Arten?

Finken, die während der zweiten Reise der HMS Beagle in den 1830er Jahren gesammelt wurden. Die Treuhänder des Natural History Museum, London Die Finken, die Charles Darwin auf den Galapagos-Inseln sammelte, gelten als Lehrbuchbeispiele dafür, wie sich eine einzelne Spezies in viele differenzierte, um verschiedene Ressourcen zu nutzen. F

Spektakulär und prickelnd, aber was ist das?

Spektakulär und prickelnd, aber was ist das?

Kugelsternhaufen zählen zu den spektakulärsten Objekten am Nachthimmel. Kompakte Kugeln mit Hunderttausenden von Sternen, weit über hundert Bahnen kreisen in verschiedenen Entfernungen. Wenn Sie von Hubble betrachtet werden, ist das Ergebnis nichts weniger als ein Kinnschlag: [Klicken Sie hier, um zu embiggen, und machen Sie es bitte; Ich musste das Bild zuschneiden, damit es passt, und die Vollversion ist noch spektakulärer!] D