Gute Forschung beginnt lange bevor das erste Experiment beginnt.
Während des Zweiten Weltkriegs erhielt ein Statistiker namens Abraham Wald angesichts seines Hintergrunds eine ziemlich unerwartete Aufgabe: die Überlebensrate von US-Flugzeugen zu verbessern. Wald war ein kluger Mann und schaute sich die bisherigen Analysen an. Die vorherigen Ermittler hatten den Schaden und die Zerstörung der Flugzeuge gesehen und empfohlen, den am meisten beschädigten Bereichen mehr Panzerung hinzuzufügen, um ihren Schutz zu erhöhen., Bestimmte Teile wurden geschossen und zerrissen, so dass neue Rüstungen hinzugefügt wurden.
Die Überlebensrate stieg jedoch nicht an. Tatsächlich nahm es ab, da die neue Rüstung das Gewicht erhöhte und die Beweglichkeit der Flugzeuge verringerte, und sie kamen immer noch mit Schaden in den gleichen Bereichen zurück. Wald beobachtete all dies und riet der Luftwaffe, Panzerungen nur in den unberührten Bereichen hinzuzufügen-die Teile ohne eine Spur von Schaden., Er argumentierte, dass die einzigen Daten über die Überlebensfähigkeit von den überlebenden Flugzeugen selbst stammten; Diejenigen, die mit Schaden zurückkamen, zeigten genau, wo die nicht tödlichen Schläge behandelt werden konnten.
Mit dem Rat an Bord nahm die Überlebensfähigkeit zu und der Rest ist, na ja, Geschichte. Dies ist zwar ein großartiges Beispiel für Querdenken, sagt uns aber auch etwas Kritisches über die Datenerfassung – das der Selektionsverzerrung.,
Die Selektionsverzerrung ist ein experimenteller Fehler, der auftritt, wenn der Teilnehmerpool oder die nachfolgenden Daten nicht repräsentativ für die Zielpopulation sind.
Es gibt verschiedene Arten von Auswahlverzerrungen, und die meisten können verhindert werden, bevor die Ergebnisse geliefert werden. Obwohl es vielleicht nicht immer eine ganze Luftwaffe auf der Linie gibt, wenn es darum geht, es richtig zu machen, ist es immer noch wichtig für gute Forschung.,
Lassen Sie uns einige Beispiele durchgehen und untersuchen, was getan werden kann, um diese Verzerrung zu stoppen, bevor der erste Datenpunkt überhaupt erfasst wird.
Stichprobenverzerrung
Es gibt verschiedene Aspekte der Stichprobenverzerrung, die letztendlich bedeuten, dass die untersuchte Population nicht die Daten liefert, die wir benötigen, um Schlussfolgerungen zu ziehen.
Ein häufiges Beispiel dafür ist in der Praxis die Selbstauswahl., Bestimmte Personengruppen können aufgrund von Selbstauswahlmerkmalen von der Teilnahme an einer bestimmten Studie angezogen werden. Es ist bekannt, dass Personen, die zu Sensationssuche oder Nervenkitzel neigen, eher an bestimmten Studien teilnehmen, die Daten aus einer Studie verzerren könnten, wenn sie diese Persönlichkeitsmerkmale untersuchen (und möglicherweise auch in anderen Studien).
Der beste Weg, diese Verzerrung zu umgehen, besteht darin, aus einem Beispiel zu zeichnen, das nicht selbst auswählt., Dies ist natürlich aufgrund experimenteller Einschränkungen (insbesondere für Studien, die Freiwillige erfordern) nicht immer möglich, es sollten jedoch besondere Anstrengungen unternommen werden, um das Potenzial für diese Verzerrung bei der Untersuchung verschiedener Persönlichkeitstypen zu vermeiden. Es ist unwahrscheinlich, dass die Auswirkungen dieser Verzerrung so nachteilig sind, wenn es sich bei dem Experiment um etwas Konstanteres handelt, z. B. um psychophysiologische Messungen.
Pre-Screening
Eine weitere Falle, in die Experimentatoren geraten können, besteht darin, die Teilnehmer vor dem Screening zu untersuchen., Es kann gute Gründe dafür geben (z. B. um korrekte Kontrollgruppen sicherzustellen), dies kann jedoch auch zu einer Verzerrung der Stichprobenpopulation führen. Infolgedessen könnte dies zur Auswahl von Teilnehmern führen, die ein gemeinsames Merkmal haben, das sich auf die Ergebnisse auswirkt.
Dies ähnelt der Selbstauswahl im Ergebnis, wird jedoch vom Forscher (und normalerweise mit guten Absichten) geleitet., Um dies zu vermeiden, kann ein doppelblindes Experiment erforderlich sein, bei dem ein Teilnehmer-Screening durchgeführt werden muss, was bedeutet, dass die Entscheidungen von einer Person getroffen werden, die unabhängig von den Forschungszielen ist (was auch experimentatorische Verzerrungen vermeidet).
Teilnehmerabrieb
Das Beispiel kann auch durch das experimentelle Setup beeinflusst werden, während es in Aktion ist., Wenn die Teilnehmer die Studie voreingenommen abbrechen – wenn es einen nicht zufälligen Grund dafür gibt -, ist es unwahrscheinlich, dass die verbleibenden Teilnehmer für den ursprünglichen Stichprobenpool repräsentativ sind (beachten Sie die gesamte Population).
Diese Drop-out-Rate wird als Teilnehmerabrieb bezeichnet und wird am häufigsten bei Untersuchungen beobachtet, bei denen ein fortlaufender Eingriff mit mehreren Messungen durchgeführt wird. In einer medizinischen Studie können beispielsweise zahlreiche Teilnehmer die Studie verlassen, wenn das Arzneimittel anscheinend nicht wirkt (oder krank macht)., Auf diese Weise werden nur die verbleibenden (oder Überlebenden, im obigen Fall von Wald) Teilnehmer am Ende des Experiments untersucht.
Es ist daher wichtig, dass Teilnehmer, die die Studie abbrechen, danach verfolgt werden, um festzustellen, ob ihr Abrieb auf einen gemeinsamen Faktor zurückzuführen ist mit anderen Teilnehmern oder aus Gründen außerhalb des Experiments.,
Undercover / classified
Es sollte nicht überraschen, dass zu wenige Teilnehmer die Stärke der Schlussfolgerungen begrenzen, die gemacht werden können (wenn sie überhaupt gemacht werden können), aber viele Studien leiden unter einer Unterdeckung von Stichprobengruppen.
Es ist daher wichtig, dass vorher genügend Teilnehmer verfügbar und ausgewählt sind. Dies kann im Voraus berechnet werden, sodass Sie die Studie entsprechend planen können. Wenn auch zu viele Teilnehmer aufgrund von Abrieb ausfallen, muss die Studie möglicherweise wiederholt werden.,
Ein weiterer Punkt ist, dass Sie, selbst wenn Sie genügend Teilnehmer haben, sicherstellen müssen, dass sie korrekt klassifiziert und in die richtige experimentelle Gruppe aufgenommen werden. Die Durchführung einer Studie über Zweisprachigkeit und Einsprachigkeit würde natürlich behindert, wenn sich herausstellen sollte, dass einige Teilnehmer mehr (oder weniger) Sprachen sprachen, als ihre Gruppierung vermuten würde.
Dies ist besonders relevant in Studien, die verschiedene psychische Störungen untersuchen, bei denen die Gruppierungsdefinition unklar sein könnte., Beispielsweise müssen Angststudien möglicherweise zwischen Teilnehmern unterscheiden, bei denen eine generalisierte Angststörung diagnostiziert wurde, oder Teilnehmern, die an Panikattacken leiden, und selbst wenn Teilnehmer subklinische/prodromale Symptome aufweisen.
Um sicherzustellen, dass die Stichprobe vor Beginn der Studie genau definiert und gut charakterisiert ist, wird daher sichergestellt, dass die Ergebnisse für die Interessengruppe relevant sind.,
Kirschen pflücken, Baggerdaten
Während die meisten Auswahlverzerrungen auftreten, bevor die Daten gesammelt wurden, treten post-hoc mehrere Schritte auf, die zu fehlerhaften Verzerrungen führen können. Diese Schritte beziehen sich stattdessen darauf, wie die Daten und nicht die Stichprobe ausgewählt werden.,
Kirschpflücken ist zweifellos ein guter Weg, um einen Kuchen zuzubereiten, aber es ist auch der Ausdruck, der dem Akt gegeben wird, nur Daten auszuwählen, die dem entsprechen, was der Experimentator erwartet oder hofft, zu sehen.
Dies kann aufgrund von Fehlverhalten oder vielleicht Wunschdenken im Namen des Ermittlers auftreten. Letztendlich führt dies jedoch in jedem Fall zu schlechter Wissenschaft. Der Ermittler muss offen für den Inhalt der Daten bleiben und fragen, wie sie die Dinge interpretieren., Es kann auch hilfreich sein, wenn mehrere Personen (idealerweise unabhängig) die Daten der Studie überprüfen.
Ähnlich wie oben beschrieben ist das Ausbaggern von Daten (auch bekannt als Fischen nach Daten oder P-Hacking) die Praxis, nur die Daten zu berücksichtigen, die nach dem Experiment signifikant sind, und Post-hoc-Schlussfolgerungen zu erfinden, warum das entstanden ist. Dies tritt normalerweise auf, wenn eine große Anzahl von untersuchten Variablen und falsche Ergebnisse signifikant erscheinen können.,
Indem nur signifikante Variablen aus einem Datensatz entnommen werden, entspricht dies im Wesentlichen dem mehrfachen Ausführen desselben Experiments und der Veröffentlichung des einen Vorkommens, in dem signifikante Unterschiede gefunden wurden.
Die experimentelle Reproduzierbarkeit ist ein besonders wichtiger Grundsatz der Wissenschaft, der beibehalten werden sollte, wenn die Möglichkeit eines Datenbaggers besteht. Mit genügend Replikationen wird gezeigt, dass die Forschung wahr oder falsch ist.,
Trick splits
Schließlich können ihre Daten in ähnlicher Weise wie die Teilnehmer vor dem Experiment falsch klassifiziert werden Tatsache. Eine falsche Partitionierung von Daten ist eine Möglichkeit, bestimmte Teile der Daten auf der Grundlage falscher Annahmen zu teilen oder nicht zu verwenden.
Dies führt ziemlich stark zu betrügerischen Datenmanipulationen, kann aber auch aus Gründen technischer Fehler und nicht durch vorsätzliches Fehlverhalten auftreten.,
Sichern
Zusätzlich zu den obigen Schritten gibt es einige Möglichkeiten, wie die Verwendung von iMotions für die Datenerfassung implizit vor einigen Merkmalen der Selektionsverzerrung schützt, insbesondere nachdem die Datenerfassung stattgefunden hat.
Die Verwendung mehrerer Datenquellen kann wie bei mehreren Biosensoren eine andere Möglichkeit bieten, Ihre Daten zu überprüfen, indem beobachtet wird, ob die Aufzeichnungen miteinander übereinstimmen., Zum Beispiel kann die Verwendung von GSR und EKG Ihnen helfen, das Niveau der physiologischen Erregung zu bestätigen, während die Analyse des Gesichtsausdrucks Umfragetests ergänzen kann (wenn jemand unglücklich erscheint, während er das Gegenteil in der Umfrage behauptet, dann könnte dies Grund zur Vorsicht mit ihren Daten sein). Diese Maßnahmen können Ihnen letztendlich mehr Vertrauen in die erhobenen Daten geben.
Darüber hinaus verringert die Möglichkeit, die in Echtzeit aufgezeichneten Daten in einem grafischen und intuitiven Format anzuzeigen, die Wahrscheinlichkeit, allein durch die Zahlen in die Irre geführt zu werden., Eine Tabelle mit endlosen Zahlen kann fast so viele Möglichkeiten bieten, Verwirrung zu stiften, aber die realen Daten in einem leicht verständlichen Format anzuzeigen, bietet Klarheit für die Untersuchung.
So beheben Sie alles, indem Sie keine Geheimnisse bewahren
Die Verwendung von iMotions schützt weitgehend vor der Verzerrung der Datenauswahl, aber die Auswahl der Teilnehmer beruht in erster Linie auf einem guten experimentellen Design.,
Während die Versuche, das Auftreten von Stichprobenverzerrungen zu beheben, möglicherweise nicht immer vollständig durchführbar sind, gibt es eine zentrale Sache, die getan werden kann, um die Verzerrung einzudämmen – Seien Sie mit den Ergebnissen klar. Bei der Angabe von Befunden ist es wichtig, transparent zu sein, auf wen die Ergebnisse anwendbar sind.
In unserem Artikel über participant bias haben wir darüber gesprochen, wie die interne Validität des Experiments problematisch sein könnte, da die Ergebnisse korrekt zu sein scheinen, aber tatsächlich voreingenommen wären., Für Selektionsverzerrungen stellen wir jedoch fest, dass die externe Validität ein wahrscheinlicherer Schuldiger ist – die Ergebnisse scheinen auf die gesamte Population anwendbar zu sein, sind jedoch für solche Verallgemeinerungen tatsächlich voreingenommen und ungültig.
Für die experimentelle Integrität ist es daher wichtig, dass die Teilnehmerinformationen, die Datenanalyse und die daraus resultierenden Schlussfolgerungen so offen und klar wie möglich sind.
Dieser Artikel ist Teil von unserer Serie über bias in der Forschung!, Wir haben auch die Voreingenommenheit der Teilnehmer diskutiert, die Sie hier lesen können, und die Voreingenommenheit der Forscher,die Sie hier lesen können.
Wenn Sie mehr wissen wollen über Verzerrungen in der Forschung, oder würde gerne lernen, wie iMotions helfen können, Ihre Forschung ist, dann fühlen sich frei, uns zu Kontaktieren.
Ich hoffe, Sie haben es genossen, darüber zu lesen, wie Sie Selektionsverzerrungen in der Forschung vermeiden können. Wenn Sie weitere Tipps und Tricks für großartige Forschung wünschen, dann schauen Sie sich unten unseren kostenlosen Pocket Guide für experimentelles Design an.
