goed onderzoek begint ruim voordat het eerste experiment begint.tijdens de Tweede Wereldoorlog kreeg een statisticus genaamd Abraham Wald een nogal onverwachte taak, gezien zijn achtergrond: het verbeteren van de overlevingskans van Amerikaanse vliegtuigen. Wald was een slimme man en keek naar de eerdere analyses die waren gedaan. De vorige onderzoekers hadden de schade en vernietiging van de vliegtuigen gezien, en adviseerden meer pantser toe te voegen aan de meest beschadigde gebieden, om hun bescherming te verhogen., Specifieke onderdelen werden geschoten en verscheurd, dus nieuw pantser werd toegevoegd.
toch nam het overlevingspercentage niet toe. In feite, het verminderde, als de nieuwe pantser toegevoegd gewicht en verminderde de behendigheid van de vliegtuigen, en ze kwamen nog steeds terug met schade in dezelfde gebieden. Wald observeerde dit alles en adviseerde dat de luchtmacht alleen pantser zou gaan toevoegen aan de ongerepte gebieden – de onderdelen zonder een spoor van schade., Hij redeneerde dat de enige gegevens over overlevingskansen afkomstig waren van de overlevende vliegtuigen zelf; degenen die met schade terugkwamen toonden precies aan waar de niet-dodelijke slagen konden worden behandeld.
met het aan boord genomen advies nam de overlevingskans toe en de rest is verleden tijd. Hoewel dit een goed voorbeeld is van lateraal denken, vertelt het ons ook iets kritieks over het verzamelen van gegevens – dat van selectievooroordeel.,
Selectiefout is een experimentele fout die optreedt wanneer de pool van Deelnemers, of de daaropvolgende gegevens, niet representatief is voor de doelpopulatie.
er zijn verschillende types van selectie bias, en de meeste kunnen worden voorkomen voordat de resultaten worden geleverd. Hoewel er misschien niet altijd een hele luchtmacht aan de lijn is als het gaat om het goed te doen, is het nog steeds essentieel voor goed onderzoek.,
laten we enkele voorbeelden doornemen en onderzoeken wat er gedaan kan worden om deze afwijking te stoppen voordat het eerste gegevenspunt zelfs maar wordt verzameld.
Bemonsteringsbias
er zijn verschillende aspecten van bemonsteringsbias, die uiteindelijk betekenen dat de onderzochte populatie niet de gegevens levert die nodig zijn om conclusies te kunnen trekken.
een algemeen voorbeeld van dit gebeurt in de praktijk is door zelfselectie., Specifieke groepen mensen kunnen worden aangetrokken om deel te nemen aan een bepaalde studie als gevolg van zelf-selecterende kenmerken. Het is bekend dat individuen die geneigd zijn tot sensatie-zoeken, of sensatie-zoeken zijn meer kans om deel te nemen aan bepaalde studies, die gegevens van een studie zou kunnen scheeftrekken als het onderzoekt die persoonlijkheidskenmerken (en mogelijk binnen andere studies ook).
de beste manier om deze bias te omzeilen is door te tekenen uit een monster dat niet zelf selecteert., Dit kan natuurlijk niet altijd mogelijk zijn vanwege experimentele beperkingen (met name voor studies waarbij vrijwilligers nodig zijn), maar er moet bijzondere inspanning worden geleverd om de mogelijkheid van deze vooringenomenheid te vermijden bij het onderzoeken van verschillende persoonlijkheidstypen. De effecten van deze vooringenomenheid zijn waarschijnlijk niet zo schadelijk als het experiment betrekking heeft op iets meer constant, zoals psychofysiologische metingen.
Pre-screening
Een andere valkuil waar onderzoekers in kunnen vallen is het vooraf screenen van deelnemers., Er kunnen goede redenen zijn om dit te doen (bijvoorbeeld om te zorgen voor correcte controlegroepen), maar dit kan ook tot gevolg hebben dat de steekproefpopulatie wordt verstoord. Als gevolg hiervan kan dit resulteren in het selecteren van deelnemers die een gemeenschappelijk kenmerk delen dat de resultaten zal beïnvloeden.
dit is vergelijkbaar met zelfselectie in uitkomst, maar wordt geleid door de onderzoeker (en meestal met goede bedoelingen)., Om dit te voorkomen, kan een dubbelblind experiment nodig zijn wanneer deelnemer screening moet worden uitgevoerd, wat betekent dat de keuzes worden gemaakt door een individu die onafhankelijk is van de onderzoeksdoelstellingen (die ook experimentator bias vermijdt).
Participant attrition
het monster kan ook worden beïnvloed door de experimentele setup terwijl het in actie is., Als deelnemers op een bevooroordeelde manier uit de studie vallen-als er een niet-willekeurige reden is waarom dit gebeurt-dan zijn de resterende deelnemers waarschijnlijk niet representatief voor de oorspronkelijke steekproefpool (laat staan de bevolking in het algemeen).
dit uitvalpercentage staat bekend als verloop van deelnemers, en wordt het vaakst gezien bij onderzoeken waar een lopende interventie met verschillende metingen plaatsvindt. Bijvoorbeeld, een medische proef kan zien talrijke deelnemers verlaten de studie als het geneesmiddel niet lijkt te werken (of maakt ze ziek)., Op deze manier zullen alleen de resterende (of overlevende, in het geval van Wald hierboven) deelnemers aan het einde van het experiment worden onderzocht.
Het is daarom van belang dat deelnemers die uit het onderzoek stappen, na afloop daarvan worden opgevolgd om te bepalen of hun verloop te wijten is aan een gemeenschappelijke factor met andere deelnemers, of om redenen die buiten het experiment liggen.,
Undercover / geclassificeerd
het zal geen verrassing zijn dat het hebben van te weinig deelnemers de sterkte van de conclusies die kunnen worden gemaakt (als ze al kunnen worden gemaakt) zal beperken, maar toch lijden veel studies onder onderdekking van steekproefgroepen.
Het is daarom van cruciaal belang dat vooraf voldoende deelnemers beschikbaar en geselecteerd zijn. Dit kan vooraf worden berekend, zodat u de studie dienovereenkomstig kunt plannen. Als te veel deelnemers ook afhaken als gevolg van uitputting, dan kan het nodig zijn om de studie te herhalen.,
een ander punt om op te merken is dat zelfs als je genoeg deelnemers hebt, je ervoor moet zorgen dat ze correct geclassificeerd zijn en in de juiste experimentele groep gezet worden. Het uitvoeren van een studie over tweetaligen en eentaligen zou natuurlijk worden belemmerd als zou blijken dat sommige deelnemers één meer (of minder) talen spraken dan hun groepering zou suggereren.
dit is met name relevant in studies naar verschillende psychische stoornissen, waarbij de definitie van de groep onduidelijk kan zijn., Bijvoorbeeld, kunnen de studies van bezorgdheid tussen deelnemers moeten onderscheiden die met een algemene bezorgdheidswanorde zijn gediagnosticeerd of zij die aan paniekaanvallen lijden, en zelfs als de deelnemers subklinical/prodromal symptomen tentoonstellen.
ervoor zorgen dat de steekproef goed gedefinieerd en goed gekarakteriseerd is voordat met het onderzoek wordt begonnen, zal er derhalve voor zorgen dat de bevindingen relevant zijn voor de groep van belang.,
kersen plukken, baggergegevens
hoewel de meeste selectiefouten optreden voordat de gegevens zijn verzameld, zijn er verschillende stappen die post-hoc plaatsvinden en die aanleiding geven tot foutieve vervorming. Deze stappen in plaats daarvan betrekking hebben op hoe de gegevens, in plaats van de steekproef, wordt geselecteerd.,
Cherry-picking is ongetwijfeld een goede manier om een taart te bereiden, maar is ook de zin die wordt gegeven aan de handeling van alleen het selecteren van gegevens die overeenkomt met wat de onderzoeker verwacht of hoopt te zien.
dit kan optreden als gevolg van wanpraktijken, of misschien wishful thinking namens de onderzoeker. Uiteindelijk leidt dit hoe dan ook tot slechte wetenschap. De onderzoeker moet open-minded blijven voor de inhoud van de gegevens, en vragen hoe ze dingen interpreteren., Het kan ook helpen als meerdere personen (idealiter onafhankelijk) de gegevens van het onderzoek controleren.
net als hierboven, is data-baggeren (ook bekend als het vissen op gegevens, of p-hacking) de praktijk om alleen de gegevens die belangrijk zijn na het experiment in aanmerking te nemen en post-hocconclusies uit te vinden waarom dat naar voren kwam. Dit ontstaat meestal wanneer een groot aantal variabelen onderzocht, en valse resultaten kunnen significant lijken.,
door alleen significante variabelen uit een dataset te nemen, is dit in wezen hetzelfde als het meerdere keren uitvoeren van hetzelfde experiment en het publiceren van het ene voorval waarin significante verschillen werden gevonden.
experimentele reproduceerbaarheid is een bijzonder belangrijk wetenschappelijk grondbeginsel dat moet worden gehandhaafd wanneer er een mogelijkheid van data-baggeren bestaat. Met voldoende replicaties zal het onderzoek waar of onwaar blijken te zijn.,
Trick splits
ten slotte kunnen hun gegevens, op een vergelijkbare manier als het verkeerd classificeren van de deelnemers vóór het experiment, achteraf verkeerd geclassificeerd worden. Onjuiste partitionering van gegevens is een manier om bepaalde delen van de gegevens te verdelen of niet te gebruiken op basis van valse veronderstellingen.
dit neigt sterk naar frauduleuze datamanipulatie, maar het kan ook voorkomen om redenen als gevolg van technische fouten, in plaats van door opzettelijke wanpraktijken.,
Back it up
naast de bovenstaande stappen zijn er een paar manieren waarop het gebruik van iMotions voor het verzamelen van gegevens impliciet beschermt tegen bepaalde attributen van selectievooringenomenheid, met name nadat de gegevensverzameling heeft plaatsgevonden.
het gebruik van meerdere gegevensbronnen, zoals bij meerdere biosensoren, kan een andere manier bieden om uw gegevens te controleren, door te observeren of de opnames met elkaar in overeenstemming zijn., Het gebruik van zowel GSR als ECG kan u bijvoorbeeld helpen de niveaus van fysiologische opwinding te bevestigen, terwijl de analyse van gezichtsuitdrukkingen enquêtetests kan aanvullen (als iemand ongelukkig lijkt terwijl hij het tegenovergestelde beweert in de enquête, dan kan dit reden voor voorzichtigheid zijn met hun gegevens). Deze maatregelen kunnen u uiteindelijk meer vertrouwen geven in de gegevens die worden verzameld.
bovendien vermindert de mogelijkheid om de opgeslagen gegevens in realtime in een grafisch en intuïtief formaat te bekijken de kans om alleen door de getallen te worden misleid., Een spreadsheet van eindeloze getallen kan bieden bijna net zoveel mogelijkheden om verwarring te vinden, maar het hebben van de echte gegevens weergegeven in een gemakkelijk te begrijpen formaat biedt duidelijkheid voor onderzoek.
How to fix everything by not keeping secrets
het gebruik van iMotions helpt grotendeels te beschermen tegen de data selectie bias, maar de selectie van deelnemers is iets dat voornamelijk berust op een goed experimenteel ontwerp.,
hoewel pogingen om het ontstaan van steekproefvooroordelen vast te stellen niet altijd volledig haalbaar zijn, is er één belangrijk ding dat kan worden gedaan om de vooringenomenheid tegen te gaan – wees duidelijk met de resultaten. Bij het vermelden van bevindingen is het belangrijk om transparant te zijn op wie de resultaten van toepassing zijn.
in ons artikel over participant bias hebben we gesproken over hoe de interne validiteit van het experiment problematisch zou kunnen zijn, omdat de resultaten juist zouden lijken, maar in feite bevooroordeeld zouden zijn., Voor selectie bias echter, vinden we dat externe validiteit is een meer waarschijnlijke boosdoener – de resultaten lijken van toepassing te zijn op de bevolking in het algemeen, maar zijn eigenlijk bevooroordeeld en ongeldig voor dergelijke generalisaties.
voor de experimentele integriteit is het daarom belangrijk dat de informatie van de deelnemers, de gegevensanalyse en de daaruit voortvloeiende conclusies zo open en duidelijk mogelijk worden gemaakt.
dit artikel maakt deel uit van onze serie over bias in research!, We hebben ook gesproken over participant bias, die je kunt lezen door hier te klikken, en onderzoeker bias, die je kunt lezen door hier te klikken.
Als u meer wilt weten over vooroordelen in onderzoek, of wilt weten hoe iMotions uw onderzoek kunnen helpen, neem dan gerust contact met ons op.
ik hoop dat u genoten hebt van het lezen over hoe selectie bias in onderzoek te voorkomen. Als u meer tips en trucs voor geweldig onderzoek wilt, bekijk dan onze gratis pocket guide voor experimenteel ontwerp hieronder.
