bra forskning börjar långt innan det första experimentet börjar.
under andra världskriget fick en statistiker vid namn Abraham Wald ett ganska oväntat jobb, med tanke på hans bakgrund: att förbättra överlevnadsgraden för amerikanska flygplan. Wald var en smart man och tittade över de tidigare analyser som hade gjorts. De tidigare utredarna hade sett skador och förstörelse behandlas flygplan, och rådde mer Rustning läggs till de mest skadade områdena, för att öka deras skydd., Specifika delar sköts och rivs upp, så ny rustning tillsattes.
men överlevnadsgraden ökade inte. Faktum är att det minskade, eftersom den nya rustningen ökade och minskade planens smidighet, och de kom fortfarande tillbaka med skador på samma områden. Wald observerade allt detta och rådde att flygvapnet börjar lägga till Rustning endast till de orörda områdena – delarna utan spår av skador., Han motiverade att de enda uppgifterna om överlevnadsförmåga kom från de överlevande Planen själva; de som kom tillbaka med skador visade exakt var de icke-dödliga slag kunde hanteras.
med de råd som tagits ombord ökade överlevnadsförmågan och resten är, ja, historia. Även om detta ger ett bra exempel på lateralt tänkande, berättar det oss också något kritiskt om datainsamling-det av urvalsfördomar.,
selection bias är ett experimentellt fel som uppstår när deltagarpoolen, eller efterföljande data, inte är representativ för målpopulationen.
det finns flera typer av urvalsfördomar, och de flesta kan förhindras innan resultaten levereras. Även om det kanske inte alltid finns en hel flygvapen på linjen när det gäller att få det rätt, är det fortfarande viktigt för bra forskning.,
låt oss gå igenom några exempel och utforska vad som kan göras för att stoppa denna bias som inträffar innan den första datapunkten ens samlas in.
provtagning partiskhet
det finns flera aspekter av provtagning partiskhet, som i slutändan innebär att befolkningen som studeras inte ger de data som vi behöver för att göra slutsatser.
ett vanligt exempel på detta händer i praktiken är genom självval., Specifika grupper av människor kan dras för att delta i en viss studie på grund av självvalande egenskaper. Det är känt att individer som är benägna att sensationssökande eller spänningssökande är mer benägna att delta i vissa studier, vilket kan skeva data från en studie om det undersöker dessa personlighetsdrag (och eventuellt inom andra studier också).
det bästa sättet runt denna bias är att rita från ett prov som inte är självvalt., Detta kanske inte alltid är möjligt naturligtvis på grund av experimentella begränsningar (särskilt för studier som kräver volontärer), men särskild ansträngning bör göras för att undvika potentialen för denna bias när man undersöker olika personlighetstyper. Effekterna av denna bias är osannolikt att vara så skadliga om experimentet handlar om något mer konstant, såsom psykofysiologiska mätningar.
pre-screening
en annan fallgrop som experimenter kan falla i är att pre-screen deltagare., Det kan finnas goda skäl att göra det (till exempel för att säkerställa korrekta kontrollgrupper), men detta kan också leda till att provpopulationen snedvrids. Som en följd av detta kan det leda till att man väljer ut deltagare som delar en gemensam egenskap som kommer att påverka resultaten.
detta liknar självval i resultatet, men leds av forskaren (och vanligtvis med goda avsikter)., För att undvika detta kan ett dubbelblint experiment vara nödvändigt där deltagarscreening måste utföras, vilket innebär att valen görs av en individ som är oberoende av forskningsmålen (vilket också undviker experimenterande bias).
Participant attrition
provet kan också påverkas av den experimentella inställningen medan det är i aktion., Om deltagarna släpper ut ur studien på ett partiskt sätt-om det finns en icke – slumpmässig anledning till att detta inträffar-är det osannolikt att de återstående deltagarna är representativa för den ursprungliga provpoolen (glöm inte befolkningen i stort).
denna avhopp är känd som participant attrition, och ses oftast inom undersökningar där det pågår en intervention med flera mätningar. Till exempel kan en medicinsk studie se många deltagare avsluta studien om läkemedlet inte verkar fungera (eller gör dem sjuka)., På detta sätt kommer endast de återstående (eller överlevande, i Walds fall ovan) deltagarna att undersökas i slutet av experimentet.
det är därför viktigt att deltagare som hoppar av studien följs upp efter att ha gjort det, för att avgöra om deras avgång beror på en gemensam faktor med andra deltagare, eller av skäl utanför experimentet.,
Undercover/classified
det borde inte vara någon överraskning att ha för få deltagare kommer att begränsa styrkan i de slutsatser som kan göras (om de kan göras alls), men många studier lider av undercoverage av provgrupper.
det är därför viktigt att tillräckligt många deltagare är tillgängliga och valda i förväg. Detta kan beräknas i förväg, så att du kan planera studien i enlighet därmed. Om för många deltagare också släpper ut på grund av avgång, kan studien behöva upprepas.,
en ytterligare punkt att notera är att även om du har tillräckligt med deltagare, måste du se till att de klassificeras korrekt, och sätta i rätt experimentell grupp. Att genomföra en studie om tvåspråkighet och enspråkighet skulle naturligtvis hämmas om det visade sig att vissa deltagare talade ett mer (eller mindre) språk än deras gruppering skulle föreslå.
detta är särskilt relevant i studier som undersöker olika psykiska störningar, där grupperingsdefinitionen kan vara oklart., Till exempel kan studier av ångest behöva skilja mellan deltagare som har diagnostiserats med generaliserat ångestsyndrom eller de som lider av panikattacker, och även om deltagarna uppvisar subkliniska/prodromala symptom.
se till att provet är väldefinierat, och välkännetecknat, innan studien påbörjas, kommer därför att se till att resultaten är relevanta för intressegruppen.,
plocka körsbär, muddringsdata
medan de flesta av urvalsfördomar inträffar innan data har samlats in, finns det flera steg som inträffar efter hoc som är öppna för felaktig distorsion. Dessa steg i stället för att relatera till hur data, snarare än provet, väljs.,
körsbärsplockning är utan tvekan ett bra sätt att förbereda en paj, men är också frasen som ges till handlingen att bara välja data som överensstämmer med vad experimenteraren förväntar sig, eller hoppas, att se.
detta kan uppstå på grund av felbehandling, eller kanske önsketänkande på uppdrag av utredaren. I slutändan leder detta till dålig vetenskap på något sätt. Utredaren måste förbli öppen för innehållet i data och fråga hur de tolkar saker., Det kan också hjälpa om flera personer (idealiskt oberoende) kontrollerar uppgifterna i studien.
liknar ovanstående, data-muddring (även känd som fiske efter data, eller p-hacking) är praxis att endast överväga de data som är betydande efter experimentet, och uppfinna post-hoc slutsatser för varför det uppstod. Detta uppstår vanligtvis när ett stort antal variabler undersöks, och falska resultat kan verka betydande.,
genom att endast ta signifikanta variabler från en datauppsättning är detta i huvudsak detsamma som att köra samma experiment flera gånger och publicera den händelse där signifikanta skillnader hittades.
experimentell reproducerbarhet är en särskilt viktig grundsats för vetenskap som bör bibehållas när det finns möjlighet till data-muddring. Med tillräckligt många replikationer kommer forskningen att visa sig vara sann eller falsk.,
Trick splits
slutligen, på ett liknande sätt att felklassificera deltagarna före experimentet, deras data kan felklassificeras efter det faktum. Felaktig uppdelning av data är ett sätt att dela, eller inte använda, vissa delar av data baserat på falska antaganden.
detta är ganska starkt i bedräglig datamanipulation, men det kan också uppstå av skäl som beror på tekniska fel, snarare än genom avsiktlig felbehandling.,
säkerhetskopiera det
förutom stegen ovan finns det några sätt på vilka man använder imotioner för datainsamling underförstått skydd mot vissa trappningar av urvalsfördomar, särskilt efter att datainsamlingen har ägt rum.
med hjälp av flera datakällor, som med flera biosensorer, kan det ge ett annat sätt att kontrollera dina data genom att observera om inspelningarna är överens med varandra., Till exempel, med hjälp av både GSR och EKG kan hjälpa dig att bekräfta nivåerna av fysiologisk upphetsning, medan ansiktsuttryck analys kan komplettera undersökning testning (Om någon verkar olycklig samtidigt hävdar motsatsen i undersökningen, då detta kan vara anledning till försiktighet med deras data). Dessa åtgärder kan i slutändan ge dig mer förtroende för de uppgifter som samlas in.
dessutom, att kunna visa data som spelats in i realtid i ett grafiskt och intuitivt format minskar risken för att vilseledas av siffrorna ensam., Ett kalkylblad med oändliga siffror kan erbjuda nästan lika många möjligheter att hitta förvirring, men att ha de verkliga uppgifterna som visas i ett lättförståeligt format ger klarhet för utredning.
så här fixar du allt genom att inte hålla hemligheter
användningen av imotioner hjälper till stor del till att skydda mot partiskhet för dataval, men valet av deltagare är något som i första hand bygger på god experimentell design.,
medan försöken att åtgärda uppkomsten av provtagningsfördomar kanske inte alltid är helt genomförbara, finns det en central sak som kan göras för att hejda bias – vara tydlig med resultaten. När man anger resultat är det viktigt att vara transparent med vilka resultaten är tillämpliga på.
I vår artikel om partiskhet för deltagare talade vi om hur experimentets interna giltighet kan vara problematisk, eftersom resultaten verkar vara korrekta, men ändå skulle vara partisk., För urvalsfördomar finner vi dock att extern giltighet är en mer trolig skyldige – resultaten verkar vara tillämpliga på befolkningen i stort, men är faktiskt partiska och ogiltiga för sådana generaliseringar.
för experimentell integritet är det därför viktigt att deltagarinformationen, dataanalysen och de resulterande slutsatserna görs så öppna och tydliga som möjligt.
den här artikeln är en del av vår serie om bias i forskning!, Vi har också diskuterat partiskhet deltagare, som du kan läsa genom att klicka här, och forskare bias, som du kan läsa genom att klicka här.
om du vill veta mer om fördomar i forskning, eller vill lära dig om hur iMotions kan hjälpa din forskning, är du välkommen att kontakta oss.
jag hoppas att du har njutit av att läsa om hur man undviker urvalsfördomar i forskning. Om du vill ha fler tips och tricks för bra forskning, kolla in vår gratis pocket guide för experimentell design nedan.
