God forskning begynner vel før det første eksperimentet starter.
Under andre Verdenskrig, en statistiker ved navn Abraham Wald ble gitt en ganske uventet jobb, gitt hans bakgrunn: for å forbedre overlevelse av AMERIKANSKE fly. Wald var en smart mann og så ut over tidligere analyser hadde blitt gjort. Forrige etterforskere hadde sett den skade og ødeleggelse som deles ut til flyet, og rådet mer rustning blir lagt til de skadede områdene, for å øke deres beskyttelse., Spesifikke deler ble skutt og revet opp, så nye rustning ble lagt til.
Men overlevelsesevne pris ikke øke. Faktisk, det er redusert, som den nye rustning legges vekt og redusert bevegelighet av flyene, og at de fortsatt kom tilbake med skade i de samme områdene. Wald observert alt dette og oppmerksom på at luftforsvaret begynne å legge rustning bare til uberørte områder – deler uten et spor av skade., Han tenkte at det bare data om overlevelsesevne var som kommer fra de overlevende fly selv, og de som kom tilbake med skade viste nøyaktig hvor den ikke-dødelige slag kunne bli utdelt.
Med det råd som er tatt om bord, og økt overlevelsesevne og resten er, vel, historie. Mens dette gir et flott eksempel på lateral tenkning, den forteller oss noe kritisk om datainnsamling som av utvalget bias.,
Selection bias er en eksperimentell feil som oppstår når deltakeren basseng, eller den etterfølgende data, er ikke representative for målgruppen.
Det er flere typer av utvalg bias, og de fleste kan forebygges før resultatene er levert. Selv om det kanskje ikke alltid være en hel luftforsvaret på linje når det gjelder å få det rett, det er fortsatt viktig for god forskning.,
La oss gå gjennom noen eksempler, og utforske hva som kan gjøres for å stoppe denne skjevhet som oppstår før den første datapunkt er selv samlet inn.
Prøvetaking Bias
Det er flere aspekter ved prøvetaking bias, som til syvende og sist bety at befolkningen blir studert, gir ikke dataene som vi trenger for å gjøre konklusjoner.
Et vanlig eksempel på at dette skjer i praksis er gjennom self-utvalget., Bestemte grupper av mennesker kan bli trukket til å ta del i et bestemt studium på grunn av selv-å velge egenskaper. Det er kjent at personer som er tilbøyelig til sensation-seeking, eller spenningen-søker er mer tilbøyelige til å ta del i visse studier, som kan forskyves data fra en studie om det å undersøke de personlighetstrekk (og muligens i andre studier også).
Den beste vei rundt dette bias er å trekke et utvalg som ikke selv har valgt., Dette kan ikke alltid være mulig, selvfølgelig, på grunn av eksperimentelle begrensninger (særlig for studier som krever frivillige), men særlig innsats bør gjøres for å unngå potensialet for denne skjevhet ved å undersøke ulike personlighetstyper. Effekten av dette bias er usannsynlig å være så skadelig hvis eksperimentet er opptatt med noe mer konstant, slik som psykofysiologiske målinger.
Pre-screening
et Annet eksempel på at eksperimentator kan falle i er å pre-tv med deltakerne., Det kan være gode grunner til å gjøre det (for eksempel, for å sikre riktig kontroll grupper), men dette kan også ha effekt av å forvrenge eksempel befolkningen. Som en konsekvens av dette kan resultere i å velge deltakere som deler en felles karakteristikk som vil påvirke resultatene.
Dette er det samme selv-utvalget i resultatet, men er ledet av forsker (og vanligvis med gode intensjoner)., For å unngå dette, en dobbel-blind eksperiment kan være nødvendig der deltakeren screening har til å bli utført, noe som betyr at valgene er gjort av en person som er uavhengig av forskningen mål (som også unngår eksperimentator bias).
Deltaker avgang
prøven kan også være påvirket av den eksperimentelle oppsettet selv om det er i aksjon., Hvis deltakerne slippe ut av studien på en partisk måte – hvis det er en ikke-tilfeldig grunnen til at dette skjer – og de gjenværende deltakerne er usannsynlig å være representative for den opprinnelige prøven basseng (never mind befolkningen for øvrig).
Dette slippe ut pris er kjent som deltaker avgang, og er vanligvis sett i undersøkelser der det er en pågående intervensjon med flere målinger. For eksempel, en medisinsk studie kan se mange deltakere avslutte studiet hvis medisinen ikke synes å bli arbeider (eller gjør dem syke)., På denne måten er det kun de gjenværende (eller gjenlevende, i Wald er tilfellet ovenfor) deltakerne vil bli undersøkt på slutten av eksperimentet.
Det er derfor viktig at deltakere som faller ut av undersøkelsen følges opp etter å gjøre det, for å avgjøre om sin avgang på grunn av en felles faktor med andre deltakere, eller av årsaker utenfor eksperimentet.,
Undercover / klassifisert
Det burde ikke komme som noen overraskelse at det å ha for få deltakere vil begrense styrken av konklusjonene som kan gjøres (hvis de kan være laget i det hele tatt), men mange studier lider fra undercoverage for eksempel grupper.
Det er derfor avgjørende at det er nok deltakere er tilgjengelig og valgt på forhånd. Dette kan beregnes på forhånd, slik at du kan planlegge studiet i henhold til dette. Hvis for mange deltakere også falle ut på grunn av naturlig avgang, da undersøkelsen må gjentas.,
Et ytterligere punkt å merke seg er at selv om du har nok deltakere, må du sørge for at de er klassifisert riktig, og sette inn de riktige eksperimentelle gruppen. Gjennomføre en studie på bilinguals og monolinguals vil selvsagt bli hemmet dersom det kom fram at noen av deltakerne snakket man mer (eller mindre) språk enn deres gruppering skulle tilsi.
Dette er spesielt viktig i studier som undersøker ulike psykiske lidelser, der gruppering definisjon kan være uklart., For eksempel, studier av angst kan være nødvendig å skille mellom deltakere som har blitt diagnostisert med en generalisert angst lidelse, eller de som lider av panikk angrep, og selv om deltakerne utstilling subklinisk/prodromal symptomer.
å Sikre at prøven er godt definert og godt karakterisert, før du begynner studiet vil derfor sikre at funnene er relevante for konsernet som er av interesse.,
Plukke kirsebær, mudring data
Mens de fleste av utvalget skjevheter oppstår før data har blitt samlet inn, er det flere trinn som oppstår post-hoc som er åpne for feilaktige forvrengning. Disse trinnene i stedet for å forholde seg til hvordan data, snarere enn prøven, er valgt.,
Cherry-plukking er uten tvil en god måte å forberede en kake, men er også uttrykk som er gitt til loven av bare å velge data som er i overensstemmelse med hva som eksperimentator forventer eller håper å se.
Dette kan skje på grunn av feilbehandling, eller kanskje en ønsketenkning på vegne av undersøkeren. Til slutt selv om dette fører til dårlig vitenskap uansett. Undersøkeren må være open-minded til innholdet av dataene, og spørsmålet hvordan de skal tolke ting., Det kan også hjelpe hvis flere personer (ideelt sett uavhengige) sjekk dataene i studien.
Lik den ovenfor, data-mudring (også kjent som fiske for data, eller p-hacking) er i praksis bare vurderer dataene som er viktig når eksperimentet, og finne opp post-hoc konklusjoner for hvorfor det dukket opp. Dette er vanligvis oppstår når et stort antall variabler som er undersøkt, og falske resultater kan vises betydelig.,
Ved å ta bare signifikante variabler fra et dataset, dette er i hovedsak den samme som å kjøre det samme eksperimentet flere ganger, og publisering av en forekomst som signifikante forskjeller ble funnet.
Eksperimentelle reproduserbarhet er en spesielt viktig grunnsetning av vitenskapen som bør vedlikeholdes når det er en mulighet for data-mudring. Med nok gjennomkjøringer, forskning vil bli vist til å være sant eller usant.,
Lure deler
til Slutt, på en lignende måte til misclassifying deltakerne før eksperimentet, deres data kan bli klassifisert etter faktum. Feil oppdeling av data er en måte å dele, eller ikke bruker, kan enkelte deler av data basert på falske forutsetninger.
Dette dreier ganske sterkt inn falske data manipulasjon, men det kan også oppstå for årsaker på grunn av tekniske feil, snarere enn gjennom tilsiktet feilbehandling.,
Tilbake det opp
I tillegg til punktene ovenfor, det er et par måter å bruke iMotions for datainnsamling implisitt beskytter mot noen pynt av selection bias, spesielt etter datainnsamling har funnet sted.
ved Hjelp av flere datakilder, som med flere biosensorer, kan gi en annen måte å sjekke dine data, ved å observere hvis opptak er i enighet med hverandre., For eksempel, ved hjelp av både GSR og EKG kan hjelpe deg å bekrefte nivåer av fysiologisk opphisselse, mens ansiktsuttrykk analyse kan utfylle undersøkelsen testing (hvis noen ser ut ulykkelig og samtidig hevde det motsatte i undersøkelsen, så kan dette være grunn til forsiktighet med sine data). Disse tiltakene kan til slutt gi deg mer selvtillit i de data som er samlet inn.
Videre, å være i stand til å vise data som er lagret i sanntid i en grafisk og intuitiv format minsker sjansen for å bli villedet av tallene alene., Et regneark av endeløse tall kan tilby nesten like mange muligheter til å finne forvirring, men å ha de reelle dataene vises i en lett forståelig format gir klarhet for undersøkelse.
Hvordan å fikse alt ved ikke å holde hemmeligheter
bruk av iMotions i stor grad bidrar til å beskytte mot data selection bias, men utvalget av deltakere er noe som først og fremst er avhengig av gode eksperimentelle design.,
Mens forsøk på å fikse fremveksten av prøvetaking skjevheter kan ikke alltid være helt mulig, det er en sentral ting som kan gjøres for å demme opp for bias – det være klart med resultatene. Når du sier funn, er det viktig å være åpen med hvem resultatene gjelder for.
I vår artikkel om deltakeren bias vi snakket om hvordan den interne gyldigheten av eksperimentet kan være problematisk, så resultatet synes å være riktig, men faktisk ville være partisk., For utvalget bias imidlertid finner vi at eksterne validiteten er en mer sannsynlig skyldige – resultatene ser ut til å være gjeldende for befolkningen som helhet, men er faktisk partisk og ugyldig for slike generaliseringer.
For eksperimentell integritet, det er derfor viktig at deltakeren informasjon, data analyse, og den resulterende konklusjoner er foretatt som åpne og klart som det kan bli.
Denne artikkelen er en del av vår serie om skjevhet i forskning!, Vi har også diskutert deltaker bias, som du kan lese ved å klikke her, og forsker bias, som du kan lese ved å klikke her.
Hvis du ønsker å vite mer om skjevheter i forskning, eller ønsker å lære om hvordan iMotions kan hjelpe din forskning, så føl deg fri til å kontakt oss.
jeg håper du har glede av å lese om hvordan du kan unngå utvalg bias i forskning. Hvis du ønsker mer tips og triks for god forskning, så sjekk ut våre gratis pocket guide for eksperimentell design nedenfor.
