Statistiek
Statistiek… alom aanwezig bij kwantitatief onderzoek. Bij kwantitatief onderzoek kun je op verschillende manieren te werk gaan. Zo kun je bijvoorbeeld met een vragenlijst in de weer gaan, maar je kunt ook zelf gaan observeren/tellen of een dataset opstellen op basis van jaarverslagen. Het hoeft dus niet altijd over personen te gaan, maar het kan ook over bedrijven, steden of landen gaan. Kortom, de meeteenheid van het onderzoek is veranderlijk.
SPSS en alternatieven
Ook de analyse kan verschillende vormen aannemen. Een experiment behoeft een andere analyse dan een longitudinaal psychologisch onderzoek. Hetzelfde geldt voor het soort statistiek die je toepast of de software die je gebruikt voor de analyse. De complexiteit van wat je wilt bepaalt of Stata, SPSS of zelfs Excel het aangewezen gereedschap is.
Er zijn echter wel algemene richtlijnen om in ogenschouw te nemen wanneer je kwantitatief onderzoek wilt doen. Wat in de voorbereiding handig is om latere wanhoop te voorkomen:
- Stel hypotheses op! Deze maken expliciet wat je verwacht te vinden in de analyse op basis van eerder onderzoek. Een hypothese is niets meer dan het verwachte antwoord op een onderzoeksvraag, toegespitst op hoe jouw data eruit ziet.
- Zet de hypotheses in een conceptueel model. Zo is het visueel in een oogopslag duidelijk waar jouw onderzoek precies over gaat.
- Bedenk welke controlevariabelen je wilt gebruiken. Onderbouw deze selectie goed op basis van eerder onderzoek.
- Wanneer jouw focus ligt op een bepaalde groep, zorg dan dat je wel andere groepen meeneemt in het onderzoek ter vergelijking. Zonder vergelijking is het niet mogelijk om te bepalen of een groep significant hoger of lager scoort. Je hebt dan geen benchmark.
- Probeer informatie zoveel mogelijk te verzamelen als schaalvariabele. Vraag dus niet naar leeftijd in categorieën. Vraag naar de precieze leeftijd of geboortejaar. Dit geeft je meer mogelijkheden in de analyse. Je kunt altijd later alsnog voor categorieën kiezen. Als je van te voren al kiest voor categorieën, dan kun je echter niet meer terug naar een schaal variabele. Je bent dan beperkt.
- Zorg ervoor dat de informatie die je hebt zo compleet mogelijk is. Het allerbeste is om geen missende waardes te hebben. Let wel erop dat ook als je mensen verplicht om een vragenlijst volledig in te vullen, ze altijd nog kunnen kiezen om tussentijds te stoppen. Die ‘halve’ vragenlijsten dragen dan bij aan non-respons.
Hulp nodig?
Duizelt het je bij statistiek? Dan kun je wel wat hulp gebruiken. We begeleiden niet als je gebruik maakt van Stata of R (statistische analysesoftware), maar daarbuiten kunnen we je begeleiden bij de verschillende stappen van statistisch onderzoek. Lees er meer over!
Als de data zijn verzameld, en het komt aan op de analyse, dan zijn er zaken die vaak fout gaan:
- Wees pragmatisch. Soms is het goed om bepaalde keuzes in een analyse pas te maken als je hebt gekeken wat de impact is. Of je bijvoorbeeld wel of geen uitbijters eruit haalt, hangt ook af van of het veel uitmaakt of je ze erin laat. Breng de impact eerst in kaart.
- Een goede analyse bekijkt een vraag van meerdere kanten. Het idee dat je voor elke hypothese maar een enkele analyse nodig hebt gaat vaak niet op. Je hebt meestal meerdere analyses nodig om op robuuste wijze iets zeggen over de hypotheses. Statistiek is uiteindelijk een verhaal. Een overtuigend verhaal wordt in stappen opgebouwd: het laat zien dat de uitspraken die je doet echt onderbouwd zijn en dat de uitkomsten die je presenteert niet gemanipuleerd zijn door jou als onderzoeker.
- Verlies je niet in de details. Een valkuil bij een statistische analyse is om hoofdzaken niet meer van bijzaken te scheiden. Het werkt goed om steeds te benoemen waarom je iets doet. Als je test voor aannames, dan helpt het bijvoorbeeld om te zeggen dat je dit doet om te zorgen dat de uitkomsten betrouwbaar zijn en dat je valide beeld krijgt van wat je nu precies wel/niet kunt concluderen op basis van jouw onderzoek.
- Zorg dat de uitkomsten goed vergelijkbaar zijn met eerder onderzoek. Een goede analyse kan eenvoudig worden vergeleken met de literatuur. Zo kun je helder maken wat jouw onderzoek heeft bijgedragen aan de bestaande literatuur.
Elke onderzoek waarbij je statistiek gebruikt is weer anders. Een belangrijk en altijd terugkerend principe is wel steeds om vast te stellen of wat je vindt op toeval is gebaseerd of dat de bevindingen substantieel van aard zijn. De term daarvoor is significantie. Daarmee bekijk je of je op basis van jouw onderzoeksgroep de uitkomsten mag generaliseren naar een grotere populatie. Het gaat over de bredere relevantie van je studie.
Statistiek en significantie
Staar je echter niet blind op significantie. Een onderzoek valt of staat niet bij (een gebrek aan) significantie. Tegenwoordig wordt ook vaker een betrouwbaarheidsinterval gegeven om het zwart/wit denken te doorbreken en het meer te richten op de bandbreedte/onzekerheidsmarge van de effecten die je hebt gevonden. Uiteindelijk is een statistisch onderzoek een poging om een kritische derde te overtuigen van de validiteit en relevantie van jouw uitkomsten. Het verhaal erbij is minstens zo belangrijk als de uitkomsten zelf.
Tip: kijk naar wat je wel hebt
O nee! Niet significant. Onnauwkeurig gemeten. Geen verband! Dat is allemaal geen ramp. Kijk naar wat je wel hebt gemeten en bepaal wat je op basis daarvan wèl kunt zeggen.