RECHT DOEN AAN DE ONZEKERHEID IN ONDERZOEK

Word je agressiever door het spelen van gewelddadige games? Werkt cognitieve gedragstherapie tegen depressie? Maatschappelijk relevante vragen waar wetenschappers graag een duidelijk antwoord op vinden. Na onderzoek volgen vaak glasheldere, eenduidige conclusies: nee, je wordt niet agressiever van gewelddadige games. Ja, cognitieve gedragstherapie helpt tegen depressie. Toch worden dergelijke conclusies een onderzoek later weer even hard onderuitgehaald en blijken de resultaten toch niet te repliceren. Oftewel, de methodologische aanpak doet lang niet altijd recht aan de diffuse realiteit.

Het Psychological Methods Lab (PML) zet zich al twintig jaar in voor het bevorderen van robuuste en transparante statistiek, die meer rekening houdt met onzekerheid in psychologisch onderzoek. De onderzoeksgroep wil de status quo doorbreken waarbij één onderzoeker de resultaten rapporteert van één specifieke analyse, uitgevoerd met slechts één model en vaak gebruikmakend van verouderde methodologie. Hun kritische onderzoek toont aan dat het idee dat er slechts één juiste interpretatie bestaat na de analyse van onderzoeksdata een misvatting is. Ter illustratie: het team vroeg aan vier verschillende onderzoeksgroepen om een eenvoudige dataset te analyseren. Dat leverde vier totaal verschillende uitkomsten op die allemaal afweken van die van de oorspronkelijke auteurs. De boodschap: diverse modellen leiden tot uiteenlopende conclusies, en voor betrouwbare wetenschap is het essentieel om deze diversiteit in de sociale wetenschappen te omarmen en expliciet te benoemen.

Het idee dat er slechts één juiste interpretatie bestaat van onderzoeksdata is een misvatting

De onderzoeksgroep draagt actief bij aan het vergroten van de verscheidenheid in onderzoeksmethoden. Ze ontwikkelen bijvoorbeeld nieuwe netwerkbenaderingen waarmee psychologische constructen, zoals IQ of mentale stoornissen, begrepen kunnen worden als een complex van op elkaar inwerkende variabelen. In de traditionele psychologie worden problemen bij psychische aandoeningen vaak gezien als geïsoleerde symptomen die te verklaren zijn vanuit een enkele ‘oorzaak’. Als iemand bijvoorbeeld slecht slaapt, piekert en steeds onzekerder wordt, kan dit worden beschouwd als tekenen van een mogelijke depressie. In de netwerkbenadering worden alle symptomen echter in een breder perspectief geplaatst om te zien hoe ze op elkaar inwerken. Want als je slecht slaapt, raak je vermoeid en maak je meer fouten, waarna je je onzeker gaat voelen en gaat piekeren en je wellicht nog slechter slaapt. Kortom, de netwerkbenadering laat zien hoe dit soort symptomen elkaar kunnen veroorzaken en beïnvloeden. De innovatieve modellen van PML maken het mogelijk om dit complexe samenspel in kaart te brengen en meer realistische voorspellingen te doen, bijvoorbeeld over het verloop van psychische aandoeningen.

Het volgende doel van het team is het ontwikkelen van innovatieve methoden die hindsight bias helpen voorkomen. Stel dat een onderzoeker een hypothese test die suggereert dat er een verband is tussen het drinken van koffie en de kans op gezondheidsproblemen. Na het verzamelen van data en het uitvoeren van statistische analyses blijkt dat er geen significant verband is tussen koffieconsumptie en gezondheidsrisico’s. Er is sprake van hindsight bias wanneer de onderzoeker achteraf besluit de analyses aan te passen om de resultaten meer in lijn te brengen met de oorspronkelijke hypothese. Door bijvoorbeeld specifieke subgroepen te analyseren, andere statistische methoden te gebruiken of bepaalde outliers te verwijderen, kan tóch een significant verband worden gevonden. Hoewel gebruikelijk in wetenschappelijke statistiek, benadrukt het PML-team de noodzaak om dergelijke aanpassingen te vermijden zodat de integriteit van psychologisch onderzoek gewaarborgd blijft.

Diverse modellen leiden tot uiteenlopende conclusies

Bijzonder is ook dat het team hun state-of-the-art statistische modellering doorlopend integreert in JASP. Dat is een door henzelf ontwikkeld open-source softwarepakket dat wereldwijd wordt gebruikt door meer dan 292 universiteiten in 67 landen. Open science is dan ook een leidend principe in het werk van de onderzoeksgroep. De nieuw te ontwikkelen methoden om hindsight bias te voorkomen zullen ook via JASP beschikbaar worden gesteld aan onderzoekers wereldwijd.

Alle verschillende onderzoekslijnen hebben een gemeenschappelijk doel: nauwkeurige statistische modellen ontwikkelen die onderzoekers in staat stellen om betrouwbaardere informatie uit (psychologische) datasets te halen. Dit doel is zowel ambitieus als gedurfd, gezien de neiging van de meeste wetenschappers om vast te houden aan bestaande methoden. Typerend voor deze onderzoeksgroep is dan ook hun enorme vastberadenheid: weerstand of niet, ze móeten het proberen. Als een door hen ontwikkelde methode succesvol is, kan dat de betrouwbaarheid van veel empirisch onderzoek aanzienlijk verbeteren.