Hoe kan onderzoek zo rammelen?

Of het nu gaat om psychologie of medicijnenonderzoek: veel wetenschappelijk onderzoek houdt geen stand als collega’s het experiment herhalen. Wat gaat er dan toch steeds mis?

Door Tonie Mudde


Kankeronderzoek met muizen bij de universiteit van het Spaanse Salamanca.

De grootste schok voor Lex Bouter, hoogleraar methodologie en integriteit aan de Vrije Universiteit, kwam bij het zien van een studie in Nature uit 2012. Bijna 90 procent van het kankeronderzoek met proefdieren bleek geen stand te houden toen andere wetenschappers hetzelfde experiment herhaalden. 90 Procent! Ook andere vakgebieden scoren slecht bij dit soort replicatiestudies, blijkt keer op keer.

Bouter: ‘Natuurlijk, als je een experiment een tweede keer doet, kan er af en toe een ander resultaat uitkomen. Maar dat zou de uitzondering moeten zijn, niet de regel.’

Maandag 15 april is Bouter te gast bij het Kenniscafé, de wetenschappelijke talkshow van onder meer de Volkskrant. De avond staat in het teken van wetenschappelijke uitglijders, en wat daarvan te leren valt.

Hoe is het mogelijk dat zoveel onderzoeksresultaten op drijfzand berusten?

‘Bijvoorbeeld door te werken met te weinig proefpersonen of proefdieren: dat is vragen om toevalstreffers. Een ander probleem is het zoeken naar spectaculaire verbanden in een enorme berg met onderzoeksgegevens. Stel: je wilt weten of een bepaalde behandeling helpt bij de gemiddelde patiënt en je ontdekt dat dit niet zo blijkt te zijn. Balen. Maar nu zie je ineens dat de behandeling wel aanslaat bij patiënten met het sterrenbeeld Waterman, of bij blanke mannen. Bij dat sterrenbeeld snapt iedereen dat het toeval is, maar bij die blanke mannen valt nog wel een theorie te bedenken waarom het voor hen goed zou kunnen werken. Door in je publicatie de nadruk te leggen op die ene positieve uitkomst, kan de wetenschappelijke literatuur enorm vervuild raken met toevalstreffers. Wat ook niet meehelpt: grote wetenschappelijke tijdschriften zijn vooral geïnteresseerd in die spectaculaire positieve uitkomsten, en wetenschappers zijn voor hun carrière weer afhankelijk van die publicaties. Dus er is een prikkel om met opvallende resultaten naar buiten te treden. Voor je familie, voor je onderzoeksgroep, voor jezelf: de verleiding om met iets spectaculairs te komen, is groot. Te groot in het huidige beloningssysteem.’

Heeft u zelf wel eens een dubieus onderzoek de wereld in gestuurd?

‘Ja. Als ik de film van mijn wetenschappelijke carrière terugspoel, zie ik mezelf dingen doen die destijds normaal werden gevonden, maar die ik nooit meer zou doen. Nu is de gouden regel: leg voor je begint aan een experiment een uitgebreid onderzoeksprotocol met een tijdstempel vast op internet. Zo kan iedereen achteraf zien wat je van plan was. Destijds gebeurde dat zelden in mijn toenmalige vakgebied, waarbij we onder meer onderzoek deden naar de effectiviteit van medische behandelingen. Een onderzoeksprotocol kon je best een beetje bijstellen gedurende het experiment. Maar zo ga je dus ongemerkt allerlei toevalstreffers beoordelen als belangrijke onderzoeksresultaten.’

Gaat het de goede of slechte kant op met de kwaliteit van wetenschappelijk onderzoek?

‘Ik zie zeker positieve ontwikkelingen. Meer vakgebieden hameren erop eerst het onderzoeksprotocol in detail vast te leggen. Tijdschriften publiceren onderzoeken pas nádat collega’s het experiment hebben herhaald en hetzelfde resultaat hebben gevonden. Er is meer aandacht voor wetenschappelijke integriteit: alle promovendi van Nederland krijgen daarin een cursus aangeboden. Maar er valt nog veel te winnen. Zo blijft het beloningssysteem gericht op spectaculaire resultaten gepubliceerd in toptijdschriften. En de wat oudere onderzoekers en begeleiders vinden vaak dat ze zo’n integriteitscursus niet nodig hebben. Terwijl ik denk: juist voor hen is het belangrijk. Begeleiders van onderzoekers bepalen in sterke mate de cultuur. Mishandelen we hier onze data net zolang tot er een spannend resultaat uitkomt? Of is dat soms not done in onze groep?’

Kenniscafé: De foute avond, over missers in de wetenschap. 15 april, De Balie, Amsterdam. Kaarten hier verkrijgbaar.

Bron: de Volkskrant.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google photo

Je reageert onder je Google account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s

Deze site gebruikt Akismet om spam te bestrijden. Ontdek hoe de data van je reactie verwerkt wordt.