Nadat de grootscheepse fraude van sociaal psycholoog Diederik Stapel wetenschappelijk onderzoek in een kwaad daglicht stelde, bleek fraude helaas ook voor te komen in de medische wetenschap van de gerenommeerde Erasmus Universiteit te Rotterdam. In het Erasmus MC bleek (Prof dr. ) Don Poldermans onzorgvuldig te werk zijn gegaan bij onderzoek met gegevens van patiënten en ook gebruik gemaakt te hebben van gefingeerde data. Omdat dit onderzoek betrof, waarvan de resultaten direct van toepassing zijn voor de behandeling van patiënten is dit geval van fraude zorgwekkend, zoals ook Prof. Dr. Jacobus Lubsen in NRC Handelsblad van 26 november opmerkt, omdat patiënten de dupe kunnen worden (Lubsen, 2011). Frauderen met onderzoeksgegevens haalt de essentie van wetenschap onderuit, namelijk het verkrijgen van kennis door het toetsen van hypothesen. Hoe kunnen we er voor zorgen dat valse onderzoeksresultaten niet meer voorkomen?

Gereguleerde kwaliteitscontrole
Lubsen wijst er op dat onderzoek naar de werking van nieuwe geneesmiddelen onderworpen is aan uitgebreide regelgeving over verplichte kwaliteitscontroles. Ook kunnen instanties als de Food and Drug Administration (FDA) inspecteurs naar instellingen sturen, om na te gaan of de geregistreerde gegevens over proefpersonen kloppen. Deze regels maken het fingeren van gegevens heel erg moeilijk, hoewel een kritische houding t.a.v. door de industrie gefinancierd onderzoek om andere redenen noodzakelijk blijft. Bij niet door de industrie, maar door bijvoorbeeld collectebusfondsen betaald onderzoek zijn dergelijke controles niet bij wet verplicht, maar wordt impliciet verondersteld dat sociale controlemechanismen (waaronder peer review ingesteld door tijdschriftredacties) afdoende zijn. Eigenlijk zou dit soort onderzoek aan dezelfde kwaliteitscontroles onderworpen moeten worden als door de industrie betaald onderzoek, stelt Lubsen.

Waarom eigenlijk niet? Onderzoekers en universitaire centra zullen wellicht verzuchten dat dit een hoop extra tijd en geld kost en dat dit ten koste gaat van het feitelijke onderzoek. Een reëel argument dat echter niet overtuigt. Kwaliteitscontroles zullen er waarschijnlijk toe leiden dat we er meer vertrouwen in hebben dat het iets geringere aantal onderzoeksresultaten correct is uitgevoerd en uitkomsten bevat die het waard zijn om beslissingen op te baseren. Niettemin zal het verplichten van uitgebreide kwaliteitscontroles op weerstand kunnen rekenen.

Openbaar maken van onderzoeksgegevens
Hoogleraar in de psychologie Carsten de Dreu vreest inderdaad dat kwaliteitscontroles veel bureaucratie opleveren en vraagt zich af of die echt helpen om fraude te bestrijden. Hij pleit voor het openbaar maken van onderzoeksgegevens (Berkhout, 2011). Het is eigenlijk maar vreemd dat onderzoeksgegevens doorgaans niet openbaar zijn. Wat hebben de onderzoekers dan te verbergen? Zo simpel steekt het echter niet in elkaar. Concurrerende onderzoekers kunnen dan heel gemakkelijk analyses doen met de door jou met veel pijn en moeite verzamelde gegevens. Zomaar openbaar maken lijkt dus niet aantrekkelijk. Ook mist de onderzoeker die slechts data van anderen gebruikt inzicht in hoe de gegevens tot stand zijn gekomen. Het zou du beter zijn als de gegevens wel door andere onderzoekers geanalyseerd kunnen worden, maar alleen in samenwerking met de onderzoeker die de primaire gegevens verzamelde. Alleen al de eis dat data op verzoek geopenbaard moeten worden kan al leiden tot een verbetering van de kwaliteit van het gepubliceerde onderzoek. Dat suggereert ook een recent in Plos One gepubliceerd Nederlands onderzoek, waaruit bleek dat in de publicaties van onderzoekers die niet bereid waren hun gegevens te openbaren meer fouten voorkwamen en bleek ook het bewijs voor de getrokken conclusie zwakker dan in publicaties van onderzoekers die wel hun onderzoeksgegevens beschikbaar stelden (Wicherts, 2011). Dit lijkt dus een aantrekkelijke oplossing.

Registratie van onderzoeken
Epidemioloog Prof. Dr. Jan VandenBroucke betwijfelt in een ingezonden brief of dit de oplossing is (VandenBroucke, 2011). In plaats van een openbaar archief zou ook het instituut van de betrokken onderzoeker zorg kunnen dragen voor archivering, waarbij een datamanager toezicht kan houden op de analysemethode. Om de communicatie te vergemakkelijken zou men openbaar kunnen laten maken welke gegevens waar zijn opgeslagen. Hierdoor wordt het makkelijker vragen te stellen over het onderzoek en zo nodig aanvullende analyses te doen.

Forensische statistiek
Daarnaast lijkt VandenBroucke gecharmeerd van het idee dat de datamanager van het instituut waar data worden bewaard alles narekent voordat een artikel ter publicatie wordt aangeboden, om na te gaan of de resultaten reproduceerbaar zijn.
Lubsen ziet eerder een rol voor een onafhankelijke instantie die steekproefsgewijs analyses controleert en noemt dit forensische statistiek. Dat lijkt betrouwbaarder omdat een statisticus in dienst van een instituut minder geneigd zal zijn om mogelijke (bewust of onbewust gemaakte) fouten in de analyse in de openbaarheid te brengen.

Wat staat ons te doen?
Er zijn dus verschillende maatregelen mogelijk die de kans op fraude kleiner maken of zelfs fraude voorkomen. Welke oplossing moeten we kiezen?
Ik denk dat openheid de kern van de oplossing moet zijn. Alle onderzoek zou open moeten staan voor replicatie. Er zijn verschillende manier om dat verder in te vullen. Het lijkt aan te bevelen om de onderzoeker die de gegevens heeft verzameld daarbij een rol te laten spelen.
Daarnaast is het aan te bevelen alle onderzoek te registreren, waarbij in ieder geval ook de plaats waar de primaire gegevens bewaard zijn, wordt geregistreerd.
Enige vorm van onafhankelijke kwaliteitscontrole is tenslotte zeker aangewezen. De meeste mensen zijn toch geneigd zich beter aan de regels te houden, als ze beseffen dat er controle kan plaatsvinden. Een dergelijke onafhankelijke instantie kost natuurlijk geld, waardoor er misschien minder onderzoek gedaan kan worden. Maar het overblijvende onderzoek wordt vaker getoetst en gecontroleerd en zal ons daardoor meer vertrouwen geven. Voor onderzoekers zal het misschien wennen zijn hun gegevens beschikbaar te stellen voor derden, maar andersom geeft dat hun wellicht ook meer mogelijkheden. Een punt van zorg is dat de meeste Nederlandse onderzoekers internationaal opereren, waardoor in Nederland ingestelde regels maar een beperkt bereik hebben en misschien de Nederlandse onderzoekers benadelen. Een organisatie als de Koninklijke Nederlandse Academie van Wetenschappen (KNAW) zou er daarom goed aan doen om Nederlandse initiatieven internationaal te introduceren.

Ten slotte
Een geruststelling ten slotte is dat een wetenschapper alleen verder komt als deze zijn hypotheses regelmatig probeert te falsificeren. Probeert deze daarentegen zijn hypotheses alleen te bevestigen met bijvoorbeeld gefingeerde data, dan wordt zijn bouwwerk wankeler en wankeler en zal het onherroepelijk op enig moment instorten. En zijn carrière ook. Frauderen is dus een uitzichtloze strategie. Openheid en een immer kritische houding ten opzichte van collega wetenschappers blijft niettemin de basis van de wetenschap.

 

Literatuur
Berkhout K. Nieuwsgierigheid als redding. NRC Handelsblad, 4-5 november 2011.

Lubsen J. Medische fraude is veel erger dan die theorietjes van Stapel. NRC Handelsblad, 24 november 2011.

Wicherts JM, Bakker M, Molenaar D. Willingness to share research data is related to the strength of the evidence and the quality of reporting of statistical results. PLoS One. 2011;6(11):e26828. Epub 2011 Nov 2.

VandenBroucke JP. Data en fraude. NRC Handelsblad, 12 november 2011, p 13.