Evidence based?!

Daar was-t-i vandaag weer: de arts, in dit geval een neurochirurg, die 'hun' dubbelblind onderzoek superieur acht boven andere methoden. Zijn kritiek geldt een onderzoek van het Sociaal en Cultureel Planbureau, waarbij acteurs werden ingezet voor de dataverzameling. Nu moet ik toegeven dat de club waar ik ooit werkte, deze methode gebruikt. Op echte afwijkingen van de statistische analyses op databestanden ten gunste van meer kwalitatief onderzoek had ik het SCP nog niet betrapt. De wonderen zijn de wereld nog niet uit.

De arts vindt het flut onderzoek. Want, zo redeneert hij, die acteurs hebben natuurlijk kunnen ráden waarom zij bij uitzendbureaus langsgingen. Daarenboven waren het er te weinig, waren de acteurs onderling op teveel variabelen anders en konden de onderzoekers ook daarom geen wetenschappelijk verantwoorde conclusies trekken uit het veldwerk.

<a href="http://medunkt2011.files.wordpress.com/2012/12/20121220-184415.jpg"><img src="http://medunkt2011.files.wordpress.com/2012/12/20121220-184415.jpg" alt="20121220-184415.jpg" class="alignnone size-full" /></a>

Nee, dan <a href="http://nl.wikipedia.org/wiki/Gerandomiseerd_onderzoek_met_controlegroep">dubbelblind uitgevoerd onderzoek</a>: dat is de top van wetenschappelijk onderzoek. In theorie wel, ja. Maar de realiteit is dat (ook) dubbelblind geen garantie geeft op wetenschappelijke betrouwbaarheid.

Het klinkt logisch. Als je iets wilt testen, dan zou je twee identieke populaties moeten hebben. Op de ene laat je hypothese A los; op de andere Niets. Als er dan een verschil is, moet dat wel worden verklaard uit de hypothese. Veel meer is het niet. De ene groep geef je wél en de andere níet een medicijn. En als het medicijn werkt, dan werkt het; terwijl je kunt stellen dat het géén toeval was want de controlegroep werd niet beter.

Nog afgezien van ethische discussies - wat doe je met levensbedreigende experimenten? Of met levensreddende medicijnen? - zijn er ook organisatorische. Waar haal je genoeg respondenten/patiënten vandaan? Hoe weet je eigenlijk zeker dat de twee groepen identiek zijn?

Hé, stop 's. Dat is de kritiek op sociaal wetenschappelijk onderzoek. Dat die mensen allemaal anders zijn. Dat ménsen allemaal anders zijn. En dat geldt voor ieder onderzoek waar mensen subject van onderzoek zijn; in de sociaal wetenschappelijke en in de medische hoek. Want jammer genoeg zijn geen twee mensen gelijk. Wel bíjna.

Uit de houding van de neurochirurg spreekt een hautaine houding over superieur medisch onderzoek die vandaag de dag afgezwakt zou moeten zijn en zeer zeker ongepast is. Wie de medische onderzoeken, met hun dubbelblind waarborgen, ziet, moet geregeld constateren dat onderzoeksresultaten de financier welgevallig zijn.

Da's ook niet vreemd.

<a href="http://medunkt2011.files.wordpress.com/2012/12/20121220-184425.jpg"><img src="http://medunkt2011.files.wordpress.com/2012/12/20121220-184425.jpg" alt="20121220-184425.jpg" class="alignnone size-full" /></a>

Want de kern van het probleem ís helemaal de methodologie niet. Die klopt wel. Het wordt al riskanter als het gaat om de selectie van proefpersonen. Dat is inmiddels al handel. Maar waar het uiteindelijk allemaal om draait, is de vraag wát je wilt onderzoeken: je onderzoeksvraag. En een onderzoeksvraag die ongelooflijk nauwkeurig om te verwachten problemen heen wordt geformuleerd, is natuurlijk handig. Die falsificeer je niet eenvoudig.

De vraag is dus helemaal niet of de invloed van acteurs het onderzoek verpestte, maar of het onderzoek een goede vraag hanteerde. Maat zolang artsen ons als machines beschouwen, gaat het idee van 'goed onderzoek' aan die kant niet snel veranderen.