Posts tonen met het label methodologie. Alle posts tonen
Posts tonen met het label methodologie. Alle posts tonen

maandag 27 mei 2013

Waard?! Je bent níets waard!

Voor mij was het reden om hem meteen te delen via social media: dit bericht Personal data for sale.

Ene Federico Zannier heeft besloten dat, als er geld wordt verdiend met verzamelde gegevens, hij dat ook zelf kan doen en te koop aanbieden. Pikt-i nog een graantje mee van die enorme berg die big data heet. Hij is er zelfs een Kickstarter-project mee begonnen. Hé ... en hij heeft al $1984 en 166 ondersteuners, terwijl-i mikte op $500! Nou, dan heb je een snaar geraakt. Toch?

20130527-173327.jpg

Het hele verhaal doet me denken aan een ervaring die ik zelf had in de jaren tachtig. We doen veldonderzoek in Amsterdam: vrij lange gesprekken met langdurig werklozen - "kwálitatief onderzoek, jongen". Daar zitten gesprekken tussen die je nooit meer vergeet. Een Marokkaanse man van in de vijftig die zich letterlijk en figuurlijk had kapotgewerkt bij Heineken. Een jonge jongen die het allemaal niets deed en die wel zag hoe zijn leven verder zou gaan. Maar ook bijvoorbeeld degene die open deed en toen zei: "Wat schuift het? Jij verdient toch aan wat ik zeg?".

Inderdaad; dit werd een non-respondent, want voor die gesprekken werd niet betaald.

Het zijn echter wel degelijk relevante reacties; ook die van Federico Zannier. Ze stellen de vraag waar de waarde van data zit. Die zit - jammer, jongens - niet daar waar zij 'm denken te zien. Denk ik.

Data is zo goed als niets waard. Een dataverzameling is iets waard. Dat hebben al die dataverzamelaars ook wel in de gaten. Maar dat heb jij zelf vast ook wel meegemaakt. Dat je ergens een archief van hebt: da's waardevol voor mensen die iets willen weten over dat onderwerp, zeker als je er in kunt zoeken. Niet dat je nu als een gek moet gaan bewaren. Het kost tijd, net als goede wijn, voordat de verzameling waarde krijgt. En een goede opslag én ontsluiting vereisen vakkennis.

Wat jij op een dag doet, is niet interessant. Wat ik op een dag doe, evenmin. Maar wat 'we' op een dag doen, wel. Want daaruit kun je patronen halen. Wat dat betreft, is het verhaal van Federico wel grappig: hij stelt dat híj de verzameling data is. Dat klopt. Voor een case study is dat zo. Maar ja N=1 is wel erg beperkt om meer mee te doen.

Ben je dus waardeloos? Nee, natuurlijk niet. Denken dat je je handelen op deze manier kunt waarderen, is echter een heel andere zaak. In ruil voor gebruik van software, sta je dat verzamelen toe. Wil je dat niet? Dan gebruik je die software toch niet? Wil je je gegevens niet delen, dan kan dat; gewoon precies hetzelfde doen als de klassieke aanpak van 'kennis is macht, en informatie is kapitaal'. En dus houd je het voor jezelf. In het dagelijks leven wordt dat wat lastig.

Voor de data-analisten zijn de data van een individu niet zo interessant. Wél de verkeerspatronen in grote datasets, mét alle gevaren (en voordelen) van dien. De waarde zit 'm dan in (het gemak van) de grote aantallen. De waarde zit in het verzamelen en ontsluiten, niet in de data op zich. Met één uitzondering: de kwaliteit.

Dé manier om dit soort van verzamelingen onderuit te halen, is door de data te vervuilen. Als 65jarige veel babyvoeding bij AH kopen, doet op den duur afbreuk aan de bonuskaartgegevens van die 65jarige. Dat is al geprobeerd door tegenstanders van dit registreren. Maar zoals dat hoort bij de Wet van de Grote Aantallen: de massa doet niet mee, waardoor zo'n actie roemloos mislukt.
Dát zou Federico wel kunnen doen: in ruil voor de betaling juiste en zuivere data aanleveren. Sterker, ik denk dat-i dat móet op het moment dat er een betaling wordt gevraagd.

Maar dat neemt níet weg dat het gegeven dat Federico al meer geld heeft opgehaald óók aangeeft dat 'wij' in de smiezen hebben dat er veel belang wordt gehecht aan het analyseren van ons gedrag.

Mooi. Dan ga ik nu even naar de supermarkt iets kopen wat ik niet nodig heb (en over een paar dagen weer terug breng). En om m'n bewegingen te maskeren, misleid ik de GSM-masten door een heel eind om te fietsen. Het leven van een data-eigenaar gaat níet over rozen.

Als je dat al dacht.

maandag 24 december 2012

Evidence based?!


Daar was-t-i vandaag weer: de arts, in dit geval een neurochirurg, die 'hun' dubbelblind onderzoek superieur acht boven andere methoden. Zijn kritiek geldt een onderzoek van het Sociaal en Cultureel Planbureau, waarbij acteurs werden ingezet voor de dataverzameling. Nu moet ik toegeven dat de club waar ik ooit werkte, deze methode gebruikt. Op echte afwijkingen van de statistische analyses op databestanden ten gunste van meer kwalitatief onderzoek had ik het SCP nog niet betrapt. De wonderen zijn de wereld nog niet uit.

De arts vindt het flut onderzoek. Want, zo redeneert hij, die acteurs hebben natuurlijk kunnen ráden waarom zij bij uitzendbureaus langsgingen. Daarenboven waren het er te weinig, waren de acteurs onderling op teveel variabelen anders en konden de onderzoekers ook daarom geen wetenschappelijk verantwoorde conclusies trekken uit het veldwerk.

<a href="http://medunkt2011.files.wordpress.com/2012/12/20121220-184415.jpg"><img src="http://medunkt2011.files.wordpress.com/2012/12/20121220-184415.jpg" alt="20121220-184415.jpg" class="alignnone size-full" /></a>

Nee, dan <a href="http://nl.wikipedia.org/wiki/Gerandomiseerd_onderzoek_met_controlegroep">dubbelblind uitgevoerd onderzoek</a>: dat is de top van wetenschappelijk onderzoek. In theorie wel, ja. Maar de realiteit is dat (ook) dubbelblind geen garantie geeft op wetenschappelijke betrouwbaarheid.

Het klinkt logisch. Als je iets wilt testen, dan zou je twee identieke populaties moeten hebben. Op de ene laat je hypothese A los; op de andere Niets. Als er dan een verschil is, moet dat wel worden verklaard uit de hypothese. Veel meer is het niet. De ene groep geef je wél en de andere níet een medicijn. En als het medicijn werkt, dan werkt het; terwijl je kunt stellen dat het géén toeval was want de controlegroep werd niet beter.

Nog afgezien van ethische discussies - wat doe je met levensbedreigende experimenten? Of met levensreddende medicijnen? - zijn er ook organisatorische. Waar haal je genoeg respondenten/patiënten vandaan? Hoe weet je eigenlijk zeker dat de twee groepen identiek zijn?

Hé, stop 's. Dat is de kritiek op sociaal wetenschappelijk onderzoek. Dat die mensen allemaal anders zijn. Dat ménsen allemaal anders zijn. En dat geldt voor ieder onderzoek waar mensen subject van onderzoek zijn; in de sociaal wetenschappelijke en in de medische hoek. Want jammer genoeg zijn geen twee mensen gelijk. Wel bíjna.

Uit de houding van de neurochirurg spreekt een hautaine houding over superieur medisch onderzoek die vandaag de dag afgezwakt zou moeten zijn en zeer zeker ongepast is. Wie de medische onderzoeken, met hun dubbelblind waarborgen, ziet, moet geregeld constateren dat onderzoeksresultaten de financier welgevallig zijn.

Da's ook niet vreemd.

<a href="http://medunkt2011.files.wordpress.com/2012/12/20121220-184425.jpg"><img src="http://medunkt2011.files.wordpress.com/2012/12/20121220-184425.jpg" alt="20121220-184425.jpg" class="alignnone size-full" /></a>

Want de kern van het probleem ís helemaal de methodologie niet. Die klopt wel. Het wordt al riskanter als het gaat om de selectie van proefpersonen. Dat is inmiddels al handel. Maar waar het uiteindelijk allemaal om draait, is de vraag wát je wilt onderzoeken: je onderzoeksvraag. En een onderzoeksvraag die ongelooflijk nauwkeurig om te verwachten problemen heen wordt geformuleerd, is natuurlijk handig. Die falsificeer je niet eenvoudig.

De vraag is dus helemaal niet of de invloed van acteurs het onderzoek verpestte, maar of het onderzoek een goede vraag hanteerde. Maat zolang artsen ons als machines beschouwen, gaat het idee van 'goed onderzoek' aan die kant niet snel veranderen.