Posts tonen met het label statistiek. Alle posts tonen
Posts tonen met het label statistiek. Alle posts tonen

zaterdag 22 juni 2013

Leiden in Twitter

Je moet er goede ogen voor hebben. Als bijziende zie ik details stúkken beter zonder bril dan met. Nou, dat heb ik goed kunnen gebruiken.

Big data is nogal 'een dingetje'. We leggen vanalles vast. Daarin moeten we zelf toch verborgen zitten dan?! En, nog mooier, daarin moeten ook dingen te zien zijn die we zelf nog niet eens bedachten. Data mining heette dat een jaar of tien, vijftien geleden; het zoeken naar verbanden in grote databestanden.

Dat is link.

Zonder idee, zonder theorie data crunchen, data vermalen is precies hetzelfde als wat onwetende oermensen deden met natuurverschijnselen: er werd een verklaring bij gezocht. Nu zijn wij uiteraard véél geciviliseerder, véél slimmer en véél verstandiger en dús doen we dat niet. Toch?

Nou, mooi wel. Vooral hier in de wereld van de big data loert dat gevaar. Databestanden kun je draaien, wentelen en je kunt er berekeningen op loslaten totdat je systeem ineens piept: Significant Verband Gevonden! En dan blijkt dat kinderen inderdaad door ooievaars worden gebracht, want er is een significant verband vastgesteld tussen hun komst en de piek aan geboorten. Dat het geen causáál verband is... Tja, dát had die theorie moeten aanreiken.

Met de nodige voorzichtigheid zijn big data wel degelijk enorm interessant. Want ze kunnen ook theoretische noties genereren. Want zo werkt dat; je ziet iets, snapt het niet en probeert het te verklaren. Dat de oermens hogere machten de natuur lieten beheersen, had alles van doen met de toen beschikbare kennis. Ze begónnen pas. Net zoals wij nog steeds bar weinig snappen van zowel wat 'leven' nu feitelijk is, als van dat startpunt van alles, de oerknal. Dat er 'gewoon iets is begonnen op basis van toeval' - mijn idee erover - gaat er meestal niet in, want 'alles heeft een reden, een begin'.

Een mooi voorbeeld hoe dat werkt, gaf CNN me in handen in de vorm van dit artikel:

20130622-180133.jpg

Gelet op de in het artikel genoemde aantallen is dit wel big data. Maar het leukst vind ik dus de laatste zin. Als je in de resultaten ziet dat Engeland vooral iOS is - Apple-spul gebruikt dus - en Spanje android, en als je weet dat ze ongeveer dezelfde inkomensniveaus, dan is de vraag aan de orde waarmee je het verschil dan verklaard. Op basis van díe veronderstellingen kun je dan weer verder zoeken. Zijn de Spanjaarden anti-autoritair? En kiezen ze daarom voor open source? En heb je Nederland gezien? De randstad rood en de rest groen.

Uiteraard heb ik gedaan wat iedereen doet die een speeltje in handen heeft: effe proberen. En waar op? Op de plek waar ik woon. Je hebt er wél goede ogen voor nodig. In, slecht leesbare, letters staan de wijken in de kaart. Zelfs als bijziende was het een opgave.

Dit is Leiden:

20130622-175324.jpg

Echt enorm verrast ben ik niet. Zowel iOS als Androïd. En als je het zou kunnen zien, ook Blackberry en 'anders'. Redelijk wat 'anders' overigens.

Wat me wél frappeerde, is dat de concentraties niet willekeurig zijn. Als ik het goed zie, zijn het bijvoorbeeld de beide stations, het stadscentrum en de snelwegen. Dat vind ik toch best opvallend. Zeker de stations en het centrum kunnen nogal druk zijn. Maar toch

tweeten we dan vooral als we onderweg zijn?!

donderdag 2 mei 2013

Statistiek door een vergrootglas

Deze ken je vast. En zo niet: probeer 'm ergens te pakken te krijgen en door te kijken. Het is een dun boekje over statistiek, met een van de mooiste titels ooit: How to lie with statistics.

Het is geen leerboek in de zin dat het je alle finesses leert van de statistiek. Het is een veel belangrijker onderwerp: hoe gebrúik je statistiek. In ons najagen van "meten is weten" en alles meetbaar maken - quantified self bijvoorbeeld - is dat uiterst belangrijk. Want wat word je voorgespiegeld door die getallen?

Statistiek is een taal.

Dat klinkt idioot. Toch is het waar. Met statistiek wordt, net als met taal, een boodschap overgebracht. Dat moet je wel zorgvuldig doen. In de taal laten we al steeds meer slordigheid toe. Voor een deel omdat we het gewoonweg niet belangrijk vinden. Voor een deel omdat we het soms ook wel vermakelijk vinden. Voor een deel omdat we de fouten niet meer zien. Met als resultaat dat we elkaar steeds minder goed (zullen gaan) begrijpen.

Op de Leidse markt prees een koopman zijn waar aan met een reclamebord: Echte Biologische Noten (oid). We snappen vast wat-i bedoeld: echt biologisch. Maar door de e achter echte staat er dus óók dat er ónechte noten bestaan. Die foute e kom je vaak tegen. En meestal corrigeren we vanzelf wel naar de juiste boodschap. Op de achterkant van Onze Taal staat iedere maand weer een aantal mooie voorbeelden hoe vreemd of verwarrend dat kan uitpakken: Ruggespraak.

20130502-184439.jpg

Communicatie tussen mensen is een dynamisch fenomeen. Betekenissen veranderen en conventies ook. Dat hoort. En dat is lastig.

Met taal kun je spelen. Als schrijver. Taal kun je zien als dagelijks werktuig. Als gewoon gebruiker. Met taal kun je vastleggen. Als jurist. Het maakt nogal uit hoe juist je dan formuleert en vastlegt, wat je schrijft. Die ene e maakt dan wel degelijk uit. Of, een wellicht nog mooier voorbeeld: de komma.

Enig idee wat het verschil is tussen "mijn vader, die" en "mijn vader die"? Die tweede is een beperkende bijzin. Daarmee kun je aardig in de problemen komen, met die komma: "ik werd gefeliciteerd door mijn vader die een stropdas droeg". Geen probleem? Hier staat dat de ik-figuur meerdere vaders heeft. Wél een probleem.

Die dingen speelden door m'n hoofd toen ik een artikeltje las over het gebruiken van y-assen.

Het gaat feitelijk over hetzelfde. Grafieken die, bijvoorbeeld vanwege ruimtegebrek, worden 'vereenvoudigd'. Het is zeker de moeite waard het artikel door te lezen. De waarschuwing is duidelijk: als je de y-as níet op nul laat beginnen, zorg je voor vertekening. Het lijkt alsof je door een vergrootglas kijkt. Da's handig om de details waar te nemen, maar je moet je wel heel erg goed realiseren dat de verhoudingen niet meer kloppen.

When data gets mapped to visual variables for visualization, we tend to make the same assumptions. A bar that is twice as long represents a value that’s twice as big. But that is only true if that bar starts from zero. If it was cut off, that is no longer true.

The following image shows the monthly sales of a fictitious coffee chain over a few months. The left bar chart starts at zero, the right one at $29K. Notice the difference?

20130502-182948.jpg

In the right-hand chart, the bar for February appears to be roughly twice as high as the one for January. Twice the bar size means twice the value, right? But looking at the chart on the left, it’s obvious that the change is rather small.

The first thing to do when looking at a chart, therefore, is to make sure you understand the vertical axis. If it starts at 0, it is much easier to read the chart without being misled.


Kijk, da's nou lying with statistics. Ik ga er vooralsnog maar van uit dat het geen kwade opzet is. Maar toch... wees alert. Want in deze wereld draait steeds meer om 'bewijs' en dat is heel vaak een getal. Of iets met infographics: ook bloedlink.

Maar wat zégt 't? Klopt 't?