Met statistiek kan veel. Heel veel. Zo kun je duidelijk maken hoe de economie in een land ervoor staat, welk weer er morgen verwacht wordt, hoe een baby zich tot peuter en kleuter ontwikkelt, en welk effect een bepaald dieet heeft op onze gezondheid. Mits op de juiste manier gebruikt en geïnterpreteerd, is statistiek niet alleen een krachtig hulpmiddel om ontwikkelingen in de samenleving te duiden, maar ook om keuzes te maken, voor de toekomst.
Maar: statistiek wordt ook vaak gebruikt om zaken net wat anders voor te stellen… Aan mijn studenten leg ik dat uit aan de hand van voorbeelden uit het boekje ‘How to lie with statistics’ van Darrell Huff. Hij schreef dit boekje in 1954 en het werd een bestseller. Een mooi voorbeeld is een eenvoudige visuele truc: het aanpassen van de schaal op de as van een grafiek, waardoor een relatief kleine verandering ineens een heel belangrijke lijkt. Of het bekende misverstand om samenhang te interpreteren als een effect. Stel je vindt een verband tussen de schoenmaat van een kind en leesvaardigheid: kinderen met een grotere schoenmaat lezen beter. Is er een effect? Dan zou je kinderen grotere schoenen kunnen geven en wellicht gaan ze dan beter lezen. Dat is natuurlijk onzin: het verband wordt verklaard door een derde variabele, namelijk leeftijd: oudere kinderen hebben grotere schoenmaten en ze kunnen vaak beter lezen (Bikker, 2019).
Statistiek kan ook in de politiek worden ingezet om een boodschap te ondersteunen, als argument voor het maken van regels en wetten en om maatregelen te kunnen evalueren. Dat gebeurt echter vaak selectief en bedrijft men een soort van ‘cherry-picking-statistics’. Zo laten politieke partijen het klimaatakkoord doorrekenen en ze leggen daarbij de nadruk op punten die hun eigen programma bekrachtigen. Deze vorm van ‘cherry picking’ heet ook wel publicatiebias: alleen publiceren wat het standpunt ondersteunt en negeren wat dit ontkracht.
In de huidige coronacrisis krijgen we dagelijks statistische informatie: het aantal besmettingen per dag, het (gemiddelde) weekcijfer, de R-waarde, het testresultaat van nieuwe vaccins. Ook hier speelt publicatiebias een rol. Er verschijnen talloze onderzoeksresultaten waarbij journalisten en nieuwsshows die resultaten selecteren die hun boodschap bevestigen.
De meest blatante vorm van ‘how to lie with statistics’ vind ik de wijze waarop de verkiezingsuitslag in de Verenigde Staten is genegeerd. Wij zijn inmiddels gewend geraakt aan dagelijkse porties statistiek en we vertrouwen op statistische resultaten. Echter, statistiek wordt als wapen ingezet om macht te krijgen of te behouden, en het wordt gebruikt om uitslagen van verkiezingen te verdraaien of cijfers te manipuleren. Wat moet je dan nog geloven? Dat Trump het gedurende de afgelopen jaren niet zo nauw nam met de waarheid van allerlei gegevens is ons bekend. Na de verkiezingen is dat niet minder geworden: hij beweert dat het ‘statistisch onmogelijk’ is dat hij de verkiezingen zou hebben verloren, zonder het daarbij behorende bewijs. Ook negeert hij de zeer zorgelijke ontwikkeling van het aantal COVID-doden per hoofd van de bevolking, door alleen te kijken naar rato van het aantal besmettingen. Hij bedient zich van publicatiebias en cherry picking, het voor eigen argumenten aanpassen van schalen en hij negeert statistische resultaten die hem niet uitkomen. Eigenlijk is dat ‘ignoring statistics’.
Als onderzoeker onderschrijf ik de ethische normen van onderzoek, voer ik privacybeschermend onderzoek uit, leg ik verantwoording af van gebruikte methoden en zeg ik iets over betrouwbaarheid en validiteit van onderzoek. Voor mensen met macht gelden deze regels kennelijk niet, ze treden naar eigen goeddunken de regels van onderzoek en statistiek met voeten, en ze maken te pas maar vooral te onpas misbruik van de macht van het getal. Dat baart mij grote zorgen.
Statistiek is een mooi vak, waarmee je de samenleving cijfermatig kunt ondersteunen. Maar laat statistiek nooit het doel op zich worden. Laat statistiek een hulpmiddel blijven om goede dingen te doen en de dingen goed te doen.
Verder lezen..?
Bikker, J.W. (2019, 12 december). Correlatie is geen causaliteit: wat is het dan wel en wat levert het je op. Verkregen op 10 december 2020 via https://cqm.nl/nl/nieuws/correlatie-is-geen-causaliteit-wat-is-het-dan-wel-en-wat-levert-het-je-op.
Huff, D. (1954) How to lie with statistics. New York: Norton.
BNN Vara (3 augustus 2020) Lies, damned lies, statistics and Trump. Verkregen op 6 december 2020 via https://joop.bnnvara.nl/kijk-nou/lies-damned-lies-statistics-and-trump.
Nijland, R. Creatief met data: wat te doen als anderen je resultaten verdraaien? Verkregen op 6 december 2020 via https://resource.wur.nl/nl/show/Creatief-met-data-wat-te-doen-als-anderen-je-resultaten-verdraaien.htm.