De zaterdagse de Volkskrant (Steijaert, 2016) brengt een artikel over een mogelijk verband tussen lezen en salaris. Hij plaatst een kritische noot bij het bericht van RTL Nieuws dat, indien je thuis veel leest in je jeugd, de kans op een hoger salaris in je latere loopbaan aanzienlijk wordt verhoogd. Mickey Steijaert twijfelt aan de houdbaarheid van deze bewering. Heerlijk, als de onderwerpen voor je blog over praktijkonderzoek zo voor het grijpen liggen. Zo kan ik mijn favoriete onderwerp over de interpretatie van causale relaties weer eens ten volle benutten.
Jarenlang begon ik mijn statistieklessen over regressie-analyse met een voorbeeld over factoren die studiesucces beïnvloeden. Een van die factoren is het leeswerk dat je doet als kind. Wat we daarbij nooit vergaten is de invloed van ouders, want als je thuis vele boeken hebt staan, is de kans groot dat je ouders hoogopgeleid zijn, goede banen hebben en dus een lichtend voorbeeld zijn voor jou als kind. Een stuk ‘nurture’ dus. Het leeswerk zelf had dan ook niet te veel effect op studiesucces, maar het leeswerk van vader en vooral dat van moeder had wel het beoogde effect. Het artikel in de Volkskrant trok onmiddellijk mijn aandacht. Zou het onderwerp van mijn statistieklessen dan eindelijk echt onderzocht zijn?
Waar draait het om? Brunello, Weber & Weiss (2015) onderzochten het effect van onderwijs en sociaal economische achtergrondfactoren tijdens de jeugd op de latere ontwikkeling van inkomen. De resultaten, indien goed gepresenteerd, kunnen zinvolle informatie leveren voor het inrichten van bijvoorbeeld onderwijsbeleid. Voor hun studie gebruikten Brunello et al. (2015) secundaire gegevens van een zeer grote groep mannelijke respondenten (n = 5.820) afkomstig uit Europese landen en geboren tussen 1920 en 1956. Zij concludeerden dat ieder extra jaar onderwijs dat deze mensen genoten leidt tot een 9% inkomensstijging over hun hele carrière. Bovendien stellen ze vast dat bij respondenten die thuis weinig boeken in de kast hadden staan, dit effect (van 9% groei) aanzienlijk lager uitkwam. Dus… de bewering dat meer boeken thuis leidt tot een hoger inkomen is geboren.
Waar moeten we op letten als we het originele onderzoek lezen? Het eerste wat me opvalt is het zeer grote aantal respondenten, waardoor de kleinste effecten al significant zijn en het feit dat slechts mannen in de steekproef zijn opgenomen. Dat laatste heeft ermee te maken dat in de gekozen periode mannen veruit in de meerderheid waren op de arbeidsmarkt, maar toch… het generaliseert niet lekker. Verder hebben de onderzoekers naar meer factoren gekeken dan alleen het lezen van boeken op jonge leeftijd; in hun onderzoeksonderwerp worden alleen onderwijs en sociaal economische factoren genoemd, terwijl de titel de conclusie weerspiegelt. Een scheefheid die de lezer op het verkeerde been brengt. Bovendien hebben de onderzoekers slechts bekeken hoeveel boeken in de boekenkast aanwezig waren volgens de respondenten. Dat wil niet zeggen dat er ook veel gelezen werd, zeker niet in Dolfje Weerwolfje of Jip en Janneke zoals terecht in de Volkskrant (Steijaert, 2016) wordt beweerd.
Last but not least heb ik mijn twijfels bij het werkelijke effect van het boekenbezit op jonge leeftijd. Uit de gepresenteerde resultaten wordt slechts significantie van effecten zichtbaar en dat heb je al snel bij grote steekproeven; het lijkt erop dat de effect size zeer klein is. Bovendien wordt het effect gemedieerd door het boekenbezit, opleidingsniveau en inkomen van de ouders (zeker in de periode vóór WOII). Het zou me niet verbazen als het effect van boekenbezit daardoor volledig in het niet valt. Dit is echter niet onderzocht.
De aandacht voor dit onderwerp op tv is exemplarisch voor de wijze waarop onderzoeksresultaten worden gepresenteerd: gefragmenteerd, selectief en gericht op kijkcijfers. De media presenteren een enkel effect vaak als enige en belangrijkste resultaat, ze negeren mediërende factoren, ze presenteren spurieuze effecten of ze slaan de kwaliteit van effecten of van het onderliggende onderzoek gemakshalve over. Een slecht staaltje wetenschapscommunicatie als je ’t mij vraagt. Enfin, ik heb in ieder geval weer stof tot schrijven.
Bron:
Brunello, G., Weber, G. & Weiss, T.C. (2015). Books are forever: early life conditions, education and lifetime earnings in Europe. The Economic Journal, pp. 1 – 26. DOI: 10.1111/ecoj.12307. Steijaert, M. (2016, 11 juni). Klopt dit wel? de Volkskrant.