Signifikramp!

Publicatiedruk is een hot issue in de wetenschap. In sommige disciplines krijg je geen artikel gepubliceerd als er geen significante resultaten te melden zijn. Ik vind dit zo langzamerhand een beetje sneu worden. Wat gebeurt er? Onderzoekers verzamelen extra gegevens om zo hun steekproef te vergroten. Immers, op die manier krijgen zelfs de kleinste effecten en correlaties een significant sausje. Een correlatiecoëfficiënt van 0,15 is bij 5000 cases heus significant. Kijk je echter naar de kwaliteit van het effect (r2), dan kom je bedrogen uit met een zeer minimale 0,02 (2% dus!).

Natuurlijk ben ik cynisch. Ook ik heb aan den lijve ondervonden hoe het is om prachtige resultaten in de prullenbak te zien verdwijnen, simpelweg omdat de steekproefomvang het onderscheidingsvermogen naar beneden haalde. Althans, dat vonden de internationale redacteuren. Ook ik voel me af en toe een roepende in de woestijn als ik weer eens een pleidooi houd voor het interpreteren van de kwaliteit van onderzoeksresultaat (effect size) en niet zo te focussen op ‘significantie’. Daar krijg je verkrampte wetenschappers van, die ‘koste wat het kost’ willen publiceren. Kennelijk houd de wetenschap dit soort tendensen zelf in stand, en weer wordt een publicatie afgewezen vanwege een kleine steekproef en het ontbreken van significante resultaten. Maar ja ‘significant’ is dan ook synoniem voor ‘belangwekkend’.

Gelukkig wordt de roep om verandering steeds luider. In de Volkskrant van 13 november 2013 staat een stukje over Eric-Jan Wagemakers, die de ‘vloer aanveegt’ met de huidige publicatienormen in de Psychologie (de Volkskrant, 2013). Het is een hele opluchting te merken dat de tegengeluiden sterker worden, krachtiger. Eigenlijk zijn het helemaal geen 'tegengeluiden', maar positieve bijdragen aan de vooruitgang in de wetenschap. Een kijk op statistische resultaten die bijdraagt aan de kwaliteit en dat is belangrijk.

Met veel plezier bereid ik mijn college voor de volgende week voor: een discussie over de waarde van statistische effecten, steekproefomvang en onderscheidingsvermogen.

Tot gauw!

Bron:
Significant zegt ook niet alles. (13 november 2013). De Volkskrant.