Soms worden de onderwerpen voor een blog en de voorbeelden voor je onderwijs je zo in de schoot geworpen. Zo ook afgelopen week, na de afschuwelijke gebeurtenissen in Parijs. The Sun (23 november) kopt in grote letters: 'One in five Brit Muslims sympathy for jihadis’. Kennelijk wil deze tabloid de wereld, of in ieder geval de Britse lezer, deelgenoot maken van hun onderzoeksresultaten. Het betreft in dit geval een onderzoek naar sympathie voor de Jihad. Mijn collega op de hogeschool (veel dank, Frank Peeters!) tipt me met dit artikel en de reactie die hij in de Vlaamse krant De Morgen (Grommen, 24 november) vond. Terecht stelt de journalist in De Morgen namelijk vast dat de kwaliteit van het onderzoek dat door The Sun is uitgevoerd ernstig te wensen overlaat.
Afgezien van de ernst van het onderwerp, ben ik tevreden met de analyse van de Vlaamse journalist: hij uit gedegen kritiek op de gebruikte methode. In termen van validiteit en betrouwbaarheid ziet dit er namelijk als volgt uit:
- Externe validiteit: uit een database van 54 miljoen (!) personen in het Verenigd Koninkrijk werd een groep moslims gefilterd en daaruit werd een steekproef (hoe?) getrokken van 1.500 personen. Van deze 1.500 personen deden 1.003 personen mee aan een telefonische enquête. Niet duidelijk is of de externe validiteit goed te noemen is. Het onderzoeksbureau geeft haar methode niet vrij. Dat is volgens onze ethische onderzoekscode in ieder geval niet correct.
- Interne validiteit: om tot de conclusie in de headline te komen voegde het onderzoeksbureau twee antwoord-categorieën samen, te weten: ‘enige sympathie’ en ‘veel sympathie’ voor Syriëstrijders. Het verbaasde me niet om te lezen dat slechts 5.3% van de ondervraagden ‘veel sympathie’ voor deze groep heeft. Hoewel het samenvoegen van categorieën veel wordt toegepast, mag het niet worden gebruikt om een bepaalde conclusie te forceren.
- Begripsvaliditeit: in geen enkele vraagstelling wordt expliciet gevraagd of er begrip of sympathie is met Syrië-strijders of Jihadi’s. Meet je dan wel wat je meten wilt?
- Betrouwbaarheid: ten slotte worden in de vragen slechts vage begrippen opgenomen zoals ‘strijders in Syrië’. Deze leiden tot onbetrouwbaarheid in de beantwoording van de vragen.
Ik hoop concluderend dat de Britse lezer enige nuance in de ‘shock poll’ van The Sun kan aanbrengen. In ieder geval leverde het artikel een storm van protesten en commentaren op. De reactie in De Morgen is daardoor des te waardevoller. Journalistiek is een beroep van waarheidsvinding en vrije nieuwsgaring. Echter, het is belangrijk dat journalisten zich realiseren wat de portee van hun boodschap is, in plaats van het ‘waarheid is wat werkt’-principe te hanteren. Ik ben van mening dat dit voorbeeld veel studenten tot de verbeelding zal spreken. Niet alleen vanwege de gewraakte methode.
Bronnen:
Grommen, S. (2015, 24 november). Bedenkelijke 'shock poll' over jihadi's breekt The Sun zuur op. De Morgen.
Newton Dunn, T. (2015, 23 november). 1 in 5 Brit Muslims Sympathy for Jihadis. The Sun.