Het rapport over Mentaal Welbevinden van onze jeugd van het Nederlands Jeugd Instituut (Van den Berg et al., 2023) is een interessant verslag van onderzoek over de lessen die we uit de coronacrisis kunnen trekken als het gaat om het welbevinden van jongeren.
Behalve inhoudelijk, vind ik dit rapport ook methodologisch interessant. Dat heeft te maken met de wijze waarop de onderzoekers van het NJi het onderzoek hebben opgezet en de wijze waarop ze de kwaliteit van het onderzoek hebben gecontroleerd. De onderzoekers hebben een groot aantal onderzoeken geanalyseerd over de gevolgen van de coronacrisis voor het mentaal welbevinden van jongeren. Een kwalitatieve systematische review dus.
Hoe ze aan hun onderzoeken kwamen? Door hun netwerk aan te schrijven: universiteiten, hogescholen en andere kennisinstellingen in Nederland. Zij konden artikelen indienen die aan deze review konden meedoen. Een soort expert steekproef zeg maar. De eenheid van analyse was telkens het onderzoek.
Vervolgens hebben ze 40 van deze onderzoeken vergeleken op de inhoudelijke resultaten. Maar ja, hoe vergelijk je 40 onderzoeken die zo verschillend van opzet en uitvoering zijn, die op verschillende populaties en tijdstippen zijn uitgevoerd? Dat lijkt schier onmogelijk. Toch hebben de onderzoekers een poging gewaagd, door het analyseren van de onderzoekskwaliteit. Daarbij hebben zij gebruik gemaakt van de checklist van Hayden et al. (2006). Dat is een checklist van de onderzoekskwaliteit, waarbij voor ieder onderdeel van de methodologische kwaliteit punten toegekend worden. Deze checklist bevat 14 verschillende (vaste) onderdelen van onderzoek: of er een onderzoeksvraag aanwezig was, of de populatie en steekproef beschreven zijn, meetinstrumenten et cetera. Per criterium worden als volgt punten toegekend:
0 punten: niet duidelijk of aanwezig
0,5 punt: duidelijk
1,0 punt: duidelijk én relevant
De totaalscore van punten wordt als percentage van de totaal te behalen punten gepresenteerd. In het onderzoek van het NJi scoorden veel van de 40 vergeleken onderzoeken hoog, zelfs ruim boven de 80% op methodologische kwaliteit. Een aantal scoorde onder de 50%. Vervolgens werden alleen die resultaten vergeleken die een kwaliteitsscore hadden die hoger was dan 55%. Dit was voor 36 onderzoeken het geval. Om de kwaliteit van de review op een nog hoger plan te tillen zijn de onderzoeker ook nog door twee (mede) auteurs van het rapport beoordeeld en bediscussieerd.
Wat zegt dit nu over de kwaliteit van deze review? Deze is echt hoog te noemen. Een belangrijk onderdeel daarbij is de consensus die tussen de onderzoekers bestaat over de kwaliteit van de geanalyseerde onderzoeken: betrouwbaarheid dus. De validiteit werd verhoogd door deze kwaliteitskeur systematisch aan te pakken. Met dit gedegen voorwerk zijn de onderzoekers aan de slag gegaan en hebben ze een kwalitatieve analyse op het materiaal uitgevoerd, veel overlegd (om consensus te krijgen) en hun resultaten in een werkconferentie gedeeld.
Ten slotte licht de kracht van dit onderzoek in de samenwerking tussen een groot aantal onderzoekers aan universiteiten, hogescholen en kenniscentra, maar ook in het delen van informatie met de jongeren zelf, gesprekken met experts. De jongeren en de onderzoekers zijn aan de slag gegaan om iets met de uitkomsten van deze onderzoeken te doen. Praktijkonderzoek in de praktijk, aan de slag met oplossingen. En hoe ging het met het welbevinden? Volgens de onderzoekers is dat licht negatief ontwikkeld, maar het beeld uit de onderzoeken is wisselend en men kan ook niet zeggen of de coronacrisis hiervan de oorzaak is. Wel zorgt de intensieve samenwerking voor een gedegen aanpak om welbevinden van onze jongeren te verhogen.
Verder lezen?
Hayden, J., Côté, P., & Bombardier, C. (2006). Evaluation of the quality of prognosis studies in systematic reviews. Annals of Internal Medicine 144(6), 427-437. https://doi.org/10.7326/0003-4819-144-6-200603210-00010
Van den Berg, G., Donker, A., Van Hummel, N. , Tuenter, T., Branje, S., Finkenauer. C. & Polderman, T. (2023). Mentaal welbevinden van de jeugd: lessen uit de coronacrisis. Een nieuw overzicht van de onderzoeksliteratuur. Nederlands Jeugdinstituut. Verkregen via https://www.nji.nl/publicaties/mentaal-welbevinden-van-de-jeugd-lessen-uit-de-coronacrisis.