Inclusief werven, enquêteren en analyseren

Je kent het vast wel: heb je met veel zorg een enquête opgesteld, is het sprokkelen naar voldoende input. Pas na meerdere reminders heb je de benodigde respons. Vaak van de usual suspects: theoretisch opgeleide mensen. De vraag is: hoe betrouwbaar is je onderzoek als sommige groepen over- of juist ondervertegenwoordigd zijn? En wat als je daar geen rekening mee houdt bij het ontwikkelen van een interventie? Draag je dan niet onverhoopt bij aan sociaaleconomische gezondheidsverschillen? Bouwine en Maya gingen het eind februari na in een workshop georganiseerd door de leergemeenschap Inclusief Onderzoek van Fair Health.

“Laat ik het belang van een evenwichtige respons – en dus goede werving – illustreren aan de hand van een voorbeeld”, trapt onderzoeker Bouwine Carlier de workshop af. “Bij een onderzoek naar het voorkomen van roken bleken praktisch opgeleide mensen ondervertegenwoordigd. Pas na herhaalde oproepen en met ondersteuning bij het invullen van de enquêtes, kwam hun input los en werd zichtbaar dat zij gemiddeld méér roken dan theoretisch opgeleide mensen. Relevant om te weten. Want mis je die groep, dan bestaat het risico dat je een interventie ontwikkelt waarmee je de plank misslaat.”

De vraag is: hoe bereik je mensen die laaggeletterd, praktisch opgeleid of minder digitaal vaardig zijn? Bouwine: “Sowieso is het belangrijk belanghebbenden al bij de opzet en werving van je onderzoek te betrekken. Verder: doe geen oproep via de post of e-mail, maar zorg dat je daar bent waar je doelgroep is. Denk aan buurthuizen, het werkplein, zorgcentra en voedselbanken. Onderzoek of je vragenlijsten misschien mondeling kunt afnemen en werk eventueel met beloningen.”

Dan de vragenlijsten zelf. Ook die vragen aandacht. “We weten wat de valkuilen zijn”, vertelt Bouwine. “De interpretatie van vragen over gezondheid is zoiets. Wat betekent ‘gezond zijn’ of ‘je fit voelen’? In een andere cultuur kunnen andere normen gelden over wat gezond en fit is. Zorg dus dat er zo min mogelijk ruis op de lijn zit. Kijk ook uit met termen als ‘gemiddeld’, ‘intensief’ of ‘de laatste tijd’. Het zijn vage aanduidingen die om een abstracte manier van denken vragen. Let sowieso op je taalgebruik: houd B1-niveau aan en gebruik geen beeldspraak. Verder kan het slim zijn om vragen te herhalen of net op een andere manier te stellen. Zo controleer je of de respondent de eerdere vraag goed heeft begrepen en consistent antwoord geeft. Of ga vooraf proefdraaien met belanghebbenden. Zijn de vragen duidelijk? Is de indeling helder?”

Stel dat een bepaalde groep ondervertegenwoordigd is, dan is oversampelen een optie. “Dat houdt in dat je kunstmatig extra voorbeelden toevoegt”, legt Maya uit. “De eenvoudigste manier is data kopiëren. Heb je bijvoorbeeld weinig respons van praktisch opgeleide mannen tussen de 50 en 60 jaar, dan kun je de enkele data die je van die doelgroep hebt kopiëren. Zo zorg je dat deze groep niet ondergesneeuwd raakt.” Een variant hierop is SMOTE (Synthetic Minority Oversampling Technique). “Met die techniek genereer je nieuwe data die lijkt op de data van de groep die ondergepresenteerd is.” Tot slot is er nog imputatie, een manier om ontbrekende antwoorden in te vullen op basis van gemiddelden. Wel geeft Maya aan dat je voorzichtig moet zijn met oversampelen. “Het blijft natuurlijk ‘nepdata’; het kan de uitkomsten vertekenen.”

Ook bij de volgende stap – de analyse van de antwoorden – kun je inclusief te werk gaan. Maya: “Werk bij het categoriseren en interpreteren van de antwoorden samen met de doelgroep en pas de inter annotate agreement (Cohen’s Kappa) toe. Dat is een veelgebruikte manier om de betrouwbaarheid van de beoordelaars vast te stellen. Of check de validiteit van je interpretatie met behulp van de Jaccard index: klopt jouw interpretatie van een antwoord wel met de ‘bedoeling’ van de respondent?”

“Je ziet dat er veel bij komt kijken”, zegt Maya tot besluit. “Belangrijk is dat je je ervan bewust bent dat je per ongeluk aan sommige groepen voorbijgaat in je onderzoek. En weet wat je grofweg kunt doen om dat te voorkomen.” Het zet workshopdeelnemer Maria Elkhas Zade (student Pedagogiek) in ieder geval op het goede spoor voor haar afstudeeronderzoek. “Mijn duomaatje en ik hebben nu enkele handvatten om jongens met een migratieachtergrond en hun ouder(s)/verzorger(s) op een passende manier te benaderen en mee te nemen in ons onderzoek.”