Tijd voor een noodsteekproef

In De Morgen van 23 juni 2020 doet Paul De Grauwe een oproep om mondmaskers in alle publieke ruimtes waar de afstandsregel niet kan worden gerespecteerd te verplichten. Zijn pleidooi is gebaseerd op de observatie dat de aanbeveling die tot dan gold onvoldoende is gebleken.  Ik steun de oproep van De Grauwe volledig.

Op 2 juli meldde De Morgen dat volgens de Grote Coronastudie van de universiteiten van Antwerpen, Hasselt en Leuven en de ULB, 77 procent van de Belgen mondmaskers wil verplichten in de supermarkt.

Deze twee observaties zijn niet noodzakelijk tegenstrijdig. Het zou kunnen dat tussen 23 juni en 2 juli de publieke opinie veranderd is. Het zou ook kunnen dat  mensen het 'wederkerig altruïsme' argument van De Grauwe goed begrepen hebben en zich realiseren dat enkel verplichting mensen (inclusief zichzelf) zal aanzetten tot het dragen van een mondmasker.

Een andere mogelijkheid is dat de observaties wel tegenstrijdig zijn en dat (minstens) één van de twee fout is.  Op het eerste zicht zou je kunnen stellen dat de observatie van De Grauwe dat het mondmasker nog steeds weinig gebruikt wordt anekdotisch van aard was en zeker niet als een wetenschappelijke vaststelling mag worden gezien. De Grote Coronastudie is een studie die door 4 Belgische universiteiten wordt opgezet en steun geniet van het FWO. Je zou dus geneigd zijn om meer belang te hechten aan deze laatste.
Toch wringt er iets.

Ten eerste zijn deze bevindingen moeilijk te rijmen met buitenlands onderzoek.  Zo is er een Yougov studie die aangeeft dat vooral in de Zuiderse landen mondmaskers gedragen worden (ongeveer 85%). In Duitsland is dat al een pak minder (64%) en in het verenigd koninkrijk is dat slechts 21%. Het zou me ten zeerste verbazen mocht België, of toch zeker het Vlaamse gedeelte, wat dit betreft eerder aansluiten bij zuid-Europa dan met de andere noordelijke landen.

Maar het grootste probleem lijkt me dat de resultaten van de Grote Coronastudie gebaseerd zijn op zelf-selectie. Iedereen kan meedoen aan deze studie.  Het argument waar het vaakst mee wordt geschermd is het hoge aantal observaties waar de studie op kan rekenen. Los van het feit dat dit, uitgerekend op statistische gronden, een zwakke redenering is (zie bvb. Bethlehem, 2008), zou je je dan toch minstens vragen moeten stellen bij de dalende participatie bij deze studie. De grafiek hieronder geeft het aantal deelnemers per golf.

De daling is spectaculair.  Daar waar er in het begin nog meer dan een half miljoen deelnemers waren is dit nu geslonken tot 27,000. Dat is een daling met een factor 20.  Het lijkt zeer onwaarschijnlijk dat de samenstelling bij de laatste golf dezelfde is als bij de eerste golf. Zelfs als de onderzoekers een inspanning doen om de gevolgen van de scheeftrekking te verminderen, bijvoorbeeld door middel van weging, dan nog blijft de zelf-selectie problematisch. We weten uit wetenschappelijk onderzoek immers dat de deelname aan dergelijke studies (o.a.) gecorreleerd is met de mate van betrokkenheid met het onderwerp (zie bvb. Groves, Presser & Dipko). Het is aannemelijk dat de deelnemers van de meest recente golven meer betrokken zijn met het onderwerp van de studie en allicht ook andere houdingen en gedragingen hebben t.o.v. Corona. We kunnen dit illustreren aan de hand van één de resultaten van de 14de golf van de Grote Coronastudie: "Het percentage deelnemers dat aangeeft COVID-19-symptomen te vertonen, maar toch zegt nooit een mondmasker te dragen, daalt significant doorheen de tijd. Jongeren trokken er zich er in het begin het minst van aan, maar zijn er zich nu wel veel meer van bewust." Denken we echt dat jongeren zich er nu meer van bewust zijn en/of er nu meer naar handelen? In de pers lezen we ondertussen over het toenemende aantal lockdown feestjes bij jongeren, en over de problemen rond het Flagey-plein na het sluitingsuur van de cafés. Dat lijkt allemaal moeilijk met elkaar te rijmen. Is het niet eerder zo dat het aandeel jongeren die er zich minder van aantrok nu gewoon niet meer of in ieder geval minder meedoet met de Grote Coronastudie? M.a.w. de daling kan evengoed verklaard worden door een toegenomen selection bias.

Overigens zeg ik uitdrukkelijk niet dat het onmogelijk is om zinvolle conclusies te trekken uit steekproeven gebaseerd op zelf-selectie. Zo is er een interessante studie van Andrew Gelman en collega's (Wang et al., 2014) die  met een steekproef  op basis van zelf-selectie op het Xbox platform toch zinvolle conclusies konden trekken over het stemgedrag bij de Amerikaanse verkiezingen. Hun methode steunt op multilevel-regressie en post-stratificatie. Deze technieken zijn echter helemaal niet eenvoudig. Maar vooral, het is hier niet nodig, want er bestaat een alternatief, i.e. een goede ouderwetse toevalssteekproef. Ik kom daar straks nog op terug.

Helaas is dit niet het enige geval. De "Coronastudie: hoe stel jij het in 'uw kot'?"  van  de Gentse universiteit is ook gebaseerd op zelf-selectie. Ook de studie Kinderrechtenperspectief in de coronacrisis is gebaseerd op zelf-selectie. De initiatiefnemers hebben tenminste wel de reflex om in hun methodologische nota te verduidelijken dat  "de resultaten zijn niet zonder meer te veralgemenen naar alle kinderen en jongeren".  Dat is een stap vooruit, maar die nuance is in ieder geval niet door de pers opgepikt.

Ik wil nog even terugkomen op het feit dat de meeste van de studies die ik aanhaal door academici ondersteund worden. Ik geloof dat het in 2007 op de emeritaatsviering van Prof. Dr. Jaak Billiet was dat Louis Tobback in een debat politieke opiniepeilingen afdeed als het lezen van de toekomst in de ingewanden van een vis. Veel academici waren het toen met hem eens. Welnu, aan alle onderzoekers die gebruik maken van een steekproef gebaseerd op zelf-selectie en die zich schuilen achter een groot aantal deelnemers zou ik, Tobback indachtig, willen zeggen dat het niet is omdat je de ingewanden van een walvis gebruikt dat je beter de toekomst kan voorspellen. 

Gelukkig zijn er heel wat andere academici die zich wel rigoureus aan de methodologische regels houden. Heel wat van hen zeggen me overigens privé dat ze het zelf ook graag anders zouden willen zien.  Ze wijzen er trouwens op dat dit soort onderzoek niet gepubliceerd geraakt in ernstige wetenschappelijke tijdschriften. Ik heb begrip voor hun standpunt, maar persoonlijk blijf ik het wel problematisch vinden dat (een deel van) ons Corona-beleid op dit soort onderzoek steunt. 

Voor alle duidelijkheid, het is helemaal mijn bedoeling niet om De Grote Corona studie op zich te bekritiseren. Integendeel, deze studie biedt heel wat essentiële  informatie die gebruikt wordt in statistische modellen, waarbij de statistici ook rekening houden met het niet aselect karakter van deze databron. Echter, voor het meten van de publieke opinie is de Grote Coronastudie een minder geschikt instrument.  

Wat is dan het alternatief?

Wel, het is wat in onbruik geraakt, maar een goede toevalssteekproef in combinatie met een zorgvuldig opgestelde vragenlijst - dat is overigens een kunde die weinig mensen beheersen - is vanuit wetenschappelijk standpunt nog steeds te verkiezen. In de dagdagelijkse praktijk spelen er minstens 2 hinderpalen mee. Ten eerste wordt het trekken van een goede steekproef sterk vereenvoudigd wanneer men over een lijst met alle populatie-eenheden beschikt (in vakjargon wordt van een steekproefkader gesproken), maar,  voor commercieel marktonderzoek, wordt het gebruik maken van zo'n lijst om privacy redenen niet meer aanvaard. Hierdoor is het trekken van een goede steekproef veel moeilijker geworden. De tweede hinderpaal is de stijgende non-response bij survey-onderzoek over de jaren heen (zie Beullens et al., 2018 en de referenties daarin). 

Uitgerekend in  deze Corona tijden hoeven deze twee hinderpalen hier niet mee te spelen. Ten eerste wordt er voor wetenschappelijk onderzoek en/of onderzoek dat door de overheid gesteund wordt een uitzondering gemaakt op het gebruik van, bijvoorbeeld, het Rijksregister voor het trekken van een steekproef. Ik meen dat de Corona studie bij uitstek zo'n uitzondering is. Ten tweede, als het politiek en praktisch goed wordt aangepakt, is het niet ondenkbaar dat de response voor deze studie zeer goed zou meevallen. 

We hebben met deze Corona crisis een kans gemist om sociaal-wetenschappelijke data van goede kwaliteit te verzamelen. Het is nu zaak om goed voorbereid te zijn bij een mogelijke tweede of derde golf. Dit is geen overbodige luxe. Nu reeds wordt volop gespeculeerd of bij zo'n nieuwe golf mensen een tweede lockdown gaan aanvaarden of niet.  Vaak wordt aangegeven dat dit niet het geval zou zijn. Maar op basis van wat wordt zo'n stelling verkondigd? Ik weet zelf het antwoord op de vraag niet. Ik weet wel dat je dit niet kunt doen door speculatie, steunen op gezond verstand en al zeker niet op basis van een bevragingsmethode die ingaat tegen alle advies die methodologen hierover al jaren verspreiden. 

Het is nu de moment om ons goed voor te bereiden en te werken aan wat Tim Goedemé, Senior Research Officer aan het Institute for New Economic Thinking, University of Oxford, in Knack een noodsteekproef noemde. Deze oproep sluit ook aan bij een recent advies van de Serv ("Advies betere data voor het (corona-)beleid"). Helaas was de eerste Corona golf te snel om dit nog rond te krijgen, maar voor een mogelijke tweede golf zijn er geen excuses meer. Ik heb begrepen dat alvast bij de Vlaamse administratie er plannen zijn in die richting. Ik kan dat alleen maar toejuichen.

Referenties:

Bethlehem, J. How accurate are self-selection web surveys?  Discussion paper (08014). CBS Statistics Netherlands, The Hague/Heerlen, 2008. 

Groves, R.M., S. Presser, S. Dipko. The Role of Topic Interest in Survey Participation Decisions.  Public Opinion Quarterly, 2004, Vol 68, No. 1, Pp 2-31 

Wang, W., D. Rotschild, S. Goel & A. Gelman. Forecasting Elections with non-representative polls. International Journal of Forecasting (2014).

Beullens, K., Loosveldt G., Vandenplas C. & Stoop I. (2018). Response Rates in the European Social Survey: Increasing, Decreasing, or a Matter of Fieldwork Efforts? Survey Methods: Insights from the Field. Retrieved from https://surveyinsights.org/?p=9673