Hebben 'verkiezingspolls' geen enkele wetenschappelijke waarde?

In Campuskrant (p. 17) van de K.U.Leuven hekelt mijn (vroegere) vakgroepgenoot, de socioloog Bart Meuleman, 'verkiezingspolls'. Dit werd gedeeltelijk ook overgenomen door De Redactie.

(Voor een goed begrip en bij wijze van full disclosure: ik heb op het einde van de vorige eeuw een jaar of acht (met veel plezier) gewerkt in de vakgroep methoden van de K.U.Leuven, toen onder leiding van Prof Dr. G. Loosveldt en Prof. Dr. J. Billiet. Ik ken de heer Meuleman dus persoonlijk niet. Verder heb ik daarna 10 jaar gewerkt voor Nielsen, 's werelds grootste marktonderzoeker en een jaar bij iVox een marktonderzoeksbureau gespecialiseerd in online methoden.  Op dit ogenblik adviseer ik bedrijven en organisaties in verband met methodologie, statistiek en Data Science. Noch TNS, noch IPSOS zijn op dit ogenblik klanten van mij en ik ben geen lid van Febelmar). 

Laat ons beginnen met de (forse) openingsquote van het artikel:

Ik heb een groot probleem met verkiezingspolls. Als wetenschapper kan ik moeilijk anders: ze hebben geen enkele wetenschappelijke waarde.

Het klopt dat niet alle opiniepeilingen rond de verkiezingen methodologisch even grondig te werk gaan. Er zijn er goede bij en er zijn er slechte bij. Overigens is dat ook zo bij academisch onderzoek. Om meteen alle peilingen af te doen als onwetenschappelijk is vreemd. Immers, voor veel academisch onderzoek wordt beroep gedaan op dezelfde instrumenten, vaak zelfs bij dezelfde bureaus. Heel wat academici zijn een stuk genuanceerder dan de heer Meuleman als het over dit onderwerp gaat. Armen Hakhverdian, Tom Louwerse en Tom van der Meer, bijvoorbeeld, drukken het op Stuk Rood Vlees als volgt uit:

Mits correct uitgevoerd en geïnterpreteerd – twee grote ‘mitsen’ – vormen opiniepeilingen een fantastisch instrument met onschatbare waarde voor ons begrip van electorale processen. 

Wat ook waar is, maar niet vermeld wordt door de heer Meuleman, is dat de verslaggeving over de opiniepeilingen ook van gemengde kwaliteit is. In sommige gevallen worden, bijvoorbeeld, betrouwbaarheidsintervallen vermeld, in andere gevallen dan weer niet. Ergerlijk zijn de artikels waarbij  in een kaderstuk de methodologische beperkingen worden aangeduid terwijl in het stuk zelf vrij ongenuanceerd wordt ingegaan op het minste en geringste verschil.
In de schoot van Febelmar, de Belgische associatie van marktonderzoekers wordt voor elke (politieke-) opiniepeiling een technische fiche opgegeven waarin de foutenmarges worden opgegeven. Als dit niet vermeld wordt in het artikel of de reportage is dat de verantwoordelijkheid van de journalist en niet van het marktonderzoeksbureau. Het lijkt me fair te zijn om een onderscheid tussen deze twee elementen. Helaas doet de heer Meuleman dat niet.

Verder stelt de heer Meuleman:

Wat dat eerste betreft (verkiezingspolls hebben geen enkele wetenschappelijk waarde, IH): vaak is het aantal deelnemers te beperkt, en zijn de foutenmarges te groot om kleine verschuivingen te meten.

Het is niet correct om de wetenschappelijkheid van een methode te koppelen aan de grootte van de foutenmarges. Het spreekt voor zich dat, als de foutenmarges het niet toelaten, je kleine, vaak politiek relevante, veranderingen niet kunt aantonen. Als dat wel gebeurt is dat vaak de verantwoordelijkheid van de journalist en/of van het peilingsbureau maar dat heeft weinig te maken met de wetenschappelijkheid van het instrument als dusdanig, hoogstens kan je je vragen stellen rond het nut van de methode gegeven de vraagstelling.

Een beetje verder stelt de heer Meuleman:

De peilers geven het in hun technische fiches met zoveel woorden toe: ‘Deze peiling is zonder voorspellende waarde’. Waar ben je dan nog mee bezig Waarom wacht je dan niet gewoon de verkiezing af?

Eén van de redenen waarom er expliciet gezegd wordt dat het onderzoek niet voorspellend is heeft te maken met het soms grote aantal onbeslisten en het aantal mensen dat alsnog van mening veranderd is. Het instrument is niet geschikt om daarover uitspraken te doen. Dat expliciet maken vind ik juist eerlijk. Is het instrument dan irrelevant? Ik denk het niet. Volgens mij is het waardevol om in de maanden en weken voor de verkiezingen een beeld (hoe rudimentair ook) te hebben van het electoraat op dat moment.

Over Online panels wordt het volgende gezegd:

De peiling van De Morgen en VTM werkt met online panels. Dan kom je niet bij de gemiddelde kiezer terecht, maar bij mensen die vaak online zitten en veel tijd hebben.

Over telefonische bevragingen wordt het volgende gesteld:

De Standaard en de VRT werken dan weer met telefonische bevragingen. Dan cover je de ganse bevolking al beter, maar bij dat soort peilingen is de respons dan weer héél laag.

De opmerking over online panels versus telefonische bevraging is anno 2014 stilaan voorbijgestreefd. De grootte van de populatie van (vaste) telefoonbezitters en internet gebruikers groeit steeds dichter bij elkaar. Zo ook het opstellen van een correct steekproefkader, dat vaak voor beide methoden problematisch is. Verder is de opmerking dat je bij online panels bij mensen terecht komt die 'veel tijd' hebben bij de haren getrokken en selectief.  Veel bureaus doen juist heel veel moeite om hun panels evenwichtig samen te stellen en controleren de mate van respons van de panelleden. Bovendien is het merkwaardig dat de heer Meuleman dit argument achterwege laat bij telefonische bevragingen. Bij online-bevraging kies je immers vaak zelf wanneer je de vragenlijst invult, en zou dus meer moeten appelleren aan mensen met weinig tijd.  Je kan trouwens een gelijkaardig argument gebruiken in verband met postale en face-to-face bevragingen.
Overigens is het juist sinds de opkomst van online methodologie dat er nog meer belang wordt gehecht aan korte bevragingen.
Tenslotte, als online methoden per definitie onwetenschappelijk zijn, dan begin ik me wel zorgen te maken over de faculteit van de heer Meuleman, want daar worden maar al te vaak online methoden gebruikt in onderzoek.

Een tweede element waar de heer Meuleman het moeilijk mee heeft is het effect dat deze peilingen hebben .

Inderdaad, uit heel wat onderzoek blijkt dat er wel degelijk een effect is van dit soort van peilingen. Je kan je inderdaad de vraag stellen of het, gegeven het feit dat je met verkiezingspolls slechts de grove trends kan bepalen, niet beter is om de peilingen volledig achterwege te laten. Persoonlijk denk ik dat dat geen goede zaak zou zijn. Immers, als je niet geregeld een peiling houdt dan zet je de deur wagenwijd open voor (nog meer) speculatie, gespin en  de mening van 'experten'. 

Hoe dan ook, zelfs in dat geval blijft de vraag of deze experten het beter doen dan de peilers. Ik ben me niet bewust van dergelijk onderzoek in Vlaanderen, maar één van de lessen die te leren zijn uit het boekje "The signal and the noise" van Nate Silver is juist dat experten het vaak (nog) slechter doen dan het werk van de peilers. Nate Silver heeft bekendheid verworden omdat hij, in tegenstelling tot heel wat journalisten, politieke wetenschappers en andere experten, wel de uitslag voor alle Staten van de VS juist heeft voorspeld. Eén van de bronnen die hij daarvoor gebruikte waren ... verkiezingspolls, waaronder een heel aantal online polls, en polls met een kleine steekproef. Het gaat er dus niet om om radicaal tegen verkiezingspolls te zijn zoals de heer Meuleman, of kritiekloos de resultaten van die verkiezingspolls over te nemen. Neen, het gaat er juist om de gegevens naar waarde te schatten en dat is heus niet zo binair als de heer Meuleman wil doen uit schijnen.

Ik vind het spijtig dat sommige academische methodologen met hun starre houding (verkiezingspolls zijn onwetenschappelijk en dus waardeloos) zichzelf irrelevant hebben gemaakt in de nochtans boeiende en bloeiende discussie rond methodologie in de praktijk (kijk maar naar de interesse voor Data Science, Big Data, data journalistiek, enzovoort). In plaats van aan de zijlijn te roepen dat alle verkiezingspolls onwetenschappelijk zijn, zouden ze beter (mee) de strijd aangaan tegen lakse berichtgeving en tegen het amalgaam dat gemaakt worden tussen op zelf-selectie gebaseerde methoden en deze die daar niet (of toch minder) op gebaseerd zijn.

Nederland bewijst dat het ook anders kan. Op het reeds vernoemde Stuk Rood Vlees  bijvoorbeeld, zijn politieke wetenschappers en methodologen (terecht) bijzonder kritisch op opiniepeilingen in verband met verkiezingen, maar zij doen dat op een meer genuanceerde en sterker onderbouwde manier dan zomaar alle verkiezingspolls als onwetenschappelijk af te doen.

Ik eindig met een tweede citaat van  Armen Hakhverdian, Tom Louwerse en Tom van der Meer:

We moeten af van het zwart-wit denken over peilingen. Het alternatief voor de belachelijke overinterpretatie van peilingen is niet om ze te negeren of zelfs te verbieden, maar om ze correct in te zetten. Met oog voor de inherente onzekerheid en mogelijke vertekeningen bieden peilingen waardevolle inzichten in de publieke opinie. Helaas vereist dat een terughoudendheid van peilers, media en persbureaus waar velen al jarenlang geen blijk van geven.