Enkele bedenkingen bij de recente "De Standaard/VRT/TNS" peiling

Ik geef geregeld commentaar op de verslaggeving over peilingen en aanverwante onderwerpen op deze blog. Bij de recente DS/VRT peiling heb ik dat niet gedaan, omdat ik al bij al vond dat de verslaggeving niet zo slecht was. Ik heb niet alle artikels gelezen, maar in het algemeen staarde m'n zich niet blind op kleine verschillen en werd de betrekkelijkheid van de resultaten vrij goed onderstreept. Tussen haakjes, Maarten Lambrechts (@maartenzam) maakte wel een aardig overzicht van de verschillende visuele weergaven van de peilingsresultaten.

Ik was dus niet van plan om te regearen, maar, op populair verzoek (nu ja, enkel @janvandenbulck) toch enkele bedenkingen, met name over een twitter conversatie tussen @OmbudsDS en @maartencorten. Het uitgangspunt was de bijdrage van @OmbudsDS waarin hij schreef dat de berichtgeving over de peiling in zijn krant over het algemeen goed was. Eén van de argumenten was dat de berichtgeving zich spitste op de significante daling voor de NVA en niet op de kleinere verschillen. @maartencorten reageerde daarop met de volgende tweet:

Je zegt: verlies N-VA significant want betr.-interval 3%. Maar ijkingspunt is óók interval. Beetje flou, niet?

Op het eerste zicht lijkt de redering van @maartencorten steek te houden, immers beide cijfers komen van twee (onafhankelijke) steekproeven waarbij je voor elk een betrouwbaarheidsinterval kan berekenen. De redenering zou dan zijn dat men enkel van een significante verandering zou kunnen spreken indien de twee betrouwbaarheidsintervallen elkaar niet overlappen.

Het blijkt verrassend moeilijk te zijn om uit te leggen waarom de redenering van @maartencorten niet helemaal klopt. Ik zal toch enkele pogingen doen.

De meest eenvoudige manier om dat te doen is via de klassieke hypothese toetsen. Je probeert de hypothese dat de proportie NVA-stemmers een bepaalde waarde heeft te verwerpen. Die bepaalde waarde van de hypothese kan van eender waar komen, bv. van de vorige verkiezingsuitslag, van een politieke wetenschapper of van de schatting van een vorige peiling. Persoonlijk vind ik deze uitleg niet echt overtuigend omdat je in het laatste geval kunt stellen dat je niet helemaal zeker bent over de hypothese (de hypothese kwam immers zelf uit een peiling en is dus ook onderhevig aan steekproeffluctatie en dus onzekerheid). Bemerk in dat verband trouwens dat de redenering van @maartencorten, met een beetje goede wil, aansluit bij de school van de Bayesiaanse statistiek.

Een andere manier om het uit te leggen is erop wijzen dat de redenering uiteindelijk steunt op een hardnekkig misverstand rond betrouwbaarheidsintervallen. Ik geef toe, het gaat om een subtiliteit, maar deze subtiliteit ligt m.i. aan de grondslag van de redenering van @maartencorten. In wikipedia staat dit vrij goed uitgelegd:

Als we op grond van een steekproef een 95% betrouwbaarheidsinterval voor een populatiegemiddelde µ berekend hebben, kunnen we NIET zeggen dat er 95% kans is dat µ in dat interval ligt! Immers: µ ligt er in of µ ligt er niet in, een van beide.

Als je dit vreemd vind, geen nood, een prof. in politieke wetenschappen en een beroepsorganisatie van marktonderzoekers maakten onlangs net deze fout.

Goed, wat moet het dan wel zijn (cfr. 'Het is maar een peiling' van Frank Thevissen):

Indien we het onderzoek 100 keer zouden herhalen, dan zal de werkelijke waarde minstens 95 keer binnen het vooropgestelde betrouwbaarheidsinterval liggen. 

Dat is dus niet hetzelfde als zeggen dat er 95% kans is dat de werkelijke score van NVA in het betrouwbaarheidsinterval ligt. Het is dan ook weinig zinvol om zonder meer rond de twee steekproefschattingen betrouwbaarheidsintervallen berekenen en kijken naar de mate van overlap.

De derde, en allicht beste, manier is om een meer aangepaste test te doen waarin dit probleem expliciet wordt opgelost. Ik zou hier een gewone $\chi^2$ test doen. Als ik me bij het rekenen niet vergist heb is de waarde van de $\chi^2$-toets-statistiek hier 4.08 wat hoger is dan de kritische waarde van 3.84 (Bij 1 vrijheidsgraad en de gebruikelijke betrouwbaarheid van 95%). Er is dus een significante daling. Je kan wel niet zeggen dat die daling (minstens) 4% bedraagt (zelfs niet met een een betrouwbaarheid van 95%).

Ik wil er tenslotte nog op wijzen dat deze redeneringen enkel gelden indien aan alle statistische voorwaarden voldaan is (bv. het moet gaan om een aselect steekproef, enzovoort). Heel wat mensen merken op dat in de praktijk zelden aan die voorwaarden is voldaan en stellen dat klassieke opiniepeilingen niet geschikt zijn om verschuivingen van het electoraat te meten. Persoonlijk ben ik het eens met die kritiek, maar vind de alternatieven (panelonderzoek) ook niet zonder problemen.

Besluit: @OmbudsDS heeft m.i. gelijk, maar @maartencorten is een crypto-Bayesiaan, wat ook niet slecht is.