Slechte week voor Obama? Een onjuiste interpretatie van peilingen doet je vermoeden van wel

“There are lies, damned lies and statistics.” Die wijze woorden worden vaak toegeschreven aan de Britse premier Benjamin Disraeli. Gisteren waren deze woorden ook hier van toepassing toen we een gastbijdrage publiceerde van een auteur die zichzelf “Bozoc” noemt. In dat stuk – genaamd: Slechte week voor Obama – wordt er een beeld geschetst van een President Obama die keldert in de peilingen. De auteur baseert zich in dat artikel op een selectie van cijfers uit een aantal peilingen. Zijn interpretatie van die cijfers blijkt helaas niet bestand tegen een kritische blik. Niet alleen is het geschetste beeld niet te rechtvaardigen met de gegeven cijfers, uit een correcte lezing van de cijfers volgt zelfs het tegenovergestelde beeld. Dit artikel zal de foute interpretatie van de auteur blootleggen en tegelijkertijd een beeld schetsen van hoe Obama er nu voorstaat.

Toen ik het stuk las voelde het intuïtief niet juist aan. Het druisde in tegen alles wat ik had gelezen. Daarom heb ik onderzoek gedaan naar het bronmateriaal waarop de auteur zich baseert. Dat zijn niet alleen de nieuwsartikelen die bericht doen van de peilingen en waar de auteur naar linkt maar juist ook de (ruwe) data die beschikbaar is op de websites van de verschillende bureaus die peilingen uitvoeren. Daar heb ik zelf zo veel mogelijk naartoe gelinkt.

Wat is er dan mis met het stuk? Om te beginnen, laten we eens de gewraakte teksten van de auteur erbij pakken om te zien wat hij schrijft. Hier is zijn eerste alinea:

De populariteit van President Obama is de afgelopen week sterk teruggevallen. Obama’s populariteit scoorde gisteren bij Rasmussen Reports nog maar 45 procent, terwijl deze een maand lang rond de 50 procent scoorde. Begin februari waren Obama’s approval ratings nog 49 procent bij Gallup, gisteren peilde Obama nog maar 43%. Obama’s populariteit is weer genormaliseerd naar het niveau waar het de afgelopen jaren steeds heeft gestaan.”

De conclusie van deze alinea mag niet worden getrokken uit de gepresenteerde cijfers omdat zij niet representatief zijn voor een bredere trend. Kort gezegd: de auteur heeft de allerslechtste cijfers voor Obama erbij gepakt en negeert alle andere cijfers die veel gunstiger voor Obama uitpakken.

Op twee manieren maakt hij een onjuiste selectie:

1. Van twee dagelijkse peilingen kiest hij om onduidelijke redenen de slechtste dagen voor Obama. Had hij de cijfers van een dag later of een dag eerder gepakt, dan zou je een heel ander beeld krijgen.
2. Hij pakt twee peilingen die op dit moment het meest ongunstig zijn voor Obama en onder het gemiddelde liggen van wat Obama krijgt van alle peilingen die zijn zogenaamde approval rating meten.

Als je uit de slechtste peilingen voor Obama de slechtste cijfers voor Obama selecteert, dan is het uiteraard niet moeilijk om een alarmerend stuk te schrijven over de dalende populariteit van Obama. Maar dat is dan uiteraard niet terecht.

De auteur pakt hier twee zogenaamde tracking polls, peilingen die als kenmerk hebben dat ze dagelijks worden afgenomen en gepubliceerd. Deze peilingen hebben als voordeel dat je snel trends kunt ontdekken. Dat is handig voor mensen zoals wij, de redactie van de WarRoom, die de politiek op de voet volgen. Het probleem met tracking polls is echter dat ze een kleinere sample size hebben dan de meeste andere peilingen (Rasmussen Reports interviewt maar 500 Amerikanen bijvoorbeeld). Ze hebben een foutmarge van 3%, volgens de websites van zowel Rasmussen als Gallup. Een daling van een paar procent van de ene op de andere dag zegt dus niet zo veel als het niet past in een bredere trend. En dat is hier niet het geval. De auteur heeft uitschieters naar beneden gekozen. Laten we beide peilingen daarvoor eens nader bekijken.

Ten eerste, de Rasmussen Reports peiling. Het klopt dat Obama eerder deze maand rond de 50% zat qua approval rating en op 27 februari op 45% zat. Echter die 45% is niet erg representatief. Een dag na die 45% zat hij op 47%, nog een dag later op 48%. Ook de dagen ervoor scoorde Obama beter met 46%, 47% en 49% in de drie dagen ervoor. (Bron) Die 45% lijkt er door de auteur alleen te zijn uitgepikt omdat het het laagste cijfer was. De dagen eromheen geven een ander beeld van de populariteit van Obama.

De eerste peiling die de auteur kiest om zijn stelling mee te onderbouwen wordt dus al zeer selectief geciteerd. Ook met de tweede peiling is iets vergelijkbaars aan de hand.

In de peiling van Gallup klopt het cijfer van 43%. Maar wederom is het veruit het slechtste cijfer van de week. De dag erna scoort Obama weer 45%, net zoals de dag ervoor. Met andere woorden, ook hier is het slechtste cijfer geselecteerd om een conclusie te onderbouwen, niet het meest recente cijfer of een recent gemiddelde. (Bron)

In een dagelijkse tracking poll mag je verwachten dat er afwijkingen van dag tot dag in zitten zonder dat de populariteit van Obama echt is veranderd. Soms zal die afwijking naar beneden zijn, soms naar boven. De aard van peilingen is dat zij de werkelijkheid proberen te benaderen maar daar nooit volledig in zullen slagen omdat zij slechts een heel klein deel van de populatie kunnen ondervragen.

Toch is het probleem groter dan alleen een niet-representatieve selectie van cijfers. Ook de selectie van peilingen maakt het minder representatief. Waarom haalt de auteur Rasmussen en Gallup aan? Waarom niet de Politico/George Washington University peiling? Die kwam ook deze week uit en gaf Obama een approval rating van 53%, significant hoger dan de peilingen die de auteur aanhaalt. (Bron) Of een peiling van de Associated Press/GfK die Obama vorige week een approval rating van 49% gaf? Dat had ook gekund. Sterker nog, alle andere peilingen die de approval rating van President Obama meten, geven Obama betere cijfers dan de Gallup en Rasmussen peilingen die de auteur eruit pakt.

Die conclusie wordt nog helderder wanneer je het gemiddelde bekijkt van Obama’s approval rating volgens alle beschikbare peilingen die dat meten. Dat overzicht wordt bijgehouden door de website Real Clear Politics. Volgens hun berekeningen heeft Obama een gemiddelde approval rating van maar liefst 48,6%. Dat is hoger dan de peilingen die de auteur citeert in zijn stuk. (Bron)

Als je dit alles aanschouwt, mag je niet tot de conclusie komen dat de populariteit van de president “de afgelopen week sterk [is] teruggevallen”, zoals de auteur beweert. Er was sprake van een korte, tijdelijke dip in de peilingen die net zo goed statistische ruis kan zijn.

Verder is de echte waarde van peilingen gelegen in het signaleren van trends over een periode van weken en maanden. Wie die context in beschouwing neemt, ziet dat er een aantal positieve trends zijn voor Obama.

Ten opzichte van exact een maand geleden is Obama inderdaad iets gedaald in de peilingen maar dat was te verwachten. Een maand geleden gaf Obama zijn State of the Union. Voor een zittende president levert dat bijna altijd een korte stijging in de peilingen op. Het is een moment waarop hij het volk toe kan spreken zonder mediafilter of noemenswaardige tegenspraak. De meeste State of the Unions geven de president een korte opleving in de peiling. Maar inherent aan een korte opleving is dat na afloop de peilingen weer dalen tot het niveau ervoor. Dat zien we nu gebeuren.

Ten opzichte van twee manden geleden, drie maanden geleden en vier maanden geleden, staat Obama er veel beter voor. In de Gallup peiling van 6-8 oktober 2011 kreeg Obama een approval rating van slechts 39%. En dat was geen uitschieter! Obama staat er nu aanzienlijk beter voor met, zoals gezegd, een approval rating die bijna 10% hoger ligt.

Deze voor Obama gunstige trend wordt bevestigd ook door andere cijfers. Het politieke team van NBC News hanteert de zogenaamde Voter Confidence Index (zie link voor methodiek) waarbij ze kijken naar drie cijfers om de kansen van een president te beoordelen. Ze kijken naar zijn approval rating, of kiezers vinden dat het land de juiste richting op gaat en welke partij zij vinden dat de meerderheid moet krijgen in het congres. Dit geeft een completer beeld dan alleen de approval rating. Sinds oktober is Obama gestegen van een deplorabele -63 tot een gunstigere -21. Liever heeft Obama geen cijfers in de min maar George W. Bush is herkozen met een -11. Het punt is: ook uit dit completere cijfer blijkt dat Obama het beter doet dan een paar maanden geleden.

Hiermee vervalt al de basis van het artikel: er is geen “sterke terugval” te constateren als je verder kijkt dan alleen de meest ongunstige cijfers. Maar er worden meer cijfers in het artikel geciteerd die onjuist zijn. Het tweede gewraakte citaat:

“De voorsprong die Obama de afgelopen weken had op zijn Republikeinse concurrenten Santorum en Romney is inmiddels gesmolten als sneeuw voor de zon. Tegen Santorum heeft Obama met 49 tegen 46 procent een geringe achterstand. Tegen Romney scoort Obama nu gelijk met 47 procent.”

Ook hier geldt dat we de cijfers hebben kunnen verifiëren als zijnde correct. Echter het beeld dat ermee wordt geschetst is onjuist.

Waar het probleem hier ligt is dat er wordt gezegd dat Obama eerder een voorsprong had op zijn concurrenten. Die zou verdwenen zijn als “sneeuw voor de zon”. Maar dat wordt niet onderbouwd met cijfers. Waarom niet? Mogelijk omdat ze waarschijnlijk niet bestaan, in ieder geval niet in het geval van Romney.

De aangehaalde cijfers komen van Gallup. Die organisatie doet ongeveer maandelijks zogenaamde trial heats, dus een peiling waarbij ze een kiezer de keuze voorleggen Obama vs. een specifieke Republikeinse concurrent. We kunnen dus de eerdere cijfers van hun website erbij halen om de bewering van de auteur te toetsen.

Toen Gallup in januari kiezers vroeg om te kiezen tussen Obama en Romney had Obama geen voorsprong op Romney. Ze stonden toen gelijk met 48%. Een paar weken geleden stond Romney op een 4% voorsprong. Nu staan ze weer gelijk. (Bron) Er is hier dus geen sprake van een voorsprong van Obama die als sneeuw voor de zon is verdwenen. Sterker nog, de voorsprong van Romney is juist verdwenen. In tegenstelling tot wat de auteur zegt zou juist Romney zich zorgen moeten maken, niet Obama.

In het geval Santorum is de voorsprong van Obama wel verdwenen. Santorum is slechts drie keer meegenomen in een trial heat, een keer in januari en twee keer in februari. In die tijd is een voorsprong van Obama van 8% geslonken naar een achterstand van 3%. (Bron) Het is dus terecht om te stellen dat Obama’s voorsprong ten opzichte van Santorum is verdwenen.

Maar in het geval van Romney dus niet. Dat is een belangrijke nuancering, zeker omdat Romney alom wordt gezien als de meest waarschijnlijke tegenstander van Obama. Waarom de auteur toch stelt dat Obama’s voorsprong op hem is verdwenen, is onduidelijk.

Overigens geldt ook hier dat er andere peilingen zijn – zie hier – die een beeld laten zien van een president Obama die sinds het begin van de voorverkiezingen ineens al zijn mogelijke Republikeinse tegenstanders verslaat. Wanneer verschillende peilingen en verschillend resultaat laten zien, zou je voorzichtig moeten zijn met het trekken van verregaande conclusies. Eén peiling zegt niet zo veel. Eén zwaluw maakt nog geen zomer.

Conclusie
Wie er op uit is om zijn reeds getrokken conclusie met data te onderbouwen, kan die dat altijd wel zo manipuleren dat deze uitvalt in het voordeel van de reeds getrokken conclusie. Als je de slechtste datapunten uit de slechtste peilingen voor Obama selecteert, kun je gemakkelijk een beeld schetsen van een Obama die in de peilingen keldert. Met dezelfde moeite kun je ook het tegenovergestelde beeld schetsen. Beiden is niet geoorloofd. De realiteit is dat de positie van Obama de afgelopen maanden sterk is verbeterd maar er is nog werk aan de winkel voor hem.

Er hoeft bij deze onjuiste lezing van de peilingen geen sprake te zijn van kwade opzet. Peilingen worden vaak fout geïnterpreteerd, zelfs door mensen die er veel verstand van zouden moeten hebben (zie hier een recent artikel van Miko Flohr op DeJaap over de fouten die Maurice de Hond regelmatig maakt). De auteur van het gewraakte stuk heeft mogelijk gewoon slecht onderzoek gedaan.

Toch is ook een opinieschrijver verplicht tot het presenteren van de juiste feiten. Deze auteur geeft zijn visie op de Amerikaanse politiek vanuit zijn ideologische oogpunt, in ieder geval niet pro-Obama. Dat is geen vrijbrief om los om te gaan met de feiten. Je hebt recht op je eigen mening, niet op je eigen feiten. Als WarRoom redactie staan we voor prikkelende opinie – vóór Obama, tegen Obama – maar wel op basis van de juiste gegevens. Het doel van deze blog is om onze lezers zo goed mogelijk bij te praten over de Amerikaanse verkiezingen en dat moet altijd gewaarborgd worden.

Victor Vlam is redacteur van de WarRoom, waar dit artikel oorspronkelijk is gepubliceerd.