En genomgång av opinionsmätningarna inför valet visar, i ljuset av valresultatet, på fortsatta systematiska fel hos opinionsinstituten.

I och med valresultatet kan vi utvärdera de opinionsinstitut som mellan valen försöker uppskatta opinionen, eller hur människor ”skulle rösta om det vore val idag”. Tidigare har instituten varit väldigt skickliga på att mäta opinionen baserat på teori om slumpmässiga urval. Med ett slumpmässigt urval på 1 500 personer, utan bortfall och andra mätfel, skulle instituten pricka in Socialdemokraterna sånär som på ±2 procent och Miljöpartiet på ±1 procent. Men i dagens läge, med bortfall på upp mot 90 procent, handlar det lika mycket, om inte mer, om hur instituten viktar sina insamlade data. Redan dagen efter valet pekades det finger på vem som var sämst på att vikta. Låt oss därför gå igenom hur de olika instituten lyckades i årets val och vad vi kan lära av detta. Jag har valt ut de senaste mätningarna för alla institut som publicerade siffror i september. I detta blogginlägg utvärderar jag (bara) hur väl de lyckades skatta valresultatet.

Det enklaste måttet att titta på är den genomsnittliga absoluta avvikelsen från valresultatet, det vill säga den genomsnittliga skillnaden mellan valresultatet och den sista mätningen som institutet gjorde. Detta brukar vara ett populärt sätt att mäta institutens träffsäkerhet. Tittar vi på detta kan vi se två institut som ligger bättre än de övriga, Initzio (1,125 %) och Demoskop (1,075 %). Detta kan jämföras med SVT:s vallokalsundersökning, den undersökning som i sammanhanget kan ses som bästa möjliga. Valu hade ett genomsnittligt fel på 1,038 %. De övriga instituten låg mellan 1,2 och 1,7 procent fel: Skop 1,24 %, TV4 Valu 1,29 %, Ipsos 1,34 %, Novus 1,45 % och Sifo 1,69 %. Det institut som lyckades absolut sämst var Yougov med hela 2,7 % genomsnittligt absolut fel. Som jämförelse, skulle vi ha en undersökning med 1 500 svarande och inte ha några systematiska fel, skulle vi förvänta oss ett genomsnittligt absolut fel på cirka 0,62nbsp;%. Sannolikheten att vi skulle få ett större fel än 1nbsp;%, det vill säga vad samtliga undersökningar landade på, är mycket liten (mindre än 5 procent). Det är således uppenbart att det finns skevheter i institutens siffror som inte beror på slumpen.

Problemet med att titta på det genomsnittliga absoluta felet är att mätmetoden inte tar höjd för att större partier har större osäkerhet: att skatta FI fel med 2 % är mycket, men att skatta S fel med 2 % är inte helt galet. För att fånga detta kan vi också titta på hur många medelfel de olika instituten ligger från det sanna värdet. När vi beräknar medelfelet tar vi hänsyn till storleken på partiet och hur många som deltar i en undersökning (se Excelarket för detaljer). Detta ger en mer rättvisande bild av hur bra en skattning är eftersom slumpeffekter också beaktas. En bra skattning bör ligga inom ±2 medelfel från det sanna värdet. Jag har satt alla institut till 1 500 svarande då de flesta institut ligger i denna härad och det gör att vi är lite konservativa i vår bedömning, då alla institut hade fler än 1 500 svarande.

Institutens skattningar för Socialdemokraterna och Moderaterna har generellt sett större fel än de för andra partier, cirka 2 % fel för Moderaterna och cirka 3 % fel för Socialdemokraterna. Instituten har samtidigt det gemensamt att de flesta underskattade Socialdemokraterna och Moderaterna (undantagen för Inizio och Demoskop). Dessutom är de flesta institut rejält fel med en underskattning på två medelfel eller mer för både Moderaterna och Socialdemokraterna. Detta är betydligt mer fel än vad vi kan vänta oss av slumpen och tyder på skevheter, att både Moderaterna och Socialdemokraterna blev underskattade av nästan samtliga institut tyder på att det finns problem.

Liberalerna, Centerpartiet och Kristdemokraterna verkar instituten ha träffat bra, med undantag för Yougov. Det kan jämföras med Vänsterpartiet, vilka alla institut överskattade rejält – flera institut låg mer än tre medelfel bort från det sanna värdet, vilket tydligt indikerar en klar överskattning från samtliga institut. Det är också intressant att se institutens skattningar av Sverigedemokraterna. Vid valet 2014 låg samtliga institut helt fel avseende Sverigedemokraterna med en extremt tydlig underskattning. Men nu träffade instituten förvånansvärt bra. Det var bara Yougov som låg helt fel med en skattning på 24 procent, eller med hela 7 medelfel.

Vi kan på ett liknande sätt studera var Valu låg jämfört med valresultatet. Då Valu är en mycket stor undersökning med hela 13 000 svarande kan vi få en mycket bra bild över skevheter i mätningen. Precis som med de övriga instituten underskattade Valu Socialdemokraterna och Moderaterna, och överskattade Vänsterpartiet och Kristdemokraterna. Valu överskattade också Sverigedemokraterna (!) men prickade Miljöpartiet rätt detta val. Båda dessa resultat innebär ett trendbrott då detta inte skett någon gång vid de senaste tre valen. Detta indikerar att Valus skattningar av Miljöpartiet och Sverigedemokraterna har förändrats i och med detta val. Vi kan även se att alla institut, trots viss överskattning, låg hyfsat rätt avseende Miljöpartiet – med undantag för Sifo och Yougov. Gällande TV4:s valundersökning kan vi konstatera att den låg på samma nivå som de sista opinionsundersökningarna med ett absolut fel på 1,29 %, trots mer än 5 000 svarande och att den gjordes samma dag som valet.

Sammanfattningsvis ser vi att det finns en hel del skevheter hos instituten fortsatt, men att dessa fel har ändrat karaktär. Moderaterna och Socialdemokraterna underskattades av en majoritet av instituten. Vänsterpartiet i sin tur överskattas av samtliga institut. Dessa skevheter beror inte på slumpen och när samtliga institut gör samma fel tyder det på systematiska fel. Exakt vad dessa fel beror på är ett annat blogginlägg, men bortfallsfel och mätfel, till exempel i form av social desirability bias, ligger nära till hands. Det är också uppenbart att den kritik som riktas mot Yougov är befogad, deras sista mätning låg riktigt fel, oavsett hur man räknar.

Länkar:

• Data: http://jpp.to/opinionsinstitut
• Beräkningsskript: http://old.r-fiddle.org/#/fiddle?id=Zm9zoiPi