Poll of polls

Åpenhet og etterprøvbarhet

Publisert 10. august 2017. Sist endret 10. august 2017.

Vi har med takk mottatt denne artikkelen fra Gabriel Steinsbekk og Steinar Nørstebø – begge tillitsvalgte i Bergen SV – som fremhever behovet for større åpenhet og etterprøvbarhet om partimålinger.

Vi har med interesse lest Poll of polls kommentarer vedrørende metodikk og åpenhet i norske meningsmålinger.

For oss i likhet med mange er meningsmålingene både interessante og viktige indikatorer på politisk utvikling. Derfor er det foruroligende når det kan stilles vesentlige spørsmål ved metoder og vurderinger i enkelte av meningsmålingsinstituttene. Det kan synes som meningsmålingsbyråene er redde for å gi publikum innsikt i hvilke metoder de legger til grunn i deres arbeid. Både InFact og Sentio har blitt utfordret av Poll of polls uten at vi som interesserte lesere synes svarene gir oss innsikt til å vurdere om de metodiske grepene synes rimelige.

Britisk meningsmålingsinstitutter og -byråer har fått noen skudd for baugen de siste årene. Meningsmålingene i forkant av parlamentsvalget i 2015 undervurderte stort de konservatives ledelse over Labour. Gjennomsnittet av målingene før valget viste dødt løp, 34 % mot 34 %, mens det faktiske resultatet var 38 % mot 31 %. Denne fadesen førte ikke bare til at mange byråer kastet modellene sine ut av vinduet og startet på nytt, men også til en egen rapport publisert av det britiske meningsmålingsrådet. I 2017 gikk det ikke like dårlig, men ingen av byråene traff spesielt godt med de siste målingene før valgdagen (YouGov gjorde det langt bedre med en mer eksperimentell modell som fikk relativt lite oppmerksomhet).

Det som er bemerkelsesverdige med de britiske målingene er ikke nødvendigvis at de har vært feil, men hvor stor åpenhet det er om gjennomføring, utvalg, vekting, og så videre. De fleste byråene publiserer totale tabeller med både vektede og ikke-vektede tall, brutt ned på en rekke bakgrunnsvariabler. Dette gjør det ikke bare mulig å se på «tallene bak tallene» for hver måling, men også å ettergå og vurdere de ulike byråenes fremgangsmåter. Dette kan spesielt være til nytte når de ulike målingene spriker, og forskjellene mellom dem stammer fra bestemte valg og metoder.

I Norge er det dessverre langt mindre åpenhet om «tallene bak tallene», og mulighetene for etterprøvbarhet er derfor mer begrenset. Et nettsted som Poll of polls er først og fremst avhengig av journalisters og redaktørers velvilje for å få tilgang til råtall og bakgrunnstall. Dette er delvis forståelig, i den grad de ulike byråene selger et produkt som de konkurrerer med andre om å levere. Det har samtidig flere problematiske sider.

Manglende åpenhet og mulighet for etterprøvbarhet betyr først og fremst at det er vanskelig å vurdere om endringer i oppslutning er reelle eller ikke. Har faktisk Høyre gått fram og Arbeiderpartiet tilbake? Er SV over eller under sperregrensen? Tar Venstre eller MDG direktemandat i Hordaland? Eller kommer endringer og resultater av ulik vekting og bearbeiding av tall? Et eksempel på dette har vært InFacts praksis med at noen av de minste partiene har blitt «slått sammen» med gruppen «andre partier» i grunnlaget for et antall fylkesmålinger, som tidligere har blitt omtalt på Poll of polls. Dette kan ha hatt relativt stor betydning for resultatet til partiene det gjelder på disse målingene, uten at det er gitt at praksisen gir mer nøyaktige resultater. InFact har senere oppgitt at de har sluttet med denne formen for sammenslåing.

Vi synes det er et vesentlig større problem at Sentio opererer med en justering av barometertallet ved en skjønnsmessig endring i stemmetallene fra forrige valg. Sentio har selv forklart at dette skyldes at de nær valg legger mer vekt på råtallene. Vi hadde da håpet at grunnlaget for de konkrete endringene var knyttet til de spesifikke råtallene for hvert parti. Det synes ikke å være tilfelle.

Et større problem enn manglende mulighet til å vurdere om endringer i oppslutning er reelle eller ikke, er hvis det kan stilles spørsmål ved om byråene vekter i fordel oppdragsgiver. Når vektingsmetodene ikke lar seg etterprøve, eller ikke oppgis i det hele tatt, er det lettere for at resultatene trekkes i tvil. Når det i tillegg er flere partier som bestiller meningsmålinger, kan dette potensielt være en problematisk kombinasjon.

Vi mener at partiene sammen med meningsmålingsinstituttene og media bør ta initiativ til å etablere en langt større åpenhet rundt meningsmålinger. Et eksempel til etterfølgelse kan være de britiske byråene. Målet må være åpenhet slik at de enkelte målingene er etterprøvbare og troverdige. Det skal være rom for ulike metoder og tilnærminger i målingene, men vi kan ikke se at noen er tjent med et usikkerhetsskapende hemmelighetskremmeri.

Gabriel Steinsbekk og Steinar Nørstebø

Del på Facebook

Flere artikler om metode

Vis alle artikler om metode