Kildekontroll gjennom høsten: slik går du fra første mistanke til sikker kilde

Høsten er sesongen da tall strømmer inn i offentligheten. Kommunene legger frem budsjettforslag, organisasjoner presenterer årsrapporter, og statistikkprodusenter publiserer nye oversikter etter sommeren. Mye av det som dukker opp i nyhetsstrømmen i disse ukene er gjengitt i flere ledd, og hvert ledd er en mulighet for at et tall blir avrundet, snudd eller tatt ut av sammenheng.

Jeg underviser i datarensing og kildekontroll, og det jeg ser hos deltakerne er at feilene sjelden sitter i selve regnestykket. De sitter i antakelsen om at kilden allerede er sjekket av noen andre. Denne artikkelen handler om hva du kan gjøre med den antakelsen de nærmeste månedene, når tempoet er høyt og fristene korte.

Poenget er ikke å mistro alt. Poenget er å ha en fast rekkefølge, slik at du bruker tiden på de kildene som faktisk bærer vekt i saken din, og ikke på dem som bare ser viktige ut fordi de er pent formatert.

Det første trinnet er å finne ut hvor tallet kommer fra. En pressemelding henviser ofte til en rapport, rapporten henviser til en tabell, og tabellen bygger på en undersøkelse. Gå like langt tilbake som du klarer, og noter hvert ledd underveis. Når du står ved det opprinnelige datasettet eller dokumentet, kan du lese hva som faktisk ble målt, ikke bare hva noen har sagt om det.

Vær spesielt oppmerksom når en kilde bare viser til seg selv eller til en uspesifisert undersøkelse. Det er ikke det samme som at tallet er galt, men det betyr at du ikke kan bruke det som dokumentasjon. Skriv ned hva som mangler, og vurder om saken tåler å vente på et svar.

Under øvelsene våre får deltakerne en sak med tre ledd mellom overskrift og datakilde. Mange oppdager at det ene leddet har byttet ut en prosentandel med en absolutt verdi, og at sammenligningen dermed ikke lenger stemmer.

• Noter hvert ledd du passerer, med dato for når du leste det
• Se etter hvem som har samlet inn tallene, ikke bare hvem som siterer dem
• Behandl henvisninger uten lenke eller tittel som uferdige

Når du har funnet opprinnelsen, er neste spørsmål hvordan tallene ble til. Metodeavsnittet står ofte sist og leses sjeldnest, men det avgjør om funnet tåler gransking. Se på hvem som ble spurt, hvor mange som svarte, hvilken periode målingen dekker og hvordan spørsmålene var stilt. Små endringer i formulering kan gi store utslag i svarene.

Sjekk også om utvalget er sammenlignbart med gruppen konklusjonen handler om. En undersøkelse blant frivillige deltakere sier noe annet enn en som bygger på et tilfeldig trukket utvalg. Det trenger ikke diskvalifisere materialet, men det setter grensen for hva du kan skrive.

Hvis metoden ikke er beskrevet i det hele tatt, er det et funn i seg selv. Spør avsenderen, og la svaret, eller fraværet av svar, avgjøre hvor mye vekt kilden får.

Kildekritikk handler om interesser, ikke om karakter. En organisasjon som publiserer tall om egen virksomhet har en naturlig interesse i hvordan tallene tas imot, og det kan prege både utvalg og fremstilling. Det gjør ikke tallene feil, men det betyr at du bør lete etter en uavhengig kilde som kan bekrefte eller korrigere dem.

I høstsesongen møter du dette ofte i forbindelse med budsjettdebatter, der ulike parter bruker samme datagrunnlag til ulike konklusjoner. Les begge fremstillingene mot det underliggende materialet, og se hvilke valg som er gjort: startår, sammenligningsgrunnlag, hva som er regnet med og hva som er holdt utenfor.

Skriv gjerne en kort merknad til deg selv om avsenderens ståsted. Den tar ett minutt å skrive og hjelper deg å huske hvorfor du valgte å dobbeltsjekke akkurat denne kilden når du kommer tilbake til saken uker senere.

Når tempoet stiger, er det rutinen som redder deg. Jeg anbefaler deltakerne å lage en enkel kontrollside for hver sak: kilde, opprinnelse, metode, avsenderens interesse og hva som gjenstår å bekrefte. Den trenger ikke være lang, men den må være skrevet ned, slik at en kollega kan følge sporet ditt uten å ringe deg.

Sett også av tid til en siste gjennomgang før publisering. Les tallene i teksten mot kontrollsiden, og sjekk at avrundinger, enheter og tidsperioder stemmer overens. Mange feil oppdages først her, fordi du ser teksten med friske øyne etter at du har lagt den fra deg en stund.

Dokumentasjon er det som skiller en kilde du tror på fra en kilde du kan forsvare. I kurset øver vi på akkurat dette, med åpne eksempeldata og saker som ligner det du møter i hverdagen.

• Én kontrollside per sak, med kilde, metode og åpne spørsmål
• Siste gjennomgang av alle tall før teksten sendes fra deg
• Spar tid ved å sjekke de tre mest bærende tallene grundig

Noen ganger kommer du ikke i mål. Avsenderen svarer ikke, datasettet er fjernet, eller metoden er umulig å etterprøve. Da må du velge hvordan saken skal håndteres, og det valget bør være ærlig. Du kan droppe tallet, bruke det med et tydelig forbehold, eller skrive åpent at du ikke har kunnet kontrollere det.

Forbeholdet må være konkret. «Ifølge noen undersøkelser» er ikke et forbehold, det er en tåke. Skriv heller hva du har sjekket, hva du ikke har fått svar på, og hvorfor det påvirker hvor sikkert tallet står. Leseren fortjener å vite hvor grunnen er fast og hvor den er myk.

Dette krever mot, særlig når konkurrerende saker bruker tallet uten forbehold. Men en kilde som ikke tåler gransking er en dårlig kilde å bygge en nyhet på, og det er alltid billigere å vente enn å rette opp etterpå.