Slik sporer du en kilde tilbake til opphavet, steg for steg

Når et tall dukker opp i en nyhetssak, er fristelsen å lete etter bekreftelse. Jeg anbefaler det motsatte: skriv først ned nøyaktig hva som påstås. Hvilket tall, for hvilken gruppe, i hvilken periode, og hvem sier det? Mange feil oppstår fordi vi sjekker en løs gjengivelse i stedet for selve påstanden. Da bruker vi tid på å verifisere noe som aldri ble sagt på den måten. I kursets øvelser får deltakerne en kort tekst og skal skrive påstanden om til én presis setning, uten ord som «mange», «økende» eller «betydelig». Det høres enkelt ut, men det avslører ofte at teksten ikke sier så mye som vi først trodde. Når påstanden er presis, vet du også hva en kilde må inneholde for å kunne støtte den.

Skriv gjerne påstanden øverst i et eget dokument og la den stå der gjennom hele arbeidet. Hver gang du finner et nytt dokument, spør deg om det faktisk handler om akkurat dette tallet, eller bare om noe som ligner. Slike glidninger er vanligere enn bevisste falsknerier, og de oppdages bare hvis du har en fast referanse å måle mot.

• Skriv påstanden som én presis setning
• Merk hvem som sier det og i hvilken sammenheng
• Noter tidsperiode og gruppe tallet gjelder

De fleste tall har gått gjennom flere hender før de havner i en artikkel. Et nyhetsbyrå siterer en rapport, rapporten siterer en undersøkelse, og undersøkelsen bygger på en tabell fra en offentlig etat. Jobben din er å gå bakover til første ledd, altså stedet der tallet ble produsert. Alt mellom er gjengivelser, og hver gjengivelse kan ha mistet nyanser. Bruk lenker, fotnoter og kildelister, og søk på sentrale formuleringer hvis lenken mangler. Hvis du ikke finner opphavet etter rimelig innsats, er det i seg selv en opplysning. Du kan da skrive at tallet ikke lot seg spore, i stedet for å behandle det som bekreftet.

Ta notater underveis, med dato for når du leste hvert dokument. Nettsider endres, og tabeller revideres. Et tall du leste i går kan stå annerledes i dag, og da vil du være glad for å ha dokumentert hva du faktisk så. Denne vanen tar kort tid og gjør arbeidet ditt etterprøvbart for andre.

• Gå fra gjengivelse til rapport til rådata
• Søk på sentrale formuleringer når lenker mangler
• Dokumenter dato for hver lesing

Metodedelen er det mest ignorerte avsnittet i en rapport, og ofte det mest opplysende. Her står det hvem som ble spurt, hvor mange, hvordan de ble valgt ut, og hva som ble målt. En undersøkelse med få svar eller et skjevt utvalg kan fortsatt være nyttig, men konklusjonene må da leses med forbehold. Spør deg selv om utvalget kan representere gruppen påstanden handler om. Se etter svarprosent, tidspunkt for datainnsamling og hvordan spørsmålene var formulert. Små endringer i ordlyd kan gi store utslag i svarene, og det bør komme tydelig frem hvis det er gjort.

Hvis metodebeskrivelsen er vag eller mangler helt, er det et varselsignal, men ikke nødvendigvis et bevis på feil. Noter at metoden er uklar, og vurder om du kan kontakte avsenderen med konkrete spørsmål. Seriøse kilder svarer vanligvis ryddig på slike henvendelser, og svaret eller fraværet av svar sier også noe.

• Sjekk utvalg, svarprosent og tidspunkt
• Se på hvordan spørsmålene var formulert
• Merk deg hva som faktisk ble målt

Når du vet hvor tallet kommer fra, må du vurdere hvem som står bak. Har avsenderen en egeninteresse i at konklusjonen blir akkurat slik? Det gjør ikke tallet galt, men det betyr at du bør lete etter uavhengig støtte. En organisasjon som måler effekten av sitt eget tiltak, har et annet utgangspunkt enn en uavhengig forsker. Sjekk også om avsenderen har publisert metoden åpent og om andre har kunnet gjenta analysen. Åpenhet om data og fremgangsmåte er et bedre tegn enn en velkjent logo eller en fagtung tone. Det er prosessen som skal tåle gransking, ikke omdømmet.

Unngå å avvise en kilde bare fordi den har en mening. Nesten alle har det. Spørsmålet er om påstanden holder når metoden er lagt åpen, og om samme konklusjon kan nås uavhengig. Behold nøkternheten: du skal vurdere kilden, ikke dømme den.

• Spør hvem som tjener på konklusjonen
• Se etter åpent publiserte data og metode
• Let etter uavhengig støtte for tallet

Resultatet av arbeidet bør være mer enn en følelse av at tallet er greit. Lag en kort logg med fire kolonner: påstand, kilde, metode og vurdering. Under vurdering skriver du hva som er bekreftet, hva som er uklart og hva du ikke fant ut. Loggen trenger ikke være pen, men den må være ærlig. I øvelsene våre bruker deltakerne et vanlig regneark til dette. Det gjør det enkelt å vise en kollega hvordan du kom frem til konklusjonen, og å plukke opp arbeidet igjen uker senere. Loggen er også det beste forsvaret hvis noen utfordrer det du har skrevet.

Når loggen er ferdig, bestem hvordan usikkerheten skal formidles. Ofte holder det med én setning i teksten som sier hva som er sikkert og hva som ikke er det. Leseren har krav på å vite hvor godt grunnlaget er, ikke bare hva konklusjonen ble.

• Fire kolonner: påstand, kilde, metode, vurdering
• Skill mellom bekreftet, uklart og ikke funnet
• Bruk et vanlig regneark som utgangspunkt

Noen ganger ender sporingen i et dødt spor: opphavet finnes ikke, metoden er skjult, eller tallet viser seg å bety noe annet enn påstått. Da er det riktig å legge det til side. Det kan kjennes som bortkastet tid, men det er nettopp slik kildekontroll beskytter både deg og leserne. Du kan velge å droppe tallet, formulere deg mer forsiktig eller skrive åpent om at du ikke fant grunnlaget. Alle tre er legitime valg, så lenge de er ærlige. Det eneste du ikke bør gjøre, er å la tallet stå som om det var sjekket.

Gjennom høsten får vi mange henvendelser om tall som sirkulerer raskt i sosiale medier. Mønsteret er det samme hver gang: rask spredning, svakt opphav. En fast rutine gjør at du slipper å vurdere hver sak fra bunnen, og at du lettere holder hodet kaldt når noe virker for godt til å være sant.