Seks vanlige feil når du leser et datasett, og hvordan du unngår dem

Den vanligste feilen jeg ser, er at deltakeren åpner et datasett, finner en tydelig stigende linje og begynner å formulere overskriften med en gang. Tabellen har da ikke blitt lest, bare skannet. I kurset ber jeg alle om å vente med den første setningen til de kan si med egne ord hva en rad er, hva hver kolonne måler og hvem som har samlet tallene inn.

Et enkelt grep er å skrive tre spørsmål øverst i et eget dokument før du gjør noe annet: hva teller vi, hvem er med, og for hvilken periode. Svarene står ofte i en liten forklaringsfil som følger med datasettet, men som få åpner. Finnes den ikke, er det i seg selv en opplysning du bør notere deg.

Når du har svart på de tre spørsmålene, har du et fundament for resten av arbeidet. Da kan du stille neste spørsmål, nemlig om det du ser er stort eller lite i forhold til noe annet, og først etter det begynne å tenke på hva som kan bli en nyhet.

• Skriv ned hva en rad og en kolonne betyr
• Les forklaringsfilen før du leser tallene
• Noter hvem som har samlet inn og når

Tall uten enhet er en felle. Står det 4 500 i en kolonne, kan det være kroner, tusen kroner, personer eller hendelser per hundre tusen innbyggere. Jeg har sett deltakere sammenligne to kommuner på absolutte tall, selv om den ene har tre ganger så mange innbyggere som den andre. Konklusjonen ble feil, selv om hvert enkelt tall var riktig avskrevet.

Be derfor alltid om enheten før du går videre, og spør om det finnes en måte å gjøre tallene sammenlignbare på. Andel, per innbygger eller endring fra året før er ofte mer informativt enn råtallet. Det er likevel ikke gitt at det er bedre: små grupper kan gi store utslag i prosent, og da må du si fra om at grunnlaget er lite.

Skriv gjerne enheten inn i kolonneoverskriften når du jobber med egen kopi av datasettet. Det koster ti sekunder og sparer deg for en pinlig rettelse senere. Husk også at tall fra ulike år kan ha vært regnet i ulike prisnivåer.

• Finn enheten for hver kolonne
• Vurder andel i stedet for råtall ved ulike gruppestørrelser
• Si fra når grunnlaget er lite

Tomme celler er sjelden tomme uten grunn. Noen betyr at tallet er null, andre at det ikke er målt, og noen at det er skjult av personvernhensyn. Hvis du leser dem alle som null, trekker du gjennomsnittet ned uten å vite det. Hvis du fjerner alle radene med hull, kan du sitte igjen med et utvalg som ikke lenger ligner på det du startet med.

Før du regner noe, tell hvor mange verdier som mangler i hver kolonne, og finn ut hva det betyr. Er det jevnt spredt, eller mangler det mest i én region eller ett år? Et mønster i hullene kan i seg selv være noe å spørre kilden om.

Skriv ned hva du valgte å gjøre med manglende verdier, og hvorfor. Den notaten er en del av arbeidet ditt, og den gjør at en kollega kan etterprøve resultatet uten å måtte gjette.

• Tell tomme celler i hver kolonne
• Finn ut om tomt betyr null, ikke målt eller skjult
• Dokumenter valget du tok

To kurver som beveger seg i takt, frister til en historie. Jeg ser det hos nesten alle som er nye med datalesing: de finner to serier som stiger samtidig og skriver at den ene fører til den andre. Datasettet viser bare at de ligger i samme retning i samme periode, ikke hvorfor.

Spør deg selv om det finnes en tredje faktor som kan forklare begge, om rekkefølgen i tid støtter påstanden, og om det samme mønsteret finnes i andre perioder eller andre steder. Ofte holder ikke historien når du stiller disse tre spørsmålene, og da har du spart deg selv og leserne for en feilslutning.

Du kan fortsatt skrive om sammenhengen. Formuler det som det er: tallene beveger seg sammen, og forklaringen er uavklart eller foreslått av en navngitt kilde. Det er nøkternt og etterprøvbart, og leseren får selv vurdere resten.

• Se etter en tredje faktor
• Sjekk rekkefølgen i tid
• Skriv «henger sammen med», ikke «skyldes»

Et datasett fra én offentlig kilde kan se ryddig og pålitelig ut, men også ryddige tall har en historie. Definisjoner endres, innsamlingsmåter skiftes ut, og noen ganger er tallene revidert i ettertid. Jeg ber deltakerne om å finne minst ett uavhengig punkt å sammenligne mot, selv om det bare er en annen publikasjon av samme størrelse.

Treffer tallene omtrent, har du fått en bekreftelse. Avviker de, har du funnet noe å undersøke, og det kan godt være selve saken. Poenget er ikke å mistro alt, men å vite hva du kan stå inne for.

Kildekontroll hører til resten av kurset, men allerede på datalesingsstadiet lønner det seg å notere hvor tallene kommer fra, når de ble hentet og hvilken versjon du har. Det tar et minutt og er uvurderlig hvis noen spør.

• Finn ett uavhengig sammenligningspunkt
• Noter dato og versjon på datasettet
• Undersøk avvik før du forklarer dem

Den siste feilen er den mest hverdagslige. Du summerer en kolonne, regner en prosent, og tallet havner i teksten uten at du har sett over formelen. Et feil celleområde, en sortering som ikke fulgte med eller en prosent regnet av feil grunnlag er nok til at påstanden ikke holder.

Jeg anbefaler en enkel rutine: regn det samme på to måter, for eksempel i regnearket og med blyant på noen utvalgte rader. Stemmer ikke svarene, leter du til du finner årsaken. Be gjerne en annen lese gjennom beregningene dine, uten å forklare dem først.

Rutinen virker overdreven første gang, men blir fort en vane. Deltakerne som har den, er sjelden de som må sende rettelser etterpå, og de skriver med en ro som leserne merker.

• Regn viktige tall på to måter
• Kontroller celleområder og sortering
• La en annen lese beregningene uten forklaring