Sjekkliste for datarensing før du bestemmer deg for å analysere

Mange som får et datasett i hendene, åpner det og begynner å summere med en gang. Det er forståelig, for tallene ligger der og ser ferdige ut. Men et datasett som ser ryddig ut, kan skjule tomme felt, doble rader og kolonner som betyr noe annet enn overskriften sier. Hvis du oppdager det først etter at du har skrevet noe, må du enten rette opp i offentligheten eller la feilen stå.

Derfor bruker vi i kurset en fast sjekkliste før noen analyse får lov å starte. Listen er ikke lang, og den krever ingen spesialprogrammer. Et vanlig regneark holder langt. Poenget er å ta noen få, forutsigbare avgjørelser i en bestemt rekkefølge, og å skrive dem ned underveis.

Denne artikkelen går gjennom listen slik jeg bruker den når jeg veileder deltakere i de første ukene av høsten, da mange tar fatt på sitt første datasett. Du kan skrive den ut og krysse av for hvert punkt. Når alle punktene er besvart, vet du hva du har, og hva du ikke kan si noe om.

Før du rører en eneste celle, finn ut hvem som har laget datasettet, når det ble hentet ut, og hvordan tallene ble samlet inn. Står det en metodebeskrivelse i en egen fane eller i en vedlagt fil? Er det en rå utskrift fra et register, eller har noen allerede slått sammen og forenklet? Svarene avgjør hvor mye du kan stole på og hvilke feil du bør lete etter.

Skriv ned opphavet i en egen logg med dato. Jeg ber deltakerne føre en enkel tekstfil ved siden av regnearket, der hvert valg får én linje. Det virker pirkete de første ti minuttene og uvurderlig ni dager senere, når noen spør hvorfor en bestemt kommune mangler i tabellen.

Vær også tydelig overfor deg selv på hva datasettet faktisk måler. En kolonne kalt «antall» kan telle personer, hendelser eller anmeldelser, og forskjellen får store følger for hva du kan skrive.

• Hvem har samlet inn tallene, og til hvilket formål?
• Når ble filen hentet ut eller sist oppdatert?
• Finnes det en beskrivelse av metode og definisjoner?
• Er dette rådata eller allerede bearbeidet?

Når opphavet er notert, ser du på selve formen. Hvor mange rader og kolonner er det? Har hver kolonne en tydelig overskrift, og stemmer innholdet med den? Bla gjennom starten, slutten og noen tilfeldige steder midt i filen. Det tar to minutter og avslører overraskende mange problemer, som sammenslåtte celler, sumrader som ligger midt i dataene eller en ekstra overskriftsrad lenger ned.

Tell deretter tomme felt i hver kolonne. Et tomt felt kan bety null, ukjent, ikke relevant eller at noen glemte det. Disse fire tilfellene skal aldri behandles likt. Spør deg selv hva en tom celle betyr akkurat her, og skriv svaret i loggen før du fyller inn eller sletter noe.

Ikke fyll tomme felt med null bare for å få formlene til å virke. Da påstår du noe datasettet ikke sier. Det er bedre å la feltene stå tomme og la formelen ignorere dem, eller å lage en egen markering for manglende verdi som alle kan se.

• Ingen sammenslåtte celler eller sumrader midt i tabellen
• Én overskrift per kolonne, uten skjulte rader
• Antall tomme felt telt per kolonne
• Betydningen av tomme felt notert i loggen

Neste trinn er å lete etter rader som går igjen. Sorter på en nøkkelkolonne, for eksempel navn eller identifikator, og se etter like eller nesten like linjer. Doble rader blåser opp summer og gir inntrykk av flere hendelser enn det finnes. Fjern dem ikke i blinde, men avgjør om de er ekte dubletter eller to ulike observasjoner som tilfeldigvis ligner.

Se så på hvordan samme ting er skrevet. «Fredrikstad», «fredrikstad» og «Fredrikstad kommune» kan telles som tre ulike steder. Enkle funksjoner for å fjerne mellomrom og samle store og små bokstaver løser det meste. Sjekk også enheter og tallformat: tusen eller millioner, kroner eller prosent, punktum eller komma som desimaltegn.

Dette er kjedelig arbeid, men det er her mange feil i nyhetssaker oppstår. Ett komma på feil sted kan gjøre en sum hundre ganger for stor. Ta derfor stikkprøver mot en kilde du kjenner, og sammenlign et par tall for hånd.

• Sortert på nøkkelkolonne og sjekket for gjentatte rader
• Navn og kategorier samlet til én skrivemåte
• Enhet og desimaltegn kontrollert i alle kolonner

Når formen er ryddet, leter du etter verdier som skiller seg ut. Sorter hver tallkolonne fra minst til størst og se på endene. Et negativt antall elever, en alder på 250 eller en pris som er ti ganger høyere enn alle andre er sjelden riktig. Men ikke slett dem automatisk. Noen ganger er det nettopp den uvanlige verdien som er nyheten.

Avgjør hver gang om verdien er en skrivefeil, en annen enhet eller en ekte observasjon. Sjekk mot kilden hvis du kan, og spør den som leverte dataene hvis du ikke kan. Er du fortsatt usikker, behold verdien, marker den og fortell i analysen at den er tvilsom og hva resultatet blir med og uten den.

Slik fungerer rensing som en del av journalistisk metode og ikke som en teknisk forberedelse. Hver beslutning om å beholde, rette eller fjerne noe er en redaksjonell vurdering, og den bør kunne forklares for en leser som spør.

• Hver tallkolonne sortert og endene gjennomgått
• Mistenkelige verdier markert, ikke slettet i stillhet
• Resultat vurdert både med og uten de tvilsomme radene

Siste punkt på listen er å sørge for at andre kan følge sporene dine. Ta vare på den opprinnelige filen urørt, og jobb alltid i en kopi. Døp kopiene med dato og et kort ord om hva som er gjort. Loggen du har ført gjennom hele arbeidet, er nå selve dokumentasjonen: hva du fjernet, hva du rettet, hva du lot stå og hvorfor.

Test til slutt om noen andre kunne gjentatt arbeidet. Be en kollega eller medstudent lese loggen og forklare tilbake hva som er gjort. Hvis hun stopper og spør, mangler det en linje. Hvis hun kommer til samme tall som deg ved å følge loggen, har du et datasett som tåler gransking.

Først da er du klar til å svare på det egentlige spørsmålet: skal du gå videre med analysen, eller er datasettet for svakt til å si noe sikkert? Begge svar er gyldige, og begge er bedre enn å skrive på et grunnlag du ikke kjenner.

• Originalfilen bevart uendret
• Alle valg ført i loggen med kort begrunnelse
• En annen person har kunnet følge stegene og få samme resultat