Verktøyene vi bruker når vi rydder i et rotete datasett

Når deltakere kommer til datarensingen, spør mange først hvilket program de må kjøpe. Svaret vårt er et annet: de fleste rotete datasett kan ryddes i et vanlig regneark, og det er et poeng i seg selv. Et verktøy som alle kan åpne, gjør at andre kan følge nøyaktig det du har gjort, og dermed kontrollere resultatet.

I kurset bruker vi åpne eksempeldata som deltakerne laster ned selv. Filene er med vilje ufullkomne: tomme celler, datoer skrevet på tre ulike måter, tall som ligger som tekst og navn som er stavet forskjellig fra rad til rad. Slike feil møter du i nesten alle offentlige tabeller.

Jeg underviser først og fremst i statistikk og diagrammer, men ryddingen kommer før alt annet. Et pent diagram bygget på et skittent datasett er verre enn ingen diagram, fordi det ser pålitelig ut. Derfor starter vi hver øvelse med å se på rådataene uten å røre dem.

Regnearket er hovedverktøyet. Vi bruker sortering, filtrering og enkle funksjoner for å finne avvik: en alder på 250, en dato i fremtiden, en kommune som dukker opp både med og uten bokstaven å. Ingenting av dette krever programmering, bare tålmodighet og et øye for det som ikke stemmer.

En regel vi gjentar hele tiden, er at du aldri arbeider i originalfilen. Første handling i hver øvelse er å lagre en kopi og gi den et navn som sier hva den er. Rådataene blir liggende urørt, og alt du endrer, skjer i en egen fane eller en egen fil.

Vi går gjennom noen få funksjoner grundig heller enn mange overfladisk. Deltakerne lærer å telle tomme felt, fjerne mellomrom som skjuler seg rundt tekst, og skille mellom tall og tekst som ser like ut. Etter noen øvelser gjør de dette uten å tenke over det.

• Lagre alltid en kopi før du endrer noe
• Sorter hver kolonne for å se ytterpunktene
• Tell tomme felt før du bestemmer hva de betyr
• Fjern skjulte mellomrom rundt tekst og tall

Et verktøy mange overser, er en vanlig tekstredigerer. Når du åpner en CSV-fil der, ser du dataene slik de faktisk er lagret, uten at regnearket har gjettet på format. Her oppdager deltakerne at semikolon og komma er byttet om, eller at norske desimaltegn har forvandlet seg til datoer.

Dette er en av de vanligste fellene for nybegynnere. Et tall som 3,5 blir til 3. mai fordi programmet tror det vet bedre. Hvis du ikke har sett på filen før den ble åpnet i regnearket, kan skaden være gjort uten at du merker det, og feilen følger deg inn i analysen.

Jeg viser derfor alltid første linje av filen i ren tekst før vi importerer den. Det tar ti sekunder og sparer ofte en time med lete etter en feil som egentlig oppsto ved åpningen. Deltakerne beskriver gjerne dette som øvelsen de har hatt mest nytte av.

Det viktigste verktøyet er ikke et program, men en logg. Hver gang du endrer noe i et datasett, skriver du ned hva du gjorde, hvorfor du gjorde det og hvor mange rader det gjaldt. Marte Lindqvist, som veileder deltakerne i dokumentasjon, kaller det å skrive for den som kommer etter deg.

En god logg er kort. Én linje per endring er nok: «Fjernet 14 rader med manglende kommunenummer, fordi kommunen ikke kunne identifiseres.» Med et slikt notat kan en kollega eller en leser forstå valget og være uenig i det på informert grunnlag, og det er hele poenget med etterprøvbarhet.

Uten logg blir rensingen en samling skjulte avgjørelser. Du husker kanskje ikke selv om du slettet duplikater eller bare slo dem sammen. Og skal du forklare funnene dine i en artikkel, må du kunne si nøyaktig hvilke data tallene bygger på og hva som ble utelatt underveis.

• Hva ble endret
• Hvorfor ble det endret
• Hvor mange rader berørte endringen
• Hvem gjorde det, og når

En typisk øvelse begynner med en fil og et spørsmål. Deltakerne leser kildebeskrivelsen, lagrer en kopi og ser på rådataene i tekstredigereren. Deretter åpner de filen i regnearket og lager en liste over alt som virker galt, før de retter noe. Rekkefølgen er viktig: først kartlegge, så handle.

Så følger selve rensingen, ett problem om gangen. Vi retter datoer, samler ulike stavemåter av samme navn og bestemmer hva som skal skje med tomme felt. Hver beslutning føres inn i loggen. Til slutt sammenligner deltakerne antall rader før og etter, slik at ingenting har forsvunnet uten at de vet hvorfor.

Avslutningsvis bytter deltakerne logger med en annen i gruppen og prøver å gjenskape resultatet. Det er ofte her de forstår verdien av ryddig dokumentasjon. Klarer ikke den andre å komme frem til samme tall, mangler det et notat et sted, og da finner vi ut hvilket.

Enkle verktøy har grenser, og de sier vi åpent. Et regneark takler ikke flere hundre tusen rader godt, og noen oppgaver, som å slå sammen mange store tabeller, blir tungvinte. Da finnes det bedre verktøy, men kurset gir ikke opplæring i dem, og vi lover ikke at du kommer dit i løpet av studiet.

Det kurset gir, er grunnlaget: å forstå hva som skjer med dataene dine, uansett hva du bruker. Den som har lært å se på rådata, føre logg og telle rader før og etter, bruker de samme vanene i et mer avansert program. Verktøyet kan byttes ut, men arbeidsmåten følger med.

Dette er også grunnen til at vi ikke trekker frem spesielle programmer i undervisningen. Poenget er metoden, ikke merkevaren. Deltakerne bruker det de allerede har på maskinen, og kan fortsette å gjøre det når kurset er over, uten å betale for noe nytt.