Hva betyr «manglende verdi» i et datasett, og hvorfor er det ikke bare null?

Når jeg underviser i datarensing, starter jeg alltid med samme lille øvelse: en tabell der noen celler står tomme, noen viser tallet 0, og noen har teksten «ukjent». Deltakerne får spørsmålet om hva som egentlig skiller dem. De fleste svarer først at det er det samme, fordi ingen av dem gir et tall man kan regne med.

Der ligger den første feilen. Null er et svar: noen har målt, talt eller registrert, og resultatet ble ingenting. En tom celle er fravær av svar, og det kan skyldes at ingen spurte, at skjemaet ble levert uten feltet, eller at tallet ble borte i en eksport.

Faguttrykket for en tom celle er manglende verdi. Det høres teknisk ut, men regelen er enkel: en manglende verdi forteller deg at noe ikke er kjent, ikke at det er null. Behandler du de to likt, bygger du konklusjoner på en antakelse du aldri har sjekket.

• Null er en registrert verdi
• Tom celle betyr at svaret mangler
• «Ukjent» er en bevisst markering fra den som lagde datasettet

La oss si at du har et datasett fra tjue kommuner over hvor mange henvendelser hver av dem fikk i løpet av et år. Fem av radene er tomme. Regner du gjennomsnitt i et regneark, hopper de fleste programmer stille over de tomme cellene og deler på femten. Hvis du i stedet fyller dem med 0, deler du på tjue, og gjennomsnittet synker.

Begge tallene ser ryddige ut, og begge kan stå i en nyhetssak uten at noen reagerer. Men de svarer på forskjellige spørsmål. Det første sier noe om de femten som har rapportert, det andre om alle tjue under en antakelse om at de fem ikke hadde en eneste henvendelse.

Det er sjelden riktig. Oftest har de fem ikke levert tall, og da vet vi ikke hva de ville vist. Et ærlig gjennomsnitt oppgis derfor med antallet det bygger på, slik at leseren ser at fem kommuner mangler.

Før du endrer noe, skal du kartlegge. I et regneark kan du telle tomme celler per kolonne, eller sortere kolonnen slik at de tomme radene samles øverst. Skriv ned hvor mange rader som mangler, og hvilke. Dette er et enkelt skritt, men det er det som gjør at du senere kan forklare hva du gjorde.

Se deretter etter mønster. Mangler tallene tilfeldig, eller hører de sammen? Hvis alle tomme rader kommer fra de minste kommunene eller fra det første året, er ikke utvalget ditt lenger representativt. Da kan det være mer misvisende å regne på resten enn å si rett ut at bildet er ufullstendig.

Husk også at mangel noen ganger skjuler seg i andre former. Noen datasett bruker -1, 999 eller et strekmerke der andre bruker tomt felt. Les alltid dokumentasjonen som følger med datasettet, og sjekk om slike koder er forklart. Ellers kan 999 ende opp som et ekte tall i summen din.

• Tell tomme celler i hver kolonne
• Sorter for å se om radene som mangler hører sammen
• Let etter koder som 999, -1 og «n/a»

Når du vet hva som mangler, har du i hovedsak tre valg. Du kan la radene stå og regne bare på dem som har svar. Du kan fjerne radene helt fra analysen. Eller du kan erstatte verdien med et anslag, for eksempel et gjennomsnitt. Alle tre er lovlige, men de har ulik pris.

Å regne på dem som har svar er oftest tryggest for en nybegynner, så lenge du sier hvor mange det gjelder. Å fjerne rader gir et mindre datasett, og kan skjule at det er en bestemt gruppe som faller ut. Å fylle inn et anslag er det mest inngripende: du lager tall som ingen har målt, og det bør nesten aldri skje uten at det står tydelig i teksten.

I kurset anbefaler jeg derfor en grunnregel: velg den løsningen som endrer datasettet minst, og skriv ned valget. Da kan en annen følge sporene dine og komme til samme resultat.

Det som skiller en ryddig analyse fra en uryddig, er sjelden verktøyet. Det er om du kan svare på spørsmålet «hva gjorde du med de tomme radene?» to uker senere. Jeg ber deltakerne føre en enkel loggfane i samme regneark, med tre kolonner: hva som ble endret, hvorfor, og hvor mange rader det gjaldt.

Det tar kort tid, og det gir to gevinster. Du ser selv om du har gjort mer enn du hadde tenkt, og en redaktør eller kollega kan kontrollere valgene dine uten å gjette. Etterprøvbarhet er ikke et pent ord for kursbrosjyren hos oss, det er en arbeidsvane.

Behold alltid originalfilen urørt, og gjør rensingen i en kopi. Hvis noe går galt, har du fortsatt utgangspunktet, og du kan vise leseren hva som var rådata og hva som er bearbeidet.

• Behold originalfilen uendret
• Arbeid i en kopi med egen loggfane
• Skriv hvor mange rader hver endring berørte

Til slutt må det som er gjort, nå frem til leseren. Skriv i klartekst hvor mange enheter analysen bygger på, og hvor mange som mangler. En setning som «tall fra femten av tjue kommuner» gir leseren mer å stole på enn et pent gjennomsnitt uten forbehold.

Unngå også å trekke konklusjoner om dem som ikke svarte. Du vet ikke om de er like de andre. Hold deg til det datasettet faktisk viser, og si fra der bildet er ufullstendig. Det gjør teksten noe mindre skarp, men den tåler gransking bedre.

Dette er også kjernen i det vi kaller nøkternhet: ikke strekke tallene lenger enn de rekker. Manglende verdier er ikke en skjønnhetsfeil du skjuler, men en opplysning som hører hjemme i saken.