I 2015 fortalte jeg i denne spalten om effekten av såkalte dialogmøter for sykmeldte. På dette møtet, som typisk avholdes når sykemeldingen har vart oppunder et halvt år, møtes den sykmeldte, arbeidsgiveren, legen og Nav. Målet er å forsøke å legge til rette for at den sykmeldte kan komme tilbake i arbeid.

For å evaluere effekter benyttet vi oss av detaljerte individdata for sykemeldinger og avholdte dialogmøter. Vi hadde ikke tilgang til noe randomisert forsøk, og vi hadde heller ikke data for innkallinger til møter. Vi fant derimot store geografiske forskjeller i hvor ofte sykmeldte ble innkalt til møte, avhengig av hvor lenge en hadde vært sykmeldt og hvilket fylke en bodde i. Dette ble så matet inn i en statistisk modell for å estimere effekter av slike møter.

Funnene var interessante: Sykmeldte returnerte oftere til jobb, både om lag tre uker før møtet (trolig) skulle avholdes, og i en periode etter møtet, noe vi tolket som en «innkallingseffekt» og en «deltagereffekt». Totalt fant vi at hvert avholdte møte reduserte tiden til friskmelding med rundt ti dager. Studien ble publisert i tidsskriftet Economic Journal – et svært godt tidsskrift.

Kronikken jeg skrev den gangen hadde tittelen «Frisk av et brev» – og fokuserte særlig på at innkallingen til møte så ut til å gi sykmeldte et «dult» for å komme tilbake til jobb.

Etter dette gikk vi i samarbeid med Nav for å gjennomføre et stort, randomisert forsøk med dialogmøter. Hensikten var å finne ut om møtene burde fremskyndes.

Forsøket gikk ut på at når sykmeldte hadde vært borte fra jobb i åtte uker, trakk NAV-ansatte ved et knippe NAV-kontor lodd som tilfeldig plasserte disse i ulike grupper som fikk møter og innkalling på ulike tidspunkt. Det var også én gruppe som fikk et brev hvor det sto at de ikke ble innkalt til møte, men at de kunne ta kontakt og be om et slikt møte dersom de ønsket det. Totalt ble i overkant av 10 000 sykmeldte fordelt på denne måten.

Før forsøket skrev vi en pre-analyseplan hvor vi detaljert beskrev hvordan vi ønsket å evaluere forsøket. Denne la vi ut på nettet før vi overhodet hadde tilgang til data. Hensikten var å unngå at vi som forskere leter og graver i data etter de effektene vi kanskje tror er der.

Da vi omsider fikk oversendt data og gjennomført analysene, fikk vi oss en overraskelse. Vi fant ingen effekter (!), hverken av innkalling eller avholdt møte, uavhengig av om møtet var tidlig eller sent i sykemeldingsperioden.

Hvordan er det mulig at vi først finner effekter, og deretter ikke? Det er mange mulige forklaringer, og vi vet ikke svaret. Den første studien benyttet ikke variasjon fra et virkelig eksperiment, og det kan være andre forhold som har lurt forskerne (oss) til å tro at det er en effekt av slike møter som ikke er reell. Studien var heller ikke pre-registrert, slik at forskerne (altså vi) kan ha latt oss styre av funn i data og bidratt til en slags selvforsterkende leting etter statistiske sammenhenger.

Det kan kanskje virke rart å skrive «kan»? Jeg var jo med på dette og burde vite hva vi gjorde, men slik leting kan være ganske subtil og ubevisst. Jeg har inntrykk av at bevisstheten rundt dette, og de fallgruvene det innebærer, har vært økende de siste årene. I hvert fall har den det for min egen del.

Men det kan også hende at funnene i den første studien var riktige. Selv om vi i eksperimentet ikke finner noen effekter, kan vi dessverre heller ikke avvise at slike effekter finnes – til det er usikkerheten for stor. Vi vet derfor ikke.

Til tross for denne usikkerheten tror jeg det er noe å lære fra dette. Langt oftere burde det gjøres denne typen randomiserte forsøk, og all ære til Nav som var villige til å prøve. Trolig burde også såkalte pre-registreringer benyttes langt oftere, også for å bevisstgjøre oss forskere på problemene som kan oppstå når vi leter i data etter sammenhenger. Løsningen er ikke nødvendigvis å slutte med slik leting, men i stedet være tydeligere på om funnene stammer fra slik leting, med dertil høyere usikkerhet, eller om de kommer fra et mer stringent og forhåndsdefinert forskningsdesign, og derfor bør tillegges mer vekt.

Vi sendte, naturlig nok, også den nye studien til Economic Journal, siden de publiserte den første, men de var ikke interessert. Etter flere forsøk ble den i vinter publisert i Journal of Health Economics, også det et godt tidsskrift, men klart lavere rangert.

Men det kan også hende at funnene i den første studien var riktige

(Vilkår)Copyright Dagens Næringsliv AS og/eller våre leverandører. Vi vil gjerne at du deler våre saker ved bruk av lenke, som leder direkte til våre sider. Kopiering eller annen form for bruk av hele eller deler av innholdet, kan kun skje etter skriftlig tillatelse eller som tillatt ved lov. For ytterligere vilkår se her.