Telenors rapport til Post- og Teletilsynet viser at eget forsøk på feilretting av et problem i mobildatanettet slo ut nesten hele mobilnettet både for tale og sms i rundt 12 timer fra 13-tiden sist fredag.
Telenorsjef Jon Fredrik Baksaas var den første til å ta ordet og beklage problemene da telefonoperatøren arrangerte pressekonferanse torsdag formiddag.
- Det er mye å beklage for en teleopratør som ender i den situasjonen, startet Baksaas.
Han vil ikke gå med på at det var amatørmessige årsaker til feilen på fredag.
- Jeg tror ikke amatørmessig er det rette ordet her. Men i lyset av at en retting førte til disse konsekvensen, må vi ta inn over oss de sammenhengene som ikke skulle skje, likevel skjedde. Det har vi nå kommet til bunns i, forklarte Baksaas og forsikret at selskapet nå har lagt opp rutiner og sammenheng slik at man skal slippe tilsvarende feil i fremtiden.
Les også: Baksaas beklager
- Det skal ikke kunne skje, det som skjedde, sa direktør for drift og utbygging Ingrid Lorange da hun orienterte det fremmøtte pressekorpset på Fornebu torsdag formiddag. Hun forklarte at selskapet forsøkte å reparere en innrapportert feil i den mobile datatrafikken. Det skulle i seg selv være en enkel operasjon.
Tok ned node, skapte kaoset
- Det skulle rettes med en gang. Vi har gjort det samme før uten store konsekvenser for mobilnettet, fortalte hun. En retting som normalt tar ti minutter utviklet seg i stedet til et mareritt og et mobilnett som for mange opplevdes som utilgjengelig i ett halvt døgn.
"Rett etter denne omstarten oppstod imidlertid problemer med mobiltrafikken i store deler av landet. Telenors overvåkingssystemer viste at trafikken mellom servere i mobilnettet økte langt utover normalt nivå", skriver Telenor i sin rapport til Post- og teletilsynet.
Etterhvert økte den interne trafikken mellom serverne til et så stort nivå at såkalte noder som er skalert for å kunne ta over for hverandre når andre er nede, ikke lenger klarte dette, og heller fungerte som regelrette propper i systemet. Telenor skjønte etter rundt 15 minutter at dette ville være en vanskelig sak å rette.
- Under feilsøkingen fikk vi indikasjoner på at den kontrollerte omstarten av serveren for mobilt bredbånd kunne ha utløst problemene, men det var uklart hvordan dette kunne påvirke taletrafikken. Det er ikke normalt at en omstart skaper så stor signaleringstrafikk mellom serverne i nettet som det vi opplevde på fredag. Signaleringstrafikken skapte også forstyrrelser på flere enheter i nettet, og det var derfor vanskelig og tidkrevende å lokalisere feilårsaken og rette opp feilen, sier Ragnar Kårhus som er administrende direktør for Telenor Norge i en pressemelding.
Eget krisenett falt ut
Så stor var krisen for Telenor at selskapets eget krisenett falt ut.
Klokken 14 fredag ettermiddag iverksatte Telenor kriseledelse som i tråd med prosedyrene ledet av Kårhus.
- Vi skal være de første til å innrømme at vi i en krisesituasjon har gjort oss avhengig av mobile kommunikasjonsløsninger, sa Kårhus, som minnet om at det er fastnettet og ikke mobilnettet som skal være folks nødnett.
For å unngå at lignende problemer i fremtiden skal få like store dimensjoner har Telenor innført en rekke tiltak. Selskapet har økt kapasiteten i det eksisterende nettet så mye som mulig, samtidig som selskapet har lagt inn en beskyttelsesmekanisme som gjør at nodene ved en fremtidig overbelastning skal slippe gjennoom litt trafikk av gangen, og ikke bare fungere som en sperre.
- Tidlligere har serverne klart det av seg selv, uten at kundene har merket det som annet enn helt normale forsinkelser i trafikken.
Når Telenor nå har levert det de mener er en fullstendig forkl#229 til Post- og teletilsynet, frykter de ikke tilsynets respons.
- Det er ingen grunn til at det skal få negative reaksjoner. Det er vi relativt trygge på. Vi har hatt nær dialog gjennom hendelsesforløpet og gitt detaljert informasjon. Nå vil vi gå inn i ytterligere dialog om hvordan vi kan bidra til å sørge for at vi og andre aktører ikke kommer i en tilsvarende situasjon i fremtiden.
Se video/animasjon over artikkelen som viser hva som teknisk gikk galt.
Les også:
Baksaas beklager
- Konkurrentene kunne reddet Telenor
Mye å beklage. Se videointervju med Jon Fredrik Baksaas:(Vilkår)Copyright Dagens Næringsliv AS og/eller våre leverandører. Vi vil gjerne at du deler våre saker ved bruk av lenke, som leder direkte til våre sider. Kopiering eller annen form for bruk av hele eller deler av innholdet, kan kun skje etter skriftlig tillatelse eller som tillatt ved lov. For ytterligere vilkår se her.