Telecomgigant AT&T had een netwerkaanpassing die het eerder dit jaar doorvoerde en leidde tot een grote telefoonstoring niet goed getest, zo oordeelt de Amerikaanse toezichthouder FCC (pdf). De storing raakte 125 miljoen telefoons, die twaalf uur lang niet konden bellen. In totaal mislukte door de storing 92 miljoen telefoongesprekken en lukte het klanten 25.000 keer niet om hulpdienst 911 te bellen.

Op 22 februari van dit jaar voerde AT&T een netwerkaanpassing door. Deze aanpassing bevatte echter een configuratiefout. Drie minuten nadat de aanpassing was doorgevoerd leidde dit tot een landelijke storing in heel de Verenigde Staten. Vanwege de configuratiefout schakelde het netwerk de 'Protection Mode' in, om gevolgen voor andere diensten te beperken. Dit zorgde ervoor dat de verbinding van alle telefoons op het netwerk werd verbroken. Hierdoor konden alle klanten niet meer bellen of gebruik van 5G-data maken.

Het terugdraaien van de netwerkaanpassing duurde twee uur. Herstel van de dienstverlening nam minimaal twaalf uur in beslag, omdat de registratiesystemen overbelast raakten door het grote aantal telefoons dat zich opnieuw op het netwerk wilde registreren. Volgens de FCC hebben verschillende zaken bijgedragen aan de schaal en duur van de storing (pdf).

Het gaat dan om de configuratiefout, interne procedures, een gebrek aan peer review, het niet goed testen na installatie, inadequate testprocedures vooraf, onvoldoende veiligheidswaarborgen en controls om aanpassingen aan het kernnetwerk goed te keuren, een gebrek aan controls om de gevolgen van de storing te verhelpen toen die zich voordeed en verschillende systeemproblemen die ervoor zorgden dat de storing langer duurde nadat de configuratiefout was opgelost.

Fout door medewerker

"De directe oorzaak van de storing was een fout door een medewerker die een enkel netwerkonderdeel verkeerd configureerde, wat ervoor zorgde dat het netwerk in Protection Mode ging en alle telefoons loskoppelde", aldus de FCC in het onderzoeksrapport. Volgens de toezichthouder had adequate peer review moeten voorkomen dat de netwerkaanpassing was goedgekeurd en uiteindelijk op het netwerk werd doorgevoerd. Deze peer review vond niet plaats.

Volgens de FCC laat het onderzoek zien hoe belangrijk het is dat telecomproviders en netwerkbeheerders hun interne procedures en best practices volgen als ze netwerkaanpassingen doorvoeren en voldoende netwerkcontroles implementeren om configuratiefouten te voorkomen, zodat ze niet een heel netwerk kunnen platleggen. Daarnaast moeten er systemen en procedures aanwezig zijn met voldoende capaciteit om snel van grootschalige storingen te kunnen herstellen.

AT&T zegt dat het maatregelen heeft doorgevoerd om herhaling te voorkomen. Er wordt nu gekeken of de telecomprovider regels van de FCC heeft overtreden. Mocht dat zo zijn geweest kan het bedrijf bestraft worden.