image

AT&T had netwerkaanpassing achter grote telefoonstoring niet goed getest

woensdag 24 juli 2024, 13:55 door Redactie, 4 reacties

Telecomgigant AT&T had een netwerkaanpassing die het eerder dit jaar doorvoerde en leidde tot een grote telefoonstoring niet goed getest, zo oordeelt de Amerikaanse toezichthouder FCC (pdf). De storing raakte 125 miljoen telefoons, die twaalf uur lang niet konden bellen. In totaal mislukte door de storing 92 miljoen telefoongesprekken en lukte het klanten 25.000 keer niet om hulpdienst 911 te bellen.

Op 22 februari van dit jaar voerde AT&T een netwerkaanpassing door. Deze aanpassing bevatte echter een configuratiefout. Drie minuten nadat de aanpassing was doorgevoerd leidde dit tot een landelijke storing in heel de Verenigde Staten. Vanwege de configuratiefout schakelde het netwerk de 'Protection Mode' in, om gevolgen voor andere diensten te beperken. Dit zorgde ervoor dat de verbinding van alle telefoons op het netwerk werd verbroken. Hierdoor konden alle klanten niet meer bellen of gebruik van 5G-data maken.

Het terugdraaien van de netwerkaanpassing duurde twee uur. Herstel van de dienstverlening nam minimaal twaalf uur in beslag, omdat de registratiesystemen overbelast raakten door het grote aantal telefoons dat zich opnieuw op het netwerk wilde registreren. Volgens de FCC hebben verschillende zaken bijgedragen aan de schaal en duur van de storing (pdf).

Het gaat dan om de configuratiefout, interne procedures, een gebrek aan peer review, het niet goed testen na installatie, inadequate testprocedures vooraf, onvoldoende veiligheidswaarborgen en controls om aanpassingen aan het kernnetwerk goed te keuren, een gebrek aan controls om de gevolgen van de storing te verhelpen toen die zich voordeed en verschillende systeemproblemen die ervoor zorgden dat de storing langer duurde nadat de configuratiefout was opgelost.

Fout door medewerker

"De directe oorzaak van de storing was een fout door een medewerker die een enkel netwerkonderdeel verkeerd configureerde, wat ervoor zorgde dat het netwerk in Protection Mode ging en alle telefoons loskoppelde", aldus de FCC in het onderzoeksrapport. Volgens de toezichthouder had adequate peer review moeten voorkomen dat de netwerkaanpassing was goedgekeurd en uiteindelijk op het netwerk werd doorgevoerd. Deze peer review vond niet plaats.

Volgens de FCC laat het onderzoek zien hoe belangrijk het is dat telecomproviders en netwerkbeheerders hun interne procedures en best practices volgen als ze netwerkaanpassingen doorvoeren en voldoende netwerkcontroles implementeren om configuratiefouten te voorkomen, zodat ze niet een heel netwerk kunnen platleggen. Daarnaast moeten er systemen en procedures aanwezig zijn met voldoende capaciteit om snel van grootschalige storingen te kunnen herstellen.

AT&T zegt dat het maatregelen heeft doorgevoerd om herhaling te voorkomen. Er wordt nu gekeken of de telecomprovider regels van de FCC heeft overtreden. Mocht dat zo zijn geweest kan het bedrijf bestraft worden.

Image

Reacties (4)
24-07-2024, 22:49 door Anoniem
Het lijkt een voorbode van CrowdStrike! De onvolwassenheid van software en product ontwikkelaars.
25-07-2024, 16:55 door Anoniem
Door Anoniem: Het lijkt een voorbode van CrowdStrike! De onvolwassenheid van software en product ontwikkelaars.
AT&T heeft de goed ontwikkelaars (Bell labs/Lucent) al heel lang de laan uitgestuurd.
25-07-2024, 20:25 door karma4
Door Anoniem: Het lijkt een voorbode van CrowdStrike! De onvolwassenheid van software en product ontwikkelaars.
Eens, in dit geval 128 miljoen apparaten, je zult er maar van afhankelijk zijn om te betalen of ergens doorheen te komen.
25-07-2024, 21:01 door Anoniem
Door Anoniem:
Door Anoniem: Het lijkt een voorbode van CrowdStrike! De onvolwassenheid van software en product ontwikkelaars.
AT&T heeft de goed ontwikkelaars (Bell labs/Lucent) al heel lang de laan uitgestuurd.

Dit had niks met development te maken, maar alles met operationeel beheer.
Reageren
Ondersteunde bbcodes
Bold: [b]bold text[/b]
Italic: [i]italic text[/i]
Underline: [u]underlined text[/u]
Quote: [quote]quoted text[/quote]
URL: [url]https://www.security.nl[/url]
Config: [config]config text[/config]
Code: [code]code text[/code]

Je bent niet en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.