/dev/null - Overig

Veel websites zijn onbereikbaar

22-07-2021, 18:18 door Anoniem, 21 reacties
Single point of failure?


Tientallen nationale en internationale websites ondervinden donderdagavond problemen. Sites van onder meer Albert Heijn en het AD, maar ook diensten van de Rabobank en ABN Amro lijken lastig bereikbaar.

Het gaat om websites van onder meer media, banken en organisaties. Ook sites van DPG Media lijken minder goed bereikbaar dan normaal, waaronder NU.nl, de Volkskrant en veel regionale titels. Verder kampen ook sites van Zalando, Funda en Airbnb met problemen.

Ook in het buitenland zijn websites niet of slecht te bereiken. De storing trekt onder meer FedEx, UPS en Delta Airlines. Ook zou het Amerikaanse alarmnummer 911 er grotendeels uitleggen langs de westkust.

Waardoor de storingen worden veroorzaakt, is op het moment nog niet duidelijk.
Reacties (21)
22-07-2021, 20:08 door Anoniem
ik ben benieuwd wat de schade is ook al was het een uur zoveel omzet zoveel bedrijven krijgen ze dat vergoed van Akamai?
22-07-2021, 20:15 door Anoniem
Vroeger had je een primary en secundary DNS (of zelfs 3 of meer) op VERSCHILLENDE netwerken.
Maar dat is niet meer hip, tegenwoordig gooi je het liefst al je eieren in 1 mandje.
22-07-2021, 20:29 door Anoniem
Door Anoniem: ik ben benieuwd wat de schade is ook al was het een uur zoveel omzet zoveel bedrijven krijgen ze dat vergoed van Akamai?

Vrijwel zeker niet wordt gevolgschade (gemiste omzet) niet vergoed .
Dat is nooit het geval - niet bij uitval van elektriciteit (of gas of water), niet bij uitval van telefonie of andere dataverbindingen .

Afhankelijk van de SLA kunnen er boetes zijn als die niet gehaald wordt, maar gederfde omzet zal niet te claimen zijn.
22-07-2021, 20:39 door Anoniem
Door Anoniem: ik ben benieuwd wat de schade is ook al was het een uur zoveel omzet zoveel bedrijven krijgen ze dat vergoed van Akamai?


in de VS wel daar daar klagen ze al aan als je een bananenschil in de bosjes gooit
22-07-2021, 20:45 door Anoniem
Door Anoniem: Single point of failure?

Daar leek het veel op. De oorzaak zou een storing bij Akamai zijn geweest, de grote CDN provider in de VS.

Tientallen nationale en internationale websites ondervinden donderdagavond problemen. Sites van onder meer Albert Heijn en het AD, maar ook diensten van de Rabobank en ABN Amro lijken lastig bereikbaar.

https://nos.nl/artikel/2390372-wereldwijde-storing-websites-voorbij-ook-nederlandse-sites-lagen-plat
22-07-2021, 21:06 door Anoniem
Door Anoniem: ik ben benieuwd wat de schade is ook al was het een uur zoveel omzet zoveel bedrijven krijgen ze dat vergoed van Akamai?
Nee, want dan was een CDN zo failliet. Zelfde voor veel (alle?).cloud providers. Misschien krijgen ze nog een deel van hun abonnement terug.
22-07-2021, 21:27 door Anoniem
DNS issues gaan nog eens voor veel ellende zorgen bij CDN's.
22-07-2021, 22:42 door Anoniem
Het betrof een Edge DNS hick-up.

Cloudflare, Fastly, Akamai & AWS.
Het is beangstigend hoe afhankelijk het Internet is geworden van deze vier providers.

Bestaat er al een plan B? Of krijgt WEF-professor, Klaus Schwab, straks toch weer gelijk.
Was dit het eerste plaagstootje?

#sockpuppet
22-07-2021, 23:02 door Anoniem
Door Anoniem: Vroeger had je een primary en secundary DNS (of zelfs 3 of meer) op VERSCHILLENDE netwerken.
Maar dat is niet meer hip, tegenwoordig gooi je het liefst al je eieren in 1 mandje.

Vroeger werden die primary en secondary DNS ook beheerd door één admin team - en als ze erg vooropliepen met scripten automatisch geupdate . (dwz - de primary - de secondary volgende gewoon met zonetransfers).

Dat ging vroeger ook wel mis - fout bij update - net als nu bij Akamai .

technisch redundant (twee stroom, twee servers, twee netwerken, twee locaties ) tegen simpele volledige uitval door een random technische storing van één component is de eerste en meest simpele stap in high availability .

Veel mensen van vroeger (en nu) denken dat ze daarmee helemaal klaar zijn en ze alles afgevangen hebben.
Nee - je hebt dan inderdaad wel veel , en de meest voorkomende problemen opgevangen - maar niet alles.
23-07-2021, 12:21 door Anoniem
Nederland lag gistermiddag even plat:

Het ging om websites van onder meer luchtvaartmaatschappijen, banken zoals ING, Rabobank en ABN, supermarkt Albert Heijn, de website van de Nederlandse politie en NS. Ook de Nederlandse media Trouw, de Volkskrant, NU.nl en AD waren onbereikbaar.

https://www.trouw.nl/nieuws/diverse-websites-waaronder-trouw-waren-wereldwijd-tijdelijk-onbereikbaar-door-storing~b9355549/


De gemene deler [...] is de afhankelijkheid van Akamai, een Amerikaans bedrijf dat websites juist sneller en stabieler moet maken. Rond 6 uur in de middag verschenen de eerste meldingen van problemen, rond kwart voor 7 waren ze grotendeels opgelost.

https://www.volkskrant.nl/nieuws-achtergrond/grote-internationale-internetstoring-treft-talloze-websites-ook-volkskrant-nl-lag-plat~b93ed2f5/


Een gratis tip voor de Nederlandse Spoorwegen, de politie, Schiphol, onze grootgrutters en de rest van het bedrijfsleven:

[...] vertrouwen op één partij voor de bezorging van je data is risicovol. Er is altijd kans dat CDN’s ‘plat gaan’ en niet zo snel weer in de lucht zijn. De beste manier om problemen te voorkomen is een tweede CDN als reserve achter de hand te houden.

https://www.nrc.nl/nieuws/2021/07/22/wereldwijd-talloze-sites-plat-waarom-verslikte-het-internet-zich-opnieuw-a4052068
23-07-2021, 12:29 door Anoniem
Of ze hebben er niet aan gedacht... of:

Ik vermoed, dat het een managementorisch/bedrijfsmatig probleem is en niet zo zeer technisch. Ik ga je ook gelijk uitleggen waar al die platgedrukte uitgezogen DISC en ITIL trainingen voor zijn. (Niet schrikken ik ben een penetratietester/techneut).

Mogelijke situatie:

IT-Person-A: Guys, we want to keep things online always, how can we do that?
IT-Person-B: Cloud?
IT-Person-A: Do we need anything else to keep things online always?
IT-Person-B: Multiple Cloud Networks hosting the same Website?
Manager-B: Is it in the best intrest of the company?
IT-Person-B: Yes
Manager-B: Is it in the best intrest of my position within the company?
IT-Person-B: No, the implemementation and budget risk are quite high. The techical aspect is also quite hard to roll-out. If anyone on the team fucks-up we are done.
Manager-B: Lets totally not do this project and lets forget the problem even existed before we stirr up a hornets nest or kill our budget.

Dit is voor mijn gevoel waarom 90% van de projecten en aanbestedingen niet aangenomen worden. Het is een Sales probleem (interne klanten en externe klanten). Je hebt risico nemers nodig in organisaties. Veel managers en overig personeel zien wel in dat iets in het goede belang van de organisatie ligt, maar gaan en willen zelf echt niet het risico lopen om het uit te voeren en grote fouten te maken met veel impact op het draaien van de organisatie.

In DISC/The four tempraments leer je dat je een persoon meerdere persoonlijkheids aspecten heeft jada jada lang verhaal.
De meeste mensen zijn echter vrij "een kleur" met daarbij een mix van andere kleurtjes.
Sommige mensen zijn echter vrij "blauw", sommige "rood" andere "geel" en of "groen".
- blauw: denkers, analytisch nee-zeggers (dat laatste is belangrijk, even onthouden)
- rood: doeners, ruling, risk-taking (dat laatste is belangrijk, even onthouden)
- geel: spiders, social-webbing (vormt connecties) (dat laatste is belangrijk, even onthouden)
- groen: stabiel, bewaart afstand en bekijkt, luisteren niet praten (dat laatste is belangrijk, even onthouden)

Naast de belangrijke technische kennis en het budget natuurlijk is het volgende in een project team belangrijk:
- Manager (Gelieve een rood persoon)
- Adviseur (Gelieve een blauw persoon)
- IT-Team (Geleive een mix van rood blauw groen geel)

Waarom?
Rood komt met plannen en durft project risico's te nemen (daarom noemen disc trainer suffies ze altijd pioneers)
Blauw durft te analyseren en kei hard nee te zeggen op "te risico volle plannen" (red calls the shot but has to listen very carefully to blue so it will not push the entire company over a "ledge").
IT-Team (maakt niet uit, je moet doeners en denkers hebben, het probleem is echter dat veel IT teams bestaan uit heel heel heel veel blauw, dat trekt het "technische beroep met code en configs" nou een maal aan. Dat zorgt er wel voor dat niemand meer dingen aan durft te raken, het bekende "ik ga echt niet aan dat AD poppetje zitten want dan gaat het straks stuk").

Je hoopt als organisatie dat deze "squad" of "cell" (ja ook ik ben een beetje groen, meer ik was heel jong en heb het weinig gezien) de benodigte risico's durft te nemen en projecten durft uit te voeren om het bedrijf te "redden/te laten varen" en daarin niet >teveel< risico neemt.

Als je organisatie veel met nummertjes werkt zoals de belastingdienst, dan zal je dit probleem ook veel tegenkomen. Nalatigheid word ergens door veroorzaakt, het is geen "start gedrag". tackle de oorzaak niet het gevolg. Je patched je bugs toch ook ipv elke keer de shells opnieuw van je servers af te werpen? lol.

Ik hoop dat het iets bijdraagt.
23-07-2021, 12:31 door Anoniem
Ach joh, BGP is al sinds 1997 stuk:

https://en.wikipedia.org/wiki/BGP_hijacking < CTRL + F 'Public incidents'

- RAMLETHAL
23-07-2021, 13:13 door Anoniem
Anoniem van 12:29,

Juist, lieve man, maar je bent en blijft "een roepende in de woestijn", want zo werkt dat tegenwoordig en eigelijk altijd al.
Bepaalde belangen laten niets anders toe. Come to live with it.

Zij die er verstand van hebben, doen er niet meer toe. Narigheid blokkeer je, maar je doet er verder niets mee.
Te duur, kost te veel tijd. Niemand ruimt het digitale moeras meer uit of men trekt op grote schaal voor ons de stekker eruit.

Voorbeeldje - quackbot infectie, historisch, domein.pk adres, slechts geblokkeerd door CloudFlare, nergens elders.
win32 malware. Blijft op die manier doorzeuren. Veelal is het kennis ervan nemen en doorgaan. (URLHaus etc.)

RAMLETHAL heeft ook gelijk met alles zowat in handen van Blackrock en Vanguard.
Dan is het een beetje vechten tegen de bierkaai. Resistence is futile, we will be assimilated.

luntrus (vrijwillig cold recon website security analyst en website error-hunter)
23-07-2021, 14:13 door Anoniem
alles in de cloud en 1 cdn wat kan er misgaan?
23-07-2021, 14:32 door Anoniem
Door Anoniem: Ik hoop dat het iets bijdraagt.

Ik moest er vreselijk <3 om lachen, want zo herkenbaar! Net als in de Dilbert strip :-)
23-07-2021, 15:20 door Anoniem
Het probleem zit hem vooral in wat partijen als Google eisen voor betere metric score. (lighthouse algorithme)
Host je een eigen Content Distribution Network (CDN) en nameservers maar wel in het zelfde land (andere provincies) dan wordt je op sparcity afgestraft omdat Google het enkel intereseert dat je global CDN hebt ja of nee. Wat voor heel veel partijen absoluut volstrekt nutteloos is.

Dus dan heb je twee keuzes als management of klanten een global CDN eisen. Of je gaat meerdere leveranciers aan dure losse hosting allemaal gezeik met andere wetgevingen en onderhoudstijden. Of je besteed het uit aan een van de grote providers als Cloudflare, Fastly, Akamai, AWS.

Wat men vergeet is dat je daarmee wel een CDN opzet maar nog steeds een single point of failure houdt want als de balancer niet meer werkt is het klaar en kun je als klant van een CDN enkel wachten of als je vreest dat het langer dan X uur duurt de CDN uit je DNSzone knikkeren en zelf weer hosten. Die kans is echter in de praktijk minimaal mits de provider redundancy weer op hun balancer heeft staan. Akamai heeft dat maar ja als je op je hele infra tegelijk een patch doorvoert dan als het mis gaat gaat het ook meteen goed mis. (Ik weet ook niet wie dit heeft goedgekeurd maar die gene heeft nu geen leuke tijd that is for sure)

Maar daarnaast privacy is ook in geding met deze constructies want het verkeer moet op een bepaald punt gedecrypt zijn voor de CDN om zijn caching functies te kunnen doen. Sure het wordt erna wel weer encrypted maar praktisch gezien hoe klein het risico ook is help je er je beveiliging mee om zeep.


Echter kosten winnen het bijna altijd van privacy. Ieder met enige ervaring in IT weet dat. En to there credit Akamai is een van de beste op dit gebied in tegenstelling van de waardeloze dienst genaamd Cloudflare. Dit is de eerste echte FUBAR actie die ik ze heb zien doen.

Dus tja als je de resources hebt zet je eigen CDN en nameserver clusters op. Als je enkel in Benelux bezoekers verwacht kun je sparcity laag houden door 1 a 2 andere datacenters te kiezen uit andere provincies. Zit je op europees niveau kun je bijvoorbeeld Frankrijk en Duitsland pakken maar global dan heb je weinig keus of je moet 20+ providers gaan gebruiken en dat krijgt bijna niemand verantwoord in zijn haar IT budget vergeleken met de big four eerder genoemd.

We zullen het ermee moeten doen helaas en ja dit blijft een risico in de toekomst maar het zelfde kan ook gezegd worden over DNS in algemeen. We blijven maar plakbandjes plakken op bepaalde stukken het wordt hoogtijd dat er een volwaardige vervanger komt waar gewoon rekening is gehouden met alle moderne eisen. Het is een onnodig complex iets met allemaal eigen regeltjes per record type. We zitten nu wat op 44 record types?
23-07-2021, 16:45 door Anoniem
Door Anoniem: Anoniem van 12:29,

Juist, lieve man, maar je bent en blijft "een roepende in de woestijn", want zo werkt dat tegenwoordig en eigelijk altijd al.
Bepaalde belangen laten niets anders toe. Come to live with it.

Zij die er verstand van hebben, doen er niet meer toe. Narigheid blokkeer je, maar je doet er verder niets mee.
Te duur, kost te veel tijd. Niemand ruimt het digitale moeras meer uit of men trekt op grote schaal voor ons de stekker eruit.

Voorbeeldje - quackbot infectie, historisch, domein.pk adres, slechts geblokkeerd door CloudFlare, nergens elders.
win32 malware. Blijft op die manier doorzeuren. Veelal is het kennis ervan nemen en doorgaan. (URLHaus etc.)

RAMLETHAL heeft ook gelijk met alles zowat in handen van Blackrock en Vanguard.
Dan is het een beetje vechten tegen de bierkaai. Resistence is futile, we will be assimilated.

luntrus (vrijwillig cold recon website security analyst en website error-hunter)
Droplets in the desert referentie? Doet me goed :p. Ben nog wel echt een puppy/noob.
23-07-2021, 17:03 door Anoniem
Door Anoniem: Anoniem van 12:29,

Juist, lieve man, maar je bent en blijft "een roepende in de woestijn", want zo werkt dat tegenwoordig en eigelijk altijd al.
Bepaalde belangen laten niets anders toe. Come to live with it.

Zij die er verstand van hebben, doen er niet meer toe. Narigheid blokkeer je, maar je doet er verder niets mee.
Te duur, kost te veel tijd. Niemand ruimt het digitale moeras meer uit of men trekt op grote schaal voor ons de stekker eruit.

Voorbeeldje - quackbot infectie, historisch, domein.pk adres, slechts geblokkeerd door CloudFlare, nergens elders.
win32 malware. Blijft op die manier doorzeuren. Veelal is het kennis ervan nemen en doorgaan. (URLHaus etc.)

RAMLETHAL heeft ook gelijk met alles zowat in handen van Blackrock en Vanguard.
Dan is het een beetje vechten tegen de bierkaai. Resistence is futile, we will be assimilated.

luntrus (vrijwillig cold recon website security analyst en website error-hunter)
Ik was er niet over begonnen, en geopolitiek trekt niet echt mijn "ziel". Maar de hoofdstrategie van de US is wel dat iedereen afhankelijk van ze is en moet zijn. Daarom vinden/vonden ze Israel zo leuk. Als Amerika faalt dan maakt het ook niet uit voor ze, want iedereen is dan afhankelijk van ze.

Probeer maar te werken zonder amerikaanse software, van MFA, OS, Netwerk apparatuur en Antivirus Software of externe. Maar ho maar als de gemeentes russische AV's draaiden of chineze netwerk apparatuur. Ik ben zeker niet anti US, maar besef wel dat ze de overhand hebben. Ook heb ik oprecht, echt oprecht een bloedhekel aan mensen die een bias/vooroordeel trekken naar bepaalde landen of bevolkings groepen. Als ik nog een keer iemand hoor roepen dat "gewoon een" russisch IP duid naar een russische statelijke actor, dan! dan! niet zo veel maar ja.

Verder gaat alles wel vrij goed in het land lijkt me. Alles lijkt op het oog vrij stabiel. Maarja wat weet ik lol
24-07-2021, 12:34 door Anoniem
Door Anoniem: alles in de cloud en 1 cdn wat kan er misgaan?
Alles in meerdere clouds en cdn's, wat kan er mis gaan? Alles is ineens veel complexer geworden.
24-07-2021, 12:38 door Anoniem
Door Anoniem: Nederland lag gistermiddag even plat:

Het ging om websites van onder meer luchtvaartmaatschappijen, banken zoals ING, Rabobank en ABN, supermarkt Albert Heijn, de website van de Nederlandse politie en NS. Ook de Nederlandse media Trouw, de Volkskrant, NU.nl en AD waren onbereikbaar.

https://www.trouw.nl/nieuws/diverse-websites-waaronder-trouw-waren-wereldwijd-tijdelijk-onbereikbaar-door-storing~b9355549/


De gemene deler [...] is de afhankelijkheid van Akamai, een Amerikaans bedrijf dat websites juist sneller en stabieler moet maken. Rond 6 uur in de middag verschenen de eerste meldingen van problemen, rond kwart voor 7 waren ze grotendeels opgelost.

https://www.volkskrant.nl/nieuws-achtergrond/grote-internationale-internetstoring-treft-talloze-websites-ook-volkskrant-nl-lag-plat~b93ed2f5/


Een gratis tip voor de Nederlandse Spoorwegen, de politie, Schiphol, onze grootgrutters en de rest van het bedrijfsleven:

[...] vertrouwen op één partij voor de bezorging van je data is risicovol. Er is altijd kans dat CDN’s ‘plat gaan’ en niet zo snel weer in de lucht zijn. De beste manier om problemen te voorkomen is een tweede CDN als reserve achter de hand te houden.

https://www.nrc.nl/nieuws/2021/07/22/wereldwijd-talloze-sites-plat-waarom-verslikte-het-internet-zich-opnieuw-a4052068
En er is altijd een kans bij meerdere CDN's dat er juist meer storingen optreden, omdat het net toch niet zo goed samen werkte allemaal.
Er is altijd een kans, dat indien het nodig is, je failover net toch niet helemaal goed werkt.

Meerdere infra's naast elkaar laten werken, is alleen maar extra complexiteit, en meer kans op storingen.
25-07-2021, 12:02 door Anoniem
Dat heb je nu eenmaal als je afhangkelijk word van een éénheids worst.
Veel websites gaan ook onderuit als google even niet werkt , gewoon het ontbreken van een google sessieid is voldoende.
Als elk zelfrespecterende programmeur zijn job zou doen .
Het grijpten naar snelle winsten met name angular (snel inelkaar geknutselt maar daar stop het ook ,niets deftig afgewerkt)
Ze versturen zoveel data dat men mogelijks weet wat jij tussen je boterham smeert maar als jij zelf één instelling maakt is het te moeilijk die bij te houden.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.