image

C2000-systeem hulpdiensten opnieuw door grote storing niet beschikbaar

dinsdag 13 juni 2023, 14:09 door Redactie, 23 reacties

Het C2000-communicatiesysteem waar politie, brandweer en ambulance gebruik van maken kampte afgelopen nacht opnieuw met een grote landelijke storing waardoor het urenlang niet beschikbaar was. Dat meldt politievakbond ACP op Twitter. "Hoe hard de techneuten er ook aan werken, C2000 liet hulpverleners vannacht weer in de steek. Het is en blijft onbetrouwbaar en ook levensgevaarlijk. Langdurige storing en een back-up systeem wat ook niet 100 procent functioneerde. Het is ongekend", aldus woordvoerder Maarten Brink.

De storing begon maandagavond om 23.50 uur en was vanochtend rond 03.00 uur verholpen. Een woordvoerder van het ministerie laat aan de NOS weten dat het om een netwerkprobleem ging, waardoor de meldkamers niet meer met de apparatuur van hulpverleners ter plaatse konden communiceren. Daarop besloten centralisten in de meldkamers over te schakelen op mobilofoons en portofoons.

Volgens ACP-voorzitter Wim Groeneweg is de maat "al lang meer dan vol" als het om C2000 gaat, zo laat hij tegenover Hart van Nederland weten. "Als het erop aankomt en je hebt geen verbinding, kunnen levensgevaarlijke situaties ontstaan." Vorige maand kreeg C2000 ook al met een grote storing te maken. Bij meerdere zaken waarbij de politie de afgelopen tijd werd ingezet, waaronder een recente klopjacht op overvallers en Paaspop, haperde het systeem. Er wordt al lange tijd over een vervangend systeem gesproken, maar dat is nog niet ontwikkeld. Begin mei waarschuwden de politiebonden dat onder andere omvormers van zonnepanelen voor C2000-storingen zorgen.

Reacties (23)
13-06-2023, 14:20 door Anoniem
Sja, de omvormers (zonnepanelen) draaien op volle toeren hahaha! Wij hebben daar al 20 jaar last van. Maar nu de overheid er zelf last van heeft, beginnen ze te mekkeren. Grappig. Zou er dan nu wat aan gedaan gaan worden? EINDELIJK? Nu het allemaal veel te laat is?

Greetings, PE5I
13-06-2023, 14:23 door Anoniem
Het lijkt wel of men het er om doet om zo snel mogelijk wat nieuws te krijgen...
13-06-2023, 14:46 door _R0N_
Een woordvoerder van het ministerie laat aan de NOS weten dat het om een netwerkprobleem ging, waardoor de meldkamers niet meer met de apparatuur van hulpverleners ter plaatse konden communiceren. Daarop besloten centralisten in de meldkamers over te schakelen op mobilofoons en portofoons.

Goh iets wat we als zendamateurs al jaren roepen, het eerste wat uitvalt zijn fysieke netwerken, draadloze communicatie is dan van belang.
13-06-2023, 14:56 door Anoniem
Daarop besloten centralisten in de meldkamers over te schakelen op mobilofoons en portofoons.
Verbaast me wel dat de huidige voertuigen nog voorzien zijn van mobilofoons... betekent dit dat het oude netwerk
gewoon nog in de lucht is of kan worden gezet?
Ik had eerder verwacht dat men zou uitwijken naar mobieltjes, bijvoorbeeld met een push-to-talk app.
13-06-2023, 15:14 door Anoniem
Door Anoniem: Sja, de omvormers (zonnepanelen) draaien op volle toeren hahaha! Wij hebben daar al 20 jaar last van. Maar nu de overheid er zelf last van heeft, beginnen ze te mekkeren. Grappig. Zou er dan nu wat aan gedaan gaan worden? EINDELIJK? Nu het allemaal veel te laat is?

Greetings, PE5I

Maar op het moment van de storing (23:50) schijnt de zon niet meer. Wel heel makkelijk om zonnepanelen de schuld te geven.
13-06-2023, 15:16 door Anoniem
Door Anoniem: Sja, de omvormers (zonnepanelen) draaien op volle toeren hahaha!
's Nachts?
De storing begon maandagavond om 23.50 uur en was vanochtend rond 03.00 uur verholpen.
13-06-2023, 15:18 door Anoniem
Door Anoniem: Sja, de omvormers (zonnepanelen) draaien op volle toeren hahaha! Wij hebben daar al 20 jaar last van. Maar nu de overheid er zelf last van heeft, beginnen ze te mekkeren. Grappig. Zou er dan nu wat aan gedaan gaan worden? EINDELIJK? Nu het allemaal veel te laat is?

Greetings, PE5I

Natuurlijk - storing midden in de NACHT heeft vast te maken omvormers op ZONNEpanelen.
En landelijke storing is ook een raar gevolg van 'omvormer stoort op nabije zender' .

Ik dacht dat zendamateurs zichzelf graag zagen als mensen met wat technisch inzicht en logica ...

Het zal best dat er wat te vinden is van radiostoring van omvormers, maar deze storing kun je daar m.i. echt niet aan koppelen.
13-06-2023, 15:34 door Anoniem
Door Anoniem: SWij hebben daar al 20 jaar last vanI

Wie/wat is wij?
13-06-2023, 16:07 door Anoniem
Het is wel toeval dat er een landelijke storig is van C2000 en dat zou dan gecorreleerd zijn aan zonnepanelen omvormers. Alsof die omvormers eergisteren niet werkten.

Ik denk eerder, als iets overal tegelijk uitvalt, dan is het waarschijnlijk een verkeer uitgevoerde software patch (niet getest?). Zoalsn ING 10 jaar geleden nog wel eens durfde te bekennen toen half NL qua pinnen er uit lag. Nu doen ze dat niet meer.
13-06-2023, 16:45 door Anoniem
Tegen de tijd dat C2000 opgevolgd wordt is de millennium bug (Y2K) er wel uitgehaald ...

Het onderliggende netwerk is van Defensie en is al veel ouder dan C2K ...
13-06-2023, 17:22 door _R0N_
Door Anoniem: Sja, de omvormers (zonnepanelen) draaien op volle toeren hahaha! Wij hebben daar al 20 jaar last van. Maar nu de overheid er zelf last van heeft, beginnen ze te mekkeren. Grappig. Zou er dan nu wat aan gedaan gaan worden? EINDELIJK? Nu het allemaal veel te laat is?

Greetings, PE5I

Daar heb je om dat tijdstip weinig last van. Het zijn trouwens niet de omvormers maar de optimizers waar je last van hebt.
13-06-2023, 17:32 door spatieman
om het C2000 plat te leggen heb je echt niet veel voor nodig...
13-06-2023, 17:48 door ShaWormHa
Tis wel kwalijk dat dit nu al voor een 2e keer voorkomt.

Heeft iemand hier ook wat inside kennis? Wat is nou de impact als zon systeem niet draait.
Betekend dat dat hulpdiensten niet aangestuurd kunnen worden in zon periode van storing? En houd dat dat in dat er zelfs doden kunnen vallen omdat er niet geholpen kon worden?

Dan wordt het eigenlijk alleen maar kwalijker, en waar licht de verantwoordelijkheid dan?
13-06-2023, 17:58 door Anoniem
Door ShaWormHa: Tis wel kwalijk dat dit nu al voor een 2e keer voorkomt.

Heeft iemand hier ook wat inside kennis? Wat is nou de impact als zon systeem niet draait.

Is net als met die trein storing van afgelopen week. Het beste wat je nog kunt horen is "er was een onderdeel defect"
maar wat dat precies voor onderdeel is dat gaan ze niet zeggen, want als ze zeggen "het was een switch" (of router
ofzo) dan lopen hier de mensen elkaar omver die weten dat je dit had kunnen voorkomen met een redundante oplossing.
En het is natuurlijk niet de bedoeling dat men zichzelf als een stel prutsers kwalificeert.

Aan de andere kant wel goed dat zelfbedachte in-house oplossingen net zo goed plat kunnen gaan als dat men stelt
van externe oplossingen zoals het mobiele netwerk. Dan hoeft men die bij de volgende ronde niet meteen af te
serveren als "maar dat kan fout gaan".
13-06-2023, 20:19 door Anoniem
Door _R0N_:
Door Anoniem: Sja, de omvormers (zonnepanelen) draaien op volle toeren hahaha! Wij hebben daar al 20 jaar last van. Maar nu de overheid er zelf last van heeft, beginnen ze te mekkeren. Grappig. Zou er dan nu wat aan gedaan gaan worden? EINDELIJK? Nu het allemaal veel te laat is?

Greetings, PE5I

Daar heb je om dat tijdstip weinig last van. Het zijn trouwens niet de omvormers maar de optimizers waar je last van hebt.

Weer wat geleerd. TnX!
13-06-2023, 20:54 door Anoniem
Door ShaWormHa: Tis wel kwalijk dat dit nu al voor een 2e keer voorkomt.

Heeft iemand hier ook wat inside kennis? Wat is nou de impact als zon systeem niet draait.
Betekend dat dat hulpdiensten niet aangestuurd kunnen worden in zon periode van storing? En houd dat dat in dat er zelfs doden kunnen vallen omdat er niet geholpen kon worden?

Dan wordt het eigenlijk alleen maar kwalijker, en waar licht de verantwoordelijkheid dan?

Ik zou het hele artikel voor je kunnen quoten, maar scroll even naar boven en lees het opnieuw.??

#obserwator
13-06-2023, 23:32 door Anoniem
Door Anoniem:
Door ShaWormHa: Tis wel kwalijk dat dit nu al voor een 2e keer voorkomt.

Heeft iemand hier ook wat inside kennis? Wat is nou de impact als zon systeem niet draait.

Is net als met die trein storing van afgelopen week. Het beste wat je nog kunt horen is "er was een onderdeel defect"
maar wat dat precies voor onderdeel is dat gaan ze niet zeggen, want als ze zeggen "het was een switch" (of router
ofzo) dan lopen hier de mensen elkaar omver die weten dat je dit had kunnen voorkomen met een redundante oplossing.
En het is natuurlijk niet de bedoeling dat men zichzelf als een stel prutsers kwalificeert.

Die beschrijving in de volkskrant had wat meer details.

Er was een SFP defect - alleen op een zodanige manier dat de link niet down ging , en de (aanwezige) redundantie was gebouwd op het idee dat een lijn down gaat als er een (lijn)storing is.

Dat is inderdaad technisch oplosbaar - allerlei protocollen mogelijk die verkeer sturen om end-to-end (of next hop) te zien of er wel tweeweg communicatie mogelijk is. (link aggegratie , ook met 1 link , bfd, stp , ospf , afhankelijk van het gekozen design) .

Er staan ook wat beschrijvingen bij die veel moeilijker oplosbaar zijn : de keuze om 'om te zwaaien' naar een andere verkeerspost duurt ca 4 uur, en gedurende die tijd is men blind . (en ik meen dat die keuze ook niet snel halverwege te stoppen is - oh nee, laat maar) .
Heel moeilijk dus wanneer je bij een storing besluit "dit duurt te lang om op te lossen, we gaan omzwaaien" .
Geen inzicht waarom het zo lang duurt - maar dat zal in een complexe omgeving niet snel om te bouwen zijn naar 'rapid failover' .

Wel iets dat verder zorgelijk is : omschrijving dat _alles_ bij elkaar liep te zoeken - netwerk engineers, systeem specialisten, database specialisten, applicatie specialisten etc .

Ik maak eruit op dat er heel veel silo's zijn - en blijkbaar _niemand_ die uit de serie van alarmen van allerlei systemen snel kon zien : de oorzaak is geen verkeer van A naar B dat via _dit pad_ door het netwerk loopt.
Als je dat eenmaal weet, is het vinden van het stuk netwerk waar het misloopt snel te doen .
(nog sneller wanneer je dat pad 'handmatig stuk maakt' zodat de redundantie wel gaat werken en verkeer het andere pad neemt . Dan kun je ondertussen zoeken naar de defecte link in het normale pad)
Zo'n organisatie met heel veel eilandjes die allemaal een klein stukje olifant zien , maar niemand die de samenhang overziet - dat is niet makkelijk te veranderen.
14-06-2023, 09:14 door Anoniem
C2000 was toch opgezet door de vvd...ivo opstellen minister van veiligheid????.weer een miskleun van vvd met rutte
Die het door duwden nu nog steeds anno 2023
14-06-2023, 09:48 door Anoniem
C2000: het voorbeeld van hoe het niet moet!!!
14-06-2023, 10:18 door Anoniem
Door Anoniem:
Door ShaWormHa: Heeft iemand hier ook wat inside kennis?

Is net als met die treinstoring van afgelopen week. Het beste wat je nog kunt horen is "er was een onderdeel defect" maar wat dat precies voor onderdeel is dat gaan ze niet zeggen [...]

Het betrof dit ene defecte hardware-onderdeeltje in het systeem voor de bediening van seinen en wissels [foto]

https://www.volkskrant.nl/nieuws-achtergrond/door-dit-kleine-koppelstukje-stonden-zondag-alle-treinen-stil~b3a471c9/

Het is een klein, metaalkleurig object dat verdacht veel lijkt op een usb-stick. Het defecte exemplaar ligt in Utrecht voor nader onderzoek. Boersma wijst naar het stukje hardware: ‘Het was niet zo dat er een hele server in de fik stond, het was een klein dingetje. Doorgaans krijg je een melding als dat kapotgaat.'

Volkskrant interview met ICT-directeur Arjen Boersma in het verkeersleidingscentrum van ProRail in Amsterdam.
14-06-2023, 13:27 door Anoniem
Er was een SFP defect - alleen op een zodanige manier dat de link niet down ging , en de (aanwezige) redundantie was gebouwd op het idee dat een lijn down gaat als er een (lijn)storing is.

Dat is inderdaad technisch oplosbaar - allerlei protocollen mogelijk die verkeer sturen om end-to-end (of next hop) te zien of er wel tweeweg communicatie mogelijk is. (link aggegratie , ook met 1 link , bfd, stp , ospf , afhankelijk van het gekozen design) .

Er staan ook wat beschrijvingen bij die veel moeilijker oplosbaar zijn : de keuze om 'om te zwaaien' naar een andere verkeerspost duurt ca 4 uur, en gedurende die tijd is men blind . (en ik meen dat die keuze ook niet snel halverwege te stoppen is - oh nee, laat maar) .
Heel moeilijk dus wanneer je bij een storing besluit "dit duurt te lang om op te lossen, we gaan omzwaaien" .
Geen inzicht waarom het zo lang duurt - maar dat zal in een complexe omgeving niet snel om te bouwen zijn naar 'rapid failover' .

Wel iets dat verder zorgelijk is : omschrijving dat _alles_ bij elkaar liep te zoeken - netwerk engineers, systeem specialisten, database specialisten, applicatie specialisten etc .

Aha dat is interessant! Inderdaad snap ik wel dat het overstappen naar een backup verkeerspost een complex verhaal
is wat je niet snel doet en terugdraait, maar (net als jij denk ik) snap ik niet goed waarom men niet heel wat sneller
de oorzaak van het probleem wist op te sporen en die oorzaak te verhelpen, waardoor men op de originele locatie aan
het werk kon blijven. Ik weet niet in hoeverre men bij prorail op zondagavond IT technici op locatie heeft die meteen
de boel kunnen checken en zaken als een SFP kunnen verwisselen, dat zou evt nog kunnen betekenen dat er iemand
gebeld moet worden en in de auto moet stappen (niet in de trein, hopelijk!).
Maar zonder dat moet je zo iets toch wel in een half uurtje kunnen oplossen lijkt me. Desnoods trek je even ergens
een SFP uit die niet zo belangrijk is, als je er geen extra hebt liggen.

Maar wat je al zegt, met een van die andere oplossingen zou je dit hele probleem niet hebben, zij het dat je dan wel
goed moet monitoren want anders kan het zijn dat er een SFP stuk gaat, de redundantie alles opvangt, en dan veel later
een tweede stuk gaat (productiefoutje?) waarna de boel alsnog plat is. Het lijkt me dan ook verstandig alle links te
checken of er wel verkeer door komt ook als ze "up" aangeven.

Zou wel grappig zijn als de C2000 storing dezelfde oorzaak heeft. Dan gaan we nog wat lezen over SFP's van een
bepaald merk...
14-06-2023, 14:34 door Anoniem
Elke grote organisatie heeft met Cilinders-of-Excellence te maken.
Meestal hebben die Cilinders-of-Excellence de interne zaken geoptimaliseerd.
Dan is het gemakkelijk om te zeggen: "In mijn cilinder werkt alles naar behoren".

De cilinders-of-excellence zijn ook nog eens genest (één of meer cylinders in een 'bovenliggende cillinder')
Als die cilinders niet alleen technisch, maar ook organisatorisch zijn, dan wordt de uitdaging groter (want: wie is dan verantwoordelijk).
Als die cilinders ook nog eens bij gescheiden bedrijven ligt, dan wordt het alweer moeilijk (dan speelt ook: wie is aansprakelijk?) en dan wordt nog wel eens de kaarten tegen de borst gehouden.

Hoe ontstaat dit?
Eigenlijk is dit een gevolg van de korte termijn Angelsaksische manier van denken.
Kostenbesparing zelf nemen en lasten bij een ander leggen. Ook een gevolg van Out-of-scope creep.
En ook: Projectkwaliteit ten koste van Productkwaliteit (in de gehele keten; maar daar gaat een project niet over ;-).

Kijk maar naar het energienet.
Aanvankelijk was er redelijk veel redundantie in de Bommelerwaard. Die redundantie is weggehaald, want zou teveel kosten.
Toen vloog een helikopter tegen één draad. En de Bommelerwaard zat zonder stroom. Kosten (juist ook gevolgschade) zijn verhaald op Defensie terwijl niet Defensie de redundantie heeft weggehaald.
In mijn ogen zou het eerlijker zijn geweest als
- de reparatiekosten betaald zou worden door Defensie
- De gevolgschade betaald zou worden door de netbeheerder (die de redundantie heeft weggehaald).

Leve de wereld van afhankelijkheden.
14-06-2023, 15:24 door Anoniem
Door Anoniem:
Er was een SFP defect - alleen op een zodanige manier dat de link niet down ging , en de (aanwezige) redundantie was gebouwd op het idee dat een lijn down gaat als er een (lijn)storing is.

Dat is inderdaad technisch oplosbaar - allerlei protocollen mogelijk die verkeer sturen om end-to-end (of next hop) te zien of er wel tweeweg communicatie mogelijk is. (link aggegratie , ook met 1 link , bfd, stp , ospf , afhankelijk van het gekozen design) .

Er staan ook wat beschrijvingen bij die veel moeilijker oplosbaar zijn : de keuze om 'om te zwaaien' naar een andere verkeerspost duurt ca 4 uur, en gedurende die tijd is men blind . (en ik meen dat die keuze ook niet snel halverwege te stoppen is - oh nee, laat maar) .
Heel moeilijk dus wanneer je bij een storing besluit "dit duurt te lang om op te lossen, we gaan omzwaaien" .
Geen inzicht waarom het zo lang duurt - maar dat zal in een complexe omgeving niet snel om te bouwen zijn naar 'rapid failover' .

Wel iets dat verder zorgelijk is : omschrijving dat _alles_ bij elkaar liep te zoeken - netwerk engineers, systeem specialisten, database specialisten, applicatie specialisten etc .

Aha dat is interessant! Inderdaad snap ik wel dat het overstappen naar een backup verkeerspost een complex verhaal
is wat je niet snel doet en terugdraait, maar (net als jij denk ik) snap ik niet goed waarom men niet heel wat sneller
de oorzaak van het probleem wist op te sporen en die oorzaak te verhelpen, waardoor men op de originele locatie aan
het werk kon blijven. Ik weet niet in hoeverre men bij prorail op zondagavond IT technici op locatie heeft die meteen
de boel kunnen checken en zaken als een SFP kunnen verwisselen, dat zou evt nog kunnen betekenen dat er iemand
gebeld moet worden en in de auto moet stappen (niet in de trein, hopelijk!).
Maar zonder dat moet je zo iets toch wel in een half uurtje kunnen oplossen lijkt me. Desnoods trek je even ergens
een SFP uit die niet zo belangrijk is, als je er geen extra hebt liggen.

Tegen de tijd *dat* je weet dat er een SFP kapot is - (terwijl het interface wel gewoon up is, blijkbaar) is het wisselen simpel.
Het klopt wel dat 'normale' monitoring zo'n type defect niet ziet , die kijkt primair naar 'interface down' .
Daarom gebruik je al die keepalive protocollen om z'n type onderbreking zichtbaar te maken .


Maar wat je al zegt, met een van die andere oplossingen zou je dit hele probleem niet hebben, zij het dat je dan wel
goed moet monitoren want anders kan het zijn dat er een SFP stuk gaat, de redundantie alles opvangt, en dan veel later
een tweede stuk gaat (productiefoutje?) waarna de boel alsnog plat is. Het lijkt me dan ook verstandig alle links te
checken of er wel verkeer door komt ook als ze "up" aangeven.

Monitoring op verkeersvolume kan nuttig zijn, maar heeft het risico op vals positief - je backup pad voert normaal gesproken GEEN verkeer .
(zelfde uitdaging hebben firewall beheerders met 'idle' rules - sommige staan er zodat de backup kan werken . Die moet je niet blindelings 'opschonen want niet gebruikt' ).

Afgezien van de technische verbeter opties voor _dit type fout_ - mensen die het totaalplaatje snappen, en uit symptoom/logs van systemen en applicaties kunnen herleiden *dat* de verbinding van X naar Y niet meer werkt , die ontbraken er bij prorail, zo lijkt het.

Vanaf daar is het zoeken naar de defecte schakel in dat pad van X naar Y gewoon redelijk routine .


Zou wel grappig zijn als de C2000 storing dezelfde oorzaak heeft. Dan gaan we nog wat lezen over SFP's van een
bepaald merk...

Ik kwam eens een verhaal tegen van SFPs met een software bug - na 248 dagen uptime werden waarden in het verkeerde veld geschreven , en klapperde de SFPs .
Met strakke maintenance windows hebben nogal veel SFPs op een locatie dezelfde uptime . Oeps, daar gaat je redundantie .
(2^32 ticks ...) . Ook succes met lab test/reproducatie ...
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.