Vastgelopen platformmigratie oorzaak van storing BelastingTelefoon
Een vastgelopen platformmigratie was de oorzaak dat de BelastingTelefoon, inclusief Toeslagen, en de DouaneTelefoon afgelopen maandag en dinsdag niet bereikbaar waren. Dat heeft staatssecretaris Van Rij van Financiën in een brief aan de Tweede Kamer laten weten.
Afgelopen vrijdag stond de migratie van één van de generieke platformen bij de Belastingdienst gepland. "Dit soort grote veranderingen worden gepland in het weekend om hinder zo veel mogelijk te voorkomen. De geplande migratie is helaas halverwege vastgelopen, waardoor deze niet in het weekend voltooid is", aldus de staatssecretaris.
Omdat de migratie niet in het weekend kon worden afgerond kregen verschillende systemen van de Belastingdienst, Toeslagen en Douane met een storing te maken. Zo waren bepaalde interne pagina’s niet bereikbaar of konden medewerkers niet inloggen in de interne systemen. Ook de techniek die nodig is voor de systemen van de BelastingTelefoon en DouaneTelefoon was onderdeel van de migratie, waardoor die ook onbereikbaar werden.
Samen met de leverancier is het uiteindelijk gelukt om de migratie te voltooien. Gisteren bleek er nog een technisch probleem te zijn met het doorsturen van binnenkomend belverkeer. Het was wel mogelijk om burgers terug te bellen vanuit de BelastingTelefoon en de DouaneTelefoon, en medewerkers konden weer inloggen in systemen. Van Rij laat verder weten dat het nog onduidelijk is wat de exacte oorzaak en mogelijke andere gevolgen van de storing zijn.
Reacties (15)
Afgelopen vrijdag stond de migratie van één van de generieke platformen bij de Belastingdienst gepland. "Dit soort grote veranderingen worden gepland in het weekend om hinder zo veel mogelijk te voorkomen. De geplande migratie is helaas halverwege vastgelopen, waardoor deze niet in het weekend voltooid is", aldus de staatssecretaris.
En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Duidelijk een te grote change wanneer een migratie 5 dagen downtime oplevert van een live productie systeem.
Door Anoniem: En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Ik kan me niet voorstellen dat dit roll-backscenario er niet was. Het lastige is dat problemen kunnen ontstaan op een moment dat je voor het duivelse dilemma komt te staan: een roll-back doen of het probleem proberen te fixen. Een roll-back kost ook de nodige tijd en wij hier kennen alle details niet. Op afstand is het makkelijk wat roepen.(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Door Anoniem:
En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Afgelopen vrijdag stond de migratie van één van de generieke platformen bij de Belastingdienst gepland. "Dit soort grote veranderingen worden gepland in het weekend om hinder zo veel mogelijk te voorkomen. De geplande migratie is helaas halverwege vastgelopen, waardoor deze niet in het weekend voltooid is", aldus de staatssecretaris.
En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Door Anoniem:
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Door Anoniem:
En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Afgelopen vrijdag stond de migratie van één van de generieke platformen bij de Belastingdienst gepland. "Dit soort grote veranderingen worden gepland in het weekend om hinder zo veel mogelijk te voorkomen. De geplande migratie is helaas halverwege vastgelopen, waardoor deze niet in het weekend voltooid is", aldus de staatssecretaris.
En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Dan recover from backup. Dat is ook een vorm van rollback. Terug naar de begin situatie.
Onzin, het probleem is een change doen zonder rollback plan. Change management - PDCA Cycle...
Door Anoniem:
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Door Anoniem:
En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Afgelopen vrijdag stond de migratie van één van de generieke platformen bij de Belastingdienst gepland. "Dit soort grote veranderingen worden gepland in het weekend om hinder zo veel mogelijk te voorkomen. De geplande migratie is helaas halverwege vastgelopen, waardoor deze niet in het weekend voltooid is", aldus de staatssecretaris.
En dan is er geen manager of projectleider (met ballen) die op zondag zegt: rol de hele migratie maar maar terug. Zonodig: restore van backup. We plannen het later opnieuw in, nadat duidelijk is wat er verkeerd ging.
(bv door het reproduceren van het probleem in de testomgeving)
Die optie hoort namelijk een onderdeel van een migratieplan te zijn...
Er kkn altijd iets fout gaan. Daar hou je rekening mee in je planning.
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Dan ben je een change aan het doen zonder goed plan. ALLE changes zijn terug te rollen, ALLE!
Door Anoniem:Dan ben je een change aan het doen zonder goed plan. ALLE changes zijn terug te rollen, ALLE!
Ja, maar hoe veel tijd kost een roll-back?
En hoeveel tijd kost het om het probleem op te lossen?
Ik heb enig inzicht in de IT processen bij de belastingdienst en ik kan je zeggen dat roll-back een serieuze optie is bij changes.
Peter
Door Anoniem: Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Dat is geen migratie maar een 'hail mary'...
Gingen ze nu het OS en de applicatie tegelijkertijd migreren? Interne pagina's niet beschikbaar en niet kunnen inloggen.
Wat voor systemen gebruiken ze dan?
Wat voor systemen gebruiken ze dan?
18-11-2022, 08:57 door
Nova
Denk dat het meer een kwestie was van wat er meer kost:
- Rollback wat extra tijd en geld kost
- Uitzoeken met leverancier en doorgaan
En denk dat dat het snelste en goedkoopste was, maar een goede voorbereiding is het halve werk en denk dat ze de rollback ook echt wel hebben voorbereid, maar dat wil je liever niet bij zulke grotere migs.
Ciao!
- Rollback wat extra tijd en geld kost
- Uitzoeken met leverancier en doorgaan
En denk dat dat het snelste en goedkoopste was, maar een goede voorbereiding is het halve werk en denk dat ze de rollback ook echt wel hebben voorbereid, maar dat wil je liever niet bij zulke grotere migs.
Ciao!
Door Anoniem:
Dan ben je een change aan het doen zonder goed plan. ALLE changes zijn terug te rollen, ALLE!
Door Anoniem:
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Dan ben je een change aan het doen zonder goed plan. ALLE changes zijn terug te rollen, ALLE!
Dat hangt af van de medewerking van de fabrikant van de spullen.
Stel je hebt een VoIP telefooncentrale als appliance gekocht en de leverancier biedt daarvoor de software aan en
een "upgrade" mechanisme. Nu is er een major new version, er is een upgrade pakket, dat download en installeer
je en dan gaat ie heel die software upgraden en je configuratiedata converteren naar het nieuwe systeem.
Als je daarmee klaar bent blijkt er toch een blokkerend probleem te zijn wat je bij testen niet gezien had.
De fabrikant support geen downgrade. Wat ga je nu doen? Niet iedereen heeft het geld om een 2e set hardware
klaar te hebben staan die niet geupgrade is, en de daarbij behorende licenties te kopen. En dan nog lost dat het
niet altijd op want dit soort spullen hebben vaak op de vreemdste plekken "MAC adressen" in hun config staan!
Door Anoniem:
Dat hangt af van de medewerking van de fabrikant van de spullen.
Stel je hebt een VoIP telefooncentrale als appliance gekocht en de leverancier biedt daarvoor de software aan en
een "upgrade" mechanisme. Nu is er een major new version, er is een upgrade pakket, dat download en installeer
je en dan gaat ie heel die software upgraden en je configuratiedata converteren naar het nieuwe systeem.
Als je daarmee klaar bent blijkt er toch een blokkerend probleem te zijn wat je bij testen niet gezien had.
De fabrikant support geen downgrade. Wat ga je nu doen? Niet iedereen heeft het geld om een 2e set hardware
klaar te hebben staan die niet geupgrade is, en de daarbij behorende licenties te kopen. En dan nog lost dat het
niet altijd op want dit soort spullen hebben vaak op de vreemdste plekken "MAC adressen" in hun config staan!
Door Anoniem:
Dan ben je een change aan het doen zonder goed plan. ALLE changes zijn terug te rollen, ALLE!
Door Anoniem:
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Tenzij er geen rollback optie (mogelijk) was. Ik heb genoeg migraties, updates en patch installaties gedaan waar rollback gewoon geen optie was.
Dan ben je een change aan het doen zonder goed plan. ALLE changes zijn terug te rollen, ALLE!
Dat hangt af van de medewerking van de fabrikant van de spullen.
Stel je hebt een VoIP telefooncentrale als appliance gekocht en de leverancier biedt daarvoor de software aan en
een "upgrade" mechanisme. Nu is er een major new version, er is een upgrade pakket, dat download en installeer
je en dan gaat ie heel die software upgraden en je configuratiedata converteren naar het nieuwe systeem.
Als je daarmee klaar bent blijkt er toch een blokkerend probleem te zijn wat je bij testen niet gezien had.
De fabrikant support geen downgrade. Wat ga je nu doen? Niet iedereen heeft het geld om een 2e set hardware
klaar te hebben staan die niet geupgrade is, en de daarbij behorende licenties te kopen. En dan nog lost dat het
niet altijd op want dit soort spullen hebben vaak op de vreemdste plekken "MAC adressen" in hun config staan!
Het is soms onbegonnen werk om de scholieren hier die zo goed weten wat in theorie kan te laten snappen waarom de praktijk - zelfs bij behoorlijk budget en kennis van zaken - altijd zo te laten werken.
Als je praat met een ervaren senior ITer en vraagt naar 'grootste probleem meegemaakt' dan krijg je
een uitgebreid verhaal van hoeveel omstandigheden samen liepen zodat er toch iets dik mis ging , meestal ondanks een nette voorbereiding en plannen en voorzieningen.
Krijg je "bij mij is nooit wat fout gegaan want ik doe alles perfect volgens het boekje" dan is het
dikke leugenaar .
Er is of wel wat misgegaan , of de leugen betreft de senioriteit/werkervaring , en is het iemand die nooit ergens verantwoordelijkheid voor gehad of genomen heeft .
"Ik heb (nog) nooit een fout gemaakt" kan eigenlijk alleen gezegd worden door mensen die (nog) amper echt werk gedaan hebben.
Dus de scholieren hier , en wat mensen die wegduiken als er gewerkt moet worden.
===
Natuurlijk zijn er ook storingen die gewoon veroorzaakt worden door grove incompetentie , nalatigheid , volkomen ontoereikende middelen en noem maar op .
Je kunt niet altijd op voorhand zeggen op basis van een persbericht "migratie gaf problemen" dat het zo'n geval was.
Oeps!.. Eeuhh... Hebben we nog iemand in dienst die Cobol spreekt???...
Door Anoniem: Oeps!.. Eeuhh... Hebben we nog iemand in dienst die Cobol spreekt???...
Misschien wel, maar systemen die call routing doen, of de kopppeling tussen ingetoetste BSNs en het automatisch omhoog trekken van de gegevens van die beller zullen vast niet in Cobol geschreven zijn.
Bij de term "één van de generieke platformen" gok ik op een virtualisatie platform, "Alle Windows 8 servers" ,of misschien een SAN .
Reageren
Deze posting is gelocked. Reageren is niet meer mogelijk.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
