Politiekorps Dallas verliest terabytes aan politiegegevens tijdens datamigratie
Het politiekorps van de Amerikaanse stad Dallas is tijdens een datamigratie terabytes aan politiegegevens verloren, waaronder data die in verschillende strafzaken werd gebruikt. Dat heeft de procureur-generaal van Dallas County bekendgemaakt (pdf). De datamigratie vond eerder dit jaar plaats. Pas in augustus werd de procureur-generaal ingelicht dat er bij deze migratie gegevens verloren zijn gegaan.
In totaal werd er 22 terabyte aan politiedata verwijderd, waarvan er veertien terabyte kon worden hersteld. Zo'n acht terabyte aan gegevens is nog altijd weg en zal zo nu wordt aangenomen niet meer te herstellen zijn. Het ging om afbeeldingen, videobeelden, audio en notities die naar een gedeelde map waren geplaatst om vervolgens in de cloud te worden opgeslagen.
Het verwijderen van de data deed zich voor toen een it-medewerker van de stad bezig was met het migreren van data naar een server en zich daarbij niet aan de vastgestelde procedures hield, wat tot het verwijderen van de data leidde, aldus de stad. Dankzij metadata, zoals bestandsnamen, weet de stad welke gegevens verloren zijn gegaan, zo laat NBC weten.
Er wordt nu onderzocht hoeveel strafzaken door het dataverlies zijn getroffen. The Dallas Morning News meldt dat een verdachte in een moordzaak vanwege de verwijderde gegevens zijn zaak in vrijheid mag afwachten. Het is op dit moment onbekend of de data van deze verdachte ook verloren is gegaan. Wel was de openbaar aanklager afgelopen donderdag niet klaar voor de rechtszaak.
De stad heeft inmiddels verschillende maatregelen doorgevoerd om herhaling te voorkomen. Zo is er nu een proces geïmplementeerd dat erbij de migratie van data voortaan twee personen aanwezig moeten zijn. Daarnaast is de configuratie van het opslagsysteem aangepast zodat verwijderde bestanden pas na twee weken permanent worden verwijderd.
maak een backup...
zo moeilijk kan dat toch niet zijn?
Lijkt me handiger om te beginnen met het maken van een backup i.p.v. er een tweede persoon bij te halen. Met twee personen kun je nog steeds dingen zoek maken. Als je een echte backup hebt, kun je een mislukte migratie gewoon opnieuw doen.
En zo'n backup van vóór de migratie bewaar je natuurlijk extra lang.
Lijkt me handiger om te beginnen met het maken van een backup i.p.v. er een tweede persoon bij te halen. Met twee personen kun je nog steeds dingen zoek maken. Als je een echte backup hebt, kun je een mislukte migratie gewoon opnieuw doen.
En zo'n backup van vóór de migratie bewaar je natuurlijk extra lang.
Zelfs al heb je een backup dan nog kan het lastig zijn want als je dit soort migraties uitvoert dan kan het zijn dat je
het oude systeem niet zomaar weer even kunt optuigen. Zeker niet als daar 22TB aan data in zit.
Het hangt van de situatie af maar doe je bijvoorbeeld een migratie naar een nieuw systeem en komt men er pas een tijd
later achter dat er daarbij een hoop niet is meegekomen dan moet je nog maar hopen dat je oude servers waar je die
oude data op kunt restoren er nog zijn.
(Of maak je een cloud-backup in een bucket die voor de hele wereld te lezen is?)
Zelfs al had die medewerker de data bewust weggegooid - dan ga je toch terug naar de backup?
Als het echt zo gegaan is als in de (uiterst beknopte) memo staat, dan is de belangrijkste vaststelling dus dat men kennelijk nooit backups heeft gemaakt.
Daar is vast een stuk wet- en regelgeving over.
(Of maak je een cloud-backup in een bucket die voor de hele wereld te lezen is?)
Het gaat hier maar om 22TB. Een simpel nas systeempje met 2 à 3 16 TB schrijven kan dat al aan. Zo'n migratie komt niet onverwacht, dus dan maak je tijd voor zo'n backup.
Verder moet die backup er al zijn, maar voor zo'n grote migratie zou ik zorgen voor een aparte backup die je lang aanhoud voor het geval je er maanden of jaren later achter komt dat er toch dingen niet goed omgezet zijn.
het oude systeem niet zomaar weer even kunt optuigen. Zeker niet als daar 22TB aan data in zit.
Klopt, Dat kan inderdaad lastig worden als je al met andere hardware zit. Maar lastig worden is heel wat anders dan het compleet verliezen van data, wat hier blijkbaar gebeurd is.
Het gaat hier maar om 22TB. Een simpel nas systeempje met 2 à 3 16 TB schrijven kan dat al aan.[\quote]
Het ging om 22TB *verdwenen* data, waarvan 14 hersteld kon worden (uit een backup?). Het totaal aan gemigreerde data weten we niet. Dat kan rustig 150TB, of 3PB geweest zijn. Dan wordt het 'even back-uppen' toch net even een ander verhaal.
het oude systeem niet zomaar weer even kunt optuigen. Zeker niet als daar 22TB aan data in zit.
Klopt, Dat kan inderdaad lastig worden als je al met andere hardware zit. Maar lastig worden is heel wat anders dan het compleet verliezen van data, wat hier blijkbaar gebeurd is.
Stel je hebt een bestaand systeem met vele TB aan data. Je gaat de hele boel, die in een grote relationele database
zit met allerlei onderlinge koppelingen, en wellicht nog links naar externe bestanden, migreren naar een nieuwe omgeving
waar alles ook weer onderling gekoppeld is.
Een van de zaken die je nu eindelijk eens gaat regelen is al je ISO8859-1 teksten omzetten naar UTF-8. Dus je hebt een
mooie conversie gemaakt van alle data.
Pas als het systeem een paar weken draait kom je er achter dat je foto's en filmpjes, of een bepaald gedeelte daarvan wat
op een andere manier was opgeslagen/gekoppeld omdat het ooit uit een ander systeem kwam, per ongeluk ook door die
ISO8859-1 naar UTF-8 converter gehaald is en daarmee onherstelbaar beschadigd.
Intussen is er in het nieuwe systeem ook al weer gewerkt.
Hoe ga je dit nu "repareren met je backup"? Je kunt je conversie niet opnieuw doen.
Dat wordt een heel gedoe.
Deze posting is gelocked. Reageren is niet meer mogelijk.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
