Wat zegt google hier over?

Belangrijke puntje..... Heb jij de nvme disks in je machine zitten, of zijn deze offline.

Maar ik zou SSD's nooit voor longterm offline storage gebruiken.

Voor echte lange termijn opslag kun je beter je data in klein etsen en dat bakken. En daarna goed opbergen.
Iets minder houdbaar is zuurvrij papier.

Allle andere (modernere) opslagmethoden verliezen na enige tijd hun data.

Waarom doe je niet je eigen google zoektocht ?

Een startpunt is dit :
https://www.anandtech.com/show/9248/the-truth-about-ssd-data-retention

(JEDEC presentatie bespreking.). Alleen 2015 .

https://storedbits.com/ssd-data-retention-period-without-power/
2024
links https://arxiv.org/pdf/2012.12373

Ik denk dat NVME SSD’s nog niet veel in de praktijk gebruikt worden voor backups:
1. ze hebben zich nog niet kunnen bewijzen als lange termijn oplossing.
2. De prijs per GB is relatief hoog.
Misschien kun je dan beter SSTA SSD’s gebruiken.
Een paar keer per jaar de SSD’s aansluiten helpt tegen data verlies:
https://www.howtogeek.com/660727/bit-rot-how-hard-drives-and-ssds-die-over-time/

Voor serieuze lange termijn opslag kan je beter kijken naar backup tapes of speciale optische media zoals M-Disc

https://nl.m.wikipedia.org/wiki/M-DISC

Hoe zit het met harde schijven?
Ik lees verhalen dat sommige oude schijven zelfs na tientallen jaren stilgezeten te hebben nog steeds uit te lezen zijn.
(Natuurlijk is er altijd een failure rate en is RAID nog steeds een zeer goed idee.)

Ja het kan gebeuren en nee het gebeurt niet vaak.
technologie staat ook niet stil afterall en claims zijn zwaar overdreven altijd al geweest. Ik heb een macbook pro 2012 met SSD die heb ik 2 jaar geleden nog even opgestart althans de accu was stuk maar op stroom gezet en ja hoor beide boot systemen nog in orde.

Onthou dat systemen vaak ook al jaren op de plank liggen voor je als consument iets koopt en de hoeveelheid rma is niet gestegen met SSD,NVMe vs HDD.

Ooit een oude SD kaart gevonden met fotos van 10 jaar terug? Die dingen zouden ook corrupt raken na iets van 5 jaar zeiden ze tijden terug toen het populaire medium was voor cameras etc. Hoor je ook zeer weinig over van verlies. Of overschrijvingen waar doom scenarios werden gegeven van dat je niet moest defragmentern omdat je de SSD er stuk mee maakt. Alles kan stuk je CD DVD collectie kan letterlijk wegrotten. En sure het kan ook als je excesief gebruikt of een bad batch hebt of verkeerde temperatuur aan blootstelt maar net als met oude autos kunnen deze dingen vele malen verder gepushed worden dan de fabrikant zegt in meeste gevallen.

Dus ja het kan gebeuren maar ik zou me geen zorgen maken tenzij het echt kritieke data is. En de oplossing is dan ook nog dood eenvoudig zet het 1 keer per jaar aan voor 5 minuten. Of doe wat wij doen haal het gewoon niet van de stroom en doe mirroring met fault checks We draaien rond de petabyte kritieke bedrijfs informatie voor anderen en niemand bij ons team wil ooit nog terug naar SCSI of magneet tapes onderhoud hell

Als je ooit een disaster recovery moet doen met zo een hoeveelheid informatie op de eerder genoemde mediums trek er maar een week voor uit. Wij hebben dat jaren terug moeten doen tijdens een letterlijke ontploffing van hardware door een hele stupide stroom uitval in een datacenter. Als het toen NVMe was ipv SCSI voor gros van de backup bij ons waren we veel eerder in de lucht met onze backups.

https://www.ispam.nl/archives/69077/noodstroomvoorzieningen-the-datacenter-group-amsterdam-laten-het-afweten-tijdens-stroomstoring/ Dat is btw niet het hele verhaal zo zijn er ook core routers gefried waren er te kort aan genoeg apparatuur on site meteen en speelden er ook nog backup software issues. Blij dat we bij dat zooitje weg zijn.

Ik zelf bewaar al zeker 30 jaar data op verschillende HDD, mijn advies is de schijven om de 3 a 5 jaar vervangen voor nieuwe. Zet de data steeds over en doe de oude schijven niet weg. Na 10 jaar of ouder kan ook de lijm van de kop van zo'n harddisk loslaten, dus vertrouw nooit op 1 merk en 1 backup, maar gebruik verschillende schrijven en leg deze op verschillende locatie's. Ik heb geen ervaring met SSD en NVME, maar die worden onder spanning gehouden en mijn indruk is (dat kan een verkeerde zijn) dat deze na een poos niet gebruiken, z'n lading verliezen en data dus verloren gaat.

Bij harde schijven kom je makkelijk aan tien jaar, zolang ze mechanisch nog in orde zijn. Het vet in de lagers kan wat harder en taaier worden waardoor de motor problemen heeft om de schijf te laten draaien. Zoiets kan zich ook afspelen voor de aandrijving van de lees-schijf kop.
Het wordt aangeraden om een schijf jaarlijks even te laten draaien om de smering goed te houden.

Fysiek zal een roterende schijf die netjes bewaard is inderdaad wel lang meegaan.

Op erg lange termijn wordt de electronica (mn condensatoren) een risico - die verouderen ook bij niet-gebruik.

En als je praat over diverse tientallen jaren - elektrische interface formaten, en disk-opslag filesystems.

(ST506 interface ? DOS3 ? Sun1 format ? Document in Pagemaker ? )
Zelfs SCSI moet je , als je er nu wat mee moet , al fors naar zoeken.

Voordeel van off-line storage is een erg goede isolatie van omgevingsfactoren .
Grote power events (piekspanningen) kunnen je hardware beschadigen als je het online houdt.

Voordeel van online houden is dat je het kunt controleren en (veel) makkelijker migreren naar nieuwere hardware.

Via (https://duckduckgo.com/?t=ffab&q=long+term+data+storage&atb=v347-1&ia=web) vond ik al snel:

https://www.howtogeek.com/858426/whats-the-best-way-to-store-data-for-decades-or-centuries/
https://www.diskmfr.com/long-term-data-storage-best-options-compared-diskmfr/
etc.

Andere ingang https://duckduckgo.com/?t=ffab&q=how+do+archives+store+digital+data&atb=v347-1&ia=web

Meer en anders zoeken zal nog meer info geven

Plus ook: bewaar dezelfde data op meerdere typen opslag.

Fysieke degradatie van een medium veroorzaakt bitrot

Bitrot is onzichtbaar voor fsck en je standaard copy tooltjes

Solarflares en ruimtestraling kunnen ook bits op je nvme doen omkopien... Dus wat wil je bewaren? Hoe lang, welke codering, welke techniek?

Stop je er ook schemas bij om een IDE controller te bouwen, want over 50 jaar gebruiikt niemand nog SATA, enzovoort

Nee, SSD's zijn ongeschikt voor lange termijn opslag. Tussen 1 en 2 jaar zonder stroom hebben de meeste SSD's al verschillende gradaties van bitrot. Na 2 jaar zonder stroom zijn de meeste SSD's leeg. Goedkopere SSD's kunnen zelfs al na een jaar leeg zijn. De beste betaalbare oplossing is opslag op harde schijven (al dan niet met gebruik van raid) waarbij je de data beschermd met quickpar.

Waar ligt de grens van "echt" lange termijn? Wanneer is iets "nep" lange termijn?

Welke termijn gewenst en voldoende is ligt aan je usecase. Daarover heb je OP niets gevraagd.

@OP: Ja SSD's kunnen data verliezen, afhankelijk van de kwaliteit hoe snel. Pas op met dit soort beslissingen maken op basis van empirische ervaringen van (willekeurige) forum gebruikers.

TornadoGuard effect ligt op de loer.

https://xkcd.com/937/

Sommige zijn inderdaad wat ouder, maar "jaren" vind ik wat overdreven. Ik denk dat je goed moet zoeken om een laptop, nieuw, uit 2023 te kunnen aanschaffen. voor SSD's is dit misschien wat gemakkelijker, maar die hoort leeg te zijn.

Ik kan uit ervaring vertellen dat ik al meerderen, zo niet tientallen SD's heb gehad welke gedeeltelijk of zelfs volledig hun data hebben verloren. Dit kan ik echt niet aanraden als long term storage.


Het gaat om de betrouwbaarheid van flash storage, welke minder betrouwbaar is gebleken dan andere oplossingen. Coldstorage is kostelijk, en wordt voornamelijk gedaan voor belangrijke data. Dit wil je niet op een minder betrouwbare drager hebben als er betere oplossingen zijn.

NVME's hebben zich nog niet kunnen bewijzen, maar als je een routine aanwent om jaarlijks de schijven even aan te sluiten denk ik dat het prima opslag is. Ze zijn minder kwetsbaar dan HDD's, welke ook hun data kunnen verliezen. Ben je echt opzoek naar lange termijn coldstorage zou ik toch niet naar flash geheugen kijken.

M-Disks, (blu-rays welke opgeboud zijn uit een metaal) tape, of papier zijn ook niet "oneindig" houdbaar maar je kunt verwachten dat na (tientallen) jaren deze nog wel hun gegevens dragen.

Ik heb disks die al sinds 2012 stil lagen, die doen het nog prima, ik kan ze nog prima uitlezen.
De degradatie van harde schijven (spindels) is minimaal, mits ze goed opgeslagen zijn. Tapes, CD/DVD hebben een groter risico doordat het materiaal na jaren gewoon slechter wordt.
ik heb misschien nog wel een dis die 20+ jaar oud is, zal eens zoeken of ik nog een IDE <> USB kabeltje heb om te zien of die het nog steeds doet (denk van wel)

Als je bang bent voor bitrot dan kan ik je raidz1,raidz2 of raidz3 op ZFS van harte aanbevelen. Iedere 5 jaar of zo de data overzetten naar de harddisk/ssd-du-jour dan kan er weinig gebeuren. Mijn data van 25 jaar en langer geleden is nog steeds beschikbaar op mijn fileservers.

Je zou kunnen overwegen om de data elke vier* jaar te verversen. Of door de backup opnieuw te maken of door een onderhoudsprogramma te gebruiken dat elke sector leest en herschrijft.

*Kies een tijdsperiode die korter is dan de garandeerde offline data retentie opgegeven door je SSD fabrikant

Als het behouden van data (archiveren) van dusdanig belang is zou ik niet uit gaan van de persoonlijke mening van een paar forumleden hier; ze zijn gespecialiseerde data beveiligingsbedrijven binnen NL actief, sommige met tapes in bunkers; andere met cold storage in redundant datacenters. Dat zijn de enige plekken waar alle omgevingsvariabelen op de juiste manier zijn ingeregeld om data consistentie te kunnen waarborgen. En dat heeft te maken met straling, temperatuur, lucht vochtigheid, lucht circulatie etc etc.

Ik zou je keuze vooral niet baseren op "ik heb nog oude harde schijven die het prima doen". Ik heb ervaring met jonge schijven die het niet meer doen, en hele oude die het nog wel doen (1985). Maar ook genoeg hele oude die het niet meer doen; en genoeg hele jonge die het nog prima doen.

Je snapt blijkbaar niet dat bitrot ook een rol speelt. Dan kun je nog zoveel tapes hebben liggen, ook die hebben last van bitrot, al dan niet bij een commerciele partij. Als je mijn antwoord (suggestie voor zfs) nog eens bekijkt dan zie je daar fileservers, dat wijst op een geografische spreiding, niet noodzakelijkerwijs commercieel. ZFS is het enige filesysteem die bitrot preventief voorkomt met 64 bit checksums. https://nl.wikipedia.org/wiki/ZFS

Het begint met het zo goed mogelijk bewaren van data, want er is een grens aan wat ZFS (of welk ander checksum/redundancy gebaseerde systeem dan ook) kan herstellen als er teveel bitten tegelijk omvallen.

De eerste stap is en blijft het (goed) kiezen van media en fysieke condities .

Keuze van iets met checksums/redundantie op de filesystem-layer volgt een stukje later.

Bijvoorbeeld LTO tapes schrijven ook checksum en error-recovery data naar tape .

Op "applicatie niveau" - als je een filesystem of data ervan niet "als filesystem" op de plank legt maar als een backup-van kan het backup programma een data container schrijven voorzien van checksums en eventueel error-recovery informatie.
(voor doe-het-zelf zou je dat met tar / bzip2/par2 kunnen bouwen )
Als de opslag in de een of andere "storage API" gaat is het puur die applicatie en de onderliggende implementatie die data integriteit bewaken.
(bv een CEPH object store , heeft ook opties voor checksums).


Ik betwijfel overigens of je precies kunt zeggen dat ZFS het enige FS is dat dit voorkomt (WAFL van NetApp had en heeft al dergelijke features), en later heeft BTRFS dit ook gekregen.
Nu is ZFS zeker een prima filesystem - maar zonder fysiek betrouwbare opslag niet voldoende. Het _kan_ een component zijn in een lange-termijn opslag ontwerp.

Niet al te veel fanboy'en van precies één (weliswaar goede) bouwsteen in een heel systeem of platform.

Een checksum voorkomt geen bitrot, maar het stelt je in staat om te controleren of een bestand is veranderd.

Jazeker wel. Ooit van ECC geheugen gehoord?

Dan noem je het geen checksum, maar een error recovery code .

Het zijn overlappende functies, maar niet iedere checksum doet ook error recovery.

Ook ECC voorkomt geen bitrot, maar stelt een geheugenchip in staat om de fout te corrigeren als die tot (typisch) één bit per geheugenwoord beperkt is. Corrigeren is niet hetzelfde als voorkomen. En het ging hierboven over checksums in filesystemen, niet over wat geheugenchips kunnen.

Denk nu eens aan ECC met meer bits. RaidZ2 en RaidZ3 dus. Maar ja, als je niet verder kijkt dan je neus lang is… Resilvering vindt de fouten en corrigeert die. Eis is wel dat ook de processor ECC geheugen heeft. O, en RaidZ controleert met een ander soort checksum dan jij denkt (want die check doet de disk zelf al).

Is daarmee het verlies van data helemaal uit te sluiten, nee dat is het nooit want al je disks kunnen tegelijk kapot gaan (ooit gebeurt bij 1 merk), en toevallig je backups ook. Gelukkig benadert de kans daarop de nul.

Alles gaat een keer stuk en wanneer je data offline houdt kom je erachter wanneer het niet uitkomt. Alles online houden in een raid-1 config (of beter) met scrubbing plus traditionele back-ups lijkt mij het meest veilig.

ECC geheugen en "dure chips" voorkomen geen bitrot:

- optische media gedegradeerd door UV licht, leeftijd

- harddisk bitrot door voltage levels over tijd (ssd)

- of HDD bitrot door magnetische velden (flux)

- omvallen bits (elk type chip) door random kosmische straling, bijvoorveeld door ontploffing van sterren in de melkweg; of gewoon door een CME

Enz

RAID enz en ECC biedt geen garantie tegen bitrot, tenminste niet altijd. En veel backup programmas kopieren je bitrot data gewoon over naar de backup disks....

Een checksum over de hele file is de enige manier waarop je bitrot kunt detecteren.

Raid , ecc, zfs en filesystem snufjes zijn een 'hoger' niveau dan bitrot. Bitrot is het electron niveau, fysieke medium atomair niveau etc

Bitrot zijn de groene strepen in je JPG files die niet door zfs+raid+redundancy werden opgemerkt.....

Niks is bitrot bestand, ook geen tape.... Je moet checksums maken en elk jaar nieuwe media kopen, meerdere kopien, bijvoorveeld EN optisch EN sdd EN magnetisch

En eerst je checksums lezen, zien of je werkdisk OK is, dan backup maken, dan checksum op backup disk, deze met de eerste disk vergelijken...zo weet je dat de kopie 100% is. Xfs/zfs/ext4 vertelt je dit niet 100.00% zeker. Soms gaat wat mis in een USB controller, buslane, kabeltje .....

Rsync is dus niet voldoende. Gelukkig zijn er veel recursive checksum tools. Bespaar tijd en pak md5 ipv sha512 , dit is goed genoeg voor dit doel

Juist.
Maar zoals ik net al uitlegde in de vorige post is bitrot een vrij "analoge" fysiologisch verschijnsel dat niks te maken heeft met een kopieeractie (chip level checks, ecc , filesystem snufjes)

Bitrot gebeurt ook als je medium offline in een kluis ligt, soms zelfs door een Solar Flare (CME) of rare dingen als cosmische straking , een deeltje wat toevallig je medium raakt en beinvloed (sommige typen golven gaan door alles heen..)

Er "valt" dan een bitje om , bijv een sd geheugencel , een paar electrons die van polariteit zijn veranderd, of magnetische verandering bij tape of HDD...
De chip level controller (bijv HDD chip/firmware) merkt dit niet eens op, dus ook jouw geavanceerde raid en fs silvering niet. Maar je komt er pas achter (meestal) als je de data zelf inspecteert, je merkt dan dat er corruptie is welke niet "computertechnisch" is want je had immers ecc+raid+enz
Meestal worden files met bitrot gewoon gekopieerd naar backup drives , de originele file zonder bitrot overschreven etc

Bitrot komt ook veel voor bij slechte media, zoals USB sticks van minderwaardige kwaliteit van de Kruitvat/Etos. Is mijn ervaring. Je zet er fotos op, legt hem in de la. Jaar later zitten allerlei groene strepen door de fotos-- de USB kopieerde echter prima, geen fouten of filesystem "opmerkingen". Het zit dus dieper dan de firmware van zo'n USB stick..

Denk nu eens aan al die mensen met een Crypto " hardware wallet" in de kluis... Wedden dat over een aantal jaren veel van die wallets gewoon niet meer werken?

Mdisc is oke, maar beste genereer je voor elke file ook parity files. Dan kun je zelf bepalen hoeveel % van je mdisc corrupt mag zijn. Dit is net iets veiliger dan gewoon mdisc gebruiken.
Dus met parity files, en met extra hashfile voor het gemak.

Overigens bestaan de echte mdiscs al lang niet meer. De claim van de lange levensduur was oorspronkelijk van Milleniata en alleen de eerste batches mdiscs (al vele jaren nergens te krijgen). Ze zijn overgenomen en hebben de licentie voor "mdisc" verkocht..

Dus ja , koop gewoon qualiteit DVDs (inorganisch) van verschillende merken als Verbatim en Taio Yuden , in plaats van 1 merk 1 type 1 batch.....

Uh, hier heeft de ZFS fan toch wel een punt dat jij blijkbaar niet oppikt.

En ook ben je ietwat pessimistisch over harddisken .

De (draaiende) harddisk HEEFT een per-block ECC, en bij het lezen merkt de diskcontroller die omgeklapte magneet domeinen op.
En krijgt de OS kernel een 'bad block error' , als het probleem niet meer met retries "opgelost" kan worden.
Ik dacht dat flash dat ook had, maar dat weet ik wat minder zeker.

SATA transport heeft ook ECC (eindelijk - er was een tijd dat IDE PATA checksum-loos was) .

Wat ZFS daarop heeft - die heeft een checksum _per block_ (op filesysteem blok niveau) .
Met iets als 'dd' kun je dus wel ZFS checksums zien (maar niet geen checksums die de disk of flash intern nog kunnen hebben) .

Dus als de disk zelf geen 'bad block' error geeft (of als dat gemaskeerd wordt door een SAN ofzo) - dan is het ZFS die weet dat dat block slecht is , en de goede versie van de mirror disk neemt .
"resilvering" is het lezen van alle blokken, om te kijken of de checksums kloppen (en zonodig de goede versie herschrijven).
Uiteindelijk merk je pas of er iets ge-bitrot-is , als je het probeert te lezen .

In de ZFS wereld is daar 'resilvering' voor om dat structureel te doen.

Je gaat er nogal makkelijk overheen dat 'bitrot' niet door ECC gezien zou worden. Daar is nu juist ECC voor - om enkele bitfouten te vinden (en te corrigeren) .

Dus de meeste individuele paden (disk naar disk controller, controller naar moederboord ) hebben al ECC .
Helaas is ECC op het RAM best zeldzaam .

De ZFS checksum is prettig end-to-end , van disk-data tot en met de CPU .


Ja DUH. Maar je bent nu kruidvat-USB met VFAT FS ervaring aan het toepassen op enterprise raid met op alle paden ECC (en eventueel ZFS filesystem).

VFAT klaagt vrijwel nooit - en de USB flash controller zal dan blijkbaar zelden of nooit een 'bad block' melding teruggeven,


Dat is wel een risico ja .


Nadeel van de vooruitgang - al die dingen zijn gewoon KLEIN.

Heb je nu al eens opgezocht wat raidZ1, raidz2, raidz3 doet? Ik zal je helpen: https://www.diskinternals.com/raid-recovery/what-is-raidz/

Snap je nu waarom het bitrot voorkomt?

Voorkomen is echter niet het juiste woord. Raid (meerdere discs) dat is eigenlijk gewoon controle met behulp van checksums en terugzetten vanaf foutloze schijf.

Conclusie, het voorkomt niet bitrot, maar detecteerd dit wel, en voorkomt dat je hierdoor mogelijk data verliest.