/dev/null - Overig

Beste manier voor long-term storage

14-02-2023, 18:52 door [Account Verwijderd], 40 reacties
Beste mede-forumleden,

Wat is volgens jullie de beste manier om je foto's/video's/documenten/etc. voor de langere termijn (zeker 20 jaar) thuis (dus niet in de cloud) te bewaren? Ik zou zeggen HDD, natuurlijk met minimaal één back-up, maar hoe denken jullie hierover?

Bij voorbaat dank aan de leden die hierover met mij van gedachten willen wisselen.

Groet,

Gebruiker2000
Reacties (40)
14-02-2023, 19:08 door Anoniem
"ik zou zeggen HDD" dat zegt nog niet veel over hoe je gaat opslaan...

"wat voor filesystem"
"wat voor foto format"
"wat voor HDD technologie" (moderne extreem hoge capaciteit of wat behoudender technologie)

Als je een device als HDD selecteert moet je niet alleen denken aan het ding zelf, maar ook aan de interface naar je computer.
20 jaar geleden waren HDD's "ATA" of "SCSI". Kom nu nog maar eens om een controller daarvoor.
En dan hebben we het nog niet eens over ST-506 of ESDI wat je daarvoor had.
Wat zal er over 20 jaar zijn, kun je dan nog SATA controllers krijgen?
14-02-2023, 20:34 door Anoniem
Zeker 20 jaar is wel erg lang de voortschrijdende techniek in acht genomen. De vraag wordt dan of het gekozen medium nog kan worden uitgelezen.

B.v: Ik heb nog een computer staan met o.a. een 5 1/4" floppy drive, ooit voor het geval dat iemand een verschrikkelijk belangrijk bestand terug wilde hebben.
Ondertussen meer dan 10 jaar niet meer gebruikt.
DAT tapes alleen voor mezelf.
14-02-2023, 20:55 door Anoniem
IDE, SATA, NVMe, SCSI? https://en.wikipedia.org/wiki/Hard_disk_drive#Access_and_interfaces

Ik heb ooit de ascii armor van mijn (private) PGP sleutel uitgeprint. Dat lijkt mij redelijk lang houdbaar. Ben alleen vergeten waar ik het opgeborgen heb.

Van Flash geheugen staat voor mij helemaal nog niet vast hoelang die houdbaar is zonder dat er stroom op staat. En die nieuwe vormen van Flash geheugen met meerdere lagen kan ook niet goed zijn voor de houdbaarheid op lange termijn.

Mijn oom zegt dat gebrande CD's goed leesbaar zijn met DVD spelers. Vanwege de lagere informatie dichtheid. Bij het branden is het ook belangrijk om een goede stabiele voeding te hebben en om niet op de hoogste snelheid te branden.

Wat dacht je van encrypted in meerdere clouds? Als je ervan uit gaat dat OneDrive, Google Drive en iCloud over 20 jaar nog bestaan.. en dat je er nog toegang tot hebt..
14-02-2023, 22:14 door Anoniem
Door Anoniem:Mijn oom zegt dat gebrande CD's goed leesbaar zijn met DVD spelers. Vanwege de lagere informatie dichtheid. Bij het branden is het ook belangrijk om een goede stabiele voeding te hebben en om niet op de hoogste snelheid te branden.

Gebrandde CDs/DVDs rotten in de loop vand e tijd. Ik heb al meerdere zelfgebrandde CDs gehad die binnen 5 jaar onleesbaar werden. Ze hadden rotte plekken, waardoor de data slecht recoverable was.
14-02-2023, 22:18 door Anoniem
Mijn voorstel zou zijn: meervoudige opslag.
Dus een combinatie van DVDs, Cloud en HHDs (bv in een NAS met RAID functie).
Waarbij je elk jaar controleert dat de data nog benaderbaar en intakt is.
E.e.a. is afhankelijk van de hoeveelheid geld die je er voor over hebt.
Ga er financieel van uit dat je elke 3-5 jaar alles een keer vervangen moet. Ook de cloud-oplossing.

Maar sterft er iets af, dan heb je meerdere opties om de data te herstellen.
En zo voorkom je ook dat data na 10 jaar of meer niet meer leesbaar is, omdat de interface niet meer werkt.
14-02-2023, 22:24 door Tintin and Milou
Door Gebruiker2000: Beste mede-forumleden,

Wat is volgens jullie de beste manier om je foto's/video's/documenten/etc. voor de langere termijn (zeker 20 jaar) thuis (dus niet in de cloud) te bewaren? Ik zou zeggen HDD, natuurlijk met minimaal één back-up, maar hoe denken jullie hierover?

Bij voorbaat dank aan de leden die hierover met mij van gedachten willen wisselen.

Groet,

Gebruiker2000

Over hoeveel data hebben we het?
Maar hoeveel tijd en energie mag het kosten?
Online / Offline beschikbaar?

Mijn eerste reactie zou zijn, ZFS opslag verdeelt over meerdere disks, maar dat op zich is geen geen totaal oplossing.
Hierop snapshots actief, en als je ruimte vol is dit uitbreiden / vervangen.

Op de 2de locatie een 2de NAS type. Mag ook ZFS zijn met korte snapshots leeftijd, of een ander bestand systeem.
Ik zou persoonlijk dan geen ZFS Send/Receive gebruiken indien de 2de locatie ook ZFS mogelijkheden heeft, maar RSYNC, zodat je 2 verschillende technieken gebruikt.
14-02-2023, 22:54 door Anoniem
Er geen betrouwbare manier om dat als consument te doen zonder regelmatig onderhoud. Wat nu standaard hardware lijkt kan over 10 jaar bijna niet meer bruikbaar te zijn. Vroeger zagen we SCSI als het beste, maar mijn oude ATA schijven kon ik lezen met een goedkope USB-IDE converter. Een SCSI-USB converter kost een fortuin.

Er van uit gaande dat het belangrijkste is dat de data beschikbaar en consistent blijft en dat vertrouwelijkheid minder belangrijk is. Dus de familiefoto's, niet de dubbele boekhouding. Geen encryptie of compressie gebruiken, die zorgen in dit geval alleen maar voor extra potentiële complicaties.

Maak 3 of meer kopieën van de data op verschillende soorten media, bij voorbeeld een setje gebrande cd's, een oude HDD, een flashdrive. Het maakt niet uit wat je gebruik zolang het maar dezelfde zijn. Gebruik een compare programma om alle die media te vergelijken, de inhoud moet identiek zijn. Berg die media op verschillende locaties op in verzegelde enveloppen.

Na 1 jaar haal he op 1 na alle media weer op en draai je de file compare opnieuw. Hou 1 kopie thuis, verspreid de rest weer, haal de laatste offsite kopie op en draai daarop ook een file compare. Verspreid de laatste 2 kopieën weer. Als je tijdens die proces fouten constateert, ga dan handmatig de betreffende files onderzoeken en herstellen.

Ieder jaar vervang je 1 van de media, bij voorbeeld een nieuw gebrande cd set, een ander hhd of flashdrive, cloudstorage. etc.
15-02-2023, 00:33 door Anoniem
Je zult dan toch tussentijds de boel enkele keren moeten omzetten naar nieuwe media .

Je kunt geluk hebben met de fysieke devices - maar als je 20 jaar _terug_ kijkt zie je dat "oude devices aansluiten" niet meer zo vanzelfsprekend is .

20 jaar (2002) - parallel IDE met dikke voedingsstekker .
Je moet al aardig zoeken om dat nog ergens op aan te kunnen sluiten .
De toenmalige high-end : SCSI-1 en SCSI-2 , aimgh . Dan moet je nu al hard zoeken naar aansluitingen.

Zit je op een nog steeds courant filesysteem ?

Formaten is ook een ding. 2002 - hmm, WP51 nog steeds sterk maar uitgaand. Word 5 ofzo ?
Pagemaker ?
Ik dacht dat modernere versies de formatting soms niet goed kregen - leesbaar, maar niet zo reproduceerbaar als "toen" .

Als je 20 naar de toekomst projecteert kun je aannemen dat een hoop standaarden van nu dan ook vervangen zijn.

Al met al niet alleen maar een kwestie van "device in een droge niet te warme plaats opbergen en vooral afblijven" .
15-02-2023, 04:02 door Anoniem
Voor zover ik weet bestaat er niet één opslag medium dat de garantie heeft dat het over 20 jaar nog leesbaar is. Afdrukken op een laserprinter en dan donker en vochtvrij opslaan geef ik nog de beste kans. Maar met video en geluid heb je daar ook weer niks aan.

Hoe ik het zelf doe:
Telkens als ik een nieuwe PC koop, dan prik ik de harde schijf van de vorige erin. De nieuwe schijven zijn altijd heel veel groter, dus daar kan ik dan gemakkelijk ook een kopie van heel die oude schijf op kwijt. Op die manier heb ik nog steeds alle bestanden, maar ook dus nog alle oude rommel, beschikbaar van zeker 25 jaar geleden.

Van wat echt belangrijk is heb ik 3 kopietjes.
Eentje op mijn eigen dedicated server. Die dan ook nog redundant is.
Een lokale kopie thuis op de PC.
En een vette SD kaart in mijn telefoon. Voor als heel de wereld instort, ik moet hollen, maar ik haal het nog.
Die laatste natuurlijk wel zo dat als ik die telefoon kwijtraak, niemand er wat mee kan.

Mijn data is dynamisch, dus ik moet regelmatig de backups bijwerken. Als er dan iets de geest gegeven heeft weet ik het snel genoeg, maar dan heb ik nog altijd twee kopietjes. Heb je het over een statisch archief, en je hebt er drie kopietjes van, dan eens per jaar of twee kijken of ze nog werken. Maar meestal komt er toch weer wat bij, of je wilt wat opzoeken.

Kapot kan alles. De CD van vroeger zou eeuwig meegaan. En de LED lamp van nu ook. Bleek niet helemaal waar, en dan is veilig 3 kopietjes op drie verschillende plekken en op drie verschillende media. Dat alles dan tegelijk kapot gaat is uiterst onwaarschijnlijk. Versleutelen en hoe sterk hangt af van de gevoeligheid van de informatie. En de plek. Want mijn PC kan ook gepikt worden. Maar dat is altijd een rommeltje. Wie mijn manier van werken en denken kan volgen is wel eventjes bezig. En dat is soms nog beter dan alles encrypten.
15-02-2023, 08:22 door Anoniem
Ik denk dat simpel beter is in dit geval.

Koop een paar verschillende merken USB sticks en maak een paar clones.
Stop 2 verschillende sticks in een goed afsluitbare container, bijv. iets als een drink/thermos beker samen met een zakje silicagel.
Bewaar minimaal 2 van zulke flessen op 2 verschillende plekken, zoals in het huis van een familielid en de ander in een kluis.

Het blijft een gok maar ik denk dat er toch wel vrij lang support gaat blijven voor simpele USB sticks.
Anders wordt het noodzakelijk om een systeem te bewaren dat hier mee om kan gaan, zoals een oude laptop.
Zorg dan in ieder geval dat deze zonder accu kan draaien en zonder accu bewaard wordt, wederom is vocht hier de grootste vijand. Naast natuurlijk zaken als brand, waterschade etc.
15-02-2023, 08:55 door Anoniem
Opslag voor 20 jaar hoeft niet te betekenen dat de data al die 20 jaar op hetzelfde opslagapparaat blijven staan, het doel is dat de data er over 20 jaar nog zijn.

Harde schijven zijn in mijn ogen prima,. Bedenk daarbij dat je in plaats van een backup ook meerdere backups kan hebben, een extra backup verkleint de kans dat je gegevens kwijtraakt. Door schijven van verschillende merken/types te gebruiken verklein je de kans dat ze ongeveer tegelijk de geest geven. Je kan er bijvoorbeeld één schijf thuis hebben en een tweede bij een bekende waar je regelmatig over de vloer komt. Wissel bij zo'n bezoek de schijven om en werk altijd de backup bij die op dat moment thuis is. Op deze manier heb je altijd je data verdeeld over twee locaties zodat na een brand of een leeggeroofd huis niet alles weg is.

Om te beoordelen hoe "gezond" een schijf is hebben schijven zelf iets aan boord dat SMART heet. Schijven houden zelf een fors aantal technische attributen bij, en met software op je pc kan je die uitlezen. Ik gebruik op Linux daarvoor het programma gsmartcontrol. Hoewel een hoop van de attributen voor mij abracadabra zijn laat dat programma het wel duidelijk zien als ze grenswaarden voor die schijf overschrijden. Als ik de muiscursor boven zo'n attribuut houd verschijnt er een tooltip met een uitleg van wat het betekent en of het een voorbode is van mogelijk toekomstig dataverlies (dat kan bij andere soortgelijke programma's natuurlijk anders zijn vormgegeven). Dat is mooi: je kan al zien dat er ellende aankomt ruim voordat het zover is dat je er data door verliest. Ik heb wel eens een backupschijf vervangen door een nieuwe omdat zo'n attribuut niet alleen over een grenswaarde heen was gegaan maar ook in korte tijd verder opliep. Ik had nog geen dataverlies, maar het was duidelijk dat er iets snel achteruit aan het gaan was. Verder kan je de schijf korte en (uren-)lange zelftests laten uitvoeren via SMART. Bij de lange zelftest wordt het hele schijfoppervlak gecontroleerd.

Wees je ervan bewust dat een filesystem zoals NTFS niet door de schijf zelf wordt geregeld maar door het besturingssysteem op je pc. SMART gaat alleen over wat de schijf (of beter gezegd: de ingebouwde schijfcontroller) zelf regelt, en fouten in een filesysteem vallen daar dus niet onder. SMART vervangt daarom niet de tools die het besturingssysteem levert om het filesystem te controleren, zoals chkdsk in Windows en fsck in Linux/Unix.
15-02-2023, 11:36 door Anoniem
Gebruik Usenet. Nu uploaden en over 10 jaar downloaden en dan weer uploaden voor weer 10 jaar.
Maak wel genoeg par bestanden aan, je weet maar nooit.
15-02-2023, 13:47 door Anoniem
Door Anoniem: Gebruik Usenet. Nu uploaden en over 10 jaar downloaden en dan weer uploaden voor weer 10 jaar.
Maak wel genoeg par bestanden aan, je weet maar nooit.

TS vroeg om "niet in de cloud" .

Daarnaast, Usenet bins met 10 jaar retentie ? In welke wereld leef jij - of liever, welke server gebruik jij ?
Usenet als medium is toch wel on lifesupport , dat zie ik niet echt de volgende 20 jaar halen.

De _gedachte_ is welk aardig , en niet nieuw :

“Only wimps use tape backup. REAL men just upload their important stuff on ftp and let the rest of the world mirror it.”

-- Linus Torvalds

Voor zijn software klopte dat - de rest van de wereld _wilde_ alle versies voor hem bewaren.

Voor mijn vakantie foto's geldt dat minder.
15-02-2023, 13:52 door Anoniem
Door Anoniem: Voor zover ik weet bestaat er niet één opslag medium dat de garantie heeft dat het over 20 jaar nog leesbaar is. Afdrukken op een laserprinter en dan donker en vochtvrij opslaan geef ik nog de beste kans. Maar met video en geluid heb je daar ook weer niks aan.

Ik heb wat oude (idd 20+ jaar ) (gekopieerde) documenten waarvan de toner zich aan de pagina die erop lag gekleefd heeft.
Misschien alleen maar een fout dat de fuser destijds van die ene machine niet heet genoeg was of zo. Of een systematisch probleem van allerlei documenten ? (zo veel voorbeelden heb ik ook weer niet ).
Anyway - ook dat is soms dus niet heel goed als lange termijn medium .

celluloid (analoog foto negatief , super/single 8 film ) kan wel heel erg duurzaam zijn .
15-02-2023, 20:33 door Anoniem
Tape is zo gek nog niet voor dergelijke oplossingen, iig als je geen direct access tot specifieke data nodig hebt.
15-02-2023, 22:01 door Anoniem
De beste manier voor long-term storage van documenten en foto's is nog steeds archiefwaardig/zuurvrij papier.
15-02-2023, 22:53 door Anoniem
Door Anoniem: Tape is zo gek nog niet voor dergelijke oplossingen, iig als je geen direct access tot specifieke data nodig hebt.

Dan speelt op termijn toch het probleem van geschikte afspeelhardware - DAT, Exabyte, QiC - behoorlijk richting Dodo.
16-02-2023, 01:03 door Anoniem
Door Anoniem:
Door Anoniem: Voor zover ik weet bestaat er niet één opslag medium dat de garantie heeft dat het over 20 jaar nog leesbaar is. Afdrukken op een laserprinter en dan donker en vochtvrij opslaan geef ik nog de beste kans. Maar met video en geluid heb je daar ook weer niks aan.

Ik heb wat oude (idd 20+ jaar ) (gekopieerde) documenten waarvan de toner zich aan de pagina die erop lag gekleefd heeft.
Misschien alleen maar een fout dat de fuser destijds van die ene machine niet heet genoeg was of zo. Of een systematisch probleem van allerlei documenten ? (zo veel voorbeelden heb ik ook weer niet ).
Anyway - ook dat is soms dus niet heel goed als lange termijn medium .

celluloid (analoog foto negatief , super/single 8 film ) kan wel heel erg duurzaam zijn .

Microfiches is ook nog een oplossing! Die gebruikten we vroeger op kantoor. Een fotografisch proces. Werd ook gebruikt door kranten om hun uitgaves te archiveren. Je las die uit met een reader, een soort microscoop met een spiegel en een projectie scherm.

https://en.wikipedia.org/wiki/Microform
16-02-2023, 10:24 door Anoniem
Door Anoniem:
Microfiches is ook nog een oplossing! Die gebruikten we vroeger op kantoor. Een fotografisch proces. Werd ook gebruikt door kranten om hun uitgaves te archiveren. Je las die uit met een reader, een soort microscoop met een spiegel en een projectie scherm.
De vraagsteller wilde geen documenten archiveren, maar foto's.
Dan komt je voorstel eigenlijk neer op "maak dia's".
Echter, deze verbleken ook (kleur is nou eenmaal lastiger dan zwart/wit) en bovendien is het niet zo handig om al je digitale foto's weer om te moeten gaan zetten naar dia's, de meeste mensen doen eerder het omgekeerde.
04-01-2024, 20:48 door Anoniem
Flash geheugen is waarschijnlijk het meest betrouwbare medium voor archivering alleen moet je het aantal herbeschijvingen beperken. Dus bijvoorbeeld voor een fotoarchief altijd alleen maar nieuwe foto’s toevoegen!
04-01-2024, 21:09 door Anoniem
De enige manier om data lang veilig te bewaren is meerdere versies, en die iedere 1-2 jaar controleren en updaten, verplaatsen naar nieuwe disks, nieuwe cloud-lokaties of andere media. Disks gaan dood, cloudproviders gaan failliet of verliezen je data. Dus encrypt alles, zet het op 3 verschillende storage-media (lokaal, cloud-a, cloud-b). Bewaar de keys voor de encryptie ook weer veilig en offline, op papier bijvoorbeeld (qr-codes?)
04-01-2024, 22:16 door Anoniem
Een backup Zeker 20 jaar bewaren.
Dat is vanuit technisch oogpunt om meerdere redenen een uitdaging. Hierboven is al een aantal punten aangehaald.
Je kan:
- een backup oplossing kiezen + de daarbij behorende apparatuur om de backup weer uit te lezen. b.v. als je sata hardeschijven kiest, dan hoort daar een pc met sata controller bij en de correcte software om de backup te maken en terug te lezen. Kies je een tape oplossing, dan ook een pc met de juiste tapedrive.
Deze twee oplossingen bewaar je 20 jaar met het daarbij behorende onderhoud. Je zult nog steeds met regelmaat het backupsysteem, het backupmedium en de restore functie moeten testen.

- Je kiest een backup oplossing die nu voldoet (technisch, financieel, praktisch) en over een x aantal jaar migreer je deze backup naar een nieuwe omgeving. Je moet de backup toch testen en als dan blijkt dat de restore (te) lastig wordt kan je het net zo goed overzetten naar iets nieuws.

In de vraagstelling wordt niet genoemd of er nog data toegevoegd gaat worden aan de backup. Maw of de backup groeit. In de meeste gevallen wel. In dat geval zal er over enige tijd een backup vanuit een nieuwe omgeving naar een oude backup omgeving gemaakt moeten worden. Software is niet eeuwig backwards compatible, dus dat zal op enig moment voor spanning zorgen.

succes.

p.s. de backup van je post blijft niet lang bestaan, want je account is inmiddels verwijderd...
05-01-2024, 01:02 door Anoniem
Ik heb 2 identieke servers elk met 3x 2tb hdd's (WD Red) in raid5.

Een van die 2 servers staat 24/7 aan en de andere backup server word elke zondag op maandag nacht automatisch opgestart en met en Rsync gesynchroniseerd en daarna weer afgesloten, Ik gebruikt WOL en een bash scriptje daarvoor en ik krijg ook nog netjes een mailtje als alles goed is gegaan.

Daarbij heb ik nog een setje van 3x 2tb hdd's splinternieuw in de kast liggen.
Dit heb ik zo al vele jaren en bevalt zeer goed.

In het begin gehad ik Seagate drives toen er eens 1 stuk ging (thank god for raid5) ben ik overgestapt op WD Red drives.
Daarmee nog nooit een probleem gehad.
05-01-2024, 13:20 door Anoniem
05-01-2024, 13:56 door Anoniem
En dan kies je van alle RAID levels specifiek RAID 5...
Hier wordt dat uitgebreid beschreven:
https://www.askdbmgt.com/why-raid5-should-be-avoided-at-all-costs.html

Het gevaar met disken uit de dezelfde series is dat ze de neiging hebben om rond de zelfde tijd te crashen.
Je zou zeggen leuk theoretisch punt maar ik heb het een aantal keer meegemaakt. Zeker in een RAID 5 configuratie is het risico dat het dramatisch mis gaat aanzienlijk.
Ik zou sowieso in je backup omgeving een andere type disken draaien.
En overschakelen naar RAID 10.
06-01-2024, 13:39 door Anoniem

Waarom is een filesysteem een antwoord op de vraag naar 20+ jaar opslag ?
09-01-2024, 16:39 door Anoniem
Een punt dat nog niet echt is genoemd, is dat je voor een betrouwbare backup over zo'n termijn ook een kopie op een andere locatie zou moeten overwegen. Met enkel een backup thuis ben je redelijk beschermd tegen dataverlies wanneer je harde schijf het begeeft, maar bij een overstroming, brand, inbraak, of andere calamiteit kunnen je origineel en backup alsnog in één keer verdwijnen.

Een externe harde schijf die je bij familie op zolder kunt leggen, beschermt je daar al een stuk beter tegen. Dat heeft natuurlijk wel enkele praktische nadelen, dus vandaar dat cloud-opslag doorgaans wordt aangeraden. Afhankelijk van hoe technisch je bent aangelegd, zou ook een NAS (een doosje met harde schijven) die bij familie (of een andere veilige locatie) staat en waar je via internet bij kunt, een goede oplossing kunnen zijn. Ook hier geldt dan wel dat je met enige regelmaat moet testen of de backup-media nog in goede staat zijn.
09-01-2024, 18:07 door Anoniem
Door Anoniem:
Waarom is een filesysteem een antwoord op de vraag naar 20+ jaar opslag ?
Vraag je ook waarom (bijvoorbeeld) dvd's een antwoord zou kunnen zijn?

ZFS is een zelfherstellend filesysteem en heeft de mogelijkheid tot encryptie, snapshots, klonen, deduplicatie, datacompressie en nog wat zaken die voor een back-up niet echt relevant zijn.
09-01-2024, 19:14 door Anoniem
Ik heb geen enkele reactie gelezen, maar op de vraag beste storage is ZFS het antwoord, zeker aangezien BTRFS nu wel mislukt genoemd kan worden, en de oorspronkelijke (hoge) doelstellingen van de roadmap verdwenen zijn.
Wel met zraid / zpool, hetgeen ronduit de meest efficient en meest veilige RAID is, daar checksums ervoor zorgen (in tegenstelling tot domme hardware) dat er niet met 50% kans geraden moet worden van welke disk de data correct is.
Ook eventueele encryptie van de disks is nu retesimpel (en veilig, nu zonder GELI).

Qua NAS kun je AppleTalk (afp://) vergeten, die is/wordt afgevoerd uit OS-X. Samba is traag. Dus NFS blijft over.

Het is jammer dat de GNU wereld zo alergisch reageert op BSD licenties, en daardoor kunnen slechts een klein aantal LInux distributies ZFS. En Ubuntu hoort daar inmiddels ook niet meer bij, zo lijkt het.
Daarom zou ik al dat bovenstaande op FreeBSD danwel NetBSD danwel OpenBSD doen. Je wilde immers sowieso iets dat makkelijk 20 jaar lang meegaat.

En die genoemde backup zou ik dan maandelijks rsync'en naar een fysieke disk over USB en bewaren op een ander adres.
Er zijn namelijk best wel wat mensen die wel eens een inbraak of brand kunnen navertellen...
09-01-2024, 21:00 door Anoniem
Door Anoniem: Gebruik Usenet. Nu uploaden en over 10 jaar downloaden en dan weer uploaden voor weer 10 jaar.
Maak wel genoeg par bestanden aan, je weet maar nooit.

Lekker centraal want er is maar 1 usenet provider of misschien nog maar 5 max
09-01-2024, 22:24 door Anoniem
Door Anoniem:
Door Anoniem:
Waarom is een filesysteem een antwoord op de vraag naar 20+ jaar opslag ?
Vraag je ook waarom (bijvoorbeeld) dvd's een antwoord zou kunnen zijn?

Niet waarom, want 'DVDs' _zijn_ een antwoord op de vraag naar 20+ jaar opslag. Misschien geen _goed_ antwoord als het gaat om writable DVDs voor 20+ jaar, maar wel een gepoogd antwoord op precies die vraag.

Een filesysteem an sich is geen antwoord op die vraag - het is (pas) een bijkomende optie als het bedoelde antwoord op de vraag "harddisken, gekoppeld op een manier die ze presenteert als lokaal aangesloten disk" is.


ZFS is een zelfherstellend filesysteem en heeft de mogelijkheid tot encryptie, snapshots, klonen, deduplicatie, datacompressie en nog wat zaken die voor een back-up niet echt relevant zijn.

Dat weet ik - en als jij dat ook weet, dan weet je toch ook dat het NIET een antwoord is op de vraag naar 'beste manoor voor 20+ jaar opslag' ?

Als je nou eens alle voorgaande antwoorden leest, kun je ook zien dat "harddisken" voor erg lange termijn ook een hoop caveats hebben - fysieke levensduur, beschikbaarheid van passende elektrische interfaces , beschikbaarheid van uitlezende software voor het destijds gekozen filesystem / OS etc etc.
Je kunt zelfs wel twijfelen of 'ZFS' de meest geschikte keuze is voor voor een heel lange termijn archief (/cold storage) situatie . Heel veel van de mooie features zijn mooi op een live en actief gebruikt file system.
Misschien ben je - voor een puur archief medium - beter of net zo goed af met een heel erg simpel filesystem , en stop je alle error detectie (/correctie ?) in de applicatie-opslag . botweg tar + par2 . FS mag dan ook dos-fs zijn. Of zo .
En een hoop separate disken met extra kopieen - het _hoeft_ geen raid-x te zijn bij een cold storage model .

Als 'tape' het antwoord is op de vraag (en wat specifieker een bepaald type tape), slaat ZFS al helemaal nergens op.

Feitelijk is ZFS dezelfde mismatch als antwoorden met "IPv6 " op de vraag "beste transport medium voor een afstand van 20 km" (waar mogelijke antwoorden dan zijn dark fiber, microgolf link, leased line , disk in de achterbak, etc etc) .
09-01-2024, 23:31 door Anoniem
Wat te denken van films voor de video en Microfilm voor de foto"s. Oud maar bewezen goed en langdurig te bewaren bij goede opslag.
Microfilm was ooit een innovatieve manier voor het efficiënt en ruimtebesparend bewaren van documenten.
je kunt ze later waarschijnlijk ook zo weer inlezen op de dan bestaande computers.
10-01-2024, 06:36 door Anoniem
Door Anoniem: ZFS is een zelfherstellend filesysteem en heeft de mogelijkheid tot encryptie, snapshots, klonen, deduplicatie, datacompressie [...]
Door Anoniem: Ik heb geen enkele reactie gelezen, maar op de vraag beste storage is ZFS het antwoord,[...]
ZFS is zeker een filesysteem dat eigenschappen heeft die de betrouwbaarheid helpen verhogen én dat het maken van backups kan helpen vereenvoudigen, maar het is beslist geen alternatief voor een backup, en het lost ook niet alles op. Als je geen backups maakt omdat je ZFS gebruikt, of als je ZFS op een backupschijf gebruikt, dan levert dat helemaal geen garantie op dat je gegevens voor 20 jaar veilig zijn. Een schijf die crasht werkt niet dankzij ZFS toch nog, en een onleesbaar geworden fysiek blok op een harde schijf kan wel gesignaleerd worden maar is niet opeens leesbaar omdat je ZFS gebruikt. De tweede reageerder ging niet voor niets verder met een opzet die afzonderlijke backups oplevert. Een opzet die trouwens niet voor iedereen zal werken. Ik betwijfel of ZFS een goede keuze is voor Windows-gebruikers, bijvoorbeeld.

Los van welke technische keuzes je nou precies maak:
• maak zeer regelmatig backups — ik doe het nagenoeg dagelijks;
• zorg dat je meerdere backups hebt op afzonderlijke media (zoals harde schijven) en houd ze allemaal zo actueel dat met geen enkel exemplaar onacceptabel veel kwijt bent;
• streef ernaar dat die media niet allemaal van hetzelfde merk en type zijn, en zeker niet allemaal van dezelfde partij — als je begint door bijvoorbeeld 2 of 3 schijven aan te schaffen, schaf dan verschillende merken en types aan;
• bewaar ze offline;
• bewaar ze niet allemaal op één plek, anders kan bij inbraak, brand of een andere calamiteit namelijk alles in een klap weg zijn — leg een exemplaar neer op je werk, of breng het onder bij vrienden waar je regelmatig over de vloer komt, of als je in een flatgebouw woont geeft de berging al afstand die bij sommige calamiteiten een groot verschil maakt;
• controleer af en toe of alles (en dan bedoel ik alle bestanden) foutloos teruggelezen kan worden, en controleer bij schijven S.M.A.R.T.-attributen omdat die waarschuwingen geven van diverse problemen voordat die al tot dataverlies leiden;
• vervang een backup-medium zodra je een indicatie hebt dat er problemen mee ontstaan en zet de inhoud over naar het vervangende exemplaar — het gaat er niet om dat die schijf 20 jaar meegaat, het gaat erom dat de data die je erop hebt staan behouden blijft;
• als bijvoorbeeld een schijf echt crasht voordat je de inhoud ervan hebt kunnen redden dan heb je die alternatieve backupmedia actueel gehouden zodat je toch niets (of in ieder geval niet veel) kwijt bent.

Ik heb geen online-backupdiensten genoemd in dat rijtje. Als je die gebruikt zou ik daarnaast ook nog steeds met fysieke backups in eigen beheer werken. Het zou namelijk niet voor het eerst zijn dat zo'n dienst er opeens mee stopt of een gebruiker afsluit en daar niet op aanspreekbaar blijkt te zijn, en wat online benaderbaar is kan in beginsel ook online vernacheld worden. Voor mij was, toen dat soort oplossingen beschikbaar kwamen, ook een factor dat ik een forse hoeveelheid data heb (veel foto's in raw-formaat, en dat telt aan) en dat een simpel rekensommetje (omvang gedeeld door download-bandbreedte) uitwees dat een restore vanuit een online backup over mijn toenmalige ADSL-aansluiting onmogelijk minder dan twee weken kon duren, en dat vond ik totaal onacceptabel. Een backupschijf te voet bij vrienden in een ander deel van de stad ophalen levert een dramatisch veel hogere bandbreedte op ;-).

Dat zijn heel wat dingen om rekening mee te houden. Het is nuttig om ervan doordrongen te zijn en goed te begrijpen waarom deze dingen je helpen. Dan is het ook nog eens zaak om het geheel ondanks die complexiteit zo makkelijk in gebruik te maken in de dagelijkse praktijk dat de omslachtigheid ervan geen reden wordt om het te laten versloffen. Ik ben bang dat ik daarvoor geen tips kan geven, ik ben handig genoeg om een eigen opzet in elkaar te knutselen die het mij makkelijk maakt (op basis van BTRFS, dat eigenschappen heeft die vergelijkbaar zijn met ZFS, en een aantal USB-schijven met stootvaste behuizingen als backup-media), maar juist omdat ik een goede doe-het-zelver ben in dit opzicht heb ik geen zicht op welke kant-en-klare oplossingen er bestaan en hoe goed die zijn, daar heb ik me simpelweg niet in hoeven te verdiepen.
10-01-2024, 08:25 door Anoniem
Het is jammer dat de GNU wereld zo alergisch reageert op BSD licenties, en daardoor kunnen slechts een klein aantal LInux distributies ZFS.
OpenZFS gebruikt niet BSD maar CDDL. Die licentie is juridisch incompatibel met de GPL, zoals je hier kan lezen:
https://softwarefreedom.org/resources/2016/linux-kernel-cddl.html
Het is nogal een ingewikkeld verhaal, maar het komt erop neer dat als van ZFS een kernel-module wordt gemaakt het voor de GPL een afgeleide is van GPL-code, en dat daarom de broncode van ZFS onder de GPL beschikbaar gesteld moet worden, terwijl tegelijk CDDL eist dat CDDL de licentie blijft. Dat kan niet allebei, dus is deze combinatie alleen mogelijk door of de ene of de andere licentie te schenden, en dan wordt hoe dan ook iemands auteursrecht geschonden.

Dit is geen allergische reactie van GPL-fanaten die om ideologische redenen alles afwijzen wat geen GPL is. Linus Torvalds heeft destijds niet om ideologische maar om pragmatische redenen voor GPL gekozen, hij staat er wezenlijk anders in dan Richard Stallman. Maar als juristen je vertellen dat een bepaalde combinatie niet mogelijk is zonder daarmee een licentie en dus auteursrechten te schenden, dan is de enige verstandige, professionele, legale en ook pragmatische en integere mogelijkheid om die combinatie dan maar niet te maken.

Linus Torvalds heeft wel eens gesteld dat ZFS pas officieel in de Linux-kernel kan worden opgenomen als vanuit Oracle op hoog niveau zwart op wit wordt gegarandeerd dat de ZFS-code onder de GPL verder verspreid mag worden, omdat Oracle een bedrijf is met een geschiedenis van agressief rechtzaken voeren om hun auteursrecht te verdedigen en het risico daarop te groot is als Oracle die garantie niet geeft.

Ook OpenZFS zit trouwens nog vol met code waarvan het auteursrecht bij Oracle ligt (iets van 50%, kwam ik ergens tegen). OpenZFS is namelijk geen clean-room-implementatie maar een fork, een kopie van de laatste open versie van ZFS, die vervolgens apart is doorontwikkeld. Als OpenZFS in de officiële Linux-kernel zou worden opgenomen zou dus nog steeds Oracle toestemming moeten geven om de GPL te gebruiken, maar ook al die anderen die aan OpenZFS hebben bijgedragen.

ZFS via Fuse, dus als user-space-module, levert juridische geen problemen op, want dat communiceert met de kernel via standaard-API's die voor de GPL niet triggeren dat het een afgeleide is. Maar dat is qua performance en robuustheid niet ideaal. Linux-distributies die ZFS toch als kernel-module opnemen doen dat op eigen risico.
10-01-2024, 09:45 door Anoniem
M-Disc, mits goed bewaart blijft duizend jaar behouden.
https://en.m.wikipedia.org/wiki/M-DISC
Ik heb zelf 100GB discs waar ik zeer tevreden over ben, het is niet herschrijfbaar, maar ideaal voor belangrijke documenten, zelfs de AIVD gebruikt het voor simmige zaken!
10-01-2024, 11:05 door Anoniem
ZFS is een zelfherstellend filesysteem en heeft de mogelijkheid tot encryptie, snapshots, klonen, deduplicatie, datacompressie [...]
Ik heb geen enkele reactie gelezen, maar op de vraag beste storage is ZFS het antwoord,[...]
ZFS ... beslist geen alternatief voor een backup
Inderdaad verschillende posters, ik was #2. Mijn antwoord was op de vraag:
documenten/etc. voor de langere termijn (zeker 20 jaar) thuis (dus niet in de cloud) te bewaren? Ik zou zeggen HDD, natuurlijk met minimaal één back-up
Vandaar dat ik naast fileserver een off-site schijf noemde.

De tweede reageerder ging niet voor niets verder met een opzet die afzonderlijke backups oplevert
Een schijf die crasht werkt niet dankzij ZFS toch nog, en een onleesbaar geworden fysiek blok op een harde schijf kan wel gesignaleerd worden maar is niet opeens leesbaar omdat je ZFS gebruikt.
het gaat er niet om dat die schijf 20 jaar meegaat, het gaat erom dat de data die je erop hebt staan behouden blijft
Klopt allemaal, dus vandaar dat de zraid die ik noemde een vereiste is, dus het lijkt dat we toch wel geheel op exact dezelfde lijn zitten. Behalve dat jij de combinatie ZFS Windows twijfelachtig vindt, hetgeen niet van toepassing is met een BSD fileserver, die Windows i.c.m. smb:// zou kunnen mounten. Sowieso kan ik beaamen dat je moet weten wat je aan het doen bent. De doe leesbare en duidelijke ZFS manuals bij Oracle zijn daarom een waardevolle verademing. Ikzelf gebruik ZFS nu richting zo'n 20 jaar lang, en ben sindsdien nimmer data verloren. Onder Linux met ext was dat nogal anders.

op basis van BTRFS, dat eigenschappen heeft die vergelijkbaar zijn met ZFS, en een aantal USB-schijven met stootvaste behuizingen als backup-media)
Ikzelf gebruik directe kabels die USB-C 3.0 aan de ene zijde zijn, en SATA aan de ander zijde, waar eventueel nog een poweradaptortje op past voor spinning disks (maar ikzelf heb een zeer riant overschot aan bizar grote SSD's). Met een GPT partitie kun je `zpool import` doen, en zo externe disks mounten/unmounten. Hetgeen ik continue doe voor vele terabytes aan video, die een kapitaal hebben gekost om te produceren, en daarom mag het conserveren best wat kosten.
Maar ook daar, wederom een "inderdaad"; ieder zijn voorkeuren voor zijn of haar usecase.

Door OP:
dus niet in de cloud
Van de week eens naar Linode en DigitalOcean gekeken, wat 10TB in de cloud cloud kost, een jaar lang...
Daar kun je dus ongeveer 16x diezelfde capciteit voor kopen!

Ook OpenZFS zit trouwens nog vol met code waarvan het auteursrecht bij Oracle ligt
...door hun overname van Sun die Solaris hadden hetgeen ik als het moederplaform van ZFS zie.
Dank voor je iets duidelijker verduidelijking van hetgeen ik al eens half gehoord had.
Ik snap nu waarom dat onbegrijpbare dan toch wel logisch is.
10-01-2024, 12:03 door Anoniem
Door Anoniem: Dank voor je iets duidelijker verduidelijking van hetgeen ik al eens half gehoord had.
Ik snap nu waarom dat onbegrijpbare dan toch wel logisch is.
Graag gedaan, en leuk dat je even terugmeldt dat het inderdaad iets heeft verduidelijkt. :-)
10-01-2024, 12:11 door Anoniem
Door Anoniem: Wat te denken van films voor de video en Microfilm voor de foto"s. Oud maar bewezen goed en langdurig te bewaren bij goede opslag.
Microfilm was ooit een innovatieve manier voor het efficiënt en ruimtebesparend bewaren van documenten.
je kunt ze later waarschijnlijk ook zo weer inlezen op de dan bestaande computers.

Wat te denken van teruglezen van de thread , want de suggestie is elf maanden geleden al gedaan.
11-01-2024, 09:17 door Anoniem
Het denken over het archiveren zelf mag anders.
Nu lijkt de bedoeling dat er systemen zijn waarop je de gegevens zet, waarna je niets meer hoeft te doen. Dat moet wel een misvatting zijn. De vraag die gesteld wordt gaat voorbij aan een veel wezenlijker vraag, namelijk waarom je gegevens überhaupt wilt bewaren.

Bewaren van gegevens vergt te allen tijde inspanning. Zelfs het zuurvrije papier moet in een ruimte bewaard met klimaatbeheersing, brandpreventie, etc. Net als apparatuur in de cloud of in een eigen datacentrum. M-DISC is een mooi concept, maar ook die dingen hebben ruimte nodig. En juist als bewaren niet is ingebed in processen, wie weet er dan nog over 10 jaar wat er is opgeslagen en waar? Hoe wordt geëvalueerd of informatie die jaren geleden is opgeslagen inmiddels niet verwijderd moet worden? Alle data heeft immers een bewaartermijn, al was het maar omdat niet alles relevant kan blijven.

En als we bij bewaren van informatie dan toch moeten denken aan processen die inspanning vergen, moeten we eerst te rade bij professionals die verstand hebben van dergelijke processen. Anders blijven we hangen in een arbitraire groef van hoe lang de eentjes en nulletjes overeind blijven op bepaalde media.

Voor particulieren volstaat een NAS met meerdere schijven, een zelfherstellend bestandssysteem en extra reservekopieën. Mocht de woning afbranden dan heb je een groter probleem dan dat er vakantiefoto's missen. Daarbij worden van de leukste en belangrijkste herinneringen altijd wel kopieën gedeeld met belangstellenden, die het ook willen bewaren.

Bedrijven moeten - als ze dat niet al doen - juist nadenken over de processen rondom retentie van gegevens. Dat is een ingewikkelde klus, waardoor veel bedrijven verzanden in oude rommel die al lang weg had gemoeten, omdat niemand het weg durft te gooien omdat men bang is daarvoor gestraft te worden. Want wie zegt hen dat gegevens op een later moment niet relevant kunnen worden geacht? Voor die bedrijven worden softwarepakketten aangeboden om de rommel doorzoekbaar te maken. Maar met een betere organisatie en een beetje discipline kan een organisatie efficiënter en slagvaardiger werken. Dit zie ik nog niet bij iedere organisatie terug.
11-01-2024, 14:30 door Anoniem
ZFS op 1 disk lijkt me vrij zinloos, dan kun je beter ext4fs draaien, is ook makkelijker te repairen met tools die je beter snapt
Reageren
Ondersteunde bbcodes
Bold: [b]bold text[/b]
Italic: [i]italic text[/i]
Underline: [u]underlined text[/u]
Quote: [quote]quoted text[/quote]
URL: [url]https://www.security.nl[/url]
Config: [config]config text[/config]
Code: [code]code text[/code]

Je bent niet en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.