Computerbeveiliging - Hoe je bad guys buiten de deur houdt

Data Loss op APFS-formatted disk images

16-02-2018, 13:32 door Anoniem, 7 reacties
Waarschuwing voor Mac gebruikers

Het is oppassen met backups en het creeren van APFS-formatted disk images.
Er is een bug geconstateerd in het 'syncen' van beschikbare restruimte tussen het gecreeerde image en de disk waarop zij staat.

Concreet, het kan zijn dat de disk waarop de 'APFS-formatted disk image' staat dat ze vol is, terwijl het geopende 'APFS-formatted disk image' zegt dat er nog ruimte is om extra bestanden weg te schrijven.

Een test van een backup software maker resulteerde in het volgende.
Alhoewel er dus eigenlijk geen ruimte meer was kon er nog een grot bestand worden weggeschreven en deed dat bestand het ook, leek alles in orde.

Na het sluiten van het disk image en het opnieuw openen was de boel corrupt.
Dat is een heel essentieel probleem als het betreffende 'APFS-formatted disk image' een backup betreft waar je moet op terugvallen.

Hoewel het probleem relatief klein is omdat het specifiek een 'APFS-formatted disk image' betreft en niet alle gebruikers op deze wijze data wegschrijven is het probleem groot als je er wel gebruik van maakt.
Opletten en voorzorgsmaatregelen nemen.

Lees het originele blog hier voor de exacte details

"MacOS may lose data on APFS-formatted disk images"
https://bombich.com/blog/2018/02/15/macos-may-lose-data-on-apfs-formatted-disk-images
Reacties (7)
16-02-2018, 17:11 door Anoniem
Ok misschien kan deze bug zich alleen voordoen waneer je een usbstick formatteert met de diskmanager.
of een sd card.
Op de macs zelf met dit systeem zie ik geen problemen,het zij met een ingebouwde ssd schijf,of op Mac's met een mechanische Harde schijf.
16-02-2018, 17:49 door Anoniem
Een heel belangrijk detail dat je niet had moeten overslaan: het gaat enkel om sparse disk images.

Een sparse file is er een waarin blokken die alleen null-bytes (hex 00) bevatten niet gealloceerd worden. Dat is een manier om schijfruimte uit te sparen. Als de sparse file een disk image is met een eigen filesysteem kan daardoor volgens de logica van het filesysteem in de image er nog vrije ruimte zijn terwijl het filesysteem waar de image als sparse file in staat vol is.

De corruptie in de beschreven test treedt op in een videobestand dat als bestand in het filesysteem van de sparse disk image wordt geschreven. Dat lijkt goed te gaan, het bestand heeft de juiste afmetingen, de checksum klopt, ogenschijnlijk is er niets aan de hand. Maar na een umount en mount blijkt de video corrupt te zijn.

Als een applicatie data schrijft wordt die eerst in RAM-geheugen gebufferd en vertraagd naar schijf geschreven. Dat stelt het besturingssysteem in staat om I/O-operaties te optimaliseren en een hogere throughput te bereiken dan wanneer elke schrijfopdracht meteen naar de sluis zou worden doorgesluisd. Wat hier lijkt te gebeuren is dat de data in die I/O-buffers blijft hangen en dat het APFS-filesysteem geen I/O-fouten afgeeft als het host-filesysteem geen ruimte meer heeft om de blokken die nu geen null-waarden meer bevatten en dus niet meer sparse zijn op te slaan. Zo lang de APFS-image gemount is zal het OS data die in de buffer staat uit de buffer halen als een applicatie hem leest en dan krijg je dat alle bestandsattributen en checksums en dergelijke kloppen en dat afspelen van de video prima lukt. Maar bij het afkoppelen/umount worden die buffers vrijgegeven en dan gaat de data opeens verloren.

Vervelende bug in de APFS-code, maar je hebt heel specifieke omstandigheden nodig om er last van te krijgen.
16-02-2018, 22:48 door Anoniem
Hier ook een artikel over dit onderwerp:

http://www.theregister.co.uk/2018/02/16/apple_file_system_bug/
19-02-2018, 17:27 door Anoniem
Door Anoniem: Een heel belangrijk detail dat je niet had moeten overslaan: het gaat enkel om sparse disk images.

[knip]

Vervelende bug in de APFS-code, maar je hebt heel specifieke omstandigheden nodig om er last van te krijgen.

Geen maar, ook niet met een prachtige technische uitleg,
want als je (zzp) productie omgeving leunt op het gebruik van dit soort images ben je dus ongelooflijk de lul na een dag(deel) hard werken en wegschrijven van data die dus inderdaad letterlijk weg is geschreven.
Sparseimages zijn super om te gebruiken maar dan moeten er niet dit soort fouten optreden.
Relativeren van het probleem heeft dan ook geen pas omdat het zich heel concreet kan voordoen en je dus de pineut bent (koop er niets voor dat anderen dat probleem misschien niet hebben).
Blij dat ik nog niet op dat APFS systeem zit.
19-02-2018, 20:08 door Anoniem
Door Anoniem:
Door Anoniem: Vervelende bug in de APFS-code, maar je hebt heel specifieke omstandigheden nodig om er last van te krijgen.

Geen maar, ook niet met een prachtige technische uitleg,
Wel maar, want ook als je wèl aan die specifieke omstandigheden voldoet om erdoor geraakt te worden zijn het nog steeds die specifieke omstandigheden, en lang niet elke APFS-gebruiker zal ermee te maken krijgen. Ik wilde helemaal niet de ernst van het probleem bagatelliseren als het je raakt, ik stelde dat er specifieke omstandigheden nodig zijn om erdoor geraakt te worden.
Blij dat ik nog niet op dat APFS systeem zit.
Ah, jij voldoet dus niet aan die specifieke omstandigheden en wordt er niet door geraakt. Je illustreert precies wat ik ermee bedoelde.
19-02-2018, 21:56 door Anoniem
Het gaat zoals boven beschreven dus niet om een SSD waar gebruik maakt van APFS, maar om een disk image.
Dit wordt bijvoorbeeld gebruikt om een encrypted bestand te maken en hierin data te bewaren.

Dit is inderdaad een bug in de implementatie die apple snel moet gaan fixen, maar tot die tijd kan je 2 dingen doen:
als je al een APFS image hebt, nu controleren of er voldoende disk image is en een kopie maken naar een HFS+ disk image
als je nog geen APFS image hebt, een HFS+ image gebruiken.
20-02-2018, 14:44 door Anoniem
Door Anoniem:
Door Anoniem:
Door Anoniem: Vervelende bug in de APFS-code, maar je hebt heel specifieke omstandigheden nodig om er last van te krijgen.

Geen maar, ook niet met een prachtige technische uitleg,
.. Ik wilde helemaal niet de ernst van het probleem bagatelliseren als het je raakt, ik stelde dat er specifieke omstandigheden nodig zijn om erdoor geraakt te worden.
Je bagatelliseert het wel met daarbovenop een open deur; alles vereist specifieke omstandigheden tenzij het per definitie opgaat.
Je suggereert dat het weinig vorkomt terwijl je daar geen enkele notie van hebt of dat ook maar onderbouwt.

Blij dat ik nog niet op dat APFS systeem zit.
Ah, jij voldoet dus niet aan die specifieke omstandigheden en wordt er niet door geraakt. Je illustreert precies wat ik ermee bedoelde.[/quote]Lariekoek, gevaar telt niet alleen voor de mensen die het overkomt, maar juist voor de mensen die er heel dicht bij zitten, de reden van deze forumposting.
Je kan dus een workflow hebben die er vrijwel helemaal aan voldoet, maar nog net niet zijn overgestapt op het nieuwe systeem.

Je bagatelliseert een probleem onnodig met aannamend ie je niet onderbouwt (want het is toch een heel reele kans) en helpt er dus andere gebruikers allerminst mee, ik vraag me daarom zelfs af of je wel met Apple spulletjes werkt.
Volkomen onzinnige sundiscussie gestart met volharding in een suggestief gelijk dat er niet toe doet, het is belangrijk dat de juiste mensen worden gewaarschuwd in plaats van dat mensen onterecht en voortijdig worden gerustgesteeld door reacties die het probleem bagatelliseren, sparsedisk images gebruik is namelijk niet per se gekoppeld aan het gebruik van backup software als die uit de link.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.