Startseite
Bild

napp-it-zfs

ZFS Daten-Sicherheit


Das Problem

Moderne Speichersysteme arbeiten mit extremen Datendichten und hohen Kapazitäten. Die schnelle Verarbeitung großer Datenmengen erfordert hohe Taktfrequenzen bei der Verarbeitung dieser Daten. Dabei ergeben sich folgende Probleme:

  • Fehler bei der Datenverarbeitung im Arbeitsspeicher (bit-flop)
  • Fehler bei der Datenverarbeitung in der Kette Treiber -> Storagecontroller -> Kabel -> Backplane -> Platte
  • Fehler durch Raid 5/6 Systeme (z.B. Korruptes Dateisystem nach Stromausfall beim Schreiben, Write Hole Problem)
  • Dateifehler die durch platteninterne Prüfsummen nicht entdeckt werden.
  • Stille Datenfehler. Daten auf einem Datenträger verändern sich mit einer statistischen Wahrscheinlichkeit z.B. durch Magnetfelder, Radioaktivität oder einfach so ohne erkennbare Ursache ist ("Datenrost"). Eine Untersuchung beim Cern vor mehreren Jahren mit Platten deren Datendichte erheblich geringer war als heute üblich, beispielsweise ergab eine Fehlerrate durch diese Probleme in der Größe von 3 x 10-15 Fehlern als etwa unentdeckte 3 Fehler pro Terabyte. Dies ist vor allem bei kritischen Daten oder Langzeitspeicherung ein echtes Problem. http://en.wikipedia.org/wiki/Data_corruption
  • Bewusste nachträgliche Verfälschung (Sabotage, Viren, menschliche Fehler), Revisionssicherheit


Die Lösung: ZFS

Während sich Arbeitsspeicherprobleme noch relativ einfach durch ECC-RAM beherrschen lassen, sind die anderen Probleme nur beherrschbar durch folgende Massnahmen die ZFS auszeichnen:

  • End to End Prüfsummen: Dies bedeutet dass die tatsächlichen Daten und Metadaten (also nicht nur ein einzelner Disk oder Raid-Datenblock) bereits im OS Speichersubsystem mit Prüfsummen versehen werden. Nur das gewährleistet die sichere Erkennung beliebiger Fehler bei der Verarbeitung der Daten und die Auto-Reparatur beim Lesen oder beim Scrubben des gesamten Datenbestandes mit Hilfe der Prüfsummen und Redundanz
  • Copy On Write. Dieses moderne Storagekonzept bedeutet, dass bei Datenänderungen Datenblöcke nicht teilweise upgedatet werden sondern immer neu erstellt werden. Eine Schreibaktion ist damit entweder erfolgreich oder es erfolgt keine Änderung. (Immer konsistentes Dateisystem, kein fschk). Werden die alten Datenstände vor dem erneuten Überschreiben geschützt. erhält man read-only Snapshots ohne Zeitaufwand, Kopieren oder anfänglichen Platzverbrauch und damit veränderungssichere Versionierung der Daten.
  • Integriertes Software Raid mit Volumemanagement. ZFS hat damit die volle Kontrolle über die Verarbeitung bis zum verifizierten Speichern der Daten auf der Platte optional mit einer sicherem Sync-Write Eigenschaft.
napp-it 21.02.2024