[gelöst]Backup und Verifizieung

[bayernherz]

Hallo zusammen,

ich verwende für die Anfertigung von Backups meines NAS-Datenspeichers das
KDE Programm luckyBackup, welches in Hintergrund mit rsync arbeitet.
Als Speichermedium für die Backups verwende ich 2 USB-Disks, die wechelweise
verwendet werden.

Aber was ist ein Backup wert, wenn es nicht verifiziert wird und testweise zurückgespielt wird.
Leider habe ich auch nicht den Speicherplatz, um ein testweises zurückspielen des Backups durchzuführen.

Hier könnte ich einige Tipps von Euch gut gebrauchen.
Welche Tools verwendet Ihr für eine Verifizieung des Backups?
Wie haltet Ihr es mit dem testweise zurückspielen des Backups?

viele Grüsse
bayernherz

 

[Christina]

Welche Tools verwendet Ihr für eine Verifizieung des Backups?

Also ich verwende auch wieder rsync.
Angenommen, du hast zwei Partitionen oder Verzeichnisbäume, die den selben Dateiinhalt haben sollen.
Um das zu überprüfen müssen die Partitionen eingehängt sein (mounted), z.B. unter

/run/media/<user>/<volume_name1>/
/run/media/<user>/<volume_name2>/

oder auch ein Verzeichnisbaum im PC oder Notebook selbst:
/home/<user>/<Verzeichnis>/

Wenn dieses Kommando dann keine Dateien als Ausgabe zurückgibt, ist der Inhalt im zweiten Volume oder Verzeichnisbaum mit dem ersten identisch.

rsync -axnAHPX --delete /home/<user>/<Verzeichnis>/ /run/media/<user>/<volume_name1>/

sending incremental file list

 

[josef-wien]

Daß Dateigröße und Zeitstempel passen, ist wohl nicht besonders hilfreich. Da muß schon -c verwendet werden, aber dann dauert es natürlich, denn auf beiden Seiten muß jede Datei gelesen werden.
_______

"Die" Lösung gibt es nicht. Bei der Systempartition muß man die Wiederherstellung schlicht und einfach üben. Bei den Benutzerdaten hängst es von deren Wichtigkeit ab. Bei besonders wichtigen Daten kann man z. B. vor dem Sichern Prüfsummen bilden und dann regelmäßig schauen, ob sie noch passen (und daher kein Speicherfehler vorliegt). Bei nicht so wichtigen Daten kann man sich damit begnügen, sie fallweise wiederherzustellen und zu schauen, ob sie vom jeweiligen Bearbeitungsprogramm noch problemlos gelesen werden können. Die besonders wichtigen Daten sichert man vielleicht in mehr Generationen als die nicht so wichtigen Daten. Man kann (relativ) statische Daten anders behandeln als Daten, die immer wieder geändert werden. Man kann festlegen, für welches Katastrophen-Szenario man wie gewappnet sein will. Es hängt einfach von den persönlichen Anforderungen ab.

 

[/dev/null]

Zuerst einmal meine volle Zustimmung, dass eine Datensicherung nur so viel Wert ist, wie ihr (mehrfach) getestetes und wirklich funktionierendes Restore.

Ich verwende seit einigen Jahren für die Sicherung meiner (seit 6 Jahren "nur noch" rein privaten) Daten das Programm "Duplicati". Natürlich läuft da auch rsync im Hintergrund.
Ich sichere damit das fast vollständige /home meiner drei Rechner (je 2 aktive user) auf insgesamt 4 NAS und auch noch in die 1&1- und die Magenta-Cloud. Drei der NAS erreiche ich über mein doch schon recht großes eigenes Wireguard-VPN, wo die Server bei Freunden/Familienangehörigen in drei Ländern stehen. (JA, ich übertreibe "ein klein wenig", aber hier schlägt eben mein ehemaliger Job durch - und vor allem, alles läuft nach einmaliger Konfiguration völlig automatisch. Und alle Beteiligten machen das dann auch genau so.)

Aber die Frage war, wie die Verifizierung erfolgt.
Selbstverständlich habe ich am Anfang von allen Sicherungszielen je mindestens ein vollständiges Restore durchgeführt. Dazu wurde einfach ein sonst nicht mehr genutztes älteres NAS (Synology DS213j) reaktiviert. Eine USB-HD hätte es auch getan. Und dann habe ich in mehreren Prüfgängen die /home der einzelnen User mit dem Restore verglichen. Ich nutze dazu den von mir geliebten Dateimanager "Krusader" und dessen eingebaute Funktion mit bitweisem Vergleich. Einzelne zufällig ausgewählte Dateien wurden auch "händisch" per md5sum verglichen.
Aber diesen Aufwand habe ich in den Jahren wohl nur 2 oder 3 mal betrieben.

Das Programm "Duplicati" prüft nach dem erfolgreichen Sicherungslauf automatisch eine große Anzahl zufällig ausgewählter Dateien - und zeigt an, falls mal ein Bit gekippt ist. Aber diesen Fall hatte ich noch nie! Und wenn, dann habe ich ja noch ein paar weitere Sicherungen …
Auf jeden Fall habe ich jetzt ein sehr gutes Gefühl, wenn ich an meine Daten denke.


vy 73 de Peter

 

[bayernherz]

hallo zusammen,

zuerst einmal vielen Dank für Eure zahlreichen Antworten.

Christina hat geschrieben:
Wenn dieses Kommando dann keine Dateien als Ausgabe zurückgibt, ist der Inhalt im zweiten Volume oder Verzeichnisbaum mit dem ersten identisch.

rsync -axnAHPX --delete /home/<user>/<Verzeichnis>/ /run/media/<user>/<volume_name1>/

Ich habe das mit dem von

josef-wien hat geschrieben:
Daß Dateigröße und Zeitstempel passen, ist wohl nicht besonders hilfreich.
Da muß schon -c verwendet werden, aber dann dauert es natürlich, denn auf beiden Seiten muß jede Datei gelesen werden.

vorgeschlagenen ergänzt.

rsync -acxnAHPX --delete /<Datenverzeichnis>/ /run/media/<user>/<volume_name1>/

Fazit: Mein Backup war übereinstimment mit dem original Datenverzeichnis.

Momentan erstelle ich meine Backups mit luckyBackup.
Das ist schon ein älteres KDE-Programm und wird nicht mehr supported.
Ich würde gern das Backup mittel Script und rsync erstellen.

Würde mich sehr freuen, wenn Ihr mir hierzu den erforderlichen commandstring
für backups und Wiederherstellung von backups postet.
Da ich im Moment eine etwas kritsche Rechteumstellung an meinem NAS-Datenspeicher durchführen muss.
https://linux-club.de/forum/viewtopic.php?t=123751&start=40
wo möglicherweise ein Datenverlust nicht auszuschliessen ist, möcht ich auch noch eine testweise Wiederherstellung meines Backups auf einer USB-Disk durchführen.
Hierzu müsste ich mir allerdings noch eine neue USB-Disk zulegen.

viele Grüsse
bayernherz

 

[Christina]

rsync -acxnAHPX --delete /<Datenverzeichnis>/ /run/media/<user>/<volume_name1>/

(…)
Ich würde gern das Backup mittel Script und rsync erstellen.

Würde mich sehr freuen, wenn Ihr mir hierzu den erforderlichen commandstring
für backups und Wiederherstellung von backups postet.

Gib die Verzeichnisse für Quelle/ & Ziel/ korrekt an und lasse danach einfach die Option -n weg.
Die Option -v ist noch nützlich.

-c lasse ich persönlich weg. @josef-wien hat aber Recht: Beim Überprüfen, ob zwei Archive wirklich jeweils bitgenaue Dateien beinhalten, braucht man die Checksummen. -c würde ich aber nur in einem zweiten Durchlauf in Verbindung mit -n benutzen, damit eine Datei mit Bitfehler nicht ein Original im Backup überschreibt. Die Quell-Festplatte könnte ja defekt sein—oder umgekehrt. (siehe auch Beitrag oben von @/dev/null)

rsync [OPTION...] QUELLE... [ZIEL]
-n, --dry-run              perform a trial run with no changes made
-v, --verbose              increase verbosity
-c, --checksum          skip based on checksum, not mod-time & size

Für eine testweise Sicherung & Wiederherstellung benutzt du die Option -n. Dazu musst du keine weitere Festplatte kaufen.

 

[bayernherz]

hallo zusammen,

Christina hat geschrieben:
-c lasse ich persönlich weg. @josef-wien hat aber Recht: Beim Überprüfen, ob zwei Archive wirklich jeweils bitgenaue Dateien beinhalten, braucht man die Checksummen. -c würde ich aber nur in einem zweiten Durchlauf in Verbindung mit -n benutzen, damit eine Datei mit Bitfehler nicht ein Original im Backup überschreibt. Die Quell-Festplatte könnte ja defekt sein—oder umgekehrt. (siehe auch Beitrag oben von @/dev/null)

Ich habe mit:

rsync -axAHPX  /net/nas/Bilder/ /media/ufalter/WD-EARS/Bilder/

nochmals ein komplett neues Backup angelegt.
Hinweis:
Das Verzeichnis

/media/ufalter/WD-EARS/Bilder/

muss manuell angelgt werden, da sonst in das root-Verzeichnis

/media/ufalter/WD-EARS/

geschrieben wird.
Und wenn die die Option --delete mit verwendet wird, wird das gesammte root Verzeichnis
belöscht. Genau das ist mir passiert. Allerdings hatte ich dann auch wieder genügend Platz, um neue Backups anzulegen. Verluste habe ich keine gehabt, da ich ja noch eine 2. USB Backup Disk habe.

Anschliessend habe ich eine Veryfizierung durchgeführt mit:

rsync -axncAHPX --delete /net/nas/Bilder/ /media/ufalter/WD-EARS/Bilder/

weiterhin ein Restore mit

rsync -axAHPX /media/ufalter/WD-EARS/Bilder/ /net/nas/Bilder_Restore/

und zuletzt eine Veryfizierung des Restore mit

rsync -axncAHPX --delete /net/nas/Bilder_Restore/ /media/ufalter/WD-EARS/Bilder/

Das ganze hat unendlich gedauert.
Es besteht jetzt allerdings die Sicherheit, das die Backups funktionieren
und wir mit dem Thread
https://linux-club.de/forum/viewtopic.php?t=123751&start=40
fortfahren können.
Ach eine letzte Frage noch zu diesem Thread:
Was bewirkt genau die Option -v, --verbose increase verbosity

Nochmals vielen Dank für eure zahlreichen Antworten zu diesem Thema.

viele Grüsse
bayernherz

Nachtrag:
ergänzende Backups mit

rsync -axAHPX --delete /net/nas/Bilder/ /media/ufalter/WD-EARS/Bilder/

und gelegendliche Überprüfung mit:

rsync -acnxAHPX --delete /net/nas/Bilder/ /media/ufalter/WD-EARS/Bilder/

Da rsync in der Konsole doch einiges schneller läuft als luckyBackup
werde ich jetzt dazu übergehen nur noch rsync in der Konsole
zu verwenden.

 

[josef-wien]

Das Verzeichnis

/media/ufalter/WD-EARS/Bilder/

muss manuell angelgt werden, da sonst in das root-Verzeichnis

/media/ufalter/WD-EARS/

geschrieben wird.

Dann hat Dein Befehl nicht

rsync -axAHPX /net/nas/Bilder/ /media/ufalter/WD-EARS/Bilder/

gelautet.

Was bewirkt genau die Option -v, --verbose increase verbosity

Wie der Text schon sagt, bekommst Du mehr Informationen. Und wenn Du -vv verwendest, gibt es noch mehr, da würde ich die Ausgabe aber zusätzilich in eine Datei schreiben:

rsync -avvxAHPX /net/nas/Bilder/ /media/ufalter/WD-EARS/Bilder/ | tee $HOME/rsync.txt

 

[Christina]

@bayernherz

Gib die Verzeichnisse für Quelle/ & Ziel/ korrekt¹ an und lasse danach² einfach die Option -n weg.

1) —
2) Mit "danach" wollte ich in Kurzform sagen: Mache zuerst einen Probelauf mit "-n" und kontrolliere die Ausgabe von rsync.

-v gibt in Verbindung mit -P am Ende noch eine Zusammenfassung aus.
Du brauchst die Option -v, um überhaupt eine Ausgabe zu bekommen, wenn du -P nicht verwendest.

 

[bayernherz]

hallo zusammen,

nochmals vielen Dank.

viele Grüsse
bayernherz