Bolanger 24. Mai Hallo, hier wurde ja nun über diverse Möglichkeiten der Archivierung geschrieben. Wichtig dabei sind regelmäßige Backups, deren Qualität und Integrität man mit diversen Tools prüfen kann. Wie aber stellt Ihr sicher, dass die Originaldateien im Arbeitsverzeichnis keinen Schaden haben? bei einem backup kann man Prüfsummen bilden, um zu vergleichen, ob das backup sich verändert hat. Und womit sollte ich mein Arbeitsverzeichnis vergleichen, dessen datein sich regelmäßig ändern? Wie kann ich sicherstellen, dass einzelne dateien nicht ebenso wie auf externen Datenträgern Schaden nehmen? Diesen Beitrag teilen Link zum Beitrag
MichaelMueller 31. Mai Paperless prüft regelmäßig die Dateien auf Schäden. In einem Backup wird es interessanter, da kenne ich aktuell nichts. Diesen Beitrag teilen Link zum Beitrag
s1lv3r 3. Juni Am 24.5.2024 um 13:58 von Bolanger: [...] bei einem backup kann man Prüfsummen bilden, um zu vergleichen, ob das backup sich verändert hat. Und womit sollte ich mein Arbeitsverzeichnis vergleichen, dessen datein sich regelmäßig ändern? Wie kann ich sicherstellen, dass einzelne dateien nicht ebenso wie auf externen Datenträgern Schaden nehmen? ZFS als Dateisystem. Ist halt die Nerdoption, aber dann hat man automatische Datenfehlerkorrektur (Scrubbing), Redundanz, Snapshots, Deduplizierung, etc. direkt im Dateisystem eingebaut. Diesen Beitrag teilen Link zum Beitrag
StE 3. Juni Roter Nerd-Alarm... ZFS ist eins der wenigen Dateisysteme, die nicht nur Metadaten sondern auch Daten, mithin ALLES, einer Checksummenprüfung unterziehen. Es ist nicht makellos, aber es ist das einzige Dateisystem, dem ich ernsthaft vertraue. Wichtig ist, daß der zed-Daemon läuft, E-Mail konfiguriert ist, und man mindestens monatlich den Scrub per Cron oder Systemd-Timer laufen lässt, um Sektorfehler oder falsche Daten zu erkennen und reagieren zu können. Ich persönlich lasse mir die Scrub-Ergebnisse monatlich zuschicken auch wenn keine Fehler zu erkennen waren. So sehe ich gleich, daß das Alerting noch funktioniert. Ggfs mit smartd auch noch die einzelnen Devices im Auge behalten. Backup, am besten per 3-2-1 Regel, sollte mehrere Generationen zurück reichen, d.h. selbst wenn das letzte Backup defekt sein sollte, kann man dann immer noch auf ein voriges zugreifen und von da die Daten zurückholen. Backup ohne regelmässige Tests der Funktionalität ist aber Wunschdenken. Einmal im Jahr sollte man dies überprüfen. Diesen Beitrag teilen Link zum Beitrag
Lazaros 3. Juni vor 11 Minuten von StE: Roter Nerd-Alarm... ZFS ist eins der wenigen Dateisysteme, die nicht nur Metadaten sondern auch Daten, mithin ALLES, einer Checksummenprüfung unterziehen. Es ist nicht makellos, aber es ist das einzige Dateisystem, dem ich ernsthaft vertraue. Wichtig ist, daß der zed-Daemon läuft, E-Mail konfiguriert ist, und man mindestens monatlich den Scrub per Cron oder Systemd-Timer laufen lässt, um Sektorfehler oder falsche Daten zu erkennen und reagieren zu können. Ich persönlich lasse mir die Scrub-Ergebnisse monatlich zuschicken auch wenn keine Fehler zu erkennen waren. So sehe ich gleich, daß das Alerting noch funktioniert. Ggfs mit smartd auch noch die einzelnen Devices im Auge behalten. Backup, am besten per 3-2-1 Regel, sollte mehrere Generationen zurück reichen, d.h. selbst wenn das letzte Backup defekt sein sollte, kann man dann immer noch auf ein voriges zugreifen und von da die Daten zurückholen. Backup ohne regelmässige Tests der Funktionalität ist aber Wunschdenken. Einmal im Jahr sollte man dies überprüfen. Uff - jetzt habe ich Angst. Diesen Beitrag teilen Link zum Beitrag
finisher 3. Juni vor 43 Minuten von StE: Backup ohne regelmässige Tests der Funktionalität ist aber Wunschdenken. Einmal im Jahr sollte man dies überprüfen. Nur einmal im Jahr? Einmal im Monat! Diesen Beitrag teilen Link zum Beitrag
s1lv3r 4. Juni vor 13 Stunden von StE: Backup, am besten per 3-2-1 Regel, sollte mehrere Generationen zurück reichen, d.h. selbst wenn das letzte Backup defekt sein sollte, kann man dann immer noch auf ein voriges zugreifen und von da die Daten zurückholen. Backup ohne regelmässige Tests der Funktionalität ist aber Wunschdenken. Einmal im Jahr sollte man dies überprüfen. Ich finde Snapshots noch ein wichtiges Feature (kann man auch zusätzlich per zfs send an einen Remote-Rechner schicken), da ich Benutzerfehler (versehentlich Datei gelöscht und erst Monate oder Jahre später gemerkt ...) noch für ein bedenkenswertes Szenario halte. Verrückt ist, dass zfs das tatsächlich ohne merkliche Performance-Einbußen hinkriegt (bewahre seit 2013 tägliche Snapshots auf...). vor 13 Stunden von Lazaros: Uff - jetzt habe ich Angst. Da gibt es tatsächlich auch eine Anti-Nerd-Option mit minimaler Einarbeitung, die das alles kann und im Hintergrund macht ... TrueNAS Core (früher FreeNAS). Diesen Beitrag teilen Link zum Beitrag
Bolanger 4. Juni Oha, man kann iwrklich viel Aufwand betreiben, was einem Laien wohl nur schwer möglich ist. Wie ich schon geschrieben habe gibt es diverse einfach handlebare Programme zur Backuperstellung. Ob meine Dateien, die auf dem Arbeitsrechner im Arbeitsverzeichnis liegen allerdings beschädigt sind, das kann mir bisher noch kein einfach zu benutzendes Programm sagen. das beste backup nutzt nichts, wenn die Originaldaten beschädigt sind. Diesen Beitrag teilen Link zum Beitrag
chirlu 4. Juni vor 22 Minuten von Bolanger: Ob meine Dateien, die auf dem Arbeitsrechner im Arbeitsverzeichnis liegen allerdings beschädigt sind, das kann mir bisher noch kein einfach zu benutzendes Programm sagen. Eigentlich sollte jedes Backup-Programm eine Funktion zum Abgleich des Backups mit dem Dateisystem haben. Diesen Beitrag teilen Link zum Beitrag
Bolanger 4. Juni vor 15 Minuten von chirlu: igentlich sollte jedes Backup-Programm eine Funktion zum Abgleich des Backups mit dem Dateisystem haben. Na klar, nur was nützt es, wenn das Dateisystem fehlerhaft ist und dann so gesichert wird? Diesen Beitrag teilen Link zum Beitrag
StE 4. Juni vor einer Stunde von s1lv3r: Ich finde Snapshots noch ein wichtiges Feature Wollte in meinen Beitrag nicht noch mehr Nerd-Features reinstopfen. Aber komplett richtig. Und die Snapshots könnte man über Samba sogar Windows-Rechnern nativ als Schattenkopien zur Verfügung stellen. Habe aber kein Windows mehr, Linux Desktop ist die Zukunft der Freiheit. Nutze für automatische Snapshots pyznap auf einem raidz2 8-Disk 14 TB Disk Pool, das kann auch Ausdünnung, abhängig je weiter es in die Vergangenheit geht. Für die Zukunft habe ich mir zwei NetApp DS4246 besorgt, womit ich mit zwei SAS-Controllern und Passthrough in eine Storage-VM ZFS mit Active-Active Multipath unter ProxMox mit dann 48x 16 TB Disks in vier raidz3 vdevs laufen lassen können werde. Netto 0.5 PiB, Dateien löschen optional. Diesen Beitrag teilen Link zum Beitrag
stagflation 4. Juni · bearbeitet 4. Juni von stagflation Ich habe mehrere Archive: Dokumente, Musik, Bilder, ... Meine Hauptsorge ist, dass Dokumente verschwinden oder dass Dokumente verändert werden. Vor 30 Jahren passierte dies hauptsächlich durch fehlerhafte Hardware oder durch fehlerhafte Betriebssysteme. Seit etlichen Jahren sind Hardware und Betriebssysteme aber so stabil, dass ich das nicht mehr erlebt habe. Wenn Dokumente gelöscht oder geändert wurden, waren das Bedienfehler oder fehlerhafte Anwenderprogramme. Beispielsweise hat (wenn ich mich richtig erinnere) Word jahrelang Dateien geändert, wenn man sie zum Lesen geöffnet und gedruckt hat. Wie auch immer, ich möchte es mitbekommen, wenn Dateien in meinen Archiven verschwinden, hinzukommen oder wenn sich der Inhalt ändert. Ich habe deshalb einen kleinen cron-Job (analog zu #73), der monatlich über jedes Archiv läuft. Er erstellt einen Liste aller Dateien und ihrer md5-Summen. Die Liste wird als Textdatei mit einem Zeitstempel im Dateinamen gespeichert. Mit diff bzw. diffuse kann die aktuelle Datei mit einer zurückliegenden Datei vergleichen und so in Sekundenbruchteilen herausfinden, welche Dateien verschwunden sind, hinzugekommen sind, oder sich geändert haben. Ich sehe auch, wann das passiert ist - und kann die beschädigten oder verlorenen Dateien bei Bedarf vom entsprechenden Backup zurückholen. Diesen Beitrag teilen Link zum Beitrag
migieger 4. Juni vor 9 Stunden von stagflation: Ich habe deshalb einen kleinen cron-Job (analog zu #73), der monatlich über jedes Archiv läuft. Er erstellt einen Liste aller Dateien und ihrer md5-Summen. Die Liste wird als Textdatei mit einem Zeitstempel im Dateinamen gespeichert. Mit diff bzw. diffuse kann die aktuelle Datei mit einer zurückliegenden Datei vergleichen und so in Sekundenbruchteilen herausfinden, welche Dateien verschwunden sind, hinzugekommen sind, oder sich geändert haben. Ich sehe auch, wann das passiert ist - und kann die beschädigten oder verlorenen Dateien bei Bedarf vom entsprechenden Backup zurückholen. Dafür gibt's tripwire... Am 3.6.2024 um 22:23 von StE: Roter Nerd-Alarm... ZFS ist eins der wenigen Dateisysteme, die nicht nur Metadaten sondern auch Daten, mithin ALLES, einer Checksummenprüfung unterziehen. Es ist nicht makellos, aber es ist das einzige Dateisystem, dem ich ernsthaft vertraue. Wichtig ist, daß der zed-Daemon läuft, E-Mail konfiguriert ist, und man mindestens monatlich den Scrub per Cron oder Systemd-Timer laufen lässt, um Sektorfehler oder falsche Daten zu erkennen und reagieren zu können. Ich persönlich lasse mir die Scrub-Ergebnisse monatlich zuschicken auch wenn keine Fehler zu erkennen waren. So sehe ich gleich, daß das Alerting noch funktioniert. Ggfs mit smartd auch noch die einzelnen Devices im Auge behalten. Backup, am besten per 3-2-1 Regel, sollte mehrere Generationen zurück reichen, d.h. selbst wenn das letzte Backup defekt sein sollte, kann man dann immer noch auf ein voriges zugreifen und von da die Daten zurückholen. Backup ohne regelmässige Tests der Funktionalität ist aber Wunschdenken. Einmal im Jahr sollte man dies überprüfen. Macht eine Synology mit btrfs auch. Ebenfalls scrubbing, Mail-Notification und SMART-Notification und noch vieles mehr. Backup kann man nach allen möglichen Vorlieben konfigurieren. Ich hatte vorher eine Free/XigmaNAS mit ZFS auf einem (HP Proliant Microserver gen10plus) - das war energie-/resourcenhungriger und weniger flexibel als die Synology. Beide Systeme erfüll(t)en den Anspruch an Stabilität; sie liefen/laufen "in die Ecke stellen und vergessen"... Diesen Beitrag teilen Link zum Beitrag
stagflation 5. Juni vor 17 Stunden von migieger: Dafür gibt's tripwire... tripwire ist ein Intrusion Detection System. Es speichert zwar auch Signaturen - aber in einer Datenbank. Und es macht noch vieles mehr, was ich alles nicht benötige. Der Trick bei meiner Lösung ist, dass sie sehr einfach und vollautomatisch ist. Ein 6-Zeilen-Script als cron-Job und ASCII-Dateien. Das ist alles, was ich brauche. Diesen Beitrag teilen Link zum Beitrag
