149680
12.12.2023
6581
8
0
Proxmox Backup Strategie
Hallo Community,
ich stelle gerade ein paar Überlegungen bzgl. meinem Backupverfahren in einer neuen Proxmox Umgebung an.
Ich habe vor, ein 3 Node Proxmox / Ceph Cluster aufzubauen auf dem dann auch der Proxmox Backup Server laufen soll. Dadurch ist dieser aus meiner Sicht redundant, was ich mit einer externen Machine nicht erreiche. Was ich mich Frage wie ich am besten mit dem Backup Storage umgehe. Den möchte ich nicht imselben Ceph Pool liegen haben, habe aktuell aber keine Möglichkeit weitere Pools mit internen Platten bereitzustellen. Daher habe ich folgende Ansätze.
1. Bereitstellung eines SMB oder NFS für PBS üer Synology NAS. Vorteil sehe ich hier in der Verfügbarkeit auf allen drei Notes - sofern ich mich nicht irre? Nachteil ist aus meiner Sicht die super niedrige Schreib und Lesegeschwindkeit des NAS und den HDDs
2. Bereitstellung jeweils einer SSD an jedem Node per USB 2.0/3.0. Das sollte für die Geschwindkeit einer Sata SSD asureichen. Die Daten könnte ich dann per Replizierung oder einem weiteren Ceph Pool mit den externen Platten ausführen.
3. Bereistellung eines USB Raid Enclosure mittels 2x Sata SSD an nur einem Node. Würde dieser ausfallen kann das Enclosure an einen anderen Node angehöngt werden. Durchreichen des USB an den PBS sollte ja kein Problem sein. Ich weiß nur nicht, ob das mit dem "einfach" umstecken dann so einfach geht.
Habt ihr ggf. noch weitere Ansätze, wie geht ihr vor?
Besten Dank!
ich stelle gerade ein paar Überlegungen bzgl. meinem Backupverfahren in einer neuen Proxmox Umgebung an.
Ich habe vor, ein 3 Node Proxmox / Ceph Cluster aufzubauen auf dem dann auch der Proxmox Backup Server laufen soll. Dadurch ist dieser aus meiner Sicht redundant, was ich mit einer externen Machine nicht erreiche. Was ich mich Frage wie ich am besten mit dem Backup Storage umgehe. Den möchte ich nicht imselben Ceph Pool liegen haben, habe aktuell aber keine Möglichkeit weitere Pools mit internen Platten bereitzustellen. Daher habe ich folgende Ansätze.
1. Bereitstellung eines SMB oder NFS für PBS üer Synology NAS. Vorteil sehe ich hier in der Verfügbarkeit auf allen drei Notes - sofern ich mich nicht irre? Nachteil ist aus meiner Sicht die super niedrige Schreib und Lesegeschwindkeit des NAS und den HDDs
2. Bereitstellung jeweils einer SSD an jedem Node per USB 2.0/3.0. Das sollte für die Geschwindkeit einer Sata SSD asureichen. Die Daten könnte ich dann per Replizierung oder einem weiteren Ceph Pool mit den externen Platten ausführen.
3. Bereistellung eines USB Raid Enclosure mittels 2x Sata SSD an nur einem Node. Würde dieser ausfallen kann das Enclosure an einen anderen Node angehöngt werden. Durchreichen des USB an den PBS sollte ja kein Problem sein. Ich weiß nur nicht, ob das mit dem "einfach" umstecken dann so einfach geht.
Habt ihr ggf. noch weitere Ansätze, wie geht ihr vor?
Besten Dank!
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 43612356020
Url: https://administrator.de/contentid/43612356020
Ausgedruckt am: 21.11.2024 um 18:11 Uhr
8 Kommentare
Neuester Kommentar
Deine Angaben sind sehr allgemein gehalten, sodass es schwer zu sagen ist, was du genau brauchst oder wie schnell der Backup Speicher sien muss, genau so wie groß alle VMs insgesamt sind.
Je nach Backupart vom PBS ist das initial Backup eventuell groß, alles andere wird inkrementell geschrieben und je nachdem Dedupliziert über chunks. Die Frage die du dir stellen musst ist, ob du wirklich mehr als 1GBit an Performance brauchst. In den meistens Fällen ist das nicht wirklich notwendig, da es Homelabing ist, soweit ich richtig verstanden habe. Ansonsten mit einem System per SMB oder NFS direkt über einen Switch verbunden, damit der PBS von jeder Ceph Node Location auf den Speicher zugreifen kann.
Zusätzlich kannst du zB auch bei Hetzner ne Storage Box mieten und das Backup zusätzlich in die Cloud laden.
Je nach Backupart vom PBS ist das initial Backup eventuell groß, alles andere wird inkrementell geschrieben und je nachdem Dedupliziert über chunks. Die Frage die du dir stellen musst ist, ob du wirklich mehr als 1GBit an Performance brauchst. In den meistens Fällen ist das nicht wirklich notwendig, da es Homelabing ist, soweit ich richtig verstanden habe. Ansonsten mit einem System per SMB oder NFS direkt über einen Switch verbunden, damit der PBS von jeder Ceph Node Location auf den Speicher zugreifen kann.
Zusätzlich kannst du zB auch bei Hetzner ne Storage Box mieten und das Backup zusätzlich in die Cloud laden.
1
Danke für das Feedback.
Das Backup Volumen liegt initial so circa bei 400 GB. gesichert wird vier mal die Woche. Änderung sollten sich im Bereich von 100 vielleicht 200 MB bewegen.
was ich mich frage ist, wo findet denn eigentlich die Lesetätigkeit des bestehenden Backups statt, um somit ein Delta ermitteln zu können?
Ich denke nicht, dass die Netzwerkleitung der Flaschenhals wird, sondern eher die begrenzte Lese- und Schreibgeschwindigkeit auf den HDD im NAS.
Lese und Schreibgeschwindigkeit mit einer lokalen USB (sata ssd) an usb 3.0 sollten da deutlich schneller sein.
Auf der anderen Seite würde es mich auch nicht stören, wenn das Backup inklusive Verify Jobs, Prune und Garbage nachts eben 4 Stunden dauert, so lange es stabil läuft.
Das Backup Volumen liegt initial so circa bei 400 GB. gesichert wird vier mal die Woche. Änderung sollten sich im Bereich von 100 vielleicht 200 MB bewegen.
was ich mich frage ist, wo findet denn eigentlich die Lesetätigkeit des bestehenden Backups statt, um somit ein Delta ermitteln zu können?
Ich denke nicht, dass die Netzwerkleitung der Flaschenhals wird, sondern eher die begrenzte Lese- und Schreibgeschwindigkeit auf den HDD im NAS.
Lese und Schreibgeschwindigkeit mit einer lokalen USB (sata ssd) an usb 3.0 sollten da deutlich schneller sein.
Auf der anderen Seite würde es mich auch nicht stören, wenn das Backup inklusive Verify Jobs, Prune und Garbage nachts eben 4 Stunden dauert, so lange es stabil läuft.
Moin.
Kurzer Disclaimer: ich mach den Job erst seit 1 1/2 Jahren. Meine Erfahrungen sind also begrenzt.
Wir nutzten seit Mitte letzten Jahres ein Proxmox Cluster mit 4 Nodes. Ursprünglich wurde das Cluster auch mit Ceph aufgesetzt. Im Betrieb hatten wir dann immer wieder Bauchschmerzen wenn wir eine Node abgeschaltet haben, weil Ceph dann unglücklich war und wahllos angefangen hat die Dateien zu verschieben und zu replizieren um wieder glücklich zu werden.
Nach einem großen Umbau Anfang diesen Jahres sieht das nun wie folgt aus:
4 Proxmox Nodes in einem Cluster, 2 Synology SSD Storages im HA-Mode mit Echtzeit Replikation (VM Disk Storage als NFS bereitgestellt), 1 physischer Proxmox Backup Server, 1 QNAP Storage mit HHDs für den PBS (eingebunden als NFS im PBS).
Das System läuft seit der Installation sehr stabil. Wartungsarbeiten am Server oder Storage sind damit relativ Problemlos und die Performance ist auch okay. Den PBS hatte ich ursprünglich mit HDDs als ZFS Pool im Server konfiguriert. Über die NAS scheint es wesentlich performanter zu laufen.
Den PBS zu virtualisieren kann im Worst Case natürlich zu Problemen bei einer Sicherung oder Wiederherstellung im Notfall führen. Ich bin mir nicht sicher, ob der PBS wirklich redundant vorgehalten werden muss, solange der Datastore vom PBS auf einem stabilen System liegt (kann dann jederzeit in einem anderen PBS eingebunden werden). Das System sollte man ja hoffentlich nie brauchen.
Das sind so meine Erfahrungen.
Gruß
Kai
Kurzer Disclaimer: ich mach den Job erst seit 1 1/2 Jahren. Meine Erfahrungen sind also begrenzt.
Wir nutzten seit Mitte letzten Jahres ein Proxmox Cluster mit 4 Nodes. Ursprünglich wurde das Cluster auch mit Ceph aufgesetzt. Im Betrieb hatten wir dann immer wieder Bauchschmerzen wenn wir eine Node abgeschaltet haben, weil Ceph dann unglücklich war und wahllos angefangen hat die Dateien zu verschieben und zu replizieren um wieder glücklich zu werden.
Nach einem großen Umbau Anfang diesen Jahres sieht das nun wie folgt aus:
4 Proxmox Nodes in einem Cluster, 2 Synology SSD Storages im HA-Mode mit Echtzeit Replikation (VM Disk Storage als NFS bereitgestellt), 1 physischer Proxmox Backup Server, 1 QNAP Storage mit HHDs für den PBS (eingebunden als NFS im PBS).
Das System läuft seit der Installation sehr stabil. Wartungsarbeiten am Server oder Storage sind damit relativ Problemlos und die Performance ist auch okay. Den PBS hatte ich ursprünglich mit HDDs als ZFS Pool im Server konfiguriert. Über die NAS scheint es wesentlich performanter zu laufen.
Den PBS zu virtualisieren kann im Worst Case natürlich zu Problemen bei einer Sicherung oder Wiederherstellung im Notfall führen. Ich bin mir nicht sicher, ob der PBS wirklich redundant vorgehalten werden muss, solange der Datastore vom PBS auf einem stabilen System liegt (kann dann jederzeit in einem anderen PBS eingebunden werden). Das System sollte man ja hoffentlich nie brauchen.
Das sind so meine Erfahrungen.
Gruß
Kai
danke für deinen Erfahrungsbericht.
Mit dem PBS weiß ich aktuell auch nicht so wirklich. Die Idee war bei mir eher, wenn ich mir eh ein Cluster baue kommt der da mit drauf und wie du auch sagst Storage kann ich dann eben zur Verfügung stellen auf "Wegen". Ist allerdings das Cluster futsch (soll ja passieren, grad bei HomeLab Hobbie Experten
) ist natürlich auch großer mist. Wobei dann immer noch kurzfristig ein Hobel mit PBS bereitgestellt werden könnte, Storage dran und gut.
Was mir eher mehr Sorge macht ist, dass ich bisher eher negative Berichte vom Einsatz von Ceph gelesen habe. JEdenfalls in einem Proxmox Cluster, mit drei Nodes und nur 1GB Lan. Tendiere momentan eher wieder dazu eine ZFS Replikation zu fahren. Aber das ist ein anderer Thread
Mit dem PBS weiß ich aktuell auch nicht so wirklich. Die Idee war bei mir eher, wenn ich mir eh ein Cluster baue kommt der da mit drauf und wie du auch sagst Storage kann ich dann eben zur Verfügung stellen auf "Wegen". Ist allerdings das Cluster futsch (soll ja passieren, grad bei HomeLab Hobbie Experten
) ist natürlich auch großer mist. Wobei dann immer noch kurzfristig ein Hobel mit PBS bereitgestellt werden könnte, Storage dran und gut.Was mir eher mehr Sorge macht ist, dass ich bisher eher negative Berichte vom Einsatz von Ceph gelesen habe. JEdenfalls in einem Proxmox Cluster, mit drei Nodes und nur 1GB Lan. Tendiere momentan eher wieder dazu eine ZFS Replikation zu fahren. Aber das ist ein anderer Thread
Zitat von @149680:
danke für deinen Erfahrungsbericht.
Mit dem PBS weiß ich aktuell auch nicht so wirklich. Die Idee war bei mir eher, wenn ich mir eh ein Cluster baue kommt der da mit drauf und wie du auch sagst Storage kann ich dann eben zur Verfügung stellen auf "Wegen". Ist allerdings das Cluster futsch (soll ja passieren, grad bei HomeLab Hobbie Experten ) ist natürlich auch großer mist. Wobei dann immer noch kurzfristig ein Hobel mit PBS bereitgestellt werden könnte, Storage dran und gut.
Was mir eher mehr Sorge macht ist, dass ich bisher eher negative Berichte vom Einsatz von Ceph gelesen habe. JEdenfalls in einem Proxmox Cluster, mit drei Nodes und nur 1GB Lan. Tendiere momentan eher wieder dazu eine ZFS Replikation zu fahren. Aber das ist ein anderer Thread
danke für deinen Erfahrungsbericht.
Mit dem PBS weiß ich aktuell auch nicht so wirklich. Die Idee war bei mir eher, wenn ich mir eh ein Cluster baue kommt der da mit drauf und wie du auch sagst Storage kann ich dann eben zur Verfügung stellen auf "Wegen". Ist allerdings das Cluster futsch (soll ja passieren, grad bei HomeLab Hobbie Experten
) ist natürlich auch großer mist. Wobei dann immer noch kurzfristig ein Hobel mit PBS bereitgestellt werden könnte, Storage dran und gut.Was mir eher mehr Sorge macht ist, dass ich bisher eher negative Berichte vom Einsatz von Ceph gelesen habe. JEdenfalls in einem Proxmox Cluster, mit drei Nodes und nur 1GB Lan. Tendiere momentan eher wieder dazu eine ZFS Replikation zu fahren. Aber das ist ein anderer Thread
Ceph läuft super stabil, bietet genug Performance für jedermann der kein High Performance Computing betreibt und ist in Verbindung mit Proxmox absolut Idiotensicher. Natürlich hat aber Ceph auch gewisse Anforderung und ist nur für Enterprise Hardware ausgelegt, die Konstant Leistung zur Verfügung stellt und ist somit nichts für das 0/8/15 Homelabing. Mit gBit oder selbst 10gbit kommst du da nicht weit. Wenn du dir unsicher bist ist ZFS wohl die richtigere Wahl. Solange du das System rein privat nutzt und nicht im Enterprise Umfeld kannst du PBS ohne Probleme virtuell laufen lassen. Der Backup Speicher liegt ja nicht selbst auf dem Cluster...
Hallo, ich habe zwar keine Cluster. Sichere aber jeden Tag auf TrueNAS Scale in einem RAIDZ1. Ich sicher insgesamt ca. 10 VMs und 15 LXC COntainer. Ich würde mir über Geschwindigkeit keine Sorgen machen. Da inkrementell gesichert wird dauert das bei mir max. 10-15 Minuten. Bei den VMs sind durchaus auch VMs mit 80GB Festplattenkapazität dabei.
Auf einem externen SMB Mount (Hetzner Storage Box) würde ich mittels PBS nicht sichern, da erstmal das schreiben der ca. 65.000 Chunks ewig dauert und es (zumindest bei mir) regelmässig zu Fehlern gekommen ist. Ich habe mir stattdessen für ein Offsite Backup einen Storage Server bei Contabo gemietet und PBS draufgespielt. Ist bei mir nur per Wireguard erreichbar und verschlüsselt gesichert.
Grüße
Rafael
Auf einem externen SMB Mount (Hetzner Storage Box) würde ich mittels PBS nicht sichern, da erstmal das schreiben der ca. 65.000 Chunks ewig dauert und es (zumindest bei mir) regelmässig zu Fehlern gekommen ist. Ich habe mir stattdessen für ein Offsite Backup einen Storage Server bei Contabo gemietet und PBS draufgespielt. Ist bei mir nur per Wireguard erreichbar und verschlüsselt gesichert.
Grüße
Rafael
Die schlechte Performance mit der Storage Box kann ich ebenfalls bestätigen. Wir sichern jetzt lokal auf eine NFS Freigabe eines QNAP NAS. Unser Gesamtvolumen an VM Disks die jede Nacht gesichert werden beträgt mehrere TB pro Nacht. War nie ein Problem.
Danke für eure Erhfarungsberichte.
Ich habe mich aktuell dazu entschlossen den PBS extern auf einem eigenen Gerät laufen zu lassen. (so passt auch alles besser ins Regal ) Aktuell leider nur mit einer SSD, kein Raid1, aber das ist für mich aktuell verkraftbar. Zeite SSD und externes Gehäuse kost ja auch wieder....
Ich habe mich aktuell dazu entschlossen den PBS extern auf einem eigenen Gerät laufen zu lassen. (so passt auch alles besser ins Regal
) Aktuell leider nur mit einer SSD, kein Raid1, aber das ist für mich aktuell verkraftbar. Zeite SSD und externes Gehäuse kost ja auch wieder....
