149680
14.12.2022, aktualisiert um 14:00:14 Uhr
6555
10
0
Proxmox ZFS Pool SSD HDD Planung
Hallo Community,
ich plane aktuell die Hardware und spätere Nutzung meiner neuen Proxmox Umgebung. Aktuell kann ich meinem Device 3 Disk einbinden und verwenden. Dazu habe ich folgende Idee:
Meine Idee ist nun auf der SSD Data Disk lediglich meine user und nutzdaten abzulegen ggf. noch die Container und VM als solches. Dafpr würde ich zwei ZFS Pools anlegen a la: data und machines oder sowas.
Allerdings tue ich mich irgendwie schwer damit, dass ich die Boot Disk dann lediglich für Proxmox selber nutze, außer meiner Sicht etwas Verschwendung. Oder hier die Container und VMs drauf und OS, Data dann auf der SSD?
Auf der HDD möchte ich ebenfalls ZFS (geht das?) Pools erstellen um hier ISOs und Daten die ich nicht täglich oder schnell benötige abzulegen.
Die Idee ist, dass jeder Container oder VM immer zwei Disks bekommt 1xOS und 1xData aus den entsprechenden Pools. Wenn erforderlich noch eine weitere Disc von der normal HDD als weiteren Mountpoint.
Eine andere Frage. Ich habe verstanden (meine ich), dass ZFS von Haus aus Verschlüsselung mitbringt. Ich möchte am liebsten alle Disks wenigstens aber die SSD und HDD Disk auf Proxmox Ebene verschlüsseln.
Was meint ihr dazu, wie geht ihr das an?
Vielen Dank!
ich plane aktuell die Hardware und spätere Nutzung meiner neuen Proxmox Umgebung. Aktuell kann ich meinem Device 3 Disk einbinden und verwenden. Dazu habe ich folgende Idee:
- 1 x SSD Boot Disk - 512GB
- 1x SSD Data Disk - 1 TB
- 1 x HDD Data Disk - 1 TB
Meine Idee ist nun auf der SSD Data Disk lediglich meine user und nutzdaten abzulegen ggf. noch die Container und VM als solches. Dafpr würde ich zwei ZFS Pools anlegen a la: data und machines oder sowas.
Allerdings tue ich mich irgendwie schwer damit, dass ich die Boot Disk dann lediglich für Proxmox selber nutze, außer meiner Sicht etwas Verschwendung. Oder hier die Container und VMs drauf und OS, Data dann auf der SSD?
Auf der HDD möchte ich ebenfalls ZFS (geht das?) Pools erstellen um hier ISOs und Daten die ich nicht täglich oder schnell benötige abzulegen.
Die Idee ist, dass jeder Container oder VM immer zwei Disks bekommt 1xOS und 1xData aus den entsprechenden Pools. Wenn erforderlich noch eine weitere Disc von der normal HDD als weiteren Mountpoint.
Eine andere Frage. Ich habe verstanden (meine ich), dass ZFS von Haus aus Verschlüsselung mitbringt. Ich möchte am liebsten alle Disks wenigstens aber die SSD und HDD Disk auf Proxmox Ebene verschlüsseln.
Was meint ihr dazu, wie geht ihr das an?
Vielen Dank!
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 4956308591
Url: https://administrator.de/contentid/4956308591
Ausgedruckt am: 21.11.2024 um 21:11 Uhr
10 Kommentare
Neuester Kommentar
Hallo @149680,
ich kann zu Proxmox selbst nicht viel sagen da ich VMWare ESXi im Einsatz habe aber da sind zumindest die Überlegungen der Plattennutzung gleich.
Auch wenn die BOOT SSD etwas oversized ist würde ich sie trotzdem als reine BOOT SSD belassen.
In meinem Setup hab ich ne 256er nvme im Einsatz und dort liegt halt nur der ESXi und ISO Dateien drauf.
Du musst halt bedenken wenn du VM´s etc. mit auf die BOOT SSSD legst hast du auch häufigere Festplattenzugriffe und dementsprechend eine höhere Abnutzung und was noch viel wichtiger ist, wenn dir mal die Festplatte die Grätsche macht hast du direkt auch alle VM`s verloren. Liegt hingegen nur der Hypervisor darauf ist der Verlust zwar ärgerlich aber überschaubarer.
Zum Thema HDD würde ich sagen nimm lieber ne weitere SSD. Zum einen sind die preislichen Unterschieder mittlerweile maginal dafür kannst du aber immer von der bessern Performance einer SSD profitieren.
Zum Thema Verschlüsselung kann ich jetzt nichts sagen aufgrund mangelnder Erfahrung mit Proxmox, ich hatte aber schon in diversen Proxmox Guides gesehen dass man verschlüsselte Pools erstellen kann. Dürfte also kein großes Hexenwerk sein ;)
Mfg Njord90
ich kann zu Proxmox selbst nicht viel sagen da ich VMWare ESXi im Einsatz habe aber da sind zumindest die Überlegungen der Plattennutzung gleich.
Auch wenn die BOOT SSD etwas oversized ist würde ich sie trotzdem als reine BOOT SSD belassen.
In meinem Setup hab ich ne 256er nvme im Einsatz und dort liegt halt nur der ESXi und ISO Dateien drauf.
Du musst halt bedenken wenn du VM´s etc. mit auf die BOOT SSSD legst hast du auch häufigere Festplattenzugriffe und dementsprechend eine höhere Abnutzung und was noch viel wichtiger ist, wenn dir mal die Festplatte die Grätsche macht hast du direkt auch alle VM`s verloren. Liegt hingegen nur der Hypervisor darauf ist der Verlust zwar ärgerlich aber überschaubarer.
Zum Thema HDD würde ich sagen nimm lieber ne weitere SSD. Zum einen sind die preislichen Unterschieder mittlerweile maginal dafür kannst du aber immer von der bessern Performance einer SSD profitieren.
Zum Thema Verschlüsselung kann ich jetzt nichts sagen aufgrund mangelnder Erfahrung mit Proxmox, ich hatte aber schon in diversen Proxmox Guides gesehen dass man verschlüsselte Pools erstellen kann. Dürfte also kein großes Hexenwerk sein ;)
Mfg Njord90
Moin,
https://forum.proxmox.com/threads/encrypting-proxmox-ve-best-methods.881 ...
https://pve.proxmox.com/wiki/ZFS_on_Linux#zfs_encryption
https://dustri.org/b/hardening-proxmox-against-physical-attacks.html
Gruß,
Dani
Auch wenn die BOOT SSD etwas oversized ist würde ich sie trotzdem als reine BOOT SSD belassen.
Ich habe dafür eine kleine M2 hergenommen.Meine Idee ist nun auf der SSD Data Disk lediglich meine user und nutzdaten abzulegen ggf. noch die Container und VM als solches. Dafpr würde ich zwei ZFS Pools anlegen a la: data und machines oder sowas.
innerhalb von Proxmox kannst du definieren, welche Art von Content du auf dem jeweiligen Pool/Storage ablegen möchtest:- Disk Images
- ISO Images
- Container templates
- VZDump backup file
- Container
- Snippets
Auf der HDD möchte ich ebenfalls ZFS (geht das?) Pools erstellen um hier ISOs und Daten die ich nicht täglich oder schnell benötige abzulegen.
Klar, ZFS ist das Dateisystem. Dem ist es egal, ob es eine HDD oder SSD ist.Die Idee ist, dass jeder Container oder VM immer zwei Disks bekommt 1xOS und 1xData aus den entsprechenden Pools. Wenn erforderlich noch eine weitere Disc von der normal HDD als weiteren Mountpoint.
Das ist grundsätzlich möglich. Eine andere Frage. Ich habe verstanden (meine ich), dass ZFS von Haus aus Verschlüsselung mitbringt. Ich möchte am liebsten alle Disks wenigstens aber die SSD und HDD Disk auf Proxmox Ebene verschlüsseln.
Hier wird dir geholfen:https://forum.proxmox.com/threads/encrypting-proxmox-ve-best-methods.881 ...
https://pve.proxmox.com/wiki/ZFS_on_Linux#zfs_encryption
https://dustri.org/b/hardening-proxmox-against-physical-attacks.html
Gruß,
Dani
1
Danke soweit für euer Feedback. Wie man’s macht, macht man’s wahrscheinlich falsch. 😉
Nun bin ich wieder bei der Frage Raid0 null Raid1 oder eben gar kein.
mit Raid0 habe ich auch den Vorteil, dass ich Zugriffe verteilen kann und damit die Platten nicht so belaste.
Klar Raid1 gib mir Ausfall Sicherheit und wäre auch im Defekt einfacher. Ich denke einfach Platte tauschen fertig dann baut sich das Raid von alleine neu oder?
Ist ein Raid1 für SSDs nicht eigentlich auch schädlich? Insbesondere, wenn ich Applikation mit Datenbanken verwende?
Wenn ich eh nur zwei Platten mit einem Rad eins habe dann brauche ich doch im Grunde nur noch ein Pool. Was würde mir das bringen, mehrere Pools zu definieren es landet eh alles auf der gleichen Platte. Oder verhält es sich so dass ich zum Beispiel ein Data Set für meine Nutzdateb verschlüssle und alle andern eben nicht, wenn ich erforderlich?
Die Bootdisk würde ich nicht gerne tauschen. Schön verpackt mit Kühlkörpern die fühlt sich wohl.😉 Ich habe sonst auch einfach keine weitere Verwendung also kann ich sie auch drin lassen. Aber naja.
Nun bin ich wieder bei der Frage Raid0 null Raid1 oder eben gar kein.
mit Raid0 habe ich auch den Vorteil, dass ich Zugriffe verteilen kann und damit die Platten nicht so belaste.
Klar Raid1 gib mir Ausfall Sicherheit und wäre auch im Defekt einfacher. Ich denke einfach Platte tauschen fertig dann baut sich das Raid von alleine neu oder?
Ist ein Raid1 für SSDs nicht eigentlich auch schädlich? Insbesondere, wenn ich Applikation mit Datenbanken verwende?
Wenn ich eh nur zwei Platten mit einem Rad eins habe dann brauche ich doch im Grunde nur noch ein Pool. Was würde mir das bringen, mehrere Pools zu definieren es landet eh alles auf der gleichen Platte. Oder verhält es sich so dass ich zum Beispiel ein Data Set für meine Nutzdateb verschlüssle und alle andern eben nicht, wenn ich erforderlich?
Die Bootdisk würde ich nicht gerne tauschen. Schön verpackt mit Kühlkörpern die fühlt sich wohl.😉 Ich habe sonst auch einfach keine weitere Verwendung also kann ich sie auch drin lassen. Aber naja.
Moin,
Gruß,
Dani
Ist ein Raid1 für SSDs nicht eigentlich auch schädlich? Insbesondere, wenn ich Applikation mit Datenbanken verwende?
Ich habe bisher nach Jahren keine Probleme.Wenn ich eh nur zwei Platten mit einem Rad eins habe dann brauche ich doch im Grunde nur noch ein Pool. Was würde mir das bringen, mehrere Pools zu definieren es landet eh alles auf der gleichen Platte.
Ein Pool bildest du, um ein Dateisystem wie ZFS auf die Platte zu bringen. Ansonsten kannst du diese auch als Directory mit ext4 einbinden. Einfach mal im Proxmox Handbuch diesbezüglich studieren.Gruß,
Dani
Wie ich gelernt habe gibt es naiv wohl kein Raid0 per gui und sonst wird sich davon abgeraten.
Da ich aktuell eher mäßige Erfahrungen mit Raid1 gemacht hab (Performance,1x nach Update Schrott) werde ich wohl folgenden weg gehen.
Damit ist mein Case voll belegt. Oder wäre es mit Blick auf io ratsam beide - TB SSD für Daten und Container/VM gleichermaßen zu nutzen, halt immer entgegen. Wenn Contsiner auf A gehen Daten auf B, wenn Container auf B gehen Daten auf A. Bei Ausfall würde ich doch eh den Inhalt einer Platte wiederherstellen oder müsste ich dann genau schauen was auf welcher Patte war un den Restore zu fahren?
1 x SSD 1 TB habe ich noch rumliege die werde ich wohl per usb für TestContainer und VMs nutzen. Vielleicht mach den einen oder anderen Snapshot. Von Platz eigentlich echt Verschwendung aktuell aber gut - ist halt da 😉
Backups gehen dann entweder auf ein existierendes NAS per NFS oder werden mittels Proxmox Server umgesetzt.
Da ich aktuell eher mäßige Erfahrungen mit Raid1 gemacht hab (Performance,1x nach Update Schrott) werde ich wohl folgenden weg gehen.
- 1x ssd Boot , 512 GB
- 1 x SSD VM, Container, 1 TB
- 1 x SSD Nutzdaten der Container , 1 TB
Damit ist mein Case voll belegt. Oder wäre es mit Blick auf io ratsam beide - TB SSD für Daten und Container/VM gleichermaßen zu nutzen, halt immer entgegen. Wenn Contsiner auf A gehen Daten auf B, wenn Container auf B gehen Daten auf A. Bei Ausfall würde ich doch eh den Inhalt einer Platte wiederherstellen oder müsste ich dann genau schauen was auf welcher Patte war un den Restore zu fahren?
1 x SSD 1 TB habe ich noch rumliege die werde ich wohl per usb für TestContainer und VMs nutzen. Vielleicht mach den einen oder anderen Snapshot. Von Platz eigentlich echt Verschwendung aktuell aber gut - ist halt da 😉
Backups gehen dann entweder auf ein existierendes NAS per NFS oder werden mittels Proxmox Server umgesetzt.
Update….
so einfach wie gedacht wird es mit der Trennung dann wohl doch nicht.
Wenn ich meine Daten als Mount Point in einem Container oder WM mounten will, muss ich dies doch zb mit einem NFS Laufwerk machen. Dazu bräuchte ich entweder was externes wie zb Synology (wollte ich eigentlich nicht) oder TruNas virtuell oder eine linux Büchse mit der ich NFS Laufwerke bereitstelle. Wobei das doch auch quatsch ist. Gibt es da noch andere Möglichkeiten?
so einfach wie gedacht wird es mit der Trennung dann wohl doch nicht.
Wenn ich meine Daten als Mount Point in einem Container oder WM mounten will, muss ich dies doch zb mit einem NFS Laufwerk machen. Dazu bräuchte ich entweder was externes wie zb Synology (wollte ich eigentlich nicht) oder TruNas virtuell oder eine linux Büchse mit der ich NFS Laufwerke bereitstelle. Wobei das doch auch quatsch ist. Gibt es da noch andere Möglichkeiten?
Moin,
Gruß,
Dani
Da ich aktuell eher mäßige Erfahrungen mit Raid1 gemacht hab (Performance,1x nach Update Schrott) werde ich wohl folgenden weg gehen.
wie viele IOPS benötigst du für deine Umgebung bzw. der Applications, dass ein RAID1 mit SSD schlechte Performance liefert?Wenn ich meine Daten als Mount Point in einem Container oder WM mounten will, muss ich dies doch zb mit einem NFS Laufwerk machen
Bei einer virtuellen Maschine könntest du die Nutzbaten auf einer weiteren Hard Disk ablegen. Diese kannst du anschließend auf das andere Storage verschieben. Damit könntest du auch anstatt auf SSD auf SATA zurückgreifen und für schlechtere IOPS mehr Speicher zur Verfügung stellen. Je nachdem worauf du mehr Wert legst.Gruß,
Dani
Wie viele IOPS genau, kann ich dir nicht beantworten. Ich vermute erschreckend wenig für meine Usecases. Was ich allerdings auf der ubuntukiste mit LVM und RAID1 und SSD gemerkt hab das Daten kopieraktionen direkt auf dem Gerät super lange gedauert haben. Kein Vergleich zu Performance der SSD ohne Raid. Vielleicht auch einfach falsch konfiguriert.
Bzgl NFS und MountPoints. Der Gedanke ist mir in der Zwischenzeit auch gekommen. Das wollte ich noch mal ausprobieren. "Problem" ist hier ich komme nur mit einem Container oder VM auf die Daten vs. ich mounte ein NFS wo ich auf das "Laufwerk" direkt Zugriff auf die Daten hätte.
Bzgl NFS und MountPoints. Der Gedanke ist mir in der Zwischenzeit auch gekommen. Das wollte ich noch mal ausprobieren. "Problem" ist hier ich komme nur mit einem Container oder VM auf die Daten vs. ich mounte ein NFS wo ich auf das "Laufwerk" direkt Zugriff auf die Daten hätte.
Moin,
Gruß,
Dani
Bzgl NFS und MountPoints. Der Gedanke ist mir in der Zwischenzeit auch gekommen. Das wollte ich noch mal ausprobieren. "Problem" ist hier ich komme nur mit einem Container oder VM auf die Daten vs. ich mounte ein NFS wo ich auf das "Laufwerk" direkt Zugriff auf die Daten hätte.
das Problem hast du bei jeder Virtualisierungslösung, egal ob Hyper-V, ESXi oder Proxmox VE. Wenn man direkt an die Daten rankommen möchte, ist eigentlich SMB die einzig sinnvolle Lösung. Denn das Format kann jedes Betriebssystem direkt lesen.Gruß,
Dani
Thema ist durch - Projekt ist abgebrochen. Unverträglichkeiten zwischen SSD ProxMox AMD.
Wenn man alle Fehler mal ausblendet ist es am Ende ein raid1 für vom, LXC und Daten geworden . Lief eigentlich super wen du sata error nicht wären
Wenn man alle Fehler mal ausblendet ist es am Ende ein raid1 für vom, LXC und Daten geworden . Lief eigentlich super wen du sata error nicht wären
Serie: ProxMox Planung
Proxmox - Backup Planung10Proxmox ZFS Pool SSD HDD Planung10ProxMox Planung: Netzwerk3
