8
Suche 19" Zoll 2U Rack mit Backplane für NVMe
Hallo zusammen,
bin neu hier und hoffe mit meiner Frage oder Fragen richtig zu sein.
Hintergrund:
Ich bin gerade dabei mir ein Server-Cluster zusammen zu stellen.
Ist:
Ubuntu 18.04 LTS 2-Node Cluster DRBD Corosync ohne HA
Soll
Ziel Proxmox 3-Node HA-Cluster mit Ceph zur Virtualisierung.
SQL-Server
einige - WIN-Client
Ubuntu Server als AD-Controller
Fileserver
Meine Isthardware ist nun mittlerweile 6 Jahre alt und aufgrund von einigen Konstruktionsfehlern im Bezug auf Hardwareabstimmung und Clusteraufbau komme ich nun an die Grenzen meiner Möglichkeiten in meinem alten Setup.
Grund war teilweise das Mischen von Consumer mit Server Hardware um Kosten zu reduzieren. Aber auch auf das Verzichten von RAID um HDDs mit RAID10 die performance zu steigern.
______________________________
Nun bräuchte ich Hilfe im Bezug auf die Konstruktion meines neuen Setups. Im speziellen bei der Abstimmung Chassis / Backplane / HBA / NVMe
Hier fehlt mir Detailwissen, da ich hiermit noch nichts gemacht habe.
Chassis:
Ich brauche/suche ich ein EATX Chassis mit Backplane die NVMe möglich macht.
Ich benötige zu beginn 4 nvme die ich bis auf 8 ausbauen kann.
Ich hatte noch keine NVMe in der Hand.
Welches Kabel geht von NVME zur Backplane?
Mit welchem SFF- Kabel wird Backplane mit HBA verbunden?
Als Nvme dachte ich folgende
3200GB Micron 9300 MAX sequentiel (r/w 3500/3100)
Hier stellt sich mir die Frage, wie viele Platten hänge ich auf einen HBA 4.0 16x mit 31,5 GB/s das durch die Schnittstelle möglich ist?
write 3100*8/1000=24,8 GB/s
Wenn ich mit der sequentiellen Möglichkeit rechne, nutze ich ja schon fast mit einer Platte die volle Bandbreite des PCI 4.0 16x.
Oder habe ich einen Rechenfehler oder gar Denkfehler?
Wenn dem so ist, welche Option habe ich alles aus 4 Platten im Ceph-Pool herauszuholen?
Gibt es eine HBA Empfehlung von euch?
Meistens sehe ich, dass die Serverkonfiguartoren einiger Serveranbieter NVMe Setups mit HBA PCIE 3.0 16x aufsetzen.
Da stellt sich mir die Frage, ob es überhaupt Sinn macht hier auf PCIE4 zu gehen und der 3.0 die Platten nicht ausbremst.
Vielen Dank für eure Hilfe
bin neu hier und hoffe mit meiner Frage oder Fragen richtig zu sein.
Hintergrund:
Ich bin gerade dabei mir ein Server-Cluster zusammen zu stellen.
Ist:
Ubuntu 18.04 LTS 2-Node Cluster DRBD Corosync ohne HA
Soll
Ziel Proxmox 3-Node HA-Cluster mit Ceph zur Virtualisierung.
SQL-Server
einige - WIN-Client
Ubuntu Server als AD-Controller
Fileserver
Meine Isthardware ist nun mittlerweile 6 Jahre alt und aufgrund von einigen Konstruktionsfehlern im Bezug auf Hardwareabstimmung und Clusteraufbau komme ich nun an die Grenzen meiner Möglichkeiten in meinem alten Setup.
Grund war teilweise das Mischen von Consumer mit Server Hardware um Kosten zu reduzieren. Aber auch auf das Verzichten von RAID um HDDs mit RAID10 die performance zu steigern.
______________________________
Nun bräuchte ich Hilfe im Bezug auf die Konstruktion meines neuen Setups. Im speziellen bei der Abstimmung Chassis / Backplane / HBA / NVMe
Hier fehlt mir Detailwissen, da ich hiermit noch nichts gemacht habe.
Chassis:
Ich brauche/suche ich ein EATX Chassis mit Backplane die NVMe möglich macht.
Ich benötige zu beginn 4 nvme die ich bis auf 8 ausbauen kann.
Ich hatte noch keine NVMe in der Hand.
Welches Kabel geht von NVME zur Backplane?
Mit welchem SFF- Kabel wird Backplane mit HBA verbunden?
Als Nvme dachte ich folgende
3200GB Micron 9300 MAX sequentiel (r/w 3500/3100)
Hier stellt sich mir die Frage, wie viele Platten hänge ich auf einen HBA 4.0 16x mit 31,5 GB/s das durch die Schnittstelle möglich ist?
write 3100*8/1000=24,8 GB/s
Wenn ich mit der sequentiellen Möglichkeit rechne, nutze ich ja schon fast mit einer Platte die volle Bandbreite des PCI 4.0 16x.
Oder habe ich einen Rechenfehler oder gar Denkfehler?
Wenn dem so ist, welche Option habe ich alles aus 4 Platten im Ceph-Pool herauszuholen?
Gibt es eine HBA Empfehlung von euch?
Meistens sehe ich, dass die Serverkonfiguartoren einiger Serveranbieter NVMe Setups mit HBA PCIE 3.0 16x aufsetzen.
Da stellt sich mir die Frage, ob es überhaupt Sinn macht hier auf PCIE4 zu gehen und der 3.0 die Platten nicht ausbremst.
Vielen Dank für eure Hilfe
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 661698
Url: https://administrator.de/contentid/661698
Ausgedruckt am: 21.11.2024 um 23:11 Uhr
8 Kommentare
Neuester Kommentar
moin...
Hintergrund:
Ich bin gerade dabei mir ein Server-Cluster zusammen zu stellen.
Ist:
Ubuntu 18.04 LTS 2-Node Cluster DRBD Corosync ohne HA
Soll
Ziel Proxmox 3-Node HA-Cluster mit Ceph zur Virtualisierung.
SQL-Server
einige - WIN-Client
Ubuntu Server als AD-Controller
Fileserver
Meine Isthardware ist nun mittlerweile 6 Jahre alt und aufgrund von einigen Konstruktionsfehlern im Bezug auf Hardwareabstimmung und Clusteraufbau komme ich nun an die Grenzen meiner Möglichkeiten in meinem alten Setup.
Grund war teilweise das Mischen von Consumer mit Server Hardware um Kosten zu reduzieren. Aber auch auf das Verzichten von RAID um HDDs mit RAID10 die performance zu steigern.
ok...
Als Nvme dachte ich folgende
3200GB Micron 9300 MAX sequentiel (r/w 3500/3100)
das ist eine U2
Vielen Dank für eure Hilfe
Frank
Zitat von @nickyblackmarket:
Hallo zusammen,
bin neu hier und hoffe mit meiner Frage oder Fragen richtig zu sein.
Hallo...Hallo zusammen,
bin neu hier und hoffe mit meiner Frage oder Fragen richtig zu sein.
Hintergrund:
Ich bin gerade dabei mir ein Server-Cluster zusammen zu stellen.
Ist:
Ubuntu 18.04 LTS 2-Node Cluster DRBD Corosync ohne HA
Soll
Ziel Proxmox 3-Node HA-Cluster mit Ceph zur Virtualisierung.
SQL-Server
einige - WIN-Client
Ubuntu Server als AD-Controller
Fileserver
Meine Isthardware ist nun mittlerweile 6 Jahre alt und aufgrund von einigen Konstruktionsfehlern im Bezug auf Hardwareabstimmung und Clusteraufbau komme ich nun an die Grenzen meiner Möglichkeiten in meinem alten Setup.
Grund war teilweise das Mischen von Consumer mit Server Hardware um Kosten zu reduzieren. Aber auch auf das Verzichten von RAID um HDDs mit RAID10 die performance zu steigern.
______________________________
Nun bräuchte ich Hilfe im Bezug auf die Konstruktion meines neuen Setups. Im speziellen bei der Abstimmung Chassis / Backplane / HBA / NVMe
Hier fehlt mir Detailwissen, da ich hiermit noch nichts gemacht habe.
Chassis:
Ich brauche/suche ich ein EATX Chassis mit Backplane die NVMe möglich macht.
du meinst aber U2... oder?Nun bräuchte ich Hilfe im Bezug auf die Konstruktion meines neuen Setups. Im speziellen bei der Abstimmung Chassis / Backplane / HBA / NVMe
Hier fehlt mir Detailwissen, da ich hiermit noch nichts gemacht habe.
Chassis:
Ich brauche/suche ich ein EATX Chassis mit Backplane die NVMe möglich macht.
Ich benötige zu beginn 4 nvme die ich bis auf 8 ausbauen kann.
ok...Ich hatte noch keine NVMe in der Hand.
Welches Kabel geht von NVME zur Backplane?
kommt auf den Hersteller an...Welches Kabel geht von NVME zur Backplane?
Mit welchem SFF- Kabel wird Backplane mit HBA verbunden?
mitAls Nvme dachte ich folgende
3200GB Micron 9300 MAX sequentiel (r/w 3500/3100)
Hier stellt sich mir die Frage, wie viele Platten hänge ich auf einen HBA 4.0 16x mit 31,5 GB/s das durch die Schnittstelle möglich ist?
write 3100*8/1000=24,8 GB/s
Wenn ich mit der sequentiellen Möglichkeit rechne, nutze ich ja schon fast mit einer Platte die volle Bandbreite des PCI 4.0 16x.
Oder habe ich einen Rechenfehler oder gar Denkfehler?
kann dein Server Board den überhaubt PCIe 4.0?write 3100*8/1000=24,8 GB/s
Wenn ich mit der sequentiellen Möglichkeit rechne, nutze ich ja schon fast mit einer Platte die volle Bandbreite des PCI 4.0 16x.
Oder habe ich einen Rechenfehler oder gar Denkfehler?
Wenn dem so ist, welche Option habe ich alles aus 4 Platten im Ceph-Pool herauszuholen?
Gibt es eine HBA Empfehlung von euch?
Gibt es eine HBA Empfehlung von euch?
Meistens sehe ich, dass die Serverkonfiguartoren einiger Serveranbieter NVMe Setups mit HBA PCIE 3.0 16x aufsetzen.
Da stellt sich mir die Frage, ob es überhaupt Sinn macht hier auf PCIE4 zu gehen und der 3.0 die Platten nicht ausbremst.
was nutzt dir das, wenn dein MB nur PCIe3 3.0 macht... oder kann dein Server Mainboard das ?Da stellt sich mir die Frage, ob es überhaupt Sinn macht hier auf PCIE4 zu gehen und der 3.0 die Platten nicht ausbremst.
Vielen Dank für eure Hilfe
Da es ein neues System wird bin ich am überlegen auf PCI4 zu gehen.
Hatte vergessen zu schreiben Sockel SP3 Dual.
Als Board dachte ich folgendes.
Gigabyte Mainboard MZ72-HB0 das kann 4.0
2x CPU AMD EPYC 7402 24/48T
Die NVMe ist eine U2 ja.
Wenn die NVMe U2 auch tatsächlich von dem 4.0 profitieren.
Wenn kein essentieller Vorteil vorhanden, dachte ich an ein Supermicro H11DSi-NT Rev 2.0.
Das kann nur 3.0
Hatte vergessen zu schreiben Sockel SP3 Dual.
Als Board dachte ich folgendes.
Gigabyte Mainboard MZ72-HB0 das kann 4.0
2x CPU AMD EPYC 7402 24/48T
Die NVMe ist eine U2 ja.
Wenn die NVMe U2 auch tatsächlich von dem 4.0 profitieren.
Wenn kein essentieller Vorteil vorhanden, dachte ich an ein Supermicro H11DSi-NT Rev 2.0.
Das kann nur 3.0
Moin,
suchst du jetzt ein 2U-Gehäuse, in dem du die NVMEs platzieren kannst oder einen SCHRANK, der nur 2U Hoch ist und du dort 3 Nodes platzieren kannst!?
Denn das geht aus deinem Text sowie der Überschrift nicht eindeutig hervor...
suchst du jetzt ein 2U-Gehäuse, in dem du die NVMEs platzieren kannst oder einen SCHRANK, der nur 2U Hoch ist und du dort 3 Nodes platzieren kannst!?
Denn das geht aus deinem Text sowie der Überschrift nicht eindeutig hervor...
Ich suche ein 2u Chassi für jeweils ein Node.
Alle drei Nodes sollen baugleich sein.
Jeder Node soll als Host zur Virtualsierung dienen.
je 4 NVMEs pro Node zu Beginn.
Alle drei Nodes sollen baugleich sein.
Jeder Node soll als Host zur Virtualsierung dienen.
je 4 NVMEs pro Node zu Beginn.
Hi,
meine Empfehlung: Nimm direkt 4-fach M.2 NVMe PCI-E Karte(n).
Gruß
CH
meine Empfehlung: Nimm direkt 4-fach M.2 NVMe PCI-E Karte(n).
Gruß
CH
Das würde zwar das Setup erleichtern, aber das ist keine Lösung für mich.
Eingeschränkte Skalierbarkleit.
Kein Hot-Swap
Auch war ich der Meinung gelesen zu haben, dass die Performance über M.2 im Vergleich zu U.2 SSD schlechter ist.
Trotzdem Danke.
Eingeschränkte Skalierbarkleit.
Kein Hot-Swap
Auch war ich der Meinung gelesen zu haben, dass die Performance über M.2 im Vergleich zu U.2 SSD schlechter ist.
Trotzdem Danke.
Zitat von @nickyblackmarket:
Das würde zwar das Setup erleichtern, aber das ist keine Lösung für mich.
Eingeschränkte Skalierbarkleit.
Kein Hot-Swap
Auch war ich der Meinung gelesen zu haben, dass die Performance über M.2 im Vergleich zu U.2 SSD schlechter ist.
für U2 gibet auch PCIe Karten... natürlich kann eine U2 schneller als M2 sein, es kommt aber darauf an, was du verwendest...Das würde zwar das Setup erleichtern, aber das ist keine Lösung für mich.
Eingeschränkte Skalierbarkleit.
Kein Hot-Swap
Auch war ich der Meinung gelesen zu haben, dass die Performance über M.2 im Vergleich zu U.2 SSD schlechter ist.
Trotzdem Danke.
Moin,
also hier wird man doch sicherlich fündig, da du ja nur das Gehäuse, nicht aber die Hardware wie Mainboard etc. benötigst:
http://www.chenbro.com/en-global/products/BareboneServer/1U_BBServer/RB ...
https://www.ipc.in-win.com/nvme-storage-server
Müsstest nur schauen (ggf. dort ne Mail hinschieben), ob die Backplane passt...
Gruß
em-pie
also hier wird man doch sicherlich fündig, da du ja nur das Gehäuse, nicht aber die Hardware wie Mainboard etc. benötigst:
http://www.chenbro.com/en-global/products/BareboneServer/1U_BBServer/RB ...
https://www.ipc.in-win.com/nvme-storage-server
Müsstest nur schauen (ggf. dort ne Mail hinschieben), ob die Backplane passt...
Gruß
em-pie
