servusli1
Goto Top

HPE ProLiant ML350p G8 - PCIe korrekt installieren PCI-Passthrough Proxmox

Hallo alle

Ich habe zu Hause einen HPE ProLiant ML350p Gen. 8 im Einsatz.
Auf dem Server habe ich Proxmox 8.1.4 installiert. Unter Proxmox habe ich opnsense virtualisiert. Soweit funktioniert opnsense einwandfrei, aktuell einzige Einschränkung ist IGMP. Das VirtIO-Interface welches ich unter Proxmox erstellt habe, lässt IGMP nicht korrekt durch, trotz Konfiguration, dass IGMP aktiv ist.

Der Versuch zwei der vier onboard NIC per PCIe-Passthrough durchzureichen scheiterte. Ich habe diese Anleitung verwendet. Wenn ich zwei der vie Ports an opnsense durchgereicht hatte, war danach das WebUI von Proxmox nicht mehr erreichbar.

Nun wollte ich den Server um eine NIC PCIe Karte erweitern, um diese NIC direkt durchzureichen, die TP-Link-Karte welche zu Hause rumlag, musste herhalten. Die TP-Link wurde allerdings nicht als HP-Zertifiziert erkannt und in der Folge drehen die Lüfter automatisch höher (1+2 = 6%, 3+4 = 27%). Nach einer kurzen Recherche konnte ich in Erfahrung bringen, dass die Lüfter bei einer HP-Zertifizierten NIC nicht höher drehen würden.

Ich habe mir eine HP Ethernet 1GB 4-port 331T installiert, jedoch das selbe Problem wie o.e. - die Lüfter drehen höher. Der Verkäufer sagte mir, ich müsse die Karte am Server registrieren. Und genau da hört mein aktuelles Können auf. Weder Google, HPE Supportseite, Handbuch noch KI konnten mir eine Hilfestellung bieten.

Kann mir jemand behilflich sein, wie ich diese Karte an meinem Server registrieren kann?
Alternativ: Kann mir jemand behilflich sein, wie ich zwei der vier onboard Ports an opnsense durchreichen kann und dass Proxmox über das WebUI erreichbar bleibt?

Content-ID: 93841679891

Url: https://administrator.de/forum/hpe-proliant-ml350p-g8-pcie-korrekt-installieren-pci-passthrough-proxmox-93841679891.html

Ausgedruckt am: 27.12.2024 um 04:12 Uhr

PrieserMax
PrieserMax 15.02.2024 um 07:34:50 Uhr
Goto Top
Also, für PCI-passthough unter Linux fällt mir spontan ein, dass man schauen muss, auf welchem "PCI Channel" die NIC läuft.
Der Name im HP BIOS fällt mir grad leider nicht ein, kann heute Abend mal schauen. Dafür muss die irgendwie separat sein. Ich glaube es heißt PCI IRQ (https://www.thomas-krenn.com/de/wiki/IRQ_Sharing_durch_Wechsel_des_PCI_S ...)
Bezüglich der Geschichte mit dem registrieren, wäre mir nicht bekannt. Hab daheim in zwei Servern HP-NICs drin, ohne Probleme. Was sein kann, ist dass die NIC nicht offiziell mit dem Server kompatibel ist -> Schön in den Quickspecs ersichtlich.
Laut Quickspecs aber kompatibel (Quelle: https://www.hpe.com/psnow/doc/c04123166):
HP Ethernet 1Gb 4-port 331T Adapter 647594-B21

Vielleicht hilft auch das: https://www.reddit.com/r/Proxmox/comments/o7km3y/proxmox_pci_passthrough ...
Also ich habe Hyper-V im Einsatz mit GPU-passthrough, in dem Fall aber auf einem DL380e G8, da geht es.

Gruß
Max
la-seitcha
la-seitcha 15.02.2024 um 09:46:38 Uhr
Goto Top
Moin,

ob die Karte offiziell kompatibel ist,
musst du bei HP wie der Kollege schon geschrieben hat nach gucken.


Da ich in meinem Homelab die HP Server auch einsetze von Gen8 bis Gen9 und unterschiedliche Erweiterungskarten nutze, habe ich das ILo umgeflasht, damit man über SSH die Lüfter steuern kann.

Nur mal so als Info. Garantie und sowas ist ja bei den alten nicht mehr.

Hier mal der Link zum Reddit Artikel.

https://www.reddit.com/r/homelab/s/rQRGAGTKvc

Ich habe 5 Server mit Ubuntu geflasht.

LG
servusli1
servusli1 15.02.2024 um 11:50:10 Uhr
Goto Top
Danke erstmal @PrieserMax und @la-seitcha für die Antworten. Meine HP NIC ist ja gem. Dokumentation von meinem Server unterstützt. Im iLO werden alle Daten der NIC angezeigt, ausser Firmware = N/A und Status = unknow.
Die Gretchenfrage ist, woran das liegt... Kann es auch an der Firmware der NIC liegen?

@la-seitcha
Gab es nicht auch noch eine iLO-Firmware mit welcher man die Lüfter noch steuern konnte?

Ich hab mich noch nicht grossartig in den reddit-Post eingelesen, aber kann die Firmware grundsätzlich gedowngradet werden?
PrieserMax
PrieserMax 15.02.2024 um 12:20:21 Uhr
Goto Top
Immer gerne ;)
Also ich weiß aus dem Stegreif nicht ob ein Downgrade so möglich ist.
Da gibt es aber auch Schalter auf dem Mainboard, dachte da war was dabei. Da dann mal die Anleitung durchforsten.

Was bei den Servern auch ist, wenn der Batteriepuffer für den Cache des Raid-Controllers defekt ist, dreht der Lüfter auch hoch.
Gruß
Max
la-seitcha
la-seitcha 15.02.2024 um 12:43:13 Uhr
Goto Top
Hallo,

ja das ist möglich. Du musst auf dem Mainboard nur den ILO Schutz deaktivieren.

War glaube ich Pin1? Am besten nochmal durchlesen und auf dem Deckel nach schauen. Da sind die einzelnen Funktionen des Dip Schalters erklärt.

Viel Erfolg dabei!


PS: Es kann tatsächlich an den Firmwarestand der Nic liegen. Am besten mal nach dem aktuellsten Stand schauen.


LG
servusli1
servusli1 15.02.2024 um 13:17:35 Uhr
Goto Top
@la-seitcha
Kann ich denn den Firmwarestand der NIC auch auf meinem Office-PC prüfen?

Auf Grund meiner Konfiguration ist mein Server gar offline wenn ich in das Menü gehe wo ich Firmware aktualisieren könnte.
Mein Modem ist im Bridge-Mode und die virtualisiere opnsense auf Proxmox stellt die Verbindung her.
Bin noch ein absoluter Noob in sachen Serverhardware. 🙈
servusli1
Lösung servusli1 15.02.2024 um 15:18:48 Uhr
Goto Top
Ich konnte das Problem mittlerweile selber lösen.
Mein Kollege kaufte für sich selbst ebenfalls einen ML350p Gen. 8 stellte aber fest, dass er gar keinen Platz für dieses Gerät hat. Nun hat er mich gebeten, den Server für ihn zu veräussern. Somit habe ich aktuell zwei ML350p Gen 8 zu Hause stehen und habe diesen auch geupdatet. Die HP Ethernet 1Gb 4-port 331T NIC wurde gleicht mit aktualisiert und wird nun korrekt und komplett im iLO angezeigt. face-smile

Die Lüfter tuckern bei gemächlichen 15 - 19 % vor sich hin.
servusli1
servusli1 21.02.2024 um 14:27:20 Uhr
Goto Top
Ich möchte die HP Ethernet 1GB 4-port 331T per Passthrough an eine VM durchreichen. Der Start einer extra dafür angelegten Test-VM scheitert und es wird folgende Meldung ausgeworfen:
kvm: -device vfio-pci,host=0000:0d:00.0,id=hostpci0.0,bus=pci.0,addr=0x10.0,multifunction=on: vfio 0000:0d:00.0: failed to setup container for group 30: Failed to set iommu for container: Operation not permitted
TASK ERROR: start failed: QEMU exited with code 1

Um zu prüfen ob IOMMU-Interrupt aktiviert ist gebe ich folgenden Befehl in die Konsole ein (mit nachfolgender Ausgabe):

root@pve01:~# dmesg | grep 'remapping' 
[    1.318324] DMAR-IR: Enabled IRQ remapping in xapic mode
[    1.318328] x2apic: IRQ remapping doesn't support X2APIC mode  

Wer kann mir helfen, dass ich die komplette NIC an die VM-Durchreichen kann?