flor3289
Goto Top

Proxmox HP-Raidcontroller SSD

Hallo zusammen,

nun habe ich auch mal wieder eine Frage in die Runde.

Folgendes: Ich habe Zuhause einen HP dl360g7 Server mit dem dazugehörigen HP Raid Controller.
Über diesen habe ich drei Raids erstellt.
(1) 2x 120GB SSDs als Boot Laufwerk im Raid 1,
(2) 2x 2 TB HDDs im Raid 1 und
(3) 4x 2 TB SSDs im Raid 5.

Soweit alles gut, läuft seit knapp 2 Jahren reibungslos.
Nun ist mir allerdings aufgefallen das die Windows VMs mit dem VirtIO Treiber die SSDs als HDDs erkennen und den TRIM Befehl nicht senden. Dh. die Virtuelle Disk wird geleert aber die SSDs laufen über.
Außerdem fängt Windows Server 2012R2 an, die "HDDs" zu defragmentieren, was in dem Fall nicht nur nutzlos ist.

Kann ich Proxmox irgendwie mitteilen, das /dev/sda und /dev/sdc SSDs sind? Irgendwo im Mount?
Backups der VMs sind natürlich auf dem PBS sowie auf einem NAS angelegt und aktuell.
Der Raid Controller erkennt die SSDs auch als solche teilt dies nur nicht korrekt dem Debian mit, obwohl ich dessen Tools installiert habe...

Vielleicht weiß jemand etwas. wäre schön.

Grüße
Florian

Content-ID: 6256307154

Url: https://administrator.de/contentid/6256307154

Ausgedruckt am: 24.11.2024 um 20:11 Uhr

Vision2015
Vision2015 07.03.2023 um 12:53:07 Uhr
Goto Top
Moin,

welcher Raid Controller ist es den?
Kennt dein Raid Controller SSDs und unterstützt Trim?

die VMs selber können keinen Trim befehl an HV Host bzw. Controller senden, die VMs sehen ja nur das zugewiesene Volume.

Frank
flor3289
flor3289 07.03.2023 um 13:08:30 Uhr
Goto Top
Moin Frank,

habe mal schnell nachgeschaut, das ist der Smart Array P410i in Slot 0 (Embedded) also die SSDs erkennt er als solche im SATA Mode, was korrekt ist.

Das die Batterie vom Raid Controller defekt ist sollte hier kein Problem sein, oder? Der Server hängt an einer USV und ist ja sowieso nur für Zuhause.

ssacli ctrl all show status

Smart Array P410i in Slot 0 (Embedded)
Controller Status: OK
Cache Status: Temporarily Disabled
Battery/Capacitor Status: Failed (Replace Batteries/Capacitors)

for f in /sys/block/sd?/queue/rotational; do printf "$f is "; cat $f; done
/sys/block/sda/queue/rotational is 1
/sys/block/sdb/queue/rotational is 1
/sys/block/sdc/queue/rotational is 1
Fenris14
Fenris14 07.03.2023 um 13:48:36 Uhr
Goto Top
Zitat von @Vision2015:

Moin,

welcher Raid Controller ist es den?
Kennt dein Raid Controller SSDs und unterstützt Trim?

die VMs selber können keinen Trim befehl an HV Host bzw. Controller senden, die VMs sehen ja nur das zugewiesene Volume.

Frank

Das ist nicht ganz korrekt. Ab Proxmox 6 kann man in den Einstellungen in GUI eine SSD emulieren und Trim anschalten.

screenshot 2023-03-07 134446

Das muss zumindest mal aktiv sein, wenn man innerhalb einer VM möchte, dass das OS die Blöcke wieder freigeben soll. Allerdings muss richtigerweise der entsprechende Physische Controller das auch unterstützen. Aber hier wird die SSD offensichtlich vom Controller wie eine rotierende Platte gehandhabt.
flor3289
flor3289 07.03.2023 um 13:53:01 Uhr
Goto Top
Hi Fenris14,

die Option ist nur verfügbar wenn man den Bus/Device Typ auf SCSI oder SATA (IDE?) setzt. Ich habe diese allerdings als VirtIO eingebunden. Sollte an sich schneller sein, kann aber nicht emulieren...

Ich denke der Controller sollte es können, lese mich gerade in die Hilfe von "ssacli" ein.
Fenris14
Fenris14 07.03.2023 um 13:56:03 Uhr
Goto Top
Das mit dem VirtIO hatte ich überlesen. Sorry.

Generell würde ich aber mit Hardware-Raidcontrollern unter Proxmox gar nicht erst anfangen. Zumal ja die Battery schon nicht mehr funktioniert. Hat man doch nur Probleme damit. Warum nicht einfach in den IT-Mode versetzen und als HBA verwenden? Als Dateisystem dann ZFS?

Da hat man seine Ruhe.
flor3289
flor3289 07.03.2023 um 14:01:58 Uhr
Goto Top
Kein Problem.

Ja ZFS wäre schöner, allerdings wusste ich damals (vor 2 Jahren) nicht wie ich den in den IT Mode bekomme. Daher dann so eingerichtet.
Kann der RC das denn und wenn ja, wie stelle ich das um? Muss mal schauen, habe noch einen HP Server rumliegen, allerdings ein anderes Modell, da hatte ich damals versucht den Modus zu ändern, musste aber dann doch im RC Modus laufen lassen.
Am PBS (Microserver Gen8) läuft alles auf ZFS im IT Modus.

Smart Array P410i in Slot 0 (Embedded)
Bus Interface: PCI
Slot: 0
Serial Number: ----------------
Cache Serial Number: ---------------
Controller Status: OK
Hardware Revision: C
Firmware Version: 6.64
Firmware Supports Online Firmware Activation: False
Rebuild Priority: Medium
Expand Priority: Medium
Surface Scan Delay: 15 secs
Surface Scan Mode: Idle
Parallel Surface Scan Supported: No
Queue Depth: Automatic
Monitor and Performance Delay: 60 min
Elevator Sort: Enabled
Degraded Performance Optimization: Disabled
Wait for Cache Room: Disabled
Surface Analysis Inconsistency Notification: Disabled
Post Prompt Timeout: 0 secs
Cache Board Present: True
Cache Status: Temporarily Disabled
Cache Status Details: Cache disabled; low backup power source.
Cache Disable Reason: Temporary disable condition. Posted write operations have been disabled due to the fact that less than 75% of the backup power sources are at the sufficient voltage level.
Drive Write Cache: Disabled
Total Cache Size: 0.5
Total Cache Memory Available: 0.4
Battery Backed Cache Size: 0.4
No-Battery Write Cache: Disabled
Cache Backup Power Source: Batteries
Battery/Capacitor Count: 1
Battery/Capacitor Status: Failed (Replace Batteries)
SATA NCQ Supported: True
Number of Ports: 2 Internal only
Encryption: Not Set
Driver Name: hpsa
Driver Version: 3.4.20
Driver Supports SSD Smart Path: True
PCI Address (Domain:Bus:Device.Function): 0000:05:00.0
Port Max Phy Rate Limiting Supported: False
Host Serial Number: ----------
Sanitize Erase Supported: False
Primary Boot Volume: logicaldrive 1 (--------------------------------)
Secondary Boot Volume: None
Fenris14
Fenris14 07.03.2023 aktualisiert um 14:15:49 Uhr
Goto Top
Muss geflasht werden auf jeden Fall. Einfach mal Google bemühen. Hier erster Treffer:

https://medium.com/@terryjx/enable-it-mode-on-hp-smart-array-p410i-raid- ...

Edit: Generell würde ich beim P410i aber nicht mehr drauf wetten das er SSDs vollumfänglich unterstützt. Der ist schon älter. Maximal das in einer neueren Firmware-Version nachgebessert wurde. Aber ich persönlich würde mir da keinen großen Aufwand machen und einfach IT-Mode verwenden.
flor3289
flor3289 07.03.2023 um 14:15:22 Uhr
Goto Top
Danke, zwischenzeitlich auch gefunden :D
Muss ich die Tage dann mal schauen, mache vorher nochmal ein Full backup im ausgeschalteten Zustand der VMs.
Das kann dauern...
Vision2015
Vision2015 07.03.2023 um 17:14:49 Uhr
Goto Top
Moin...
Zitat von @flor3289:

Moin Frank,

habe mal schnell nachgeschaut, das ist der Smart Array P410i in Slot 0 (Embedded) also die SSDs erkennt er als solche im SATA Mode, was korrekt ist.
richtig... aber Trim kann er nicht!

Das die Batterie vom Raid Controller defekt ist sollte hier kein Problem sein, oder? Der Server hängt an einer USV und ist ja sowieso nur für Zuhause.
ah jo, ist halt der Cache aus...

ssacli ctrl all show status

Smart Array P410i in Slot 0 (Embedded)
Controller Status: OK
Cache Status: Temporarily Disabled
Battery/Capacitor Status: Failed (Replace Batteries/Capacitors)

for f in /sys/block/sd?/queue/rotational; do printf "$f is "; cat $f; done
/sys/block/sda/queue/rotational is 1
/sys/block/sdb/queue/rotational is 1
/sys/block/sdc/queue/rotational is 1

Frank
flor3289
flor3289 08.03.2023 um 11:39:37 Uhr
Goto Top
Hallo zusammen,

aber TRIM kann er im HBA Mode, oder? Das hat ja dann nichts mehr mit dem Raid zu tun...
Vision2015
Vision2015 08.03.2023 um 11:53:52 Uhr
Goto Top
Moin...
Zitat von @flor3289:

Hallo zusammen,

aber TRIM kann er im HBA Mode, oder? Das hat ja dann nichts mehr mit dem Raid zu tun...
nee, kann er nicht!
Frank
flor3289
flor3289 08.03.2023 um 13:47:20 Uhr
Goto Top
Welcher andere würde denn dann im Server passen der das kann? Man kann den ja austauschen...
Vision2015
Vision2015 08.03.2023 um 14:02:06 Uhr
Goto Top
moin..
Zitat von @flor3289:

Welcher andere würde denn dann im Server passen der das kann? Man kann den ja austauschen...
in ein einem HPG7?
keiner!
Frank
flor3289
flor3289 08.03.2023 um 14:09:32 Uhr
Goto Top
Dann lasse ich das glaub so wie es ist. Backup läuft nämlich noch, kam daher nicht dazu.
Schade
Fenris14
Fenris14 09.03.2023 um 11:18:16 Uhr
Goto Top
Zitat von @Vision2015:

Moin...
Zitat von @flor3289:

Moin Frank,

habe mal schnell nachgeschaut, das ist der Smart Array P410i in Slot 0 (Embedded) also die SSDs erkennt er als solche im SATA Mode, was korrekt ist.
richtig... aber Trim kann er nicht!

Das die Batterie vom Raid Controller defekt ist sollte hier kein Problem sein, oder? Der Server hängt an einer USV und ist ja sowieso nur für Zuhause.
ah jo, ist halt der Cache aus...

ssacli ctrl all show status

Smart Array P410i in Slot 0 (Embedded)
Controller Status: OK
Cache Status: Temporarily Disabled
Battery/Capacitor Status: Failed (Replace Batteries/Capacitors)

for f in /sys/block/sd?/queue/rotational; do printf "$f is "; cat $f; done
/sys/block/sda/queue/rotational is 1
/sys/block/sdb/queue/rotational is 1
/sys/block/sdc/queue/rotational is 1

Frank

Sicher? Im IT-Mode als reiner HBA, sollte jede Platte direkt durchgereicht sein. Das OS macht das Trim und gibt dies an die Devices. Eigentlich sollte das klappen.

Habe hier einen alten H310, der müsste fast baugleich sein und ungefähr aus der selben Zeit stammen, der kann das ohne Probleme im IT-Mode.
Vision2015
Vision2015 09.03.2023 um 11:45:51 Uhr
Goto Top
Moin..
Zitat von @Fenris14:

Zitat von @Vision2015:

Moin...
Zitat von @flor3289:

Moin Frank,

habe mal schnell nachgeschaut, das ist der Smart Array P410i in Slot 0 (Embedded) also die SSDs erkennt er als solche im SATA Mode, was korrekt ist.
richtig... aber Trim kann er nicht!

Das die Batterie vom Raid Controller defekt ist sollte hier kein Problem sein, oder? Der Server hängt an einer USV und ist ja sowieso nur für Zuhause.
ah jo, ist halt der Cache aus...

ssacli ctrl all show status

Smart Array P410i in Slot 0 (Embedded)
Controller Status: OK
Cache Status: Temporarily Disabled
Battery/Capacitor Status: Failed (Replace Batteries/Capacitors)

for f in /sys/block/sd?/queue/rotational; do printf "$f is "; cat $f; done
/sys/block/sda/queue/rotational is 1
/sys/block/sdb/queue/rotational is 1
/sys/block/sdc/queue/rotational is 1

Frank

Sicher? Im IT-Mode als reiner HBA, sollte jede Platte direkt durchgereicht sein. Das OS macht das Trim und gibt dies an die Devices. Eigentlich sollte das klappen.
ja, ganz Sicher!

Habe hier einen alten H310, der müsste fast baugleich sein und ungefähr aus der selben Zeit stammen, der kann das ohne Probleme im IT-Mode.
na der IT-Mode ist ja auch kein Problem!
PERC H310 TRIM Support?
TRIM support for LSI HBAs and RAID controllers.
LSI 3ware and SAS3018 based MegaRAID controllers set up in RAID do not support TRIM.
LSI SAS HBAs with IR firmware do not support TRIM.
LSI SAS HBAs with IT firmware do support TRIM, but with these limitations:


Frank
flor3289
flor3289 13.03.2023 um 09:48:04 Uhr
Goto Top
Vielen Dank für die ganzen Antworten,
ich habe nun testweise mittels Ubuntu und CentOS getestet den Controller zu flashen. Leider quasi unmöglich nach der Anleitung oben.
Unter CentOS konnte ich das HP Firmware Paket installieren, dieses meinte jedoch das der Controller schon auf dieser Version wäre und ich konnte ihn nicht überschreiben.
Unter Ubuntu quasi keine Möglichkeit die Pakete nach zu installieren, anscheinend sind diese nicht mehr in den offiziellen Paketquellen vorhanden.
Ich habe die SSDs daher mal über USB am Notebook ausgelesen, 99% Restlebensdauer der Storage SSDs im Raid 5 und 95% Restlebensdauer der System SSDs im Raid 1, wobei das ja eh nur Consumer Ware ist.
Was solls, werde mich um den Akku des Raid Controllers kümmern, Backups werden ja sowieso täglich verschlüsselt auf einen PBS gemacht, der unter ZFS läuft und ich somit wenigstens bei diesem die HDDs überwachen kann.
Der PBS synct die wichtigsten VMs auf einen weiteren PBS an einem anderen Standort (über LTE/VPN), beide PBS haben ein ZFS1 Raid, also eine Platte Redundanz.
Zusätzlich gibt es ein Backup auf ein QNAP NAS im Raid 10, allerdings nur wöchentlich da zu groß.

Übrigens, konnte nach der neu Installation von Proxmox problemlos den QR-Code der Verschlüsselung einlesen.
Ein Tipp am Rande, den QR-Code mittels Android scannen und die Webseite von Proxmox als Desktopansicht öffnen, dann einfach den Text des QR-Codes in die Spalte des Schlüssels einfügen. Schon klappt auch der restore, ansonsten meckert er logischerweise.