12
ISCSI an VMWare ESX schlechte Performance bzw. sehr langsam
es gibt hier sicher viele Ansätze, die man verfolgen könnte, aber ich würde gerne mal die Experten dazu befragen...
Hallo Zusammen!
Folgendes:
Ich habe ein RAID 5 über 4 Platten (4x500GB) auf einer QNAP TS-412U und habe das Array per iSCSI an einen ESX-Server (HP ProLiant DL160 G6) angebunden. Soweit so gut...klappt!
Außerdem habe ich einen SMB-Share auf der QNAP angelegt, auf den ich nun per Backup Exec System Recovery Backups von Servern speichere. Und da geht das Problem los:
Beim Erstellen der Backups habe ich grade mal einen Datendurchsatz von 12MB/s! Ich hätte über Gigabit mal um die 30-40MB/s erwartet!
Jetzt geht’s weiter:
Ich habe auf dem ESX-Server eine Windows7-VM laufen (Speicherort: Internes RAID1 des ESX-Servers), auf der der VMWare Converter installiert ist. Jetzt will ich die Backups vom SMB-Share mit dem Converter zu VMs auf dem ESX konvertieren.
Bedeutet: Quelle ist der SMB-Share, Ziel ist das iSCSI-LUN.
Ich benutze also eine VM auf dem ESX-Server um eine VM aus einem Backup heraus auf demselben Server zu erzeugen
Könnte das schon das Problem sein? Quelle und Ziel befindet sich auf demselben Festplatten-Array.
Das konvertieren des Backups soll nun laut VMWare Converter 14Stunden!!!! dauern. Dabei sind es noch nicht mal 500GB.
Der Converter gibt eine Übertragungsrate von 6,79MB/s an...
Hier habe ich lt. der Windows 7 VM (TaskManager) einen Datendursatz von ca. 12MB/s (ca.100MBit/s). Es ist aber alles definitiv über Gigabit angebunden!
Bei den QNAP Netzwerkeinstellungen habe ich beide Netzwerkkarten getrunked (Balance-Round-Robin) und einen HP Switch (V1410-16G unmanaged) angeschlossen.
Der ESX Server ist auch über 2 Netzwerkkarten an den Switch angebunden. Dort ist die 2. Netzwerkkarte aber nur Fail-Over, bedeutet sie ist im Stand-By.
Bei den Leistungsdaten des ESX ist nichts auffälliges.. CPU-Last ca. 50%
Die CPU der QNAP ist auch nicht übermäßig belastet... auch ca. 50%
Woran kann das liegen?
Wäre NFS evtl. besser zur Anbindung es Arrays an den ESX?
Vielen Dank vorab!
Grüße
Battl
EDIT: Ich habe mal eben einfach per Copy-Paste 1Gb-Dateien von dem SMB-Share auf die Windows 7-VM und auf den Server der per Backup Exec gesichert wird, kopiert. Hier hatte ich zufriedenstellende Datenraten (zwischen 25 und 35MB/s).
Ich werde mal per WinSCP so eine 1GB-Datei auf den ESX-Internal RAID1 Storage kopieren und dann auf das iSCSI-LUN verschieben... mal sehn wie lange das dauert...
EDIT 2: Also: Ich habe nun per WINSCP eine 1GB-Datei auf das interene RAID1 des ESX-Servers kopiert. Das hat definitiv zu lange gedauert! Aber der Knaller kommt noch: Dann habe ich mich per SSH auf den ESX verbunden und die Datei vom internen Datastore auf das iSCSI-LUN kopiert. Das hat 4min39sec gedauert! Das ist eine Schreibrate von ca. 4MB/s!!! Also da kann was nicht stimmen!!
Folgendes:
Ich habe ein RAID 5 über 4 Platten (4x500GB) auf einer QNAP TS-412U und habe das Array per iSCSI an einen ESX-Server (HP ProLiant DL160 G6) angebunden. Soweit so gut...klappt!
Außerdem habe ich einen SMB-Share auf der QNAP angelegt, auf den ich nun per Backup Exec System Recovery Backups von Servern speichere. Und da geht das Problem los:
Beim Erstellen der Backups habe ich grade mal einen Datendurchsatz von 12MB/s! Ich hätte über Gigabit mal um die 30-40MB/s erwartet!
Jetzt geht’s weiter:
Ich habe auf dem ESX-Server eine Windows7-VM laufen (Speicherort: Internes RAID1 des ESX-Servers), auf der der VMWare Converter installiert ist. Jetzt will ich die Backups vom SMB-Share mit dem Converter zu VMs auf dem ESX konvertieren.
Bedeutet: Quelle ist der SMB-Share, Ziel ist das iSCSI-LUN.
Ich benutze also eine VM auf dem ESX-Server um eine VM aus einem Backup heraus auf demselben Server zu erzeugen
Könnte das schon das Problem sein? Quelle und Ziel befindet sich auf demselben Festplatten-Array.
Das konvertieren des Backups soll nun laut VMWare Converter 14Stunden!!!! dauern. Dabei sind es noch nicht mal 500GB.
Der Converter gibt eine Übertragungsrate von 6,79MB/s an...
Hier habe ich lt. der Windows 7 VM (TaskManager) einen Datendursatz von ca. 12MB/s (ca.100MBit/s). Es ist aber alles definitiv über Gigabit angebunden!
Bei den QNAP Netzwerkeinstellungen habe ich beide Netzwerkkarten getrunked (Balance-Round-Robin) und einen HP Switch (V1410-16G unmanaged) angeschlossen.
Der ESX Server ist auch über 2 Netzwerkkarten an den Switch angebunden. Dort ist die 2. Netzwerkkarte aber nur Fail-Over, bedeutet sie ist im Stand-By.
Bei den Leistungsdaten des ESX ist nichts auffälliges.. CPU-Last ca. 50%
Die CPU der QNAP ist auch nicht übermäßig belastet... auch ca. 50%
Woran kann das liegen?
Wäre NFS evtl. besser zur Anbindung es Arrays an den ESX?
Vielen Dank vorab!
Grüße
Battl
EDIT: Ich habe mal eben einfach per Copy-Paste 1Gb-Dateien von dem SMB-Share auf die Windows 7-VM und auf den Server der per Backup Exec gesichert wird, kopiert. Hier hatte ich zufriedenstellende Datenraten (zwischen 25 und 35MB/s).
Ich werde mal per WinSCP so eine 1GB-Datei auf den ESX-Internal RAID1 Storage kopieren und dann auf das iSCSI-LUN verschieben... mal sehn wie lange das dauert...
EDIT 2: Also: Ich habe nun per WINSCP eine 1GB-Datei auf das interene RAID1 des ESX-Servers kopiert. Das hat definitiv zu lange gedauert! Aber der Knaller kommt noch: Dann habe ich mich per SSH auf den ESX verbunden und die Datei vom internen Datastore auf das iSCSI-LUN kopiert. Das hat 4min39sec gedauert! Das ist eine Schreibrate von ca. 4MB/s!!! Also da kann was nicht stimmen!!
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 176695
Url: https://administrator.de/contentid/176695
Printed on: April 25, 2024 at 02:04 o'clock
12 Comments
Latest comment
*hust* du nutzt einen unmanaged Switch für iSCSI Netzwerke? ôÔ und dann auch noch das untereste Preissegment ... und wunderst dich dann das die keine Leistung bringen ? ôÔ
iSCSI Netzwerke erfordert gesonderte Konfigurationen, zum einen müssen/sollten die JumboFrames von 9kb können - die Switche selbst sollten schon einmal "nonBlocking" sein (d.h. auf allen Ports kann 100% Last laufen ohne das der Switch hustet), FlowControl einschalten und die sollten einen ordentlichen Puffer haben usw. - den Switch den du einsetzt ist mal garnicht für dein Vorhaben geeignet.
Und wenn du normales Netzwerk und iSCSI auf einem Gerät nutzen willst musst eh ganz andere Hardware haben, das wird seitens HP nicht unterstützt bzw. empfohlen ..
anbei eine kleine Lektüre zum einstellen von iSCSI Netzwerken (anhand von Brocade/Foundry Switchen)
http://www.google.de/url?sa=t&rct=j&q=brocade%20iscsi%20configu ...
PS: unser BE2010 sichert die VM's mit rund 110MB/sec
iSCSI Netzwerke erfordert gesonderte Konfigurationen, zum einen müssen/sollten die JumboFrames von 9kb können - die Switche selbst sollten schon einmal "nonBlocking" sein (d.h. auf allen Ports kann 100% Last laufen ohne das der Switch hustet), FlowControl einschalten und die sollten einen ordentlichen Puffer haben usw. - den Switch den du einsetzt ist mal garnicht für dein Vorhaben geeignet.
Und wenn du normales Netzwerk und iSCSI auf einem Gerät nutzen willst musst eh ganz andere Hardware haben, das wird seitens HP nicht unterstützt bzw. empfohlen ..
anbei eine kleine Lektüre zum einstellen von iSCSI Netzwerken (anhand von Brocade/Foundry Switchen)
http://www.google.de/url?sa=t&rct=j&q=brocade%20iscsi%20configu ...
PS: unser BE2010 sichert die VM's mit rund 110MB/sec
Noch Fragen oder Probleme erledigt?
Ja, wäre es möglich die SSR-Backups direkt in eine vmdk zu konvertieren?
Und ist dann mit meinen Voraussetzungen ein nfs Laufwerk die bessere Variante?
Und ist dann mit meinen Voraussetzungen ein nfs Laufwerk die bessere Variante?
mit VMWare Converter sollte das gehen, da BackupExec ja ein recht gängiges Sicherungssystem ist.
Es stellt sich aber auch die Frage - was du sichern willst? Ganze VM's mit GRT oder wirklich nur die "nackte" VM oder besondere Eigenschaften?
Es stellt sich aber auch die Frage - was du sichern willst? Ganze VM's mit GRT oder wirklich nur die "nackte" VM oder besondere Eigenschaften?
ich sichere physikalische Server, keine VMs.
Ich will nur die Backups danach virtualisieren.
Ich will nur die Backups danach virtualisieren.
Es gibt ja im SBESR2011 die möglichkeit Backups direkt in VMDKs zu konvertieren. Ich erhalte aber dabei einen Fehler.
Kann es sein, dass das SSR2011 nicht mit ESXi 5 kompatibel ist??
Kann es sein, dass das SSR2011 nicht mit ESXi 5 kompatibel ist??
willst du jetzt als Notfall eine Sicherung als VM laufen lassen oder die ganze Maschine einfach in eine VM schieben? Wenn das zweite der Fall ist, nimm VMWare Converter der machts das mit ein paar klicks
Ersteres.
Sollte der Server ausfallen will ich kurzfristig eine VM als Ersatz zur Verfügung stellen.
Sollte der Server ausfallen will ich kurzfristig eine VM als Ersatz zur Verfügung stellen.
und warum sicherst dann nicht einfach die VM aus dem ESX Host direkt? Das macht doch weitaus weniger Aufwand und auch der Restore geht bedeutend schneller
Ich glaube wir haben ein Missverständnis.
Also:
ich habe 2 physikalische Server mit Windows Server OS (1x2008, 1x2003).
Diese sind im Produktivbetrieb.
als nächstes habe ich einen dritten Server auf dem VMWare ESXi 5 läuft mit einer VM (Windows 7 Pro x64) auf dem internen RAID1 Array.
Jetzt will ich folgendes erreichen:
Auf den beiden Windows-Servers ist SBESR2011 installiert. Damit will ich im 2Std.-Rhythmus "Snapshots"(Backups) auf der NAS (SMB) erstellen, die ich dann für den Fall, dass einer (oder beide) der Windows-Server tatsächlich ausfällt in eine VM auf die NAS (NFS/iSCSI) konvertiere und auf dem ESX-Host wieder zum laufen bringe.
Die Sache mit dem VMWare Converter auf der Win7VM ist eben sehr seeehr langsam! Daher dachte ich jetzt ich könnte mit SBESR2011 die Snapshots direkt auf den ESX-Host in vmdks konvertieren. Dabei erhalte ich aber eine Fehlermeldung und komme nicht weiter...
Ich hoffe nun ist die Sache eindeutig...
Also:
ich habe 2 physikalische Server mit Windows Server OS (1x2008, 1x2003).
Diese sind im Produktivbetrieb.
als nächstes habe ich einen dritten Server auf dem VMWare ESXi 5 läuft mit einer VM (Windows 7 Pro x64) auf dem internen RAID1 Array.
Jetzt will ich folgendes erreichen:
Auf den beiden Windows-Servers ist SBESR2011 installiert. Damit will ich im 2Std.-Rhythmus "Snapshots"(Backups) auf der NAS (SMB) erstellen, die ich dann für den Fall, dass einer (oder beide) der Windows-Server tatsächlich ausfällt in eine VM auf die NAS (NFS/iSCSI) konvertiere und auf dem ESX-Host wieder zum laufen bringe.
Die Sache mit dem VMWare Converter auf der Win7VM ist eben sehr seeehr langsam! Daher dachte ich jetzt ich könnte mit SBESR2011 die Snapshots direkt auf den ESX-Host in vmdks konvertieren. Dabei erhalte ich aber eine Fehlermeldung und komme nicht weiter...
Ich hoffe nun ist die Sache eindeutig...
bekomme ich nun keine Antwort mehr?
das "sehr" langsam hängt aber auch mit den entsprechenden Netzwerkkomponenten zusammen, des weiteren stellt sich auch die Frage nach dem Raid-Controller der im ESX verbaut ist. Der Converter kann auch direkt in dem ESX rein convertieren - aber praktikabel ist was anderes.
Und auf die Hinweise bzgl. tauglichkeit der Hardware bist auch nicht eingegangen, wenn die Hardware das nicht hergibt wirst das auch mit anderen Verfahren nicht schaffen, bei den 250GB Platten gehe ich mal von Standard SATA mit 7.200rpm aus - aus denen wirst auch nicht maßlos viel Leistung bekommen, ein weiterer Punkt ist auch bei der Gewindigkeit das die Switche das ja nicht einmal können was du da vor hast - für iSCSI sollte man schon Switche haben die das unterstützen und nicht irgendwelche 08/15 Hardware die nicht einmal Layer 2 kann ...
Denn bei entsprechenden Switchen wird auch die Geschwindigkeit nach oben gehen. (selbst wenn es einfach HP 19xx er sind. Dazu gibt es hier auch schon einige Threads zu, wie man iSCSI Netze sauber aufbaut, auch entsprechend für kleinst-Umgebungen wie du eine hast
Und auf die Hinweise bzgl. tauglichkeit der Hardware bist auch nicht eingegangen, wenn die Hardware das nicht hergibt wirst das auch mit anderen Verfahren nicht schaffen, bei den 250GB Platten gehe ich mal von Standard SATA mit 7.200rpm aus - aus denen wirst auch nicht maßlos viel Leistung bekommen, ein weiterer Punkt ist auch bei der Gewindigkeit das die Switche das ja nicht einmal können was du da vor hast - für iSCSI sollte man schon Switche haben die das unterstützen und nicht irgendwelche 08/15 Hardware die nicht einmal Layer 2 kann ...
Denn bei entsprechenden Switchen wird auch die Geschwindigkeit nach oben gehen. (selbst wenn es einfach HP 19xx er sind. Dazu gibt es hier auch schon einige Threads zu, wie man iSCSI Netze sauber aufbaut, auch entsprechend für kleinst-Umgebungen wie du eine hast
