Frage zu iSCSI

sommelier
Goto Top
Guten Morgen zusammen,

ich hätte mal bezüglich SAN bzw. iSCSI eine Frage.

Folgendes ist die Idee:
unser Fileserver ist derzeit virtualisiert was künftig nicht mehr so sein soll.

Also war die Idee, ein System mit TrueNas aufzusetzen, diesen Speicher über iSCSI an einen WinServer "durchzureichen" und hier dann die entsprechenden SMB-Freigaben zu erstellen.

Ist das zu umständlich?
Wie funktioniert die Kommunikation?
Gehen die gesamten Daten hier dann von den Clients über den Win-Server hin zum Fileserver, oder wird das geschickt umgeleitet, direkt vom Client zum Fileserver?


Hintergrund ist die Geschwindigkeit, da wir die Clients auf 10G umgestellt haben und der virtualisierte Fileserver hier einfach nicht hinterherkommt.



Beste Grüße
Nico

Content-Key: 2615480943

Url: https://administrator.de/contentid/2615480943

Ausgedruckt am: 29.06.2022 um 19:06 Uhr

Mitglied: ukulele-7
ukulele-7 27.04.2022 um 09:15:24 Uhr
Goto Top
Nein da wird nichts umgeleitet, sind ja auch völlig unterschiedliche Protokolle. Der vFileserver greift dann per iSCSI auf die pNAS zu und holt sich die Datei, die er dann übers Netzwerk dem Client per SMB zukommen lässt. Wo lag den der Bottleneck im alten vFileserver, CPU oder Disk I/O?

Wenn man TrueNAS einsetzen will, was spricht gegen eine direkte Freigabe der Dateien über SMB/CIFS?
Mitglied: itisnapanto
itisnapanto 27.04.2022 um 09:21:20 Uhr
Goto Top
Zitat von @Sommelier:

Guten Morgen zusammen,

Guten Morgen

ich hätte mal bezüglich SAN bzw. iSCSI eine Frage.

Folgendes ist die Idee:
unser Fileserver ist derzeit virtualisiert was künftig nicht mehr so sein soll.

Also war die Idee, ein System mit TrueNas aufzusetzen, diesen Speicher über iSCSI an einen WinServer "durchzureichen" und hier dann die entsprechenden SMB-Freigaben zu erstellen.

Ist das zu umständlich?

kann man machen. Kompliziert ist da nix dran.

Wie funktioniert die Kommunikation?

hängt von der Hardware ab.

Gehen die gesamten Daten hier dann von den Clients über den Win-Server hin zum Fileserver, oder wird das geschickt umgeleitet, direkt vom Client zum Fileserver?

Die Daten gehen zu dem Winserver


Hintergrund ist die Geschwindigkeit, da wir die Clients auf 10G umgestellt haben und der virtualisierte Fileserver hier einfach nicht hinterherkommt.

Dann ist die Hardware der Virtualisierungshost zu lahm.
Und was heißt kommt nicht hinterher ? Was sind die Übertragungswerte ? Was habt ihr an Hardware zur Virtualisierung.

Ich vermute die Servertechnik war schlicht nicht performant genug ( vll. noch HDDs anstatt SSD ) und ihr habt euch erhofft das es mit 10G ( welches Überhaupt? ) schneller wird.

Wie du siehst, um das vernünftig Beurteilen zu können, fehlen alle grundsätzlichen Infos.



Beste Grüße
Nico

Gruss
Mitglied: StefanKittel
StefanKittel 27.04.2022 um 09:24:39 Uhr
Goto Top
Moin
und Du hast eine zusätzliche Fehlerquelle.
Wenn das NAS ausfällt ist der Fileserver auch tot.
Welche Vorteile siehst Du?
Stefan
Mitglied: Sommelier
Sommelier 27.04.2022 um 09:26:46 Uhr
Goto Top
Zitat von @ukulele-7:
>Wo lag den der Bottleneck im alten vFileserver, CPU oder Disk I/O?

sowohl als auch.

Wenn man TrueNAS einsetzen will, was spricht gegen eine direkte Freigabe der Dateien über SMB/CIFS?
Berechtigte Frage. In meinen Augen wäre es vermutlich einfacher, die Rechteverteilung der SMB-Freigaben unter Windows vorzunehmen.

>Nein da wird nichts umgeleitet, sind ja auch völlig unterschiedliche Protokolle. Der vFileserver greift dann per iSCSI auf die pNAS zu und holt sich die Datei, die er dann übers Netzwerk dem Client per SMB zukommen lässt.
Okay danke, das schafft Klarheit. Dann bringt uns das so vermutlich auch nicht wirklich weiter.
Mitglied: Sommelier
Sommelier 27.04.2022 um 09:41:33 Uhr
Goto Top
Zitat von @itisnapanto:
Dann ist die Hardware der Virtualisierungshost zu lahm.
Und was heißt kommt nicht hinterher ? Was sind die Übertragungswerte? Was habt ihr an Hardware zur Virtualisierung.

Ich vermute die Servertechnik war schlicht nicht performant genug ( vll. noch HDDs anstatt SSD ) und ihr habt euch erhofft das es mit 10G ( welches Überhaupt? ) schneller wird.

Wie du siehst, um das vernünftig Beurteilen zu können, fehlen alle grundsätzlichen Infos.

tatsächlich ist unsere Hardware begrenzt, jedoch sind es auch wenige Mitarbeiter und dementsprechend war das Budget auch immer recht gering und es zieht eben einen Rattenschwanz nach sich.

Der Speicherpool auf dem Server besteht aus einem Software Raid6 aus NVMe SSDs. Versorgt wurde der von "billiger Consumerhardware" einem i9-10980X.

NIC ist eine 4x SFP+ Karte (gebündelt für 40G). Die Clients hängen auch über SFP+ am selben Switch, (jeweils einfaches 10G).
Mitglied: Mystery-at-min
Mystery-at-min 27.04.2022 um 09:45:55 Uhr
Goto Top
Das ist, wie wenn man vorne und hinten an eine vierspurige Autobahn eine 3,3m breite matschstraße anschliesst. Sorry, das Sizing kannst den Hasen geben.

Da brauchst du auch nichts mit iscsi (das ja nur mehr Leistung braucht) anpflanschen. Du brauchst ein solides Gesamtkonzept sonst verbrennst du dringend notwendiges money for nothing...
Mitglied: goscho
goscho 27.04.2022 um 09:46:39 Uhr
Goto Top
Moin,

was sagen denn deine Test mit Netio zur Geschwindigkeit zwischen Fileserver und Client aus?
In welchen Szenarien brauchen Clients 10G? Öffnen und bearbeiten die Videodateien über das Netzwerk?
Mitglied: Sommelier
Sommelier 27.04.2022 um 09:57:44 Uhr
Goto Top
@Mystery-at-min
deshalb soll der Fileserver ja jetzt dediziert sein.

@goscho
richtig, es sollen Videos übers Netzwerk bearbeitet werden. Bzw teils auch einfach nur vom Client auf den Server und umgekehrt kopiert/verschoben werden.

Beim Verschieben kommen wir auf etwa 500-650 MB/s.

Bevor es jetzt heißt, das kopieren im Windows-Explorer ist eine Single-Thread Anwendung. Ja ist bekannt, sollte bei diesen Geschwindigkeiten jedoch eigentlich irrelevant sein und zweitens haben wir es auch mit robocopy und xcopy versucht.
Mitglied: ukulele-7
ukulele-7 27.04.2022 um 11:15:38 Uhr
Goto Top
Also ich habe seit kurzem eine Eigenbau TrueNAS für Daten, die selten gebraucht werden und wo Geschwindigkeit irrelevant ist. Insgesamt bin ich sehr positiv gestimmt und könnte mir vorstellen das man damit auch Durchsatz hinbekommt, ich plane aber eigentlich die kritischen / anspruchsvollen Sachen auf einer VM zu belassen.

Man kann TrueNAS ans AD anbinden, das klappt gut. Komplizierte Sachen sind nicht immer so toll zu lösen aber man kann alle Rechte innerhalb der Freigabe, also auf Ordner-Ebene, auch über den Windows Explorer setzen. Im extremsten Fall macht man eine "Freigabe" und setzt Rechte nur auf Ordnerebene durch.

Ich würde daher von TrueNAS <- iSCSI -> vFileserver <- SMB -> Client definitiv abraten. Der vFileserver bringt eigentlich gar nichts (oder kommt vielleicht noch DFS zum Einsatz?). Dafür hast du neue Fehlerquellen und unnötige Last auf dem System.

Je nach Umgebung kann man mal Client-seitig iSCSI umsetzen und sich anschauen, ob das schneller als SMB läuft.
Mitglied: itisnapanto
itisnapanto 27.04.2022 um 11:41:26 Uhr
Goto Top
Ich würde bei den Performanceprobleme weiter beim Server suchen. Die Virtualisierung selbst ist nicht das Problem.
Ich erreiche mit SAS SSDs im Raid 5 schon höhere Werte als du mit NVMe

Gruss
Mitglied: em-pie
em-pie 27.04.2022 um 12:24:50 Uhr
Goto Top
Moin,

also die 500 - 650MB/ s finde ich eigentlich ganz passabel und entspricht in etwa 5Gbit/ s (netto)

Ich vermute deine Flaschenhälse hier:
Der Speicherpool auf dem Server besteht aus einem Software Raid6 aus NVMe SSDs. Versorgt wurde der von "billiger Consumerhardware" einem i9-10980X.


Die CPU ist damit beschäftigt, die eingehenden Datenströme auf ein RAID6 zu verteilen und dann auf die Platten zu schreiben. Hinzu kommt dann vermutlich eine "billige" (??) NIC, die ebenfalls über die CPU läuft. Da hilft auch kein 10G.
Und dann bleibt da noch die Frage, wie die NVMes angebunden sind...

Beschäftige dich mit dem Server selbst / kaufe einen passenden mit Hardware-RAID-Controller und BBU und dann wird es schon etwas performanter
Mitglied: Th0mKa
Th0mKa 27.04.2022 um 13:03:19 Uhr
Goto Top
Zitat von @Sommelier:
NIC ist eine 4x SFP+ Karte (gebündelt für 40G). Die Clients hängen auch über SFP+ am selben Switch, (jeweils einfaches 10G).

Was ist denn der Virualisierer den du benutzt und welches OS hat der virtuelle Fileserver? Zumindest unter Hyper-V wäre es für den virtuellen Fileserver sinnvoller 4 einzelne NICs herauszuführen da man dann mit Win10 Clients SMB Multichannel benutzen könnte, das könnte die Cores besser auslasten und so zu einem höheren Durchsatz führen. Außerdem hilft zumindest bei Hyper-V oft ein wenig Tuning an (v)RSS und (d)VMQ.

/Thomas
Mitglied: ukulele-7
ukulele-7 27.04.2022 um 13:32:56 Uhr
Goto Top
Dann muss man natürlich auch berücksichtigen was noch auf dem Hypervisor läuft. Natürlich ist es sinnvoll sich die Performance Probleme genauer anzusehen aber es spricht auch nichts gegen eine Auslagerung des Fileservers auf dedizierte Hardware.
Mitglied: DivideByZero
DivideByZero 27.04.2022 um 21:51:09 Uhr
Goto Top
Egal, ob Blech oder virtuell - die Performance Probleme müssen angegangen werden. iSCSI bringt nichts, da nur ein Umweg und zusätzlicher Overhead. Identische Hardware und nur Blech dürfte ebenfalls ncihts bringen.
Also besser den Tipps oben folgen, Durchsatz messen, schauen, wo das Problem liegt und hier ansetzen.
Dann entweder virtuell auf besserer Hardware oder Server aufs Blech. Aber nicht wieder trennen zwischen "Datenhaltung" und "Zugriffslogik-Server", das bringt keinen Vorteil, sondern kostet nur Geschwindigkeit, auf die es Dir ja ankommt.

Gruß

DivideByZero