14
Frage zu iSCSI
Guten Morgen zusammen,
ich hätte mal bezüglich SAN bzw. iSCSI eine Frage.
Folgendes ist die Idee:
unser Fileserver ist derzeit virtualisiert was künftig nicht mehr so sein soll.
Also war die Idee, ein System mit TrueNas aufzusetzen, diesen Speicher über iSCSI an einen WinServer "durchzureichen" und hier dann die entsprechenden SMB-Freigaben zu erstellen.
Ist das zu umständlich?
Wie funktioniert die Kommunikation?
Gehen die gesamten Daten hier dann von den Clients über den Win-Server hin zum Fileserver, oder wird das geschickt umgeleitet, direkt vom Client zum Fileserver?
Hintergrund ist die Geschwindigkeit, da wir die Clients auf 10G umgestellt haben und der virtualisierte Fileserver hier einfach nicht hinterherkommt.
Beste Grüße
Nico
ich hätte mal bezüglich SAN bzw. iSCSI eine Frage.
Folgendes ist die Idee:
unser Fileserver ist derzeit virtualisiert was künftig nicht mehr so sein soll.
Also war die Idee, ein System mit TrueNas aufzusetzen, diesen Speicher über iSCSI an einen WinServer "durchzureichen" und hier dann die entsprechenden SMB-Freigaben zu erstellen.
Ist das zu umständlich?
Wie funktioniert die Kommunikation?
Gehen die gesamten Daten hier dann von den Clients über den Win-Server hin zum Fileserver, oder wird das geschickt umgeleitet, direkt vom Client zum Fileserver?
Hintergrund ist die Geschwindigkeit, da wir die Clients auf 10G umgestellt haben und der virtualisierte Fileserver hier einfach nicht hinterherkommt.
Beste Grüße
Nico
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 2615480943
Url: https://administrator.de/contentid/2615480943
Ausgedruckt am: 22.11.2024 um 07:11 Uhr
14 Kommentare
Neuester Kommentar
Nein da wird nichts umgeleitet, sind ja auch völlig unterschiedliche Protokolle. Der vFileserver greift dann per iSCSI auf die pNAS zu und holt sich die Datei, die er dann übers Netzwerk dem Client per SMB zukommen lässt. Wo lag den der Bottleneck im alten vFileserver, CPU oder Disk I/O?
Wenn man TrueNAS einsetzen will, was spricht gegen eine direkte Freigabe der Dateien über SMB/CIFS?
Wenn man TrueNAS einsetzen will, was spricht gegen eine direkte Freigabe der Dateien über SMB/CIFS?
Guten Morgen
ich hätte mal bezüglich SAN bzw. iSCSI eine Frage.
Folgendes ist die Idee:
unser Fileserver ist derzeit virtualisiert was künftig nicht mehr so sein soll.
Also war die Idee, ein System mit TrueNas aufzusetzen, diesen Speicher über iSCSI an einen WinServer "durchzureichen" und hier dann die entsprechenden SMB-Freigaben zu erstellen.
Ist das zu umständlich?
Folgendes ist die Idee:
unser Fileserver ist derzeit virtualisiert was künftig nicht mehr so sein soll.
Also war die Idee, ein System mit TrueNas aufzusetzen, diesen Speicher über iSCSI an einen WinServer "durchzureichen" und hier dann die entsprechenden SMB-Freigaben zu erstellen.
Ist das zu umständlich?
kann man machen. Kompliziert ist da nix dran.
Wie funktioniert die Kommunikation?
hängt von der Hardware ab.
Gehen die gesamten Daten hier dann von den Clients über den Win-Server hin zum Fileserver, oder wird das geschickt umgeleitet, direkt vom Client zum Fileserver?
Die Daten gehen zu dem Winserver
Hintergrund ist die Geschwindigkeit, da wir die Clients auf 10G umgestellt haben und der virtualisierte Fileserver hier einfach nicht hinterherkommt.
Dann ist die Hardware der Virtualisierungshost zu lahm.
Und was heißt kommt nicht hinterher ? Was sind die Übertragungswerte ? Was habt ihr an Hardware zur Virtualisierung.
Ich vermute die Servertechnik war schlicht nicht performant genug ( vll. noch HDDs anstatt SSD ) und ihr habt euch erhofft das es mit 10G ( welches Überhaupt? ) schneller wird.
Wie du siehst, um das vernünftig Beurteilen zu können, fehlen alle grundsätzlichen Infos.
Beste Grüße
Nico
Gruss
Moin
und Du hast eine zusätzliche Fehlerquelle.
Wenn das NAS ausfällt ist der Fileserver auch tot.
Welche Vorteile siehst Du?
Stefan
und Du hast eine zusätzliche Fehlerquelle.
Wenn das NAS ausfällt ist der Fileserver auch tot.
Welche Vorteile siehst Du?
Stefan
sowohl als auch.
Wenn man TrueNAS einsetzen will, was spricht gegen eine direkte Freigabe der Dateien über SMB/CIFS?
Berechtigte Frage. In meinen Augen wäre es vermutlich einfacher, die Rechteverteilung der SMB-Freigaben unter Windows vorzunehmen.Nein da wird nichts umgeleitet, sind ja auch völlig unterschiedliche Protokolle. Der vFileserver greift dann per iSCSI auf die pNAS zu und holt sich die Datei, die er dann übers Netzwerk dem Client per SMB zukommen lässt.
Okay danke, das schafft Klarheit. Dann bringt uns das so vermutlich auch nicht wirklich weiter.Zitat von @itisnapanto:
Dann ist die Hardware der Virtualisierungshost zu lahm.
Und was heißt kommt nicht hinterher ? Was sind die Übertragungswerte? Was habt ihr an Hardware zur Virtualisierung.
Ich vermute die Servertechnik war schlicht nicht performant genug ( vll. noch HDDs anstatt SSD ) und ihr habt euch erhofft das es mit 10G ( welches Überhaupt? ) schneller wird.
Wie du siehst, um das vernünftig Beurteilen zu können, fehlen alle grundsätzlichen Infos.
Dann ist die Hardware der Virtualisierungshost zu lahm.
Und was heißt kommt nicht hinterher ? Was sind die Übertragungswerte? Was habt ihr an Hardware zur Virtualisierung.
Ich vermute die Servertechnik war schlicht nicht performant genug ( vll. noch HDDs anstatt SSD ) und ihr habt euch erhofft das es mit 10G ( welches Überhaupt? ) schneller wird.
Wie du siehst, um das vernünftig Beurteilen zu können, fehlen alle grundsätzlichen Infos.
tatsächlich ist unsere Hardware begrenzt, jedoch sind es auch wenige Mitarbeiter und dementsprechend war das Budget auch immer recht gering und es zieht eben einen Rattenschwanz nach sich.
Der Speicherpool auf dem Server besteht aus einem Software Raid6 aus NVMe SSDs. Versorgt wurde der von "billiger Consumerhardware" einem i9-10980X.
NIC ist eine 4x SFP+ Karte (gebündelt für 40G). Die Clients hängen auch über SFP+ am selben Switch, (jeweils einfaches 10G).
Das ist, wie wenn man vorne und hinten an eine vierspurige Autobahn eine 3,3m breite matschstraße anschliesst. Sorry, das Sizing kannst den Hasen geben.
Da brauchst du auch nichts mit iscsi (das ja nur mehr Leistung braucht) anpflanschen. Du brauchst ein solides Gesamtkonzept sonst verbrennst du dringend notwendiges money for nothing...
Da brauchst du auch nichts mit iscsi (das ja nur mehr Leistung braucht) anpflanschen. Du brauchst ein solides Gesamtkonzept sonst verbrennst du dringend notwendiges money for nothing...
Moin,
was sagen denn deine Test mit Netio zur Geschwindigkeit zwischen Fileserver und Client aus?
In welchen Szenarien brauchen Clients 10G? Öffnen und bearbeiten die Videodateien über das Netzwerk?
was sagen denn deine Test mit Netio zur Geschwindigkeit zwischen Fileserver und Client aus?
In welchen Szenarien brauchen Clients 10G? Öffnen und bearbeiten die Videodateien über das Netzwerk?
@Mystery-at-min
deshalb soll der Fileserver ja jetzt dediziert sein.
@goscho
richtig, es sollen Videos übers Netzwerk bearbeitet werden. Bzw teils auch einfach nur vom Client auf den Server und umgekehrt kopiert/verschoben werden.
Beim Verschieben kommen wir auf etwa 500-650 MB/s.
Bevor es jetzt heißt, das kopieren im Windows-Explorer ist eine Single-Thread Anwendung. Ja ist bekannt, sollte bei diesen Geschwindigkeiten jedoch eigentlich irrelevant sein und zweitens haben wir es auch mit robocopy und xcopy versucht.
deshalb soll der Fileserver ja jetzt dediziert sein.
@goscho
richtig, es sollen Videos übers Netzwerk bearbeitet werden. Bzw teils auch einfach nur vom Client auf den Server und umgekehrt kopiert/verschoben werden.
Beim Verschieben kommen wir auf etwa 500-650 MB/s.
Bevor es jetzt heißt, das kopieren im Windows-Explorer ist eine Single-Thread Anwendung. Ja ist bekannt, sollte bei diesen Geschwindigkeiten jedoch eigentlich irrelevant sein und zweitens haben wir es auch mit robocopy und xcopy versucht.
Also ich habe seit kurzem eine Eigenbau TrueNAS für Daten, die selten gebraucht werden und wo Geschwindigkeit irrelevant ist. Insgesamt bin ich sehr positiv gestimmt und könnte mir vorstellen das man damit auch Durchsatz hinbekommt, ich plane aber eigentlich die kritischen / anspruchsvollen Sachen auf einer VM zu belassen.
Man kann TrueNAS ans AD anbinden, das klappt gut. Komplizierte Sachen sind nicht immer so toll zu lösen aber man kann alle Rechte innerhalb der Freigabe, also auf Ordner-Ebene, auch über den Windows Explorer setzen. Im extremsten Fall macht man eine "Freigabe" und setzt Rechte nur auf Ordnerebene durch.
Ich würde daher von TrueNAS <- iSCSI -> vFileserver <- SMB -> Client definitiv abraten. Der vFileserver bringt eigentlich gar nichts (oder kommt vielleicht noch DFS zum Einsatz?). Dafür hast du neue Fehlerquellen und unnötige Last auf dem System.
Je nach Umgebung kann man mal Client-seitig iSCSI umsetzen und sich anschauen, ob das schneller als SMB läuft.
Man kann TrueNAS ans AD anbinden, das klappt gut. Komplizierte Sachen sind nicht immer so toll zu lösen aber man kann alle Rechte innerhalb der Freigabe, also auf Ordner-Ebene, auch über den Windows Explorer setzen. Im extremsten Fall macht man eine "Freigabe" und setzt Rechte nur auf Ordnerebene durch.
Ich würde daher von TrueNAS <- iSCSI -> vFileserver <- SMB -> Client definitiv abraten. Der vFileserver bringt eigentlich gar nichts (oder kommt vielleicht noch DFS zum Einsatz?). Dafür hast du neue Fehlerquellen und unnötige Last auf dem System.
Je nach Umgebung kann man mal Client-seitig iSCSI umsetzen und sich anschauen, ob das schneller als SMB läuft.
Ich würde bei den Performanceprobleme weiter beim Server suchen. Die Virtualisierung selbst ist nicht das Problem.
Ich erreiche mit SAS SSDs im Raid 5 schon höhere Werte als du mit NVMe
Gruss
Ich erreiche mit SAS SSDs im Raid 5 schon höhere Werte als du mit NVMe
Gruss
Moin,
also die 500 - 650MB/ s finde ich eigentlich ganz passabel und entspricht in etwa 5Gbit/ s (netto)
Ich vermute deine Flaschenhälse hier:
Die CPU ist damit beschäftigt, die eingehenden Datenströme auf ein RAID6 zu verteilen und dann auf die Platten zu schreiben. Hinzu kommt dann vermutlich eine "billige" (??) NIC, die ebenfalls über die CPU läuft. Da hilft auch kein 10G.
Und dann bleibt da noch die Frage, wie die NVMes angebunden sind...
Beschäftige dich mit dem Server selbst / kaufe einen passenden mit Hardware-RAID-Controller und BBU und dann wird es schon etwas performanter
also die 500 - 650MB/ s finde ich eigentlich ganz passabel und entspricht in etwa 5Gbit/ s (netto)
Ich vermute deine Flaschenhälse hier:
Der Speicherpool auf dem Server besteht aus einem Software Raid6 aus NVMe SSDs. Versorgt wurde der von "billiger Consumerhardware" einem i9-10980X.
Die CPU ist damit beschäftigt, die eingehenden Datenströme auf ein RAID6 zu verteilen und dann auf die Platten zu schreiben. Hinzu kommt dann vermutlich eine "billige" (??) NIC, die ebenfalls über die CPU läuft. Da hilft auch kein 10G.
Und dann bleibt da noch die Frage, wie die NVMes angebunden sind...
Beschäftige dich mit dem Server selbst / kaufe einen passenden mit Hardware-RAID-Controller und BBU und dann wird es schon etwas performanter
Zitat von @Sommelier:
NIC ist eine 4x SFP+ Karte (gebündelt für 40G). Die Clients hängen auch über SFP+ am selben Switch, (jeweils einfaches 10G).
NIC ist eine 4x SFP+ Karte (gebündelt für 40G). Die Clients hängen auch über SFP+ am selben Switch, (jeweils einfaches 10G).
Was ist denn der Virualisierer den du benutzt und welches OS hat der virtuelle Fileserver? Zumindest unter Hyper-V wäre es für den virtuellen Fileserver sinnvoller 4 einzelne NICs herauszuführen da man dann mit Win10 Clients SMB Multichannel benutzen könnte, das könnte die Cores besser auslasten und so zu einem höheren Durchsatz führen. Außerdem hilft zumindest bei Hyper-V oft ein wenig Tuning an (v)RSS und (d)VMQ.
/Thomas
Dann muss man natürlich auch berücksichtigen was noch auf dem Hypervisor läuft. Natürlich ist es sinnvoll sich die Performance Probleme genauer anzusehen aber es spricht auch nichts gegen eine Auslagerung des Fileservers auf dedizierte Hardware.
Egal, ob Blech oder virtuell - die Performance Probleme müssen angegangen werden. iSCSI bringt nichts, da nur ein Umweg und zusätzlicher Overhead. Identische Hardware und nur Blech dürfte ebenfalls ncihts bringen.
Also besser den Tipps oben folgen, Durchsatz messen, schauen, wo das Problem liegt und hier ansetzen.
Dann entweder virtuell auf besserer Hardware oder Server aufs Blech. Aber nicht wieder trennen zwischen "Datenhaltung" und "Zugriffslogik-Server", das bringt keinen Vorteil, sondern kostet nur Geschwindigkeit, auf die es Dir ja ankommt.
Gruß
DivideByZero
Also besser den Tipps oben folgen, Durchsatz messen, schauen, wo das Problem liegt und hier ansetzen.
Dann entweder virtuell auf besserer Hardware oder Server aufs Blech. Aber nicht wieder trennen zwischen "Datenhaltung" und "Zugriffslogik-Server", das bringt keinen Vorteil, sondern kostet nur Geschwindigkeit, auf die es Dir ja ankommt.
Gruß
DivideByZero
