Datenwege im Netzwerk bei iSCSI

Wie du selbst schreibst, ist das iSCSI Volume mit dem Fileserver verbunden, also ist der iSCSI-Initiator der Fileserver. Auf dem Fileserver selber wird das iSCSI Volume (oder mehrere) dann als lokales Laufwerk gemapped und dann im Netzwerk freigegeben. Der "Datenfluß" ist also vom NAS zum Fileserver und vom Fileserver zu den Clients.

Zwischen NAS und Fileserver läuft das via iSCSI Port 3260 und zwischen dem Fileserver und Client in der Regel via 445.

Du kannst alle NAS via iSCSI an einen Fileserver verbinden und von da aus mit AD die Berechtigungen steuern. Wie das bei den Apple Clients geht, da habe ich keine Ahnung von. 10G vom NAS entweder direkt an den Fileserver oder 10G Switch ist machbar aber auch 10G an die Clients?

Wenn da nur 1G ankommt, dann ist der Durchsatz schon limitiert.

Hallo,

Ok, also bei 10 Gbit/s bist Du dem normalem FC mit 2 GBit/s, 4 GBit/s und 8 GBit/s schon überlegen und
mit dual Netzwerkadaptern die man auch noch einmal doppelt oder dreifach nehmen kann sogar noch mehr!

Was für ein Server ist das denn nun genau? Und vor allen anderen Dingen was für ein NAS genau?
Man hat da manchmal Möglichkeiten, die sich einem nicht gleich offenbaren.
- Mehr RAM einbauen
- Single Port 10 GBit/s Netzwerkadapter
- Dual Port Netzwerkadapter
- Single oder Dual 10 GBit/s Port Adapter mit M.2 SSDs als Cache
- NAS mit 25 GBit/s Anschlüssen
- Server und NAS via Thunderbolt 2/3/4 verbinden (DAS) ist aber 20 GBit/s oder 40 GBit/s schnell!!!!

Das wichtigste wären mir aber das es sich um Converged Netzwerkadapter handelt!
Wir kenne auch irgend wie Dein Budget nicht so richtig und die Größenordnung von der wir hier reden
das würde einem auch schon ein wenig helfen! Denn sicherlich kann man auch bei z.B. sagen wir mal
Hamburg.net anrufen und wenn die gerade große FIrmen umrüsten sind auch mal drei 40 GBit/s Karten
und zwei kleine und/oder ein größerer Switch günstig refurbed zu haben. Dann ist jeder Port mittels 56 Gbit/s
angebunden und man hat ausreichend Luft "nach oben". NAS und Server an die kleinen Switche, die beiden
kleinen Switche an den großen Switch und den an das bereits bestehende Netzwerk anbinden, fertig.

Dobby

Der Flaschenhals könnte das/ein NAS mit nur einem 10G Port sein und die Festplatten darin (HDD oder SSD?). Meist haben die günstigeren NAS ein Software RAID, dass ziemlich mies ist bei vielen gleichzeitigen Zugriffen.

So pauschal kann man das aber nicht sagen... LWL, AON und Twinax/DAC ja was SFP+ Ports nutzt. 10G-BaseT über RJ-45 Kupfer nein. Knick im Kabel, schlecht gecrimpte Stecker usw. und schon kommt nur die Hälfte an. Außerdem ist FC kein shared Medium wie Ethernet. Hier solltest du fairerweise schon differenzieren was die Anschlusstopologie betrifft.
Warum wenn er rein nur iSCSI oder NFS machen will also Ethernet pur und FC keine Option ist?

@kreuzberger

Alles klar das wusste ich nicht. Allerdings würde ich mir folgende Geräte einmal näher anschauen wollen, vielleicht passen die und man kann damit dann das ganze etwas beschläunigen.

QNAP QSW-M5216-1T
QNAP 18 Port - 25 GBit/s Switch der auch den Server per DAC Kabel mit 10 GBit/s anbinden kann ~1300 €

QNAP QXG-25G2SF-CX6
QNAP 25 GBit/s Dual Port NIC für QNAP NAS ~250 €

QNAP Systems QM2-2P-244A
PCIe Karte für zwei M.2 SSDs als Cache ~100 €

QM2-2P410G2T
QNAP PCIe Dual Port 10 GBit/s NIC (mit 2x M.2 SSD Slot als Cache)

QM2-2P410G1T
QNAP Single Port 10 GBit/s NIC (mit 2x M.2 SSD Slot als Cache)

Dobby

Hallo,
also wenn du schon höherwertige NAS Systeme oder dir zulegst dann haben diese auch die Möglichkeit auch direkt ans AD gedübelt zu werden und dann die Reglementierung über ACLs durchführen. Dazu brauchst du dann keinen zusätzlichen Server sondern nur ADS Server.

Grüße

Hallo nochmal,

QNAP NAS an den QNAP Switch und den Server auch an den QNAP Switch weil der eben 10 GBit/s (SFP+)
via DAC Kabel unterstützt, aber auch die die QNAP dual port Karte mit 25 GBit/s.

OK sollte so auch nicht unbedingt schwerer sein als andere Anbindungen. Hier mal zwei Anleitungen dazu;
- Anbindung des QNAP NAS an das Microsoft Active Directory (AD)
- Domain Controller (Domain-Controller)
- Least Privileg: Minimale Berechtigungen um Computer ins AD zu joinen


Hier noch ein älterer Forumsbeitrag dem man auch noch ein paar Infos entnehmen kann, ist interessant
um das eine oder andere abzuwägen. (Finde ich zumindest) NAS in Domäne einbinden

Dobby

Ob man einen 10G Switch von einem NAS Hersteller beschafft ist wohl eher eine schlechte Idee. Das sind immer Fremdprodukte (OEM) die nur umgenannt werden. Für ein verlässliches Storage Netzwerk die denkbar schlechteste Hardwarewahl.

Das NAS und die dual port 25 GBit/s Karte sind ja auch von dem und der Switch unterstützt 10 GB
vom Server und 25 GB vom NAS.

Dobby

Hallo,

vielleicht verstehe ich sie Frage nicht oder es wird einiges durcheinander geworfen.
NAS sind Protokolle wie SMB (CIFS) mit Windows oder NFS mit
Unix/Linux. Hiebei sendet der Client eine Datei über ein Netzwerk an einen NAS Server und dieser nimmt die Datei entgegen und macht damit dann irgendwas - typischerweise speichern.
Daher NAS = Network Attached Storage.

Im SAN, dem Storage Area Network werden typischerweise Blockdaten übertragen. Dies kann dann via FC, FCoE oder IPSAN wie iSCSI ausgeführt werden.
Im Grunde verhält sich das Blockdevice genau wie eine Festplatte. Das Computersystem interessiert sich nicht dafür ob die Festplatte lokal (DAS) oder in einem Storagenetzwerk hängt.
Auf die Festplatte werden Blöcke geschrieben welch im Filesystem organisiert werden. Welche Blöcke gehören zu einer Datei und wo sind diese auf dem Medium verortet? Darum muss sich das System bei einem Blockdevice selber kümmern.

Wenn Dein Client also nun auf einen Windows Fileserver (NAS) eine Datei schreibt nimmt dieser sie entgegen und schreibt sie auf seine Festplatte (Blockdevice) und organisiert all die Metainformationen um alle Einzelteile der Datei wieder finden zu können um sie dann zusammengesetzt als Datei wieder an einen anfragenden Client senden zu können.

Während Du ein NAS von mehreren Systemen gleichzeitig nutzen kannst, ist das bei einer Festplatte nicht ganz so einfach. Das Dateisystem muss Clusterfähig sein und das OS sowie die Applikation muss das dann auch unterstützen.

Ein iSCSI Netz sollte vom Usernetz mindestens per VLan getrennt sein. Typischerweise wird der iSCSI Traffic nicht verschlüsselt, außer Performance spielt eine untergeordnete Rolle. Gerade beim Blockdevice kommt es genau darauf aber an.

Schlussendlich hängt es vom Anwendungsfall ab.


VG
Hendrik

In dem oberen Beispiel ist der Windows Fileserver das zentrale System, dass mit dem NAS (oder mehreren) via iSCSI verbunden ist. Auf dem Server sind die LUNs zu einem lokalen Laufwerk verbunden. Datenübertragung dann blockweise. Zwischen dem Client und dem Server ist es aber SMB/NFS.


Was meinst du mit einer Festplatte? Jedes lokale (logische) Laufwerk kann im Netzwerk freigegeben werden, egal ob tatsächlich physisch (Hardware) oder logisch (SAN, NAS, USB-HDD etc.).

@hendrix3er

Ist alles richtig nur so wie ich das gelesen habe, will @kreuzberger das NAS in die AD "heben" um sich dann
das doppelte Anlegen von Benutzern zu ersparen! Es sein denn ich habe das falsch herausgelesen.

Nun nimmt man das NAS und verbindet es mit dem AD Server via Netzwerk und auf dem NAS muss man sich
sow wie ich das kenne einmal als Admin (AD) anmelden wegen der Berechtigung und dann kann man alle
Benutzerkonten des AD "weiterbenutzen" bzw. muss sie eben nicht noch ein zweites mal auf dem NAS anlegen.

Um das noch einmal richtig zu stellen weil ich denke das es weiter oben etwas unglücklich formuliert war von mir,
wenn man sich zwischen Ethernet und FC entscheidet ist man öfters mit FC besser bedient, wenn es nur um 1 GBit/s
Verbindungen geht! Denn FC bietet einem zwischen 1 und 8 GBit/s, da aber schon 10 GBit/s Hardware vorhanden
ist würde ich das dann eher auf dem NAS mittels 25 GBit/s Adapter und auf dem Server mittels den schon vorhandenen 10 GBit/s Adaptern abbilden wollen. Ein kleiner zusätzlicher Switch, ein oder mehrere 25 GBit/s
Adapter von QNAP und eventuell etwas mehr RAM in den NAS Geräten und schon sollte das ganze passen.
Und den zusätzlichen Switch kann man ohne große bedenken auch wieder an das restliche LAN anschließen
wo der doch 10 und 25 GBit/s unterstützt.

Dobby

@DerMaddin

grundsätzlich kannst Du alles mögliche Freigeben, die Technik dahinter ist dabei aber uninteressant. Dem Client ist es völlig egal welches Medium am anderen Ende der Leitung steht. SMB oder NFS spricht weder SCSI noch ATA.

Natürlich werden Dateien typischerweise auf eine Festplatte geschrieben und die kann sonst wie angeschlossen sein.
Der Server/NAS hat die Treiber um mit der Festplatte kommunizieren zu können und organisiert das Dateisystem.
Der Client übergibt einfach die Datei an den Server an dem er authentifiziert ist. Der Server kann dann schauen ob der Client überhaupt Zugriff hat. Das findet sowohl auf Shareebene als auch im Dateisystem statt.

Eine Festplatte oder LUN kennt erstmal gar nichts. Sie muss formatiert werden mit einem Dateisystem in dem dann die Blöcke abgelegt werden. Ohne Dateizuordnungstabelle/ Verzeichnis sind die Blöcke erstmal wertlos.

Um all das kümmert sich das OS.

NAS Part:
TCP/IP Packete werden entgegengenommen und zu einer Datei zusammengesetzt.
Gem. der Sharekonfig. wird die Datei an einen bestimmten Pfad gespeichert.

Block Part:
Dieser Pfad findet sich auf einer Festplatte wieder.
Die Blöcke werden geschrieben und es wird ein Eintrag im Verzeichnis gemacht. Nebenbei werden noch ein paar Attribute und ACLs geschrieben.
Damit ist im groben der Vorgang beschrieben

Das NAS System muss kein Windows sein und auch das Dateisystem muss kein NTFS sein. Ob auf einem ext aber die ACLs und Attribute 100% kompatibel sind merkt man wenn man bestimmte Optionen benötigt.

Vg
Hendrik

@108012

im großen und ganzen habe ich das auch so verstanden und soweit ich das bislang kenne kann man so ziemlich alle aktuellen NAS Systeme in ein AD joinen.
Das hilft allerdings nicht so wirklich wenn iSCSI ins spiel kommt.
Ein CIFS Volume eines NAS bekomme ich nicht ohne die technische Möglichkeit via iSCSI als LUN an einen Windows Computer. Wenn das NAS möglicherweise eine lokale Festplatte als LUN rausreichen kann sehe ich auf dem Windows Computer eine neu Festplatte. Ist da dann ein NTFS oder FAT drauf hat der Computer Vollzugriff auf die Festplatte. Stimmen dann auch noch die ACLs (sIDs) könnte ein normaler User damit lokal arbeiten. Ein Admin könnte die Platte formatieren - schwupps, Daten weg.

Ich denke, man muss hierbei beachten, dass NAS eigentlich nicht Block level Storage meint. NAS und Block Protokolle haben komplett unterschiedliche Ansätze.
NAS meint immer: ich speichere Dateien auf einem Server, der macht das dann schon so wie es soll.
Block meint: da ist eine lokale Festplatte. Die kann zwar in Wirklichkeit auch weit weg stehen aber der Host sieht eine Festplatte.

Hier kommen wir dann auch zu Ethernet und FC-SAN.
In einem Netzwerk habe ich normalerweise nicht durchgängig mehrere Verbindungen/Redundanz. Die meisten PCs haben nur eine Anbindung. Erst ab dem Etagenverteiler wird es dann vielleicht redundant.
Ein Netzwerk kann in mehrere Segmente unterteilt sein welche ich nach bestimmten Regeln via Firewall und Router wieder miteinander verbinde. In einen TCP/IP Netzwerk kommt es nicht vorrangig auf die Performance/Latenz an. Dafür kann ich allerdings auch alle gerouteten Netze erreichen, selbst dann wenn meine Gegenstelle via 56k Modem angeschlossen ist. Das macht zwar keinen Spaß, funktioniert aber.

Im SAN ist der Host an die Fabric mit mindestens einem Port verbunden. Aufgrund der Redundanz sollte es immer zwei unabhängige Fabrics geben. Heißt alles ist mindestens zweifach angebunden. Der Portspeed hat sich in den letzten Jahren auch erheblich weiter entwickelt. 4GB/s ist oft schon gar nicht mehr kompatibel und auch 8GB/s ist schon recht betagt. 16GB/s kann man noch machen aber 32GB/s gibt’s schon als Sparvariante. Wenn man zu viel Geld hat nimmt man 64GB/s oder wartet noch ein bisschen.
Durch die doppelte Anbindung kann das System wirklich auch die doppelte Geschwindigkeit ins SAN bringen. MPIO macht’s möglich.
Insgesamt ist der Payload im FC Datagramm höher, das FC SAN arbeitet insgesamt effektiver, routing ist aber nicht vorgesehen.
Zusätzlich ist ein FC Switch in der Regel darauf ausgelegt den Speed aller Ports im Backend auch verarbeiten zu können. Das heißt wenn 48 Ports á 32GB/s im Switch sind, kann die Backplane auch etwa 1,5Terrabit/s wuppen. Das hat natürlich seinen Preis.

Der Overhead bei iSCSI ist um einiges höher. Nicht nur das TCP Datagramm mit den im TCP/IP benötigten Feldern muss mit im Packet vorhanden sein, auch das SCSI Packet mit den darin enthaltenen Informationen ist encapsuliert. Es muss also nicht nur alles eingepackt sondern auch alles wieder ausgepackt werden.
Um iSCSI performancetechnisch dann den Todesstoß zu geben stehen Server und Storage in unterschiedlichen Netzwerksegmenten, es wird also geroutet, und die Oracle DB erzeugt eine hohe IO Last. Gespieckt wird das ganze nun mit Usern die im gleichen Netz oder zumindest über die gleichen Leitungen, Router und Switche gehen und ich kann sogar noch bei XX GB/s zuschauen wie der Oracle Server das Log wegen zu hoher Latenzen voll schreibt und meine User verlieren auch immer wieder die Nerven.

Man kann natürlich beides so bauen, dass es entweder doch funktioniert bzw. trotzdem nicht funktioniert.

Das LAN kann so fett sein, dass der Durchsatz immer sichergestellt wird, kostet dann aber auch etwas.
Das SAN kann so gebaut sein dass der eigentliche Sinn dafür verfehlt wird.

In einer kleinen Umgebung kann iSCSI sehr gut funktionieren und auch in einer größeren Umgebung kann iSCSI sinnvoll integriert werden.
FC kann einen großen Vorteil bieten, kann aber auch einfach nur teuer sein.

25 GB/s hört sich für Fileservices schon wirklich fett an.
Wenn da natürlich ein paar 10000 User mit arbeiten oder ein paar hundert 4k Videoschnitt machen wird’s eng.

Ist die Hardware sowieso da und man braucht die Ports für nichts besseres kann man das machen. Aber 10GB/s um Clients anzubinden hört sich überkandidelt an.

Aber ich kenne den Anwendungsfall auch nicht. Qnap klingt für mich etwas nach Entry class.

VG
Hendrik