4
SSD Cache Konfiguration bei vielen kleinen Dateien die nicht wiederholt "gelesen" werden
Hallo zusammen,
ich bin mir mit meiner Cache Konfiguration unsicher, und ersuche hier euren Rat
ich habe eine Anwendung im Bereich 3D Modellierung, die auch ziemlich viele kleine Dateien (kleiner als 1mb, oft im KB Bereich) generiert und auf dem Storage (QNAP - NAS per ISCSI an Windows 2019 VM angebunden. 6x SAS Raid 10 Platten) ablegt.
Blöd gesagt und ein wenig überspitzt, aber für jeden Klick den man in der Anwendung macht, wird ein File mit Metadaten erzeugt...
Diese Files werden dann von einer anderen Anwendung "eingelesen"...
Die Performance ist spürbar langsamer, sobald dieser Datenaustausch auf der NAS geschieht...
Lokal (Windows 10 x64 und SSD) = Verzögerung von Anwendung 1 zu Anwendung 2 ca. 1-2 Sekunden
NAS: (6x RAID 10 SAS Platten, 10GBIT (auch an den Clients) ) ca 3-6 Sekunden
Den Virenscanner habe ich zu Testzwecken deaktiviert...
ich erhoffe mir durch SSD Cache hiermit Abhilfe zu verschaffen, oder übersehe ich etwas?
ich habe 2x 2TB SSD SATA (die hatte ich rumliegend, sonst wären es m2 geworden)...
eingebunden als SSD Cache.
Ich habe nun zur Auswahl:
- Read only oder R/W Cache: (da ich 2 Platten habe, habe ich mich für R/W Cache im RAID1 entschieden... irgendwelche Einwände?)
- Zufällige E/A oder Alle E/A (das ist wohl scheußlich übersetzt von der QNAP UI, aber hier hab ich mal alle e/a genommen...)
leider merke ich nicht viel (oder auch garnichts) von der zusätzlichen Performance.
hättet ihr mir einen Denkanstoß ?
Viele Grüße und Danke!
ich bin mir mit meiner Cache Konfiguration unsicher, und ersuche hier euren Rat
ich habe eine Anwendung im Bereich 3D Modellierung, die auch ziemlich viele kleine Dateien (kleiner als 1mb, oft im KB Bereich) generiert und auf dem Storage (QNAP - NAS per ISCSI an Windows 2019 VM angebunden. 6x SAS Raid 10 Platten) ablegt.
Blöd gesagt und ein wenig überspitzt, aber für jeden Klick den man in der Anwendung macht, wird ein File mit Metadaten erzeugt...
Diese Files werden dann von einer anderen Anwendung "eingelesen"...
Die Performance ist spürbar langsamer, sobald dieser Datenaustausch auf der NAS geschieht...
Lokal (Windows 10 x64 und SSD) = Verzögerung von Anwendung 1 zu Anwendung 2 ca. 1-2 Sekunden
NAS: (6x RAID 10 SAS Platten, 10GBIT (auch an den Clients) ) ca 3-6 Sekunden
Den Virenscanner habe ich zu Testzwecken deaktiviert...
ich erhoffe mir durch SSD Cache hiermit Abhilfe zu verschaffen, oder übersehe ich etwas?
ich habe 2x 2TB SSD SATA (die hatte ich rumliegend, sonst wären es m2 geworden)...
eingebunden als SSD Cache.
Ich habe nun zur Auswahl:
- Read only oder R/W Cache: (da ich 2 Platten habe, habe ich mich für R/W Cache im RAID1 entschieden... irgendwelche Einwände?)
- Zufällige E/A oder Alle E/A (das ist wohl scheußlich übersetzt von der QNAP UI, aber hier hab ich mal alle e/a genommen...)
leider merke ich nicht viel (oder auch garnichts) von der zusätzlichen Performance.
hättet ihr mir einen Denkanstoß ?
Viele Grüße und Danke!
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 612303
Url: https://administrator.de/forum/ssd-cache-konfiguration-bei-vielen-kleinen-dateien-die-nicht-wiederholt-gelesen-werden-612303.html
Ausgedruckt am: 31.12.2024 um 18:12 Uhr
4 Kommentare
Neuester Kommentar
Hallo,
welche qnap?
welche qnap?
Hallo,
es handelt sich um eine ts1273u-rp.
Grüße
es handelt sich um eine ts1273u-rp.
Grüße
Wenn die Daten nicht wiederholt gelesen werden dann wird dir nen Cache nich viel bringen - höchstens wenn die Platten zu lahm beim schreiben wären, das ich mal nich vermute...
Allerdings ist es auch normal das es im Netzwerk auch bei 10GBit trotzdem langsamer ist als lokal... Lokal haust du die Daten ja auch in den Plattencache rein - da bremst nich viel... Beim Netzwerk musst du das ganze ja in jedem Fall irgendwie erst über deinen Bus bekommen, auf IP packen, ans NAS schicken, ggf. nen ACK abwarten,... Und je nachdem wie dein System strukturiert ist gibt es sogar (z.B. bei SQL) noch das du ggf. die Verbindung erst noch aufbauen und dann wieder trennen musst.
Von daher würde es mich auch nich wundern wenn es eben beim Netzwerk langsamer geht... Und dir helfen die 10GBit da nicht wirklich - wenn du ne Datei mit 1 kB schickst dann passt die halt in nen 1512-Byte Paket schon locker rein. Dann bleibt halt was frei für den Zeitbereich während der Switch deine Verbindung geschaltet hat. Aber das Kabel wird ja jetzt nicht schneller (auch das hängt nunmal an der Lichtgeschwindigkeit, die wird nich schneller ;) ). Stell dir ne Autobahn vor -> wenn du da nur ab und an mal nen Auto hast is es egal ob die nu 2 oder 20 Spuren hat... Erst wenn die VOLL wird dann bringen mehrere Spuren was, solang die leer is und alle 2 Minuten mal nen Auto vorbeikommt is selbst ne einspurige Strasse nich schneller oder langsamer...
Allerdings ist es auch normal das es im Netzwerk auch bei 10GBit trotzdem langsamer ist als lokal... Lokal haust du die Daten ja auch in den Plattencache rein - da bremst nich viel... Beim Netzwerk musst du das ganze ja in jedem Fall irgendwie erst über deinen Bus bekommen, auf IP packen, ans NAS schicken, ggf. nen ACK abwarten,... Und je nachdem wie dein System strukturiert ist gibt es sogar (z.B. bei SQL) noch das du ggf. die Verbindung erst noch aufbauen und dann wieder trennen musst.
Von daher würde es mich auch nich wundern wenn es eben beim Netzwerk langsamer geht... Und dir helfen die 10GBit da nicht wirklich - wenn du ne Datei mit 1 kB schickst dann passt die halt in nen 1512-Byte Paket schon locker rein. Dann bleibt halt was frei für den Zeitbereich während der Switch deine Verbindung geschaltet hat. Aber das Kabel wird ja jetzt nicht schneller (auch das hängt nunmal an der Lichtgeschwindigkeit, die wird nich schneller ;) ). Stell dir ne Autobahn vor -> wenn du da nur ab und an mal nen Auto hast is es egal ob die nu 2 oder 20 Spuren hat... Erst wenn die VOLL wird dann bringen mehrere Spuren was, solang die leer is und alle 2 Minuten mal nen Auto vorbeikommt is selbst ne einspurige Strasse nich schneller oder langsamer...
Moin,
Wie schon Kollege @maretz bemerkte, wird der Flaschenhals nicht das NAS, sondern das Netz sein. Bei Deiner Beschreibung ahne ich, dass es sich um temporäre Dateien handelt. Was sollen die auf dem NAS? Ich würde dem Server eine kleine SSD gönnen und die Dateien dort speichern, wenn dem denn so ist.
hth
Erik
Wie schon Kollege @maretz bemerkte, wird der Flaschenhals nicht das NAS, sondern das Netz sein. Bei Deiner Beschreibung ahne ich, dass es sich um temporäre Dateien handelt. Was sollen die auf dem NAS? Ich würde dem Server eine kleine SSD gönnen und die Dateien dort speichern, wenn dem denn so ist.
hth
Erik
