17
Performance auswirkungen nach Daten DeDuplizierung (Windows Server 2012)?
Hallo,
wir erwägen gerade das Deduplizierungs Feature vom Win Server 2012 zu aktivieren.
Mir stellt sich jedoch die Frage ob es sich negativ auf die Leseperformance der Daten auswirkt?
Also es ist klar das die Deduplizierung selbst Performance kostet, aber wenn die im Hintergrund läuft wenn der Server Idle ist, ist es ja kein Problem.
Das Interessate ist der spätere Zugriff auf die Daten - macht es da einen Unterschied? Leider konnte ich keine Erfahrungsberichte dazu im Netz finden
Die Server Hardware, falls relevant:
Xeon E5-2609 CPU
16 GB RAM
RAID 5 mit HP P822 Controller und SAS 10K Platten
OS: Win Storage Server 2012 Standard (HP)
wir erwägen gerade das Deduplizierungs Feature vom Win Server 2012 zu aktivieren.
Mir stellt sich jedoch die Frage ob es sich negativ auf die Leseperformance der Daten auswirkt?
Also es ist klar das die Deduplizierung selbst Performance kostet, aber wenn die im Hintergrund läuft wenn der Server Idle ist, ist es ja kein Problem.
Das Interessate ist der spätere Zugriff auf die Daten - macht es da einen Unterschied? Leider konnte ich keine Erfahrungsberichte dazu im Netz finden
Die Server Hardware, falls relevant:
Xeon E5-2609 CPU
16 GB RAM
RAID 5 mit HP P822 Controller und SAS 10K Platten
OS: Win Storage Server 2012 Standard (HP)
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 316053
Url: https://administrator.de/forum/performance-auswirkungen-nach-daten-deduplizierung-windows-server-2012-316053.html
Ausgedruckt am: 05.04.2025 um 20:04 Uhr
17 Kommentare
Neuester Kommentar
Ist eine weile her, finde den Eintrag nicht mehr.
Es kommt ehrlich gesagt auf die Menge und Art der Daten an. Microsoft selbst gibt an, dass man Einbußen merken würde, wenn es sowas wie eine Datenbank ist, oder Dateien die viele häufig verwenden, oder eine Datei die sehr häufig vorkommt und immer wieder auf die gleiche Verweist. Wobei, wenn die IOPS bei deinen Platten stimmen, es nicht Merkbar ist. Habe es selbst lange angeschaltet und viel Plattenspeicher gespart, aber bisher nie was bemerkt.
Es kommt ehrlich gesagt auf die Menge und Art der Daten an. Microsoft selbst gibt an, dass man Einbußen merken würde, wenn es sowas wie eine Datenbank ist, oder Dateien die viele häufig verwenden, oder eine Datei die sehr häufig vorkommt und immer wieder auf die gleiche Verweist. Wobei, wenn die IOPS bei deinen Platten stimmen, es nicht Merkbar ist. Habe es selbst lange angeschaltet und viel Plattenspeicher gespart, aber bisher nie was bemerkt.
Moin,
ja, Dedublizierung ist wirkt sich immer auf die Performance aus. Beim Lesen und beim Schreiben.
Beim Schreiben massiv, da ja die Dublizierung irgendwie festgestellt werden muss, weshalb das Zeug durch abgefahrene Hash-Funktionen läuft.
Beim Lesen und beim Schreiben, hast du aber noch ein Problem: Dedublizierung verwandelt einen "sauberen" Datenstrom, den man sonst hintereinander weg auf die Platte schreiben würde, in RandomIO. Die Daten liegen auf deinen ganzen Platten verteilt, sodass deine Schreib-/Lese-Köpfe richtig Party feiern.
Das lösen viele Storagesysteme mit schnelleren SSD Caches. Ob die Windows Dedublizierung das kann, weiß ich nicht.
Und natürlich kommt es auf die Datenmengen an, wie @geocast schon sagte.
Gruß
Chris
ja, Dedublizierung ist wirkt sich immer auf die Performance aus. Beim Lesen und beim Schreiben.
Beim Schreiben massiv, da ja die Dublizierung irgendwie festgestellt werden muss, weshalb das Zeug durch abgefahrene Hash-Funktionen läuft.
Beim Lesen und beim Schreiben, hast du aber noch ein Problem: Dedublizierung verwandelt einen "sauberen" Datenstrom, den man sonst hintereinander weg auf die Platte schreiben würde, in RandomIO. Die Daten liegen auf deinen ganzen Platten verteilt, sodass deine Schreib-/Lese-Köpfe richtig Party feiern.
Das lösen viele Storagesysteme mit schnelleren SSD Caches. Ob die Windows Dedublizierung das kann, weiß ich nicht.
Und natürlich kommt es auf die Datenmengen an, wie @geocast schon sagte.
Gruß
Chris
Hallo,
DIe Daten sind meistens Autodesk Maya Files, gerne auch mit Referenzen - wenn die Leute mit den FIles arbeiten + zusätzlich die Renderfarm läuft (knapp 20 Rechner drauf zugreifen, wobei man die gleichzeitigen Zugriffe verteilen kann mit der Software zur Steuerung der Farm (Thinkbox Deadline) wird es eng mit der Performance.
Der HP P822 RAID Controller hat nur einen 2GB Cache, weiß nicht obs das rausreisst
DIe Daten sind meistens Autodesk Maya Files, gerne auch mit Referenzen - wenn die Leute mit den FIles arbeiten + zusätzlich die Renderfarm läuft (knapp 20 Rechner drauf zugreifen, wobei man die gleichzeitigen Zugriffe verteilen kann mit der Software zur Steuerung der Farm (Thinkbox Deadline) wird es eng mit der Performance.
Der HP P822 RAID Controller hat nur einen 2GB Cache, weiß nicht obs das rausreisst
Schlussendlich wird dir niemand wirklich sagen können, was da genau passiert, da es eben Abhängig ist von den Dateien.
Ansonsten ausprobieren und wenn es Performanceeinbußen gibt, wieder deaktivieren
Ansonsten ausprobieren und wenn es Performanceeinbußen gibt, wieder deaktivieren
Naja das wären knapp 10TB an Daten, da wird das ein und ausschalten sicher 2 Wochen brauchen.
Wie könnte man das zuverlässig Benchmarken? Denke da kann man sich schlecht auf Subjektives Feedback der Anwender verlassen ("heute fühlt es sich langsam an").
Synthetische Benchmarks würden die Lese und Schreibperformance ihrere frisch geschriebenen Daten messen, aber das bringt da nichts da die MS Deduplikation im Nachgang passiert.
Wie könnte man das zuverlässig Benchmarken? Denke da kann man sich schlecht auf Subjektives Feedback der Anwender verlassen ("heute fühlt es sich langsam an").
Synthetische Benchmarks würden die Lese und Schreibperformance ihrere frisch geschriebenen Daten messen, aber das bringt da nichts da die MS Deduplikation im Nachgang passiert.
Bei der MS lösung sollte es zumindest beim Schreiben keinen nachteil geben, da der Prozess wahlweise im Idle oder nach Zeitplan ausgeführt wird, aber auf jeden fall erst im Nachgang.
Moin,
aus wie viele Platten besteht das RAID5? Ich hoffe du hast nicht 10TB Daten auf einem Volumen liegen?!
Es gibt schon zwischen Server 2012 und Server 2012R2 Unterschiede bezüglich der Performance. Wie das Feature Deduplizierung tickt, hat hier ein MVP näher erläutert.
Einen Erfahrungsbericht zu Deduplizierung unter Windows Server 2012/R2 kann ich nicht beisteuern. Wir haben das Thema anders gelöst (Storage + SSD + DeDup).
Gruß,
Dani
aus wie viele Platten besteht das RAID5? Ich hoffe du hast nicht 10TB Daten auf einem Volumen liegen?!
Es gibt schon zwischen Server 2012 und Server 2012R2 Unterschiede bezüglich der Performance. Wie das Feature Deduplizierung tickt, hat hier ein MVP näher erläutert.
Einen Erfahrungsbericht zu Deduplizierung unter Windows Server 2012/R2 kann ich nicht beisteuern. Wir haben das Thema anders gelöst (Storage + SSD + DeDup).
Gruß,
Dani
Hallo,
Acronis hat mir im Mai 2015 8GB Hauptspeicher pro 1TB an deduplizierten Daten empfohlen.
Bei Backups macht das m.Ea. Sinn. Im Regelbetrieb halte ich davon absolut nichts.
Gruß,
Jörg
Acronis hat mir im Mai 2015 8GB Hauptspeicher pro 1TB an deduplizierten Daten empfohlen.
Bei Backups macht das m.Ea. Sinn. Im Regelbetrieb halte ich davon absolut nichts.
Gruß,
Jörg
Hi,
Nun es sind 12 Platten a 900GB im RAID5 + eine Hotspare.
Abgesehen davon das ich diese Lösugn nicht verbrochen habe sondern so übernommen, was spricht dagegen 10TB auf einem Volume zu haben?
Danke für die Links, die schaue ich mir im laufe des Tages noch an.
Nun es sind 12 Platten a 900GB im RAID5 + eine Hotspare.
Abgesehen davon das ich diese Lösugn nicht verbrochen habe sondern so übernommen, was spricht dagegen 10TB auf einem Volume zu haben?
Danke für die Links, die schaue ich mir im laufe des Tages noch an.
Moin,
Aber soll nur ein Denkanstoß für die Zukunft sein
Gruß,
Dani
Abgesehen davon das ich diese Lösugn nicht verbrochen habe sondern so übernommen, was spricht dagegen 10TB auf einem Volume zu haben?
was denkst du, wie lange wird ein Disaster Recovery von den 10TB dauern? Selbstverständlich gibt es Lösungen mit denen 10TB in wenigen Minuten wiederhergestellt sind, aber dazu zähle ich deine vorest nicht. Aber soll nur ein Denkanstoß für die Zukunft seinGruß,
Dani
Nun, etwa zwei Tage wenn alles komplett um die Ohren fliegt - aber es soll branchen geben wo viel "scheißgroße" Dateien gespeichert werden und man nicht mit vielen kleinen volumen rumhantieren kann - daher sehe ich aktuell da keine alternative.
Aber das ist alles OffTopic
Aber das ist alles OffTopic
Hallo,
"scheißgroße" Dateien lassen sich meiner Erfahrung nach "scheiße" deduplizieren
Gruß,
Jörg
"scheißgroße" Dateien lassen sich meiner Erfahrung nach "scheiße" deduplizieren
Gruß,
Jörg
Nun, ein kurzer Test hat ergeben das wir tatsächlich gute deduplizierungsraten bekommen von etwa 60% - die Daten sind meist Autodesk Maya FIles und Bild/Videodateien (teilweise unkomprimiert)
Hallo,
naja, dann haste ja alle Antworten beisammen und zusätzlich noch ein paar persönliche Meinungen erfahrener Administratoren bekommen - was will man mehr?
Gruß,
Jörg
naja, dann haste ja alle Antworten beisammen und zusätzlich noch ein paar persönliche Meinungen erfahrener Administratoren bekommen - was will man mehr?
Gruß,
Jörg
Nun, die Links von Dani sind ganz interessant, aber auch da gehts um das Thema wie lange die Deduplizierung selbst geht - bzw. wie viele Schreib/Lesezyklen der DeDupe braucht (also der Threadsteller stellt genau meine Frage, die Antwort, soweit ich das verstehe, beantwortet was ganz anderes)
Hallo,
alles Weitere hängt von eurer Umgebung ab.
Bei mir wird es mit Deduplizierung deutlich schneller bei Komprimierungsraten von 1:43. Nützt Dir diese Information?
Gruß,
Jörg
alles Weitere hängt von eurer Umgebung ab.
Bei mir wird es mit Deduplizierung deutlich schneller bei Komprimierungsraten von 1:43. Nützt Dir diese Information?
Gruß,
Jörg
Hi,
Ich hatte gehofft das es irgendwo Benchmarks gibt zu dem Thema. Werde Versuchen es selbst zu messen, glaube aber nicht das es allzu objektiv ist wenn ich mit der Stoppuhr messe wie lange es braucht z.B. 10GB an Daten in Maya einzulesen oder so.
Sheogorath meinte ja weiter oben das man mit der DeDup aus Sequentiellen Daten Random Daten erzeugt - das beunruhigt mich schon, weil das würde deutlich auf die Performance durchschlagen (und Performance bekommen die User nie genug!)
Ich hatte gehofft das es irgendwo Benchmarks gibt zu dem Thema. Werde Versuchen es selbst zu messen, glaube aber nicht das es allzu objektiv ist wenn ich mit der Stoppuhr messe wie lange es braucht z.B. 10GB an Daten in Maya einzulesen oder so.
Sheogorath meinte ja weiter oben das man mit der DeDup aus Sequentiellen Daten Random Daten erzeugt - das beunruhigt mich schon, weil das würde deutlich auf die Performance durchschlagen (und Performance bekommen die User nie genug!)
