netzwerkdude
Goto Top

Performance auswirkungen nach Daten DeDuplizierung (Windows Server 2012)?

Hallo,

wir erwägen gerade das Deduplizierungs Feature vom Win Server 2012 zu aktivieren.

Mir stellt sich jedoch die Frage ob es sich negativ auf die Leseperformance der Daten auswirkt?
Also es ist klar das die Deduplizierung selbst Performance kostet, aber wenn die im Hintergrund läuft wenn der Server Idle ist, ist es ja kein Problem.
Das Interessate ist der spätere Zugriff auf die Daten - macht es da einen Unterschied? Leider konnte ich keine Erfahrungsberichte dazu im Netz finden

Die Server Hardware, falls relevant:
Xeon E5-2609 CPU
16 GB RAM
RAID 5 mit HP P822 Controller und SAS 10K Platten
OS: Win Storage Server 2012 Standard (HP)

Content-Key: 316053

Url: https://administrator.de/contentid/316053

Ausgedruckt am: 28.03.2024 um 10:03 Uhr

Mitglied: geocast
geocast 23.09.2016 um 11:38:13 Uhr
Goto Top
Ist eine weile her, finde den Eintrag nicht mehr.
Es kommt ehrlich gesagt auf die Menge und Art der Daten an. Microsoft selbst gibt an, dass man Einbußen merken würde, wenn es sowas wie eine Datenbank ist, oder Dateien die viele häufig verwenden, oder eine Datei die sehr häufig vorkommt und immer wieder auf die gleiche Verweist. Wobei, wenn die IOPS bei deinen Platten stimmen, es nicht Merkbar ist. Habe es selbst lange angeschaltet und viel Plattenspeicher gespart, aber bisher nie was bemerkt.
Mitglied: Sheogorath
Sheogorath 23.09.2016 um 11:51:44 Uhr
Goto Top
Moin,

ja, Dedublizierung ist wirkt sich immer auf die Performance aus. Beim Lesen und beim Schreiben.

Beim Schreiben massiv, da ja die Dublizierung irgendwie festgestellt werden muss, weshalb das Zeug durch abgefahrene Hash-Funktionen läuft.

Beim Lesen und beim Schreiben, hast du aber noch ein Problem: Dedublizierung verwandelt einen "sauberen" Datenstrom, den man sonst hintereinander weg auf die Platte schreiben würde, in RandomIO. Die Daten liegen auf deinen ganzen Platten verteilt, sodass deine Schreib-/Lese-Köpfe richtig Party feiern.

Das lösen viele Storagesysteme mit schnelleren SSD Caches. Ob die Windows Dedublizierung das kann, weiß ich nicht.

Und natürlich kommt es auf die Datenmengen an, wie @geocast schon sagte.

Gruß
Chris
Mitglied: NetzwerkDude
NetzwerkDude 23.09.2016 um 11:59:26 Uhr
Goto Top
Hallo,

DIe Daten sind meistens Autodesk Maya Files, gerne auch mit Referenzen - wenn die Leute mit den FIles arbeiten + zusätzlich die Renderfarm läuft (knapp 20 Rechner drauf zugreifen, wobei man die gleichzeitigen Zugriffe verteilen kann mit der Software zur Steuerung der Farm (Thinkbox Deadline) wird es eng mit der Performance.

Der HP P822 RAID Controller hat nur einen 2GB Cache, weiß nicht obs das rausreisst
Mitglied: geocast
geocast 23.09.2016 um 12:06:54 Uhr
Goto Top
Schlussendlich wird dir niemand wirklich sagen können, was da genau passiert, da es eben Abhängig ist von den Dateien.

Ansonsten ausprobieren und wenn es Performanceeinbußen gibt, wieder deaktivieren
Mitglied: NetzwerkDude
NetzwerkDude 23.09.2016 um 12:18:25 Uhr
Goto Top
Naja das wären knapp 10TB an Daten, da wird das ein und ausschalten sicher 2 Wochen brauchen.
Wie könnte man das zuverlässig Benchmarken? Denke da kann man sich schlecht auf Subjektives Feedback der Anwender verlassen ("heute fühlt es sich langsam an").
Synthetische Benchmarks würden die Lese und Schreibperformance ihrere frisch geschriebenen Daten messen, aber das bringt da nichts da die MS Deduplikation im Nachgang passiert.
Mitglied: NetzwerkDude
NetzwerkDude 23.09.2016 um 12:19:42 Uhr
Goto Top
Bei der MS lösung sollte es zumindest beim Schreiben keinen nachteil geben, da der Prozess wahlweise im Idle oder nach Zeitplan ausgeführt wird, aber auf jeden fall erst im Nachgang.
Mitglied: Dani
Dani 23.09.2016 um 21:27:55 Uhr
Goto Top
Moin,
aus wie viele Platten besteht das RAID5? Ich hoffe du hast nicht 10TB Daten auf einem Volumen liegen?!

Es gibt schon zwischen Server 2012 und Server 2012R2 Unterschiede bezüglich der Performance. Wie das Feature Deduplizierung tickt, hat hier ein MVP näher erläutert.

Einen Erfahrungsbericht zu Deduplizierung unter Windows Server 2012/R2 kann ich nicht beisteuern. Wir haben das Thema anders gelöst (Storage + SSD + DeDup).


Gruß,
Dani
Mitglied: 117471
117471 26.09.2016 um 09:53:19 Uhr
Goto Top
Hallo,

Acronis hat mir im Mai 2015 8GB Hauptspeicher pro 1TB an deduplizierten Daten empfohlen.

Bei Backups macht das m.Ea. Sinn. Im Regelbetrieb halte ich davon absolut nichts.

Gruß,
Jörg
Mitglied: NetzwerkDude
NetzwerkDude 26.09.2016 um 14:28:36 Uhr
Goto Top
Hi,
Nun es sind 12 Platten a 900GB im RAID5 + eine Hotspare.
Abgesehen davon das ich diese Lösugn nicht verbrochen habe sondern so übernommen, was spricht dagegen 10TB auf einem Volume zu haben?

Danke für die Links, die schaue ich mir im laufe des Tages noch an.
Mitglied: Dani
Dani 26.09.2016 aktualisiert um 18:40:11 Uhr
Goto Top
Moin,
Abgesehen davon das ich diese Lösugn nicht verbrochen habe sondern so übernommen, was spricht dagegen 10TB auf einem Volume zu haben?
was denkst du, wie lange wird ein Disaster Recovery von den 10TB dauern? Selbstverständlich gibt es Lösungen mit denen 10TB in wenigen Minuten wiederhergestellt sind, aber dazu zähle ich deine vorest nicht. face-smile Aber soll nur ein Denkanstoß für die Zukunft sein


Gruß,
Dani
Mitglied: NetzwerkDude
NetzwerkDude 27.09.2016 um 12:53:39 Uhr
Goto Top
Nun, etwa zwei Tage wenn alles komplett um die Ohren fliegt - aber es soll branchen geben wo viel "###große" Dateien gespeichert werden und man nicht mit vielen kleinen volumen rumhantieren kann - daher sehe ich aktuell da keine alternative.
Aber das ist alles OffTopic
Mitglied: 117471
117471 27.09.2016 um 22:25:55 Uhr
Goto Top
Hallo,

"###große" Dateien lassen sich meiner Erfahrung nach "###e" deduplizieren face-smile

Gruß,
Jörg
Mitglied: NetzwerkDude
NetzwerkDude 28.09.2016 um 10:33:15 Uhr
Goto Top
face-smile
Nun, ein kurzer Test hat ergeben das wir tatsächlich gute deduplizierungsraten bekommen von etwa 60% - die Daten sind meist Autodesk Maya FIles und Bild/Videodateien (teilweise unkomprimiert)
Mitglied: 117471
117471 28.09.2016 um 16:41:05 Uhr
Goto Top
Hallo,

naja, dann haste ja alle Antworten beisammen und zusätzlich noch ein paar persönliche Meinungen erfahrener Administratoren bekommen - was will man mehr? face-smile

Gruß,
Jörg
Mitglied: NetzwerkDude
NetzwerkDude 29.09.2016 um 10:27:06 Uhr
Goto Top
Nun, die Links von Dani sind ganz interessant, aber auch da gehts um das Thema wie lange die Deduplizierung selbst geht - bzw. wie viele Schreib/Lesezyklen der DeDupe braucht (also der Threadsteller stellt genau meine Frage, die Antwort, soweit ich das verstehe, beantwortet was ganz anderes)
Mitglied: 117471
117471 29.09.2016 um 12:15:16 Uhr
Goto Top
Hallo,

alles Weitere hängt von eurer Umgebung ab.

Bei mir wird es mit Deduplizierung deutlich schneller bei Komprimierungsraten von 1:43. Nützt Dir diese Information?

Gruß,
Jörg
Mitglied: NetzwerkDude
NetzwerkDude 29.09.2016 um 12:37:51 Uhr
Goto Top
Hi,

Ich hatte gehofft das es irgendwo Benchmarks gibt zu dem Thema. Werde Versuchen es selbst zu messen, glaube aber nicht das es allzu objektiv ist wenn ich mit der Stoppuhr messe wie lange es braucht z.B. 10GB an Daten in Maya einzulesen oder so.

Sheogorath meinte ja weiter oben das man mit der DeDup aus Sequentiellen Daten Random Daten erzeugt - das beunruhigt mich schon, weil das würde deutlich auf die Performance durchschlagen (und Performance bekommen die User nie genug!)