Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWünsch Dir wasWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Performance auswirkungen nach Daten DeDuplizierung (Windows Server 2012)?

Mitglied: NetzwerkDude

NetzwerkDude (Level 2) - Jetzt verbinden

23.09.2016, aktualisiert 12:40 Uhr, 2499 Aufrufe, 17 Kommentare

Hallo,

wir erwägen gerade das Deduplizierungs Feature vom Win Server 2012 zu aktivieren.

Mir stellt sich jedoch die Frage ob es sich negativ auf die Leseperformance der Daten auswirkt?
Also es ist klar das die Deduplizierung selbst Performance kostet, aber wenn die im Hintergrund läuft wenn der Server Idle ist, ist es ja kein Problem.
Das Interessate ist der spätere Zugriff auf die Daten - macht es da einen Unterschied? Leider konnte ich keine Erfahrungsberichte dazu im Netz finden

Die Server Hardware, falls relevant:
Xeon E5-2609 CPU
16 GB RAM
RAID 5 mit HP P822 Controller und SAS 10K Platten
OS: Win Storage Server 2012 Standard (HP)
Mitglied: geocast
23.09.2016 um 11:38 Uhr
Ist eine weile her, finde den Eintrag nicht mehr.
Es kommt ehrlich gesagt auf die Menge und Art der Daten an. Microsoft selbst gibt an, dass man Einbußen merken würde, wenn es sowas wie eine Datenbank ist, oder Dateien die viele häufig verwenden, oder eine Datei die sehr häufig vorkommt und immer wieder auf die gleiche Verweist. Wobei, wenn die IOPS bei deinen Platten stimmen, es nicht Merkbar ist. Habe es selbst lange angeschaltet und viel Plattenspeicher gespart, aber bisher nie was bemerkt.
Bitte warten ..
Mitglied: Sheogorath
23.09.2016 um 11:51 Uhr
Moin,

ja, Dedublizierung ist wirkt sich immer auf die Performance aus. Beim Lesen und beim Schreiben.

Beim Schreiben massiv, da ja die Dublizierung irgendwie festgestellt werden muss, weshalb das Zeug durch abgefahrene Hash-Funktionen läuft.

Beim Lesen und beim Schreiben, hast du aber noch ein Problem: Dedublizierung verwandelt einen "sauberen" Datenstrom, den man sonst hintereinander weg auf die Platte schreiben würde, in RandomIO. Die Daten liegen auf deinen ganzen Platten verteilt, sodass deine Schreib-/Lese-Köpfe richtig Party feiern.

Das lösen viele Storagesysteme mit schnelleren SSD Caches. Ob die Windows Dedublizierung das kann, weiß ich nicht.

Und natürlich kommt es auf die Datenmengen an, wie @geocast schon sagte.

Gruß
Chris
Bitte warten ..
Mitglied: NetzwerkDude
23.09.2016 um 11:59 Uhr
Hallo,

DIe Daten sind meistens Autodesk Maya Files, gerne auch mit Referenzen - wenn die Leute mit den FIles arbeiten + zusätzlich die Renderfarm läuft (knapp 20 Rechner drauf zugreifen, wobei man die gleichzeitigen Zugriffe verteilen kann mit der Software zur Steuerung der Farm (Thinkbox Deadline) wird es eng mit der Performance.

Der HP P822 RAID Controller hat nur einen 2GB Cache, weiß nicht obs das rausreisst
Bitte warten ..
Mitglied: geocast
23.09.2016 um 12:06 Uhr
Schlussendlich wird dir niemand wirklich sagen können, was da genau passiert, da es eben Abhängig ist von den Dateien.

Ansonsten ausprobieren und wenn es Performanceeinbußen gibt, wieder deaktivieren
Bitte warten ..
Mitglied: NetzwerkDude
23.09.2016 um 12:18 Uhr
Naja das wären knapp 10TB an Daten, da wird das ein und ausschalten sicher 2 Wochen brauchen.
Wie könnte man das zuverlässig Benchmarken? Denke da kann man sich schlecht auf Subjektives Feedback der Anwender verlassen ("heute fühlt es sich langsam an").
Synthetische Benchmarks würden die Lese und Schreibperformance ihrere frisch geschriebenen Daten messen, aber das bringt da nichts da die MS Deduplikation im Nachgang passiert.
Bitte warten ..
Mitglied: NetzwerkDude
23.09.2016 um 12:19 Uhr
Bei der MS lösung sollte es zumindest beim Schreiben keinen nachteil geben, da der Prozess wahlweise im Idle oder nach Zeitplan ausgeführt wird, aber auf jeden fall erst im Nachgang.
Bitte warten ..
Mitglied: Dani
23.09.2016 um 21:27 Uhr
Moin,
aus wie viele Platten besteht das RAID5? Ich hoffe du hast nicht 10TB Daten auf einem Volumen liegen?!

Es gibt schon zwischen Server 2012 und Server 2012R2 Unterschiede bezüglich der Performance. Wie das Feature Deduplizierung tickt, hat hier ein MVP näher erläutert.

Einen Erfahrungsbericht zu Deduplizierung unter Windows Server 2012/R2 kann ich nicht beisteuern. Wir haben das Thema anders gelöst (Storage + SSD + DeDup).


Gruß,
Dani
Bitte warten ..
Mitglied: FA-jka
26.09.2016 um 09:53 Uhr
Hallo,

Acronis hat mir im Mai 2015 8GB Hauptspeicher pro 1TB an deduplizierten Daten empfohlen.

Bei Backups macht das m.Ea. Sinn. Im Regelbetrieb halte ich davon absolut nichts.

Gruß,
Jörg
Bitte warten ..
Mitglied: NetzwerkDude
26.09.2016 um 14:28 Uhr
Hi,
Nun es sind 12 Platten a 900GB im RAID5 + eine Hotspare.
Abgesehen davon das ich diese Lösugn nicht verbrochen habe sondern so übernommen, was spricht dagegen 10TB auf einem Volume zu haben?

Danke für die Links, die schaue ich mir im laufe des Tages noch an.
Bitte warten ..
Mitglied: Dani
26.09.2016, aktualisiert um 18:40 Uhr
Moin,
Abgesehen davon das ich diese Lösugn nicht verbrochen habe sondern so übernommen, was spricht dagegen 10TB auf einem Volume zu haben?
was denkst du, wie lange wird ein Disaster Recovery von den 10TB dauern? Selbstverständlich gibt es Lösungen mit denen 10TB in wenigen Minuten wiederhergestellt sind, aber dazu zähle ich deine vorest nicht. Aber soll nur ein Denkanstoß für die Zukunft sein


Gruß,
Dani
Bitte warten ..
Mitglied: NetzwerkDude
27.09.2016 um 12:53 Uhr
Nun, etwa zwei Tage wenn alles komplett um die Ohren fliegt - aber es soll branchen geben wo viel "scheißgroße" Dateien gespeichert werden und man nicht mit vielen kleinen volumen rumhantieren kann - daher sehe ich aktuell da keine alternative.
Aber das ist alles OffTopic
Bitte warten ..
Mitglied: FA-jka
27.09.2016 um 22:25 Uhr
Hallo,

"scheißgroße" Dateien lassen sich meiner Erfahrung nach "scheiße" deduplizieren

Gruß,
Jörg
Bitte warten ..
Mitglied: NetzwerkDude
28.09.2016 um 10:33 Uhr

Nun, ein kurzer Test hat ergeben das wir tatsächlich gute deduplizierungsraten bekommen von etwa 60% - die Daten sind meist Autodesk Maya FIles und Bild/Videodateien (teilweise unkomprimiert)
Bitte warten ..
Mitglied: FA-jka
28.09.2016 um 16:41 Uhr
Hallo,

naja, dann haste ja alle Antworten beisammen und zusätzlich noch ein paar persönliche Meinungen erfahrener Administratoren bekommen - was will man mehr?

Gruß,
Jörg
Bitte warten ..
Mitglied: NetzwerkDude
29.09.2016 um 10:27 Uhr
Nun, die Links von Dani sind ganz interessant, aber auch da gehts um das Thema wie lange die Deduplizierung selbst geht - bzw. wie viele Schreib/Lesezyklen der DeDupe braucht (also der Threadsteller stellt genau meine Frage, die Antwort, soweit ich das verstehe, beantwortet was ganz anderes)
Bitte warten ..
Mitglied: FA-jka
29.09.2016 um 12:15 Uhr
Hallo,

alles Weitere hängt von eurer Umgebung ab.

Bei mir wird es mit Deduplizierung deutlich schneller bei Komprimierungsraten von 1:43. Nützt Dir diese Information?

Gruß,
Jörg
Bitte warten ..
Mitglied: NetzwerkDude
29.09.2016 um 12:37 Uhr
Hi,

Ich hatte gehofft das es irgendwo Benchmarks gibt zu dem Thema. Werde Versuchen es selbst zu messen, glaube aber nicht das es allzu objektiv ist wenn ich mit der Stoppuhr messe wie lange es braucht z.B. 10GB an Daten in Maya einzulesen oder so.

Sheogorath meinte ja weiter oben das man mit der DeDup aus Sequentiellen Daten Random Daten erzeugt - das beunruhigt mich schon, weil das würde deutlich auf die Performance durchschlagen (und Performance bekommen die User nie genug!)
Bitte warten ..
Ähnliche Inhalte
Windows Server

Deduplizierung Windows 2012 R2 - nicht nur bei Leerlauf

gelöst Frage von Der-PhilWindows Server9 Kommentare

Hallo! Ich teste gerade die Datendeduplizierung von Windows 2012 R2 zur Speicherung gut "deduplizierbarer" VM-Images. Grundsätzlich funktioniert alles, ich ...

Windows Server

Windows 2012 Fileserver + Deduplizierung Umzug auf 2016 Server

gelöst Frage von rammsteinWindows Server5 Kommentare

Hallo zusammen, habe einen Windows 2012R2 Fileserver auf dem die Deduplizerung auf einem Volume (Daten) aktiv ist. Geplant ist ...

Windows Server

Kontorichtlinien - Kontosperrungsrichtlinien Windows 2012 R2 Domäne - Auswirkung auf Windows 2012 R2 Terminalserver in der Windows Domäne

Frage von scout71Windows Server1 Kommentar

Hallo Forum, ich habe bei uns die Kontorichtlinien/Kontosperrungsrichtlinien angepasst: Richtlinie / Einstellung Kontensperrungsschwelle / 3 ungültige Anmeldeversuche Kontosperrdauer / ...

LAN, WAN, Wireless

WLAN WPA-2 Auswirkung Keylänge-Übertragungsleistung

gelöst Frage von the-buccaneerLAN, WAN, Wireless4 Kommentare

Hi all! Weiss jemand, ob und wenn ja wie sich die Länge des verwendeten WLAN-Schlüssels auf die Übertragungsleistung (Reichweite) ...

Neue Wissensbeiträge
Webbrowser
Mozilla Firefox 77 verfügbar
Information von Frank vor 1 StundeWebbrowser

Mozilla hat Firefox Version 77 freigegeben. Neben Verbesserungen an "Pocket", einigen Sicherheitsupdates, einer bessere Übersicht für TLS-Zertifikate, wurde der ...

Informationsdienste

Beendet: Timo Wölken und Julia Reda reden jetzt live auf Twitch über Uploadfilter, Rezo, Trump und Twitter

Information von Frank vor 1 StundeInformationsdienste

Wer Interesse zum kommenden Uploadfilter, Rezo, Trump und Twitter hat, kann nun unter twitch.tv der Diskussion beitreten: 03.06.2020 ab ...

Windows 10
Windows2Go ist nun scheintot
Information von DerWoWusste vor 4 StundenWindows 10

Microsoft hat mit Win10 v2004 Windows to go entfernt (sprich: der eingebaute Wizard zur Erstellung wurde entfernt). Wer weiterhin ...

iOS
IOS iPadOS 13.5.1 erschienen
Information von sabines vor 11 StundeniOS

Recht kurz nach iOS 13.5.0 ist gestern iOS/iPadOS in der Version 13.5.1 für IPhone und IPad erschienen. Es schließt ...

Heiß diskutierte Inhalte
Microsoft
100 Prozent CPU Last gleich Volllast, Pustekuchen, nicht bei Microsoft!!! VOL 2
Frage von MysticFoxDEMicrosoft60 Kommentare

Liebe Freunde der Präzision und der Norm, ich möchte in diesem Beitrag konstruktiv an den folgenden Vorgängerbeitrag anschliessen, der ...

Microsoft
Zugriffsprobleme Festplatte
gelöst Frage von MiMa89Microsoft58 Kommentare

Hallo Zusammen, ich hoffe Ihr könnt mir bei folgendem Problem helfen. Ich habe eine externe Festplatte die nicht mehr ...

Informationsdienste
Die Zerstörung der Presse - Youtuber Rezo möchte Missstände in unserer Mediengesellschaft aufzeigen, um sie zu lösen
Information von FrankInformationsdienste54 Kommentare

Youtuber Rezo greift in seinem neuen Video den Boulevard an, warnt vor allem vor Verschwörungen und richtet einen Appell ...

SAN, NAS, DAS
Entscheidungshilfe Storage für Netzwerkupgrade
Frage von m-jelinskiSAN, NAS, DAS34 Kommentare

Hallo zusammen, unsere Server und Storage-Systeme sind nun 6 Jahre alt und überfällig ausgetauscht zu werden. Daher haben wir ...