Dedup scheint nicht zu funktionieren, Festplatte dauerhaft voll und löschen bringt nichts

Mitglied: akadawa

akadawa (Level 1) - Jetzt verbinden

14.10.2020 um 02:45 Uhr, 376 Aufrufe, 4 Kommentare, 2 Danke

Morjen,

Ich habe einen kleinen Home Server mit Windows Server 2019. Dort ist eine externe Festplatte angeschlossen welche mehrere Freigaben hat. Da die Festplatte öfter Duplikate enthalten kann, habe ich die Rolle deduplikation installiert und für dieses Laufwerk konfiguriert.

Leider gibt es Probleme mit der deduplikation. Ich habe Dateien gelöscht, weil das Laufwerk voll ist und ich konnte leider keinen freien Speicher erzielen. Somit habe ich treesize angeschmissen und festellen müssen, das die deduplikation scheinbar der Übeltäter ist.

Ich weiß leider nicht wo genau das Problem liegt. Ist das ein typischer Effekt oder ein "Bug"?
Ich möchte die deduplikation wieder deaktivieren und gerne auch meine Dateien und die Ordner- und Dateistruktur behalten. Bevor ich mir eine Festplatte zum Backup kaufe, die deduplikation deaktiviere und das Laufwerk formatiere, wollte ich fragen ob es die Möglichkeit gibt, die Datei und Ordner Struktur in den Ursprung zu bringen, ohne Daten zu verlieren.
Ich hatte dazu schon Tutorials überflogen, aber da stand leider nichts davon, dass wieder alles in den Ursprung gebracht wird

Ich hoffe ich habe mich verständlich ausgedrückt und ihr könnt mir Weiterhelfen. Wenn ihr noch fragen habt, bitte stellt sie mir.

Liebe Grüße
Mitglied: emeriks
14.10.2020, aktualisiert um 08:44 Uhr
Hi,
ich rate dringend, diese externe HDD zu kopieren. Klassisch, Datei für Datei. Ein einfaches Robocopy auf eine andere Platte. Mit einem einfachen
auf dieser Platte (Annahme Laufwerk X: ) bekommst Du angezeigt, wie groß die Daten insgesamt sind, wenn sie wieder "ausgepackt" sind. Wieviel Platz Du also am Ziel brauchst.

Erst danach weitere Maßnahmen.

E.
Bitte warten ..
Mitglied: Lochkartenstanzer
14.10.2020 um 09:06 Uhr
Zitat von akadawa:

Morjen,

Moin,

Leider gibt es Probleme mit der deduplikation. Ich habe Dateien gelöscht, weil das Laufwerk voll ist und ich konnte leider keinen freien Speicher erzielen.

Wenn das "doppelte" Dateien waren, so ist "works as designed". Die Platte wird nicht leerer, wenn man deduplizierte doppelt vorhandene Dateien löscht, weil ja da nur verwaltungsinformation udn nicht die Datei selbst gelöscht wird.

Somit habe ich treesize angeschmissen und festellen müssen, das die deduplikation scheinbar der Übeltäter ist.

vermutlich nur scheinbar aber nicht tatsächlich. Was genau hast Du denn gesehen?

Ich weiß leider nicht wo genau das Problem liegt. Ist das ein typischer Effekt oder ein "Bug"?

Ohne unhöflich sein zu wollen, würde meine Kristallkugel erstmal von PEBKAC ausgehen. In diesem Fall davon, daß Du vermutlich Deduplizieren nicht verstanden hast.

Deduplizieren heißt nur, daß doppelt vorhandene Daten(-blöcke) nur einmal auf der Platte vorgehalten werden und nur die Verwaltungsinformationen passend geführt werden. Das verhindert nicht, daß die Platte trotzdem volläuft, wenn man genügend Datenmüll draufwirft.



Ich möchte die deduplikation wieder deaktivieren und gerne auch meine Dateien und die Ordner- und Dateistruktur behalten. Bevor ich mir eine Festplatte zum Backup kaufe, die deduplikation deaktiviere und das Laufwerk formatiere, wollte ich fragen ob es die Möglichkeit gibt, die Datei und Ordner Struktur in den Ursprung zu bringen, ohne Daten zu verlieren.

Einfach mit Robocopy die Ordner- und Dateistruktur auf ein Backupmedium kopieren.

Alternativ mit "https://docs.microsoft.com/en-us/powershell/module/deduplication/expand- ..." Expand-DedupFile] die betreffenden Dateien wieder "erweitern", auch wenn das schiefgehen wird, wenn Du keinen Platz mehr hast.

Ich hatte dazu schon Tutorials überflogen, aber da stand leider nichts davon, dass wieder alles in den Ursprung gebracht wird

Ich hoffe ich habe mich verständlich ausgedrückt und ihr könnt mir Weiterhelfen.

Nicht so wie man es sich wünscht.

Wenn ihr noch fragen habt, bitte stellt sie mir.

Was genau hast Du gemacht?
Hast Du die Platzprobleme erst bekommen, nachdem Du weitere Dateien auf das deduplizierte Volume gespielt hast oder hat der Deduplizier-Vorgang das verursacht?

lks
Bitte warten ..
Mitglied: akadawa
14.10.2020, aktualisiert um 09:45 Uhr
Ich danke dir erstmal. Du kannst aber gerne etwas freundlicher sein.

Scheinbar habe ich nicht verstanden wie die Deduplikation funktioniert.
Damit ich auch mal mein Hirn anschalte, hier mal mein Versuch...
Das heißt jetzt wahrscheinlich, dass ich mehr Speicherplatz benötige als die 2TB Festplatte mit der Deduplikation hergibt und ich müsste soviel löschen, bis das "Kontingent frei ist" und ich ein Effekt erziele. Oder müsste ich den ChunkStore "aufräumen"?

Zitat von Lochkartenstanzer:

Zitat von akadawa:
Was genau hast Du gemacht?
Hast Du die Platzprobleme erst bekommen, nachdem Du weitere Dateien auf das deduplizierte Volume gespielt hast oder hat der Deduplizier-Vorgang das verursacht?

Ich habe eine Deduplizierung vor ca 3 Monaten eingerichtet und habe immer weiter Dateien auf das Externe Laufwerk gespeichert.
Als ich gestern Platz schaffen wollte und überflüssige Dateien gelöscht habe ist mir aufgefallen das sich der freie Speicherplatz nicht vergrößert hat. Mit TreeSize habe ich dann gesehen, das der Ordner Dedup im System Volume Information 1,8TB von meinen 2TB belegt.


Ich habe mir gerade eine Externe Festplatte mit 4 TB bestellt um erstmal zu sichern.
d3tb81k[1] - Klicke auf das Bild, um es zu vergrößern
Bitte warten ..
Mitglied: psannz
14.10.2020, aktualisiert um 15:09 Uhr
Sers,

einfach einmal die Dedup Bereinigung drüber laufen lassen.

Powershell (mit Adminrechten):
Das wird jeweils eine ganze Weile dauern.

Zum Verständnis:
Die Dedup von Windows Server funktioniert im Nachgang, nachdem die Daten bereits auf die Festplatte geschrieben wurden.
(Im Gegenzug zur Inline-Deduplizierung, bei der die Daten dedupliziert werden bevor sie auf die Platte geschrieben werden.)
In Windows Server Aufgabenverwaltung sind Aufgaben zur regelmäßigen Ausführung des Optimierungs-Prozess (Optimization) hinterlegt, sowie weniger häufig die Integritätsprüfung (Scrubbing) und die Freigabe nicht mehr benötigter Datenblöcke (GarbageCollection).

Bei der Deduplizierung werden die Dateien per default in 32kB große Blöcke ("Chunks") zerteilt, und diese Blöcke landen im "Chunk Store" abgelegt.
Die eigentliche Datei besteht dann nur noch aus Metadaten und Verknüpfungen (Pointer) auf die zugehörigen Chunks.
Das Löschen einer Datei gibt somit nur ein paar kB frei (Metdaten & Pointer). Die eigentlichen Daten bleiben bis zur nächsten GarbageCollection weiterhin im Chunk Store liegen. Und deswegen leert sich die Platte auch nicht wenn du Dateien löschst.

Grüße,
Philip
Bitte warten ..
Heiß diskutierte Inhalte
Server-Hardware
Grobes Konzept Hyper-V Storage - Storage für Hyper-V
nachgefragtFrageServer-Hardware24 Kommentare

Hallo Administratoren. Um VHDX-Daten zentral zu halten freue ich mich auf Euren konstruktiven Input. Bisher liegen die VHDX-Daten jeweils ...

Voice over IP
Brother-Fax an Speedport Hybrid funktioniert nicht
gelöst kman123FrageVoice over IP16 Kommentare

Hallo liebes Forum, ich bin neu hier und hätte eine kleine Frage, da ich einfach nicht weiter komme. Sorry ...

Ubuntu
Ubuntu 20.10 "Groovy Gorilla" mit GNOME 3.38 und Kernel 5.8 veröffentlicht
FrankInformationUbuntu14 Kommentare

Canonical hat Ubuntu 20.10 veröffentlicht. Die neue Version mit dem Codenamen "Groovy Gorilla" bekommt lediglich 9 Monaten Sicherheitsupdates, kritischen ...

Windows Userverwaltung
Synology mit Azure Active Directory verbinden
roeggiFrageWindows Userverwaltung13 Kommentare

Ich suche eine Lösung mit der ich ein Synology NAS mit der Active Directory verbinden kann um die Benutzer ...

Windows 10
RFID oder ähnlich Methode zur Sperrung W10pro bei Abwesenheit - Anmeldung nur über PW wieder ermöglichen
UweGriFrageWindows 1013 Kommentare

Hallo Admins, folgende Lösung wird gesucht: W10pro Anmeldung über Bitlocker Freischaltung und PW bei Anmeldung. Gesucht wird: RFID Chip ...

C und C++
(Cpp) Verständnisproblem: Nutzen des new-operators? (mit Beispiel)
gelöst SinixNDFrageC und C++12 Kommentare

Hallo liebe community! INTRO: Zunächsteinmal: Trotz mehrerer Stunden Recherche habe ich für meine Frage leider noch keine Antwort gefunden ...

Ähnliche Inhalte
Windows Server
Windows 2016 - Dedup - UNMAP
gelöst emeriksFrageWindows Server1 Kommentar

Hi, weiß jemand, ob ein Windows 2016 beim Deduplizieren für die freigesetzten Blöcke ein UNMAP auslöst, sodass das SAN ...

Windows Server
Dedup zu großer ChunkStore
gelöst HanutaFrageWindows Server12 Kommentare

Hallo Zusammen, Bei dem Feature Datendedup, wurde auf einmal ein zu großer Chunkstore festgestellt. Jetzt habe ich schon alle ...

Windows 10
One Drive dauerhaft entfernen?
gelöst xbast1xFrageWindows 1016 Kommentare

Hi zusammen, viele Skripte später wende ich mich an euch: Ist es möglich unser Windows 10 One Drive dauerhaft ...

Vmware

VMware Festplatte "unabhängig - dauerhaft"

Dennis93FrageVmware7 Kommentare

Hallo liebes Forum, wir sichern unsere virtuellen Maschinen mit Veeam. Nun haben wir festgestellt, dass eine VM anscheinend nicht ...

iOS

Apple VPN dauerhaft halten

gelöst frosch2FrageiOS10 Kommentare

Hallo, ich habe hier mit einer pfSense ein VPN, nach einem tut von aqui, zu unserem Netzwerk erstellt. Hier ...

Windows Server

Server 2012 R2 DC - Dedup Unoptimization funktioniert scheinbar nicht

ChristianTeFrageWindows Server3 Kommentare

Hallo, wir betreiben einen Server 2012 R2 DC unter vmware als FileServer, vor ca. einem Jahr hatten wir Deduplication ...

Berechtigungs- und IdentitätsmanagementBerechtigungs- und IdentitätsmanagementWebdienste und -serverWebdienste und -serverDatenbankenDatenbankenMonitoring & SupportMonitoring & SupportHybrid CloudHybrid CloudSmall Business ITSmall Business IT