4
Dedup scheint nicht zu funktionieren, Festplatte dauerhaft voll und löschen bringt nichts
Morjen,
Ich habe einen kleinen Home Server mit Windows Server 2019. Dort ist eine externe Festplatte angeschlossen welche mehrere Freigaben hat. Da die Festplatte öfter Duplikate enthalten kann, habe ich die Rolle deduplikation installiert und für dieses Laufwerk konfiguriert.
Leider gibt es Probleme mit der deduplikation. Ich habe Dateien gelöscht, weil das Laufwerk voll ist und ich konnte leider keinen freien Speicher erzielen. Somit habe ich treesize angeschmissen und festellen müssen, das die deduplikation scheinbar der Übeltäter ist.
Ich weiß leider nicht wo genau das Problem liegt. Ist das ein typischer Effekt oder ein "Bug"?
Ich möchte die deduplikation wieder deaktivieren und gerne auch meine Dateien und die Ordner- und Dateistruktur behalten. Bevor ich mir eine Festplatte zum Backup kaufe, die deduplikation deaktiviere und das Laufwerk formatiere, wollte ich fragen ob es die Möglichkeit gibt, die Datei und Ordner Struktur in den Ursprung zu bringen, ohne Daten zu verlieren.
Ich hatte dazu schon Tutorials überflogen, aber da stand leider nichts davon, dass wieder alles in den Ursprung gebracht wird
Ich hoffe ich habe mich verständlich ausgedrückt und ihr könnt mir Weiterhelfen. Wenn ihr noch fragen habt, bitte stellt sie mir.
Liebe Grüße
Ich habe einen kleinen Home Server mit Windows Server 2019. Dort ist eine externe Festplatte angeschlossen welche mehrere Freigaben hat. Da die Festplatte öfter Duplikate enthalten kann, habe ich die Rolle deduplikation installiert und für dieses Laufwerk konfiguriert.
Leider gibt es Probleme mit der deduplikation. Ich habe Dateien gelöscht, weil das Laufwerk voll ist und ich konnte leider keinen freien Speicher erzielen. Somit habe ich treesize angeschmissen und festellen müssen, das die deduplikation scheinbar der Übeltäter ist.
Ich weiß leider nicht wo genau das Problem liegt. Ist das ein typischer Effekt oder ein "Bug"?
Ich möchte die deduplikation wieder deaktivieren und gerne auch meine Dateien und die Ordner- und Dateistruktur behalten. Bevor ich mir eine Festplatte zum Backup kaufe, die deduplikation deaktiviere und das Laufwerk formatiere, wollte ich fragen ob es die Möglichkeit gibt, die Datei und Ordner Struktur in den Ursprung zu bringen, ohne Daten zu verlieren.
Ich hatte dazu schon Tutorials überflogen, aber da stand leider nichts davon, dass wieder alles in den Ursprung gebracht wird
Ich hoffe ich habe mich verständlich ausgedrückt und ihr könnt mir Weiterhelfen. Wenn ihr noch fragen habt, bitte stellt sie mir.
Liebe Grüße
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 612402
Url: https://administrator.de/contentid/612402
Printed on: April 16, 2024 at 17:04 o'clock
4 Comments
Latest comment
Hi,
ich rate dringend, diese externe HDD zu kopieren. Klassisch, Datei für Datei. Ein einfaches Robocopy auf eine andere Platte. Mit einem einfachen
auf dieser Platte (Annahme Laufwerk X: ) bekommst Du angezeigt, wie groß die Daten insgesamt sind, wenn sie wieder "ausgepackt" sind. Wieviel Platz Du also am Ziel brauchst.
Erst danach weitere Maßnahmen.
E.
ich rate dringend, diese externe HDD zu kopieren. Klassisch, Datei für Datei. Ein einfaches Robocopy auf eine andere Platte. Mit einem einfachen
dir x:\ /sErst danach weitere Maßnahmen.
E.
1
Moin,
Leider gibt es Probleme mit der deduplikation. Ich habe Dateien gelöscht, weil das Laufwerk voll ist und ich konnte leider keinen freien Speicher erzielen.
Wenn das "doppelte" Dateien waren, so ist "works as designed". Die Platte wird nicht leerer, wenn man deduplizierte doppelt vorhandene Dateien löscht, weil ja da nur verwaltungsinformation udn nicht die Datei selbst gelöscht wird.
Somit habe ich treesize angeschmissen und festellen müssen, das die deduplikation scheinbar der Übeltäter ist.
vermutlich nur scheinbar aber nicht tatsächlich. Was genau hast Du denn gesehen?
Ich weiß leider nicht wo genau das Problem liegt. Ist das ein typischer Effekt oder ein "Bug"?
Ohne unhöflich sein zu wollen, würde meine Kristallkugel erstmal von PEBKAC ausgehen. In diesem Fall davon, daß Du vermutlich Deduplizieren nicht verstanden hast.
Deduplizieren heißt nur, daß doppelt vorhandene Daten(-blöcke) nur einmal auf der Platte vorgehalten werden und nur die Verwaltungsinformationen passend geführt werden. Das verhindert nicht, daß die Platte trotzdem volläuft, wenn man genügend Datenmüll draufwirft.
Ich möchte die deduplikation wieder deaktivieren und gerne auch meine Dateien und die Ordner- und Dateistruktur behalten. Bevor ich mir eine Festplatte zum Backup kaufe, die deduplikation deaktiviere und das Laufwerk formatiere, wollte ich fragen ob es die Möglichkeit gibt, die Datei und Ordner Struktur in den Ursprung zu bringen, ohne Daten zu verlieren.
Einfach mit Robocopy die Ordner- und Dateistruktur auf ein Backupmedium kopieren.
Alternativ mit "https://docs.microsoft.com/en-us/powershell/module/deduplication/expand-dedupfile?view=win10-ps Expand-DedupFile] die betreffenden Dateien wieder "erweitern", auch wenn das schiefgehen wird, wenn Du keinen Platz mehr hast.
Ich hatte dazu schon Tutorials überflogen, aber da stand leider nichts davon, dass wieder alles in den Ursprung gebracht wird
Ich hoffe ich habe mich verständlich ausgedrückt und ihr könnt mir Weiterhelfen.
Ich hoffe ich habe mich verständlich ausgedrückt und ihr könnt mir Weiterhelfen.
Nicht so wie man es sich wünscht.
Wenn ihr noch fragen habt, bitte stellt sie mir.
Was genau hast Du gemacht?
Hast Du die Platzprobleme erst bekommen, nachdem Du weitere Dateien auf das deduplizierte Volume gespielt hast oder hat der Deduplizier-Vorgang das verursacht?
lks
Ich danke dir erstmal. Du kannst aber gerne etwas freundlicher sein.
Scheinbar habe ich nicht verstanden wie die Deduplikation funktioniert.
Damit ich auch mal mein Hirn anschalte, hier mal mein Versuch...
Das heißt jetzt wahrscheinlich, dass ich mehr Speicherplatz benötige als die 2TB Festplatte mit der Deduplikation hergibt und ich müsste soviel löschen, bis das "Kontingent frei ist" und ich ein Effekt erziele. Oder müsste ich den ChunkStore "aufräumen"?
Ich habe eine Deduplizierung vor ca 3 Monaten eingerichtet und habe immer weiter Dateien auf das Externe Laufwerk gespeichert.
Als ich gestern Platz schaffen wollte und überflüssige Dateien gelöscht habe ist mir aufgefallen das sich der freie Speicherplatz nicht vergrößert hat. Mit TreeSize habe ich dann gesehen, das der Ordner Dedup im System Volume Information 1,8TB von meinen 2TB belegt.
Ich habe mir gerade eine Externe Festplatte mit 4 TB bestellt um erstmal zu sichern.
![d3tb81k[1]](/images/c/2020/10/14/c2cb28c6c76be80be95657fcf1233cc5.jpg "d3tb81k[1] - c2cb28c6c76be80be95657fcf1233cc5 - Klicke auf das Bild, um es zu vergrößern")
Scheinbar habe ich nicht verstanden wie die Deduplikation funktioniert.
Damit ich auch mal mein Hirn anschalte, hier mal mein Versuch...
Das heißt jetzt wahrscheinlich, dass ich mehr Speicherplatz benötige als die 2TB Festplatte mit der Deduplikation hergibt und ich müsste soviel löschen, bis das "Kontingent frei ist" und ich ein Effekt erziele. Oder müsste ich den ChunkStore "aufräumen"?
Zitat von @Lochkartenstanzer:
Was genau hast Du gemacht?
Hast Du die Platzprobleme erst bekommen, nachdem Du weitere Dateien auf das deduplizierte Volume gespielt hast oder hat der Deduplizier-Vorgang das verursacht?
Was genau hast Du gemacht?
Hast Du die Platzprobleme erst bekommen, nachdem Du weitere Dateien auf das deduplizierte Volume gespielt hast oder hat der Deduplizier-Vorgang das verursacht?
Ich habe eine Deduplizierung vor ca 3 Monaten eingerichtet und habe immer weiter Dateien auf das Externe Laufwerk gespeichert.
Als ich gestern Platz schaffen wollte und überflüssige Dateien gelöscht habe ist mir aufgefallen das sich der freie Speicherplatz nicht vergrößert hat. Mit TreeSize habe ich dann gesehen, das der Ordner Dedup im System Volume Information 1,8TB von meinen 2TB belegt.
Ich habe mir gerade eine Externe Festplatte mit 4 TB bestellt um erstmal zu sichern.
Sers,
einfach einmal die Dedup Bereinigung drüber laufen lassen.
Powershell (mit Adminrechten):
Das wird jeweils eine ganze Weile dauern.
Zum Verständnis:
Die Dedup von Windows Server funktioniert im Nachgang, nachdem die Daten bereits auf die Festplatte geschrieben wurden.
(Im Gegenzug zur Inline-Deduplizierung, bei der die Daten dedupliziert werden bevor sie auf die Platte geschrieben werden.)
In Windows Server Aufgabenverwaltung sind Aufgaben zur regelmäßigen Ausführung des Optimierungs-Prozess (Optimization) hinterlegt, sowie weniger häufig die Integritätsprüfung (Scrubbing) und die Freigabe nicht mehr benötigter Datenblöcke (GarbageCollection).
Bei der Deduplizierung werden die Dateien per default in 32kB große Blöcke ("Chunks") zerteilt, und diese Blöcke landen im "Chunk Store" abgelegt.
Die eigentliche Datei besteht dann nur noch aus Metadaten und Verknüpfungen (Pointer) auf die zugehörigen Chunks.
Das Löschen einer Datei gibt somit nur ein paar kB frei (Metdaten & Pointer). Die eigentlichen Daten bleiben bis zur nächsten GarbageCollection weiterhin im Chunk Store liegen. Und deswegen leert sich die Platte auch nicht wenn du Dateien löschst.
Grüße,
Philip
einfach einmal die Dedup Bereinigung drüber laufen lassen.
Powershell (mit Adminrechten):
Start-DedupJob -Type Scrubbing -full -Volume "Laufwerksbuchstabe:" #Prüft und repariert die Integrität der Daten
Start-DedupJob -Type GarbageCollection -full -Volume "Laufwerksbuchstabe:" #Löscht alte verweisten "Teil-Blöcke"
Start-DedupJob -Type Optimization -Volume "Laufwerksbuchstabe:" #Dedupliziert seit letzter Deduplizierung hinzugekommene Dateien Zum Verständnis:
Die Dedup von Windows Server funktioniert im Nachgang, nachdem die Daten bereits auf die Festplatte geschrieben wurden.
(Im Gegenzug zur Inline-Deduplizierung, bei der die Daten dedupliziert werden bevor sie auf die Platte geschrieben werden.)
In Windows Server Aufgabenverwaltung sind Aufgaben zur regelmäßigen Ausführung des Optimierungs-Prozess (Optimization) hinterlegt, sowie weniger häufig die Integritätsprüfung (Scrubbing) und die Freigabe nicht mehr benötigter Datenblöcke (GarbageCollection).
Bei der Deduplizierung werden die Dateien per default in 32kB große Blöcke ("Chunks") zerteilt, und diese Blöcke landen im "Chunk Store" abgelegt.
Die eigentliche Datei besteht dann nur noch aus Metadaten und Verknüpfungen (Pointer) auf die zugehörigen Chunks.
Das Löschen einer Datei gibt somit nur ein paar kB frei (Metdaten & Pointer). Die eigentlichen Daten bleiben bis zur nächsten GarbageCollection weiterhin im Chunk Store liegen. Und deswegen leert sich die Platte auch nicht wenn du Dateien löschst.
Grüße,
Philip
2