jann0r
Goto Top

Fileserver Speicherverbrauch überwachen

Moin,

da ich über die Suche und Dr. Google nicht wirklich fündig geworden bin, versuche ich es mal hier.

Wir haben seit Monaten das Problem, dass unser Fileserver immer wieder unter Speichermangel leidet. Teilweise ist es so eng, dass wir schon 2x die virtuelle Festplatte erweitern mussten.

Jetzt sehe ich u.a. in der Überwachung, dass innerhalb weniger Tage 30 GB zusätzlich belegt werden, ohne das ich weiß wo die so schnell her kommen.

Das größe Problem ist, dass diese ganze Struktur hier extrem gewachsen ist (Anzahl Mitarbeiter seit 2010 ca. verzehnfacht) ohne, dass hier irgendwelche Strukturen eingekehrt sind und niemand bereit ist etwas zu löschen...

Da ein ständiges vergrößern der Platte nunmal keine Lösung ist, würde ich zumindest gerne versuchen den oder die Ursacher für den Speicherverbrauch zu ermitteln.

Kennt da vielleicht jemand von euch ein Tool, mit dem ich den Fileserver überwachen kann? GGf. würde mir auch ein Tool helfen, um die vermutlich unzähligen dubletten zu finden...

Content-Key: 1466117684

Url: https://administrator.de/contentid/1466117684

Printed on: April 24, 2024 at 02:04 o'clock

Member: csw
csw Nov 04, 2021 at 15:09:31 (UTC)
Goto Top
Hallo,

für einen ersten Überblick sollte Treesize das Mittel der Wahl sein
https://www.jam-software.de/treesize_free
Member: Doskias
Doskias Nov 04, 2021 updated at 15:24:32 (UTC)
Goto Top
Moin,

kannst du deine Frage etwas spezifizieren? Was suchst du genau, du schreibst:

Kennt da vielleicht jemand von euch ein Tool, mit dem ich den Fileserver überwachen kann?
Serverüberwachungstools findet man bei Google genug

GGf. würde mir auch ein Tool helfen, um die vermutlich unzähligen dubletten zu finden...
Das ist recht einfach mit Powershell machbar. Aus dem Kopf geschätzt unter 10 Zeilen, vermutlich aber auch mit 1 bis 3 Machbar, je nachdem wie fit du in PS bist. face-smile

Allerdings schreibst du hier noch ein Paar Dinge, die ich so nicht unkommentiert im Raum stehen lassen möchte:

Wir haben seit Monaten das Problem, dass unser Fileserver immer wieder unter Speichermangel leidet.
Was hat sich denn in den letzten Monaten verändert?

Teilweise ist es so eng, dass wir schon 2x die virtuelle Festplatte erweitern mussten.
Und? Ich erweitere unseren Fileserver mindestens 1 Mal im Monat. Unser freier Speicher liegt aber auch immer nur zwischen 5 und 10 GB, damit der Balken rot ist. Dann halten sich die User mit unnötigen Dingen zurück. Wenn du 100 GB frei hast, dann denkt sich jeder, dass es auf die 2 GB ja nicht ankommt.

Jetzt sehe ich u.a. in der Überwachung, dass innerhalb weniger Tage 30 GB zusätzlich belegt werden, ohne das ich weiß wo die so schnell her kommen.
mach einfach via PS jeden tag um 24 Uhr eine Auswertung, wie Groß welche Ordner sind und vergleiche die Ergebnisse. Dann siehst du wo der Wachstum steckt. Allerdings kann es ja auch durchaus berechtigt sein, wenn 30 GB innerhalb weniger Tage zusätzlich belegt werden. Ich weiß ja nicht was du da alles auf deinem Fileserver so speicherst, aber bei uns kommt es auch schonmal vor, dass wir n paar Images aktualisieren und dann haste mal schnell n paar GB an ISO-Dateien rumliegen. Außerdem werden bei uns von manchen Geräten Daten nur zyklisch auf die Server kopiert. Da hängt es dann davon ab, was in dem Zyklus an Daten produziert wurde. Die Datenmenge liegt hier zwischen 100 MB und 5 GB. Die Schwankung und Menge ist also durchaus gerechtfertigt.

Das größe Problem ist, dass diese ganze Struktur hier extrem gewachsen ist (Anzahl Mitarbeiter seit 2010 ca. verzehnfacht) ohne, dass hier irgendwelche Strukturen eingekehrt sind und niemand bereit ist etwas zu löschen...
Das niemand bereit ist etwas zu löschen ist nun mal so. Allerdings ist die Frage hier falsch gestellt. Wenn sic eure MA-Anzahl verzehnfacht hat, dann ist Datenwuchs auch normal. Wir haben zum Beispiel Ordner, die wir aus strategischen Gründen nicht löschen. Da baut sich seit mittlerweile 20 Jahren ein Archiv auf. Das ist bei uns durchaus so gewollt. Daher kann in dem Fall die Datenmenge nicht kleiner werden. Stichwort Presseberichte, etc.

Da ein ständiges vergrößern der Platte nunmal keine Lösung ist, würde ich zumindest gerne versuchen den oder die Ursacher für den Speicherverbrauch zu ermitteln.
Fast richtig face-smile Ständiges vergrößern der Platte kann die Lösung sein, wenn die Ablage der Daten wirklich ihre Berechtigungen hat. und hier kein Müll abgelegt wird.

Du gibst leider zu wenig Infos über die Gesamtstruktur. Ein beliebter Speicherplatzfresser ist die Umleitung der Downloads auf den Fileserver. Downloads werden von den Usern selten aufgeräumt, weil die ja nur lokal liegen. Aus dem Grund haben wir unsere Downloads nicht umgeleitet. Die verbleiben lokal und wenn da was weg ist, ist es halt weg.

Gruß
Doskias

Nachtrag:
get-childitem F:\* -Recurse |? lastwritetime -gt (get-date).AddDays(-1)
get-childitem F:\* -Recurse |? creationtime -gt (get-date).AddDays(-1) 

Zeile 1 listet dir alle Daten auf Laufwerk F auf, die innerhalb des letzten Tages geschrieben (geändert) wurden.
Zeile 2 listet dir alle Daten auf Laufwerk F auf, die innerhalb des letzten Tages erstellt wurden.
Member: erikro
erikro Nov 04, 2021 at 16:49:39 (UTC)
Goto Top
Moin,

GGf. würde mir auch ein Tool helfen, um die vermutlich unzähligen dubletten zu finden...
Das ist recht einfach mit Powershell machbar. Aus dem Kopf geschätzt unter 10 Zeilen, vermutlich aber auch mit 1 bis 3 Machbar, je nachdem wie fit du in PS bist. face-smile

Nö, das ist ein Einzeiler:

get-childitem -file -recurse | get-filehash | sort "Hash"  

Und schon stehen die Dubletten schön untereinander. Dauert aber. face-wink

hth

Erik
Member: Doskias
Doskias Nov 04, 2021 updated at 18:15:26 (UTC)
Goto Top
Ich sag doch in 1 bis 3 machbar. Aber so wie du das Skript geschrieben hast, zeigt es dir doch jede Datei an, oder täusche ich mich da?

Und doppelte Dateien finden bringt in meinen Augen gar nichts. Löschen kann man die eh nicht als Adnin, weil man nicht sicher weiß wer die Datei braucht und wo sie wirklich hingehört. Wwnn ich die dann lösche, dann wird mindestens einer sie suchen und nicht finden. Oft entstehen Dubletten ja weil 2 Leute sie brauchen, aber nicht auf die gleichen Verzeichnisse Zugriff haben.

Wir haben zum Beispiel auch Dubletten. Ein Ordner in dem die Dateien von den ALs geschrieben werden und ein Ordner in dem all diese Infos (aus 4 AL-Ordner) für alle Mitarbeiter lesend zur Verfügung stehen. Die Dateien sind 1:1 identisch aber keine davon darf gelöscht werden.
Member: C.R.S.
C.R.S. Nov 04, 2021 at 19:22:04 (UTC)
Goto Top
Vermutlich mit Kanonen auf Spatzen geschossen, aber seit kurzem ist eine neue Version von Diskover verfügbar: https://github.com/diskoverdata/diskover-community

Wie schon angemerkt ist es bei der Zusammenarbeit auf einer Fileshare ohne DMS nicht ungewöhnlich, dass Dateien bewusst und notwendigerweise dupliziert werden. Solche Volumes kann man einfach auf Dateisystemebene deduplizieren, ohne die Nutzer einzuschränken. 30 GB innerhalb von Tagen ist heute auch nicht viel. Wenn Vorgängerversionen aktiviert sind, ergibt sich schon daraus eine gewisse Schwankungsbreite, die mit einem Zuwachs nichts zu tun hat.

Grüße
Richard
Member: nachgefragt
nachgefragt Nov 04, 2021 at 20:17:20 (UTC)
Goto Top
Zitat von @jann0r:
Kennt da vielleicht jemand von euch ein Tool, mit dem ich den Fileserver überwachen kann?
Alles was du brauchst lässt sich mit Windows Bordmittel eines Datenservers lösen, z.B. Funktionen dem Ressourcen-Manager (Kontingente, Berichte,...), Datendeduplizierung für Duplikate,... . Ein Drittanbietertool ist nicht nötig.
Member: nachgefragt
nachgefragt Nov 04, 2021 at 20:18:24 (UTC)
Goto Top
Zitat von @nachgefragt:

Zitat von @jann0r:
Kennt da vielleicht jemand von euch ein Tool, mit dem ich den Fileserver überwachen kann?
Alles was du brauchst lässt sich mit Windows Bordmittel eines Datenservers lösen, z.B. Funktionen dem Ressourcen-Manager (Kontingente, Berichte,...), Datendeduplizierung für Duplikate,... . Ein Drittanbietertool ist nicht nötig.

Dr. Google findet dazu auch was
https://docs.microsoft.com/de-de/windows-server/storage/fsrm/fsrm-overvi ...
https://docs.microsoft.com/de-de/windows-server/storage/data-deduplicati ...
Member: MysticFoxDE
MysticFoxDE Nov 04, 2021 at 20:18:46 (UTC)
Goto Top
Moin jann0r,

Wir haben seit Monaten das Problem, dass unser Fileserver immer wieder unter Speichermangel leidet. Teilweise ist es so eng, dass wir schon 2x die virtuelle Festplatte erweitern mussten.

njam lecker, eines meiner Lieblingsthemas.

Und ich finde alle vorhergehenden Tipps auch sehr interessant ... aber ...

Bevor ich dir einen Tipp gebe, würde ich erstmal gerne wissen auf welchem OS der Fileserver eigentlich läuft. 😉


Beste Grüsse aus BaWü

Alex
Member: MysticFoxDE
MysticFoxDE Nov 04, 2021 updated at 20:22:12 (UTC)
Goto Top
Moin nachgefragt,

Alles was du brauchst lässt sich mit Windows Bordmittel eines Datenservers lösen, z.B. Funktionen dem Ressourcen-Manager (Kontingente, Berichte,...), Datendeduplizierung für Duplikate,... . Ein Drittanbietertool ist nicht nötig.

eigentlich bin ich hier meistens die Windows-Jünger-Vertretung 🤪, aber wo genau hat der TO bisher den OS Hersteller des Fileservers verraten? 🙃

Gruss Alex
Member: erikro
erikro Nov 04, 2021 at 20:21:39 (UTC)
Goto Top
Moin,

Zitat von @Doskias:

Ich sag doch in 1 bis 3 machbar. Aber so wie du das Skript geschrieben hast, zeigt es dir doch jede Datei an, oder täusche ich mich da?

Ja, es bildet über jede Datei ein Hash und sortiert danach. Aber ich würde mir in der Praxis das Sortieren sparen und das Ergebnis in eine CSV speichern, um die doppelten Dateien zu suchen. Sonst dauert das zu lange.

Und doppelte Dateien finden bringt in meinen Augen gar nichts. Löschen kann man die eh nicht als Adnin, weil man nicht sicher weiß wer die Datei braucht und wo sie wirklich hingehört. Wwnn ich die dann lösche, dann wird mindestens einer sie suchen und nicht finden. Oft entstehen Dubletten ja weil 2 Leute sie brauchen, aber nicht auf die gleichen Verzeichnisse Zugriff haben.

Ja, so ist das. Wir haben das mal gemacht und nach Abteilungen sortiert. Dann haben wir darum gebeten, doch mal aufzuräumen. Und dann haben wir ein weiteres Plattensystem eingebaut. face-wink

Wir haben zum Beispiel auch Dubletten. Ein Ordner in dem die Dateien von den ALs geschrieben werden und ein Ordner in dem all diese Infos (aus 4 AL-Ordner) für alle Mitarbeiter lesend zur Verfügung stehen. Die Dateien sind 1:1 identisch aber keine davon darf gelöscht werden.

Man könnte natürlich auch den MAs Leseszugriff auf den Ordner mit den Originalen geben. Aber das wäre ja zu einfach. face-wink

Liebe Grüße

Erik
Member: erikro
erikro Nov 04, 2021 at 20:33:03 (UTC)
Goto Top
Zitat von @MysticFoxDE:
Bevor ich dir einen Tipp gebe, würde ich erstmal gerne wissen auf welchem OS der Fileserver eigentlich läuft. 😉

Da hast Du allerdings recht.
find ./ -type f -exec md5 {} \; | awk -F '=' '{print $2 "\t" $1}' | sort  

face-wink
Member: nachgefragt
nachgefragt Nov 04, 2021 at 21:00:13 (UTC)
Goto Top
Zitat von @MysticFoxDE:
aber wo genau hat der TO bisher den OS Hersteller des Fileservers verraten?
Ich bin mir zwar nicht so sicher ob der TO sein IT operative professional (erfolgreich) abgeschlossen hatte, aber ziemlich das es hier (auch) um Windows geht face-wink
Mitglied: 148656
148656 Nov 04, 2021 at 22:29:24 (UTC)
Goto Top
Zitat von @MysticFoxDE:

Moin nachgefragt,

Alles was du brauchst lässt sich mit Windows Bordmittel eines Datenservers lösen, z.B. Funktionen dem Ressourcen-Manager (Kontingente, Berichte,...), Datendeduplizierung für Duplikate,... . Ein Drittanbietertool ist nicht nötig.

eigentlich bin ich hier meistens die Windows-Jünger-Vertretung 🤪, aber wo genau hat der TO bisher den OS Hersteller des Fileservers verraten? 🙃

Gruss Alex

is schon Freitag?
freitag

gruß
C.C.
Member: MysticFoxDE
MysticFoxDE Nov 04, 2021 at 22:46:26 (UTC)
Goto Top
Zitat von @148656:

Zitat von @MysticFoxDE:

Moin nachgefragt,

Alles was du brauchst lässt sich mit Windows Bordmittel eines Datenservers lösen, z.B. Funktionen dem Ressourcen-Manager (Kontingente, Berichte,...), Datendeduplizierung für Duplikate,... . Ein Drittanbietertool ist nicht nötig.

eigentlich bin ich hier meistens die Windows-Jünger-Vertretung 🤪, aber wo genau hat der TO bisher den OS Hersteller des Fileservers verraten? 🙃

Gruss Alex

is schon Freitag?
freitag

gruß
C.C.

OK Windows, das ist schon mal gut und macht die Sache etwas einfacher.
Zum besseren rumstochern benötigt man dennoch noch mindestens die entsprechende Version?

Und ja, ohne diese elende Zeitumstellung ist es tatsächlich schon Freitag, spätestens jedoch ab UTC +2. 😉
Member: Doskias
Doskias Nov 05, 2021 at 07:17:57 (UTC)
Goto Top
Moin

Zitat von @erikro:
Man könnte natürlich auch den MAs Leseszugriff auf den Ordner mit den Originalen geben. Aber das wäre ja zu einfach. face-wink
Was sowas geht? face-wink

Nee Scherz beiseite: Es ist bewusst so, dass die MA nicht auf die Originale der AL Zugriff haben. Das liegt zum einen daran, dass hier auch veraltete oder noch nicht gültige Fassungen liegen, bzw. auch andere Dokumente die nur für die jeweiligen ALs sind. Außerdem hat jeder AL seinen eigenen Ordner und die MA sollen es möglichst einfach haben und nur in einem Ordner nachschauen müssen. Sprich: in den sichtbaren Ordner für die MA fließen die gültigen Dokumente aus mehreren AL-Verzeichnissen zusammen. Dafür, dass der Mitarbeiter dann immer schnell die gültigen Dokumente zur Verfügung hat, nehme ich auch gerne 100 MB doppelte Daten in kauf. ;)
Member: jann0r
jann0r Nov 05, 2021 at 08:08:03 (UTC)
Goto Top
Zitat von @c.r.s.:

Vermutlich mit Kanonen auf Spatzen geschossen, aber seit kurzem ist eine neue Version von Diskover verfügbar: https://github.com/diskoverdata/diskover-community

Wie schon angemerkt ist es bei der Zusammenarbeit auf einer Fileshare ohne DMS nicht ungewöhnlich, dass Dateien bewusst und notwendigerweise dupliziert werden. Solche Volumes kann man einfach auf Dateisystemebene deduplizieren, ohne die Nutzer einzuschränken. 30 GB innerhalb von Tagen ist heute auch nicht viel. Wenn Vorgängerversionen aktiviert sind, ergibt sich schon daraus eine gewisse Schwankungsbreite, die mit einem Zuwachs nichts zu tun hat.

Grüße
Richard

Diskover sieht schon ziemlich cool aus, das werde ich mir mal in einer ruhigen Minute angucken ;)
Member: jann0r
jann0r Nov 05, 2021 at 08:09:03 (UTC)
Goto Top
Zitat von @MysticFoxDE:

Moin jann0r,

Wir haben seit Monaten das Problem, dass unser Fileserver immer wieder unter Speichermangel leidet. Teilweise ist es so eng, dass wir schon 2x die virtuelle Festplatte erweitern mussten.

njam lecker, eines meiner Lieblingsthemas.

Und ich finde alle vorhergehenden Tipps auch sehr interessant ... aber ...

Bevor ich dir einen Tipp gebe, würde ich erstmal gerne wissen auf welchem OS der Fileserver eigentlich läuft. 😉


Beste Grüsse aus BaWü

Alex

Windows Server 2016 um genau zu sein ;)
Member: MysticFoxDE
MysticFoxDE Nov 05, 2021 at 13:25:52 (UTC)
Goto Top
Moin jann0r,

Windows Server 2016 um genau zu sein ;)

sehr gut, jetzt kann man etwas gezielter rumstochern. 🙃

Kannst du mal ein Bild von der Speicherauslastung (Taskmanager --> Leistung --> Arbeitsspeicher) posten, wenn der Server etwas unter Last steht, danke.

DFS ... 🤔 ... bei diesem Problem könnte auch DNS Trägheit eine tragende Rolle spielen.
Beschweren sich deine User rein zufällig auch über extrem langsam aufbauende Internetseiten?

Gruss Alex
Member: Doskias
Doskias Nov 05, 2021 at 14:04:13 (UTC)
Goto Top
Zitat von @MysticFoxDE:

Moin jann0r,

Windows Server 2016 um genau zu sein ;)

sehr gut, jetzt kann man etwas gezielter rumstochern. 🙃

Kannst du mal ein Bild von der Speicherauslastung (Taskmanager --> Leistung --> Arbeitsspeicher) posten, wenn der Server etwas unter Last steht, danke.

DFS ... 🤔 ... bei diesem Problem könnte auch DNS Trägheit eine tragende Rolle spielen.
Beschweren sich deine User rein zufällig auch über extrem langsam aufbauende Internetseiten?

Gruss Alex

Ich glaube du redest am Thema vorbei. Er meint Festplattenspeicherkapazitäten, nicvt Arbeitsspeicher. Da bringt der Taskmanager nichts in der Arbeitsspwicherauslastung ;)
Member: MysticFoxDE
MysticFoxDE Nov 05, 2021 updated at 17:04:13 (UTC)
Goto Top
Moin Doskias,

Ich glaube du redest am Thema vorbei. Er meint Festplattenspeicherkapazitäten, nicvt Arbeitsspeicher. Da bringt der Taskmanager nichts in der Arbeitsspwicherauslastung ;)

wenn das wirklich so ist ... und bei einer noch genaueren Betrachtung des Hauptposts muss ich dir da fast auch schon recht geben 🙃, dann ist der Lösungsvorschlag für dieses Problem ja recht einfach.

Fängt +- hier an ...

https://www.infortrend.com/de/products/families/gs/1000

und hört +- hier auf.

https://www.infortrend.com/de/products/families/gs/4000

und am meisten bekommt man auf die GS 3060er drauf

https://www.infortrend.com/de/products/families/gs/3000

60 Bay's auf 4HE und ordentlich bums dahinter. 😉

Beste Grüsse aus BaWü

Alex
Member: MysticFoxDE
MysticFoxDE Nov 05, 2021 updated at 17:14:42 (UTC)
Goto Top
Moin jann0r,

so, damit ich dir heute eventuell wenigstens einen sinnvollen Tipp gegeben habe. 😜

Da ein ständiges vergrößern der Platte nunmal keine Lösung ist, würde ich zumindest gerne versuchen den oder die Ursacher für den Speicherverbrauch zu ermitteln.

die Belegung des Plattenplatzes kannst du unter anderem am einfachsten auch mit TreeSize analysieren.

https://www.jam-software.de/treesize_free

Wenn du etwas mehr auf hardcore Tools stehst, dann kannst du die Analyse auch mal mit Autopsy machen.

https://www.autopsy.com/download/

Das siehst du absolut genau, was und wann etwas verändert wurde. Jedoch ist das Tool zum einlernen nicht ohne.

Beste Grüsse aus BaWü

Alex
Member: nachgefragt
nachgefragt Nov 08, 2021 at 08:38:59 (UTC)
Goto Top