14
Viele Fotos organisieren - Windows Dateisystem zu lahm bzw. überfordert
Hallo und Guten Morgen,
hat einer eine Idee, wie man viele Fotos sinnvoll und effizient organisieren kann?
Wir haben hier rund 800.000 Fotos in 8 Hauptverzeichnissen verteilt. Diese Verzeichnisse sind auch so notwendig, lassen sich also nicht einsparen.
Der Ordner mit den meisten Fotos beinhaltet 165.000 Fotos mit max. 5 MB pro Datei.
Die Dateien liegen auf einem Win 2K12 R2 Server und werden per Freigabe von mehreren Nutzern genutzt, ist aber bei jeglicher Interaktion kreuz lahm. Eine Suche nach einem Bild dauert schon mehrere Minuten, ebenso wenn Adobe Photoshop per Droplet neue Fotos einspielen will ist es nur langsam und kann so nicht mehr genutzt werden.
Habt Ihr eine Idee, wie man unabhängig vom System (OS) sehr viele Fotos organiseren kann? Wichtig hierbei ist, dass eben verschiedene Systeme aus dem Netzwerk darauf zugreifen müssen. Ebenso sollen mehrere Benutzer mit dem Bestand interagieren.
Danke & Gruß
Axel
hat einer eine Idee, wie man viele Fotos sinnvoll und effizient organisieren kann?
Wir haben hier rund 800.000 Fotos in 8 Hauptverzeichnissen verteilt. Diese Verzeichnisse sind auch so notwendig, lassen sich also nicht einsparen.
Der Ordner mit den meisten Fotos beinhaltet 165.000 Fotos mit max. 5 MB pro Datei.
Die Dateien liegen auf einem Win 2K12 R2 Server und werden per Freigabe von mehreren Nutzern genutzt, ist aber bei jeglicher Interaktion kreuz lahm. Eine Suche nach einem Bild dauert schon mehrere Minuten, ebenso wenn Adobe Photoshop per Droplet neue Fotos einspielen will ist es nur langsam und kann so nicht mehr genutzt werden.
Habt Ihr eine Idee, wie man unabhängig vom System (OS) sehr viele Fotos organiseren kann? Wichtig hierbei ist, dass eben verschiedene Systeme aus dem Netzwerk darauf zugreifen müssen. Ebenso sollen mehrere Benutzer mit dem Bestand interagieren.
Danke & Gruß
Axel
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 432626
Url: https://administrator.de/contentid/432626
Ausgedruckt am: 23.11.2024 um 02:11 Uhr
14 Kommentare
Neuester Kommentar
SSD und RAID statt HDD und mehr Unterordner mit weniger Bildern verwenden.
Alternativ anderen Server verwenden, der bessere Dateisysteme hat.
Dann vielleicht nich eine Datenbank, die den Zugriff beschleunigt.oder andere Tols für die Fotoverwaltung.
Insgesammt solltet Ihr vielleicht Euch jemanden ins Haus holen, der sich das genauer ansieht und Euch eine Lösung erstellt.
lks
Alternativ anderen Server verwenden, der bessere Dateisysteme hat.
Dann vielleicht nich eine Datenbank, die den Zugriff beschleunigt.oder andere Tols für die Fotoverwaltung.
Insgesammt solltet Ihr vielleicht Euch jemanden ins Haus holen, der sich das genauer ansieht und Euch eine Lösung erstellt.
lks
Das ist kein Problem des Dateisystems, wie Du einfach dadurch testen kannst, das Du auf den Ordnern was mit der Kommandozeile machst. Das sollte schnell gehen (außer ein Dir, der muß ja 165000 Zeilen anzeigen).
Das Problem ist, das die GUIs für Datei Laden/Speichern etc. eine sortierte Liste anzeigen will und um 165.000 Datensätze zu lesen und zu sortieren dauert einfach seine Zeit. Insbesondere übers Netzwerk.
Als Lösung bleibt nur, die Anzahl Dateien pro Ordner zu verringern, indem man mehr Ordner verwendet.
Was die Suche angeht, die kann man über die Windows Suche beschleunigen, indem man den Bilder Ordner indiziert.
Das Problem ist, das die GUIs für Datei Laden/Speichern etc. eine sortierte Liste anzeigen will und um 165.000 Datensätze zu lesen und zu sortieren dauert einfach seine Zeit. Insbesondere übers Netzwerk.
Als Lösung bleibt nur, die Anzahl Dateien pro Ordner zu verringern, indem man mehr Ordner verwendet.
Was die Suche angeht, die kann man über die Windows Suche beschleunigen, indem man den Bilder Ordner indiziert.
Zitat von @Lochkartenstanzer:
SSD un RAID statt HDD und mehr Unterordner mitcwen7fer Bildern verwenden.
Akternativ abderen Server verwenden, der bessere Dateisysteme hat.
Dabb vielleicht nich eine Datenbank, die den Zugriff beschleunigt.
Insgesammt solltet Ihr Euch jemanden ins Haus holen, der sich das genauer ansieht und Euch eine Lösung erstellt.
Zieh die Boxhandschuhe aus 😂.SSD un RAID statt HDD und mehr Unterordner mitcwen7fer Bildern verwenden.
Akternativ abderen Server verwenden, der bessere Dateisysteme hat.
Dabb vielleicht nich eine Datenbank, die den Zugriff beschleunigt.
Insgesammt solltet Ihr Euch jemanden ins Haus holen, der sich das genauer ansieht und Euch eine Lösung erstellt.
Moin,
bei 800k Fotos solltest du evtl. mal über eine entsprechende Verwaltungssoftware oder einen MedienServer nachdenken.. Lightroom, ACDSee, Daminion wären hier die üblichen Verdächtigen.
lg,
Slainte
bei 800k Fotos solltest du evtl. mal über eine entsprechende Verwaltungssoftware oder einen MedienServer nachdenken.. Lightroom, ACDSee, Daminion wären hier die üblichen Verdächtigen.
lg,
Slainte
Heißt das wir lösen das Problem mit der Erstellung von Unterordnern und danach kann man wieder vernünftig mit arbeiten?
Im Hintergrund arbeitet ja auch ein SAN mit mehrheitlich SSDs (soweit wie ich das weiß)
Im Hintergrund arbeitet ja auch ein SAN mit mehrheitlich SSDs (soweit wie ich das weiß)
Mit weniger Dateien pro Ordner ist erstmal der Zugriff über den Exploerer schneller. Ob das aber Euer eigentliches Problem löst weiß man nicht, weil wir nicht wissen wie ihr mit den Fotos arbeitet und wie ihr darauf zugreift
und danach kann man wieder vernünftig mit arbeiten?
Das kommt darauf an, was bei Euch das eigentliche Problem ist.
Im Hintergrund arbeitet ja auch ein SAN mit mehrheitlich SSDs (soweit wie ich das weiß)
Das sagt nich nichts darüber aus, wie die organisiert sind. Ein RAID5 macht auch SSDs langsam und ein per Ethernet angebundenes SAN auch.
Ihr könnt versuchen mit einer besseren Ordnerorganisation ider einer Fotodatenbank Linderung zu erreichen, aber imho führt kein Weg an einer Beratung vorbei..
lks
Das ist (auch) ein Problem des Dateisystems. Da spielt nicht nur NTFS mit, sondern auch CIFS.
lks
Moin,
eigentlich jedes Dateisystem hat ein Problem mit vielen Dateien.
Selbst unter Linux in der Shell kann man ein Verzeichnis mit 1.000.000 Log-Dateien nur mit Tricks löschen.
Wie sucht Ihr denn darin?
Nach dem Dateinamen?
Mehr Unterverzeichnisse machen das durchaus besser.
Eine Bilderverwaltungssoftware noch viel besser.
Probiert mal Everything aus.
https://www.voidtools.com/
Das ist zwar nicht für Bilder, hat aber kein Problem mit vielen Dateien und einen Datenbank-Server.
Und kostet nichts.
Stefan
eigentlich jedes Dateisystem hat ein Problem mit vielen Dateien.
Selbst unter Linux in der Shell kann man ein Verzeichnis mit 1.000.000 Log-Dateien nur mit Tricks löschen.
Wie sucht Ihr denn darin?
Nach dem Dateinamen?
Mehr Unterverzeichnisse machen das durchaus besser.
Eine Bilderverwaltungssoftware noch viel besser.
Probiert mal Everything aus.
https://www.voidtools.com/
Das ist zwar nicht für Bilder, hat aber kein Problem mit vielen Dateien und einen Datenbank-Server.
Und kostet nichts.
Stefan
1
Hallo @StefanKittel,
wir suchen via Explorer darin.
Ich selber arbeite ja nicht mehr in der IT, kann daher zum Background nicht viel sagen. Ich kümmere mich nur um das Fotostudio, Fotografen und eben teilweise mit unserem Speicher.
Ich denke in unserem hausinternen RZ sind die Verbindungen jetzt nicht auf allerschlechtesten Stand.
Ich will eben nur nach einer Lösung suchen, bzw. da mithelfen, weil es schon echt träge ist. Auch per Photoshop Droplet neue Bilder einzuspielen ist mega lahm. Für 80 Bilder mit Ø3 MB werden 8 Minuten gebraucht und das ist betrifft nur das Droplet auf genau diesen einen Ordner mit 165.000 Bildern. Alle anderen Ordner sind wieder im Verhältnis schnell.
Das heißt eine Beratung wäre nicht die schlechteste Idee. Wonach muss ich denn Suchen. Reicht hier ein IT-Systemhaus oder muss ich da nach was speziellem Suchen?
wir suchen via Explorer darin.
Ich selber arbeite ja nicht mehr in der IT, kann daher zum Background nicht viel sagen. Ich kümmere mich nur um das Fotostudio, Fotografen und eben teilweise mit unserem Speicher.
Ich denke in unserem hausinternen RZ sind die Verbindungen jetzt nicht auf allerschlechtesten Stand.
Ich will eben nur nach einer Lösung suchen, bzw. da mithelfen, weil es schon echt träge ist. Auch per Photoshop Droplet neue Bilder einzuspielen ist mega lahm. Für 80 Bilder mit Ø3 MB werden 8 Minuten gebraucht und das ist betrifft nur das Droplet auf genau diesen einen Ordner mit 165.000 Bildern. Alle anderen Ordner sind wieder im Verhältnis schnell.
Das heißt eine Beratung wäre nicht die schlechteste Idee. Wonach muss ich denn Suchen. Reicht hier ein IT-Systemhaus oder muss ich da nach was speziellem Suchen?
Also wir arbeiten mit dem Windows Explorer in der Hauptsache damit. Wir spielen über Photoshop Droplets neue Fotos in die einzelnen Verzeichnisse ein.
Darauf aufbauen arbeiten unsere Webserver und kopieren sich die Deltas auf ihre Server zur Anzeigen in unseren Online-Shops.
Ansonsten wenn wir den Hinweis bekommen, dass ein Foto zu alt ist, dann suchen wir per Explorer nach den Fotos (der Dateiname ist bei uns die Artikelnummer) in allen Ordnern, die Suche dauert mehrere Minuten und löschen dann die entsprechenden Dateien. Danach fotografieren wir unsere Artikel neu und stellen die Fotos wieder in die Verzeichnisse eben ein.
Darauf aufbauen arbeiten unsere Webserver und kopieren sich die Deltas auf ihre Server zur Anzeigen in unseren Online-Shops.
Ansonsten wenn wir den Hinweis bekommen, dass ein Foto zu alt ist, dann suchen wir per Explorer nach den Fotos (der Dateiname ist bei uns die Artikelnummer) in allen Ordnern, die Suche dauert mehrere Minuten und löschen dann die entsprechenden Dateien. Danach fotografieren wir unsere Artikel neu und stellen die Fotos wieder in die Verzeichnisse eben ein.
Zitat von @augustapark:
Ansonsten wenn wir den Hinweis bekommen, dass ein Foto zu alt ist, dann suchen wir per Explorer nach den Fotos (der Dateiname ist bei uns die Artikelnummer) in allen Ordnern, die Suche dauert mehrere Minuten und löschen dann die entsprechenden Dateien. Danach fotografieren wir unsere Artikel neu und stellen die Fotos wieder in die Verzeichnisse eben ein.
Ansonsten wenn wir den Hinweis bekommen, dass ein Foto zu alt ist, dann suchen wir per Explorer nach den Fotos (der Dateiname ist bei uns die Artikelnummer) in allen Ordnern, die Suche dauert mehrere Minuten und löschen dann die entsprechenden Dateien. Danach fotografieren wir unsere Artikel neu und stellen die Fotos wieder in die Verzeichnisse eben ein.
Das läßt sich aber per Kommandozeile eleganter lösen.
lks
Guten Morgen @Lochkartenstanzer,
natürlich lässt sich das alles eleganter lösen, aber im Fotostudio arbeiten keine ITler, sondern Produktfotografen.
Meine Aufgabe ist es, die Arbeit für die so einfach wie möglich zu machen.
natürlich lässt sich das alles eleganter lösen, aber im Fotostudio arbeiten keine ITler, sondern Produktfotografen.
Meine Aufgabe ist es, die Arbeit für die so einfach wie möglich zu machen.
@augustapark
Ich kann dir M-BOX nur wärmstens empfehlen! Kenne es selbst (aus einem Archiv) und bin wirklich begeistert...
Funktioniert über eine Datenbank, man kann Metadaten hinzufügen (benutzerdefinierte Einstellungsmöglichkeiten), alles schnell und übersichtlich durchsuchen, Backups erstellen usw.
Netzwerk ist überhaupt kein Problem
Ich kann dir M-BOX nur wärmstens empfehlen! Kenne es selbst (aus einem Archiv) und bin wirklich begeistert...
Funktioniert über eine Datenbank, man kann Metadaten hinzufügen (benutzerdefinierte Einstellungsmöglichkeiten), alles schnell und übersichtlich durchsuchen, Backups erstellen usw.
Netzwerk ist überhaupt kein Problem
Danke für die vielen Rückmeldungen. Ich gebe das mal unserer IT weiter. Mal schauen, wie sich das entwickelt.
Prinzipiell ist die Frage damit aber gelöst.
Wünsche schönes Wochenende.
Prinzipiell ist die Frage damit aber gelöst.
Wünsche schönes Wochenende.
