2
Performancefrage S3 - Viele kleine Dateien in Unterverzeichnisse verteilen oder nicht?
Hallo,
ich möchte viele kleine Dateien auf einem Cloud-S3-Speicher ablegen.
Sagen wir mal 100.000 Dateien mit zusammen 10 GB größe.
Der Datename ist ein SHA256 Hash Wert.
z.B. 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Ich kann jetzt in einem Verzeichniss alle Dateien ablegen.
Oder ich erstelle Verzeichnisse. Dies würde ich z.B. bei der lokalen Datenablage machen.
z.B. 6e/d7/40/19/61b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Aber S3 ist ja mehr Datenbank als Dateisystem.
Auswirkungen würde es vermutlich geben wenn ich mit einem Client darauf zugreifen würde der die Liste der Dateien anzeigt.
Das ist aber nicht der Fall.
nur S3: gibt mir Datei 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a.
Hat da Jemand Erfahrungswerte?
Danke
Stefan
ich möchte viele kleine Dateien auf einem Cloud-S3-Speicher ablegen.
Sagen wir mal 100.000 Dateien mit zusammen 10 GB größe.
Der Datename ist ein SHA256 Hash Wert.
z.B. 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Ich kann jetzt in einem Verzeichniss alle Dateien ablegen.
Oder ich erstelle Verzeichnisse. Dies würde ich z.B. bei der lokalen Datenablage machen.
z.B. 6e/d7/40/19/61b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Aber S3 ist ja mehr Datenbank als Dateisystem.
Auswirkungen würde es vermutlich geben wenn ich mit einem Client darauf zugreifen würde der die Liste der Dateien anzeigt.
Das ist aber nicht der Fall.
nur S3: gibt mir Datei 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a.
Hat da Jemand Erfahrungswerte?
Danke
Stefan
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 3291171484
Url: https://administrator.de/forum/performancefrage-s3-viele-kleine-dateien-in-unterverzeichnisse-verteilen-oder-nicht-3291171484.html
Ausgedruckt am: 02.04.2025 um 09:04 Uhr
2 Kommentare
Neuester Kommentar
Bei S3 gibt es wie du schon schreibst keine Verzeichnisse. Das wird simuliert, aber real gibt es keine Verzeichnisse oder Dateien sondern nur ein Match auf den Objektpfad.
Performancemäßig macht es daher keinen Unterschied, es könnte eher die Verwaltung erschweren.
Performancemäßig macht es daher keinen Unterschied, es könnte eher die Verwaltung erschweren.
Danke
