2
Performancefrage S3 - Viele kleine Dateien in Unterverzeichnisse verteilen oder nicht?
Hallo,
ich möchte viele kleine Dateien auf einem Cloud-S3-Speicher ablegen.
Sagen wir mal 100.000 Dateien mit zusammen 10 GB größe.
Der Datename ist ein SHA256 Hash Wert.
z.B. 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Ich kann jetzt in einem Verzeichniss alle Dateien ablegen.
Oder ich erstelle Verzeichnisse. Dies würde ich z.B. bei der lokalen Datenablage machen.
z.B. 6e/d7/40/19/61b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Aber S3 ist ja mehr Datenbank als Dateisystem.
Auswirkungen würde es vermutlich geben wenn ich mit einem Client darauf zugreifen würde der die Liste der Dateien anzeigt.
Das ist aber nicht der Fall.
nur S3: gibt mir Datei 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a.
Hat da Jemand Erfahrungswerte?
Danke
Stefan
ich möchte viele kleine Dateien auf einem Cloud-S3-Speicher ablegen.
Sagen wir mal 100.000 Dateien mit zusammen 10 GB größe.
Der Datename ist ein SHA256 Hash Wert.
z.B. 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Ich kann jetzt in einem Verzeichniss alle Dateien ablegen.
Oder ich erstelle Verzeichnisse. Dies würde ich z.B. bei der lokalen Datenablage machen.
z.B. 6e/d7/40/19/61b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a
Aber S3 ist ja mehr Datenbank als Dateisystem.
Auswirkungen würde es vermutlich geben wenn ich mit einem Client darauf zugreifen würde der die Liste der Dateien anzeigt.
Das ist aber nicht der Fall.
nur S3: gibt mir Datei 6ed7401961b6541c060c7ec0cea8ef7c6cb0ac239c72dedf14665e269621906a.
Hat da Jemand Erfahrungswerte?
Danke
Stefan
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 3291171484
Url: https://administrator.de/contentid/3291171484
Printed on: April 20, 2024 at 02:04 o'clock
2 Comments
Latest comment
Bei S3 gibt es wie du schon schreibst keine Verzeichnisse. Das wird simuliert, aber real gibt es keine Verzeichnisse oder Dateien sondern nur ein Match auf den Objektpfad.
Performancemäßig macht es daher keinen Unterschied, es könnte eher die Verwaltung erschweren.
Performancemäßig macht es daher keinen Unterschied, es könnte eher die Verwaltung erschweren.
Danke
