flexmind
Goto Top

Shared Storage bei Cloud Anbieter (hier AWS) ?

Guten Tag liebe Community.

ich habe da mal eine Frage an die Leute, die bereits erfolgreich mit AWS arbeiten.

Wie löst ist bei AWS das Thema "Shard Storage"?

EFS hat eine unterirdische Performance.
FSx ist für Debian nicht verfügbar.
EBS Multi Attach ist in Frankfurt nicht verfügbar.

Nutzt ist das Storage Gateway?

Habt ihr euch selbst was gebastelt?

Content-Key: 589190

Url: https://administrator.de/contentid/589190

Printed on: May 10, 2024 at 05:05 o'clock

Member: GrueneSosseMitSpeck
GrueneSosseMitSpeck Jul 21, 2020 at 06:22:46 (UTC)
Goto Top
du meinst das Storage gateway für S3?
a) unterirdisch langsam, ca. 3 MB/Sekunde
b) nur mit einem Python skript nutzbar
c) die Linux EC2 Instanzen haben bzw hatten früher kein Python Runtime also viel Spaß das Python APK in so ein Linux erstmal reinzukriegen
FSX ist ein reines Windows Ding, und für ALLE AWS Features gilt:

In der EU werden die neuen Features in Irland ausgerollt. Bau dein Ding in Irland auf wenn du unbedingt EBS multi attach brauchst... ansonsten gilt für alle Storages daß man sie als Premium, Standard (und HDDs auch als Cold) kriegt, auf SSD oder HDD. Solange deine Anwenudng mit einer EC2 Instanz auskommt nimm die als SSD std oder premium, und speicher deine Sachen lokal und sicher die vom Storage regelmäßig runter...
Mitglied: 142583
142583 Jul 21, 2020 at 09:19:13 (UTC)
Goto Top
Was verstehst du denn in diesem Zusammenhang unter Shared Storage und was möchtest du machen?
Member: flexmind
flexmind Jul 21, 2020 at 12:55:01 (UTC)
Goto Top
Ich habe verschiedene Instanzen die Audio übertragen und das aufzeichnen müssen.

Und ich brauche ein zentralisiertes Storage auf das alle Instanzen zugreifen können
Mitglied: 142583
142583 Jul 21, 2020 at 13:12:36 (UTC)
Goto Top
Also ein Dateispeicher, kein Blockspeicher?
Member: flexmind
flexmind Jul 21, 2020 at 13:17:39 (UTC)
Goto Top
Ein Datenspeicher genau.

Ideal ist, wenn es in den Instanzen gemountet werden kann.

Daher habe ich mit das EBS mal angeschaut.
Aber EBS ist einfach nur lahm.
VOr allem hat es mit großen Datenmengen Probleme.
Mitglied: 142583
142583 Jul 21, 2020 at 13:30:07 (UTC)
Goto Top
Nicht so schnell.

Die VMs sind alle an der selben Seite?
Welches OS haben VMs?
Member: flexmind
flexmind Jul 21, 2020 at 13:36:01 (UTC)
Goto Top
yes
alle sind auf der selben Seite und sogar im gleichem Subnetz.

Als OS kommt debian 9 und 10 zum Einsatz
Mitglied: 142583
142583 Jul 21, 2020 updated at 13:41:04 (UTC)
Goto Top
Dann wäre eine weitere VM mit entsprechenden Storage drunter eine Möglichkeit.
Wieder ein Debian mit Samba und dann SMB Zugriff?
Member: flexmind
flexmind Jul 21, 2020 at 14:13:57 (UTC)
Goto Top
das habe ich in der Tat bereits überlegt.
Da die fertigen Dienste von AWS alle Nachteile haben, wäre das ggf das sinnvollste.
Mitglied: 142583
142583 Jul 21, 2020 at 14:18:26 (UTC)
Goto Top
Es wäre einfach und in Minuten online.

Du kannst mit einer kleinen Instanz anfangen mit entsprechenden Storage und wenn es wider erwarten an CPU oder RAM mangelt, da nachlegen.

Netzwerkseitig auch einfach zu Betreiben und abzusichern.

Alternativ ein Windows Server oder Server Cluster als SMB-Host.
Member: GrueneSosseMitSpeck
GrueneSosseMitSpeck Jul 22, 2020 at 08:28:36 (UTC)
Goto Top
Zitat von @flexmind:

Ein Datenspeicher genau.

Ideal ist, wenn es in den Instanzen gemountet werden kann.

Daher habe ich mit das EBS mal angeschaut.
Aber EBS ist einfach nur lahm.
VOr allem hat es mit großen Datenmengen Probleme.

aber nicht mit Audiostreaming, das meinst du nicht wirklcih ernst, oder?

Nur mal zur Rekapituilation: eine 74 Minuten Stereo CD mit 44 Kbit 16 Bit Sample Rate hat unkomprimiert 650 MB, da kommen pro Sekunde 180 Kilobyte zusammen, aber die allermeisten Audiostreams sind komprimiert und überschreiten die 64 Kbit/Sekunde nicht, das sind 8 Kilobyte pro Sekunde, das kann man noch auf Disketten wegschreiben falls man noch welche hat.

Klassische Lösung wäre ein S3 Bucket auf AWS für den Upload, eine Bucket replication in einen zweiten Bucket wo nur lesender Zugriff drauf ist. S3 ist sogar für Videostreaming bis UHD schnell genug.