13
Daten automatisch über mehrere Festplatten verteilen?
Hallo Forum.
Ich versuche gerade, mir mein Konzept für einen File-Server (Virtuelle Maschine auf ESXi) unter Debian zu erarbeiten.
Die VM soll je 1TB grosse vmdk-Festplatten bekommen. Diese liegen auf einem VMFS-Datastore (Im Moment: 3x 1TB RAID5, Ferner Zukunft: 6x 1TB RAID5).
Jetzt sieht ja das Debian all diese Festplatten einzeln (sda, sdb, sdc, sdd, usw).
Wenn ich jetzt die erste virtuelle Festplatte gefüllt habe, muss ich nun manuell schauen, dass von nun an die Daten auf die nächste Festplatte geschrieben werden. Jedoch wird vieleicht auf der ersten Festplatte wieder Platz frei, und dann müsste ich selbst schauen, dass die Platzausnutzung optimal ist.
Gibt es irgend ein System, das die Dateien automatisch über die Festplatten verteilt?
Eine Möglichkeit wäre ja z.B. ein Software-RAID0 über alle Festplatten zu machen, aber zusätzliche Performance erreiche ich damit ja nicht und es klaut mir CPU-Leistung.
Und dann wäre da noch die 2TB-Grenze ...
Naja ... irgend jemand eine Idee? ;)
Greetz, Lousek
Ich versuche gerade, mir mein Konzept für einen File-Server (Virtuelle Maschine auf ESXi) unter Debian zu erarbeiten.
Die VM soll je 1TB grosse vmdk-Festplatten bekommen. Diese liegen auf einem VMFS-Datastore (Im Moment: 3x 1TB RAID5, Ferner Zukunft: 6x 1TB RAID5).
Jetzt sieht ja das Debian all diese Festplatten einzeln (sda, sdb, sdc, sdd, usw).
Wenn ich jetzt die erste virtuelle Festplatte gefüllt habe, muss ich nun manuell schauen, dass von nun an die Daten auf die nächste Festplatte geschrieben werden. Jedoch wird vieleicht auf der ersten Festplatte wieder Platz frei, und dann müsste ich selbst schauen, dass die Platzausnutzung optimal ist.
Gibt es irgend ein System, das die Dateien automatisch über die Festplatten verteilt?
Eine Möglichkeit wäre ja z.B. ein Software-RAID0 über alle Festplatten zu machen, aber zusätzliche Performance erreiche ich damit ja nicht und es klaut mir CPU-Leistung.
Und dann wäre da noch die 2TB-Grenze ...
Naja ... irgend jemand eine Idee? ;)
Greetz, Lousek
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 113792
Url: https://administrator.de/forum/daten-automatisch-ueber-mehrere-festplatten-verteilen-113792.html
Ausgedruckt am: 22.12.2024 um 19:12 Uhr
13 Kommentare
Neuester Kommentar
Hallo,
wenn du ein RAID5 hast, so solltest du die einzelnen Festplatten gar nicht mher sehen, sondern nur noch das RAID-Volume. Die Verteilung der Daten auf die einzelnen Festplatten erfolgt dann auch automatisch.
mfg
Harald
wenn du ein RAID5 hast, so solltest du die einzelnen Festplatten gar nicht mher sehen, sondern nur noch das RAID-Volume. Die Verteilung der Daten auf die einzelnen Festplatten erfolgt dann auch automatisch.
mfg
Harald
Hallo,
eine VMware Disk darf doch 2TB groß sein, warum machst du sie ein TB groß wenn du im Moment nur 2TB an Platz hast? Wenn du später mal 5TB an Platz hast, ist mi auh immer noch nicht klar, warum du das Ganze überhaupt virtualisierst wenn du den ganzen Platz einem Fileserver gibst?
Und du wirst doch mehr als einen Ordner auf dem Server haben?
eine VMware Disk darf doch 2TB groß sein, warum machst du sie ein TB groß wenn du im Moment nur 2TB an Platz hast? Wenn du später mal 5TB an Platz hast, ist mi auh immer noch nicht klar, warum du das Ganze überhaupt virtualisierst wenn du den ganzen Platz einem Fileserver gibst?
Und du wirst doch mehr als einen Ordner auf dem Server haben?
Salisali
@harald21:
Ja, das ist mir schon klar. Auf dem RAID5 (im Moment 3x 1TB) ist ein LUN (2TB) eingerichtet. Darauf ein Datastore.
System-Disks liegen auf einem anderen Datastore (RAID1, 2x 160GB), und auf diesen zweiten Datastore sollen nun alle Virtuellen Festplatten, die Daten enthalten (z.B. eine vmdk für die Postfächer des Mail-Server, oder eine vmdk für die Datenbanken des MySQL-Servers).
@45877:
Naja ... ich habe an verschiedenen Orten gehört, dass ESX(i) mit 2TB grossen Files nicht immer sooo nett mitspielt wie sonst.
Mehr als einen Ordner? Wie meinst du das?
Das ganze ist zu Hause, und auf den File-Server sollen alle Filme / Musik / .isos / Programme usw.
Und wenn ich jetzt (als Beispiel) die Filme auf zwei 1TB-Platten aufteile, von A - L und von M - Z, dann können ja noch immer Filme auf der ersten Platte dazu kommen ...
Darum suche ich ein System, das die Daten selbst geschickt verteilt.
Greetz, Lousek
@harald21:
Ja, das ist mir schon klar. Auf dem RAID5 (im Moment 3x 1TB) ist ein LUN (2TB) eingerichtet. Darauf ein Datastore.
System-Disks liegen auf einem anderen Datastore (RAID1, 2x 160GB), und auf diesen zweiten Datastore sollen nun alle Virtuellen Festplatten, die Daten enthalten (z.B. eine vmdk für die Postfächer des Mail-Server, oder eine vmdk für die Datenbanken des MySQL-Servers).
@45877:
Naja ... ich habe an verschiedenen Orten gehört, dass ESX(i) mit 2TB grossen Files nicht immer sooo nett mitspielt wie sonst.
Mehr als einen Ordner? Wie meinst du das?
Das ganze ist zu Hause, und auf den File-Server sollen alle Filme / Musik / .isos / Programme usw.
Und wenn ich jetzt (als Beispiel) die Filme auf zwei 1TB-Platten aufteile, von A - L und von M - Z, dann können ja noch immer Filme auf der ersten Platte dazu kommen ...
Darum suche ich ein System, das die Daten selbst geschickt verteilt.
Greetz, Lousek
Unter Linux (in deinem Fall Debian) kannst du dir mal das virtuelle Dateisystem AuFS (http://en.wikipedia.org/wiki/Aufs) anschauen - damit ist es unter anderem möglich, beliebige Ordner/Partitionen/Pfade in einen gemeinsamen Ordner zu mappen, so das diese als ein einziger großer Ordner gelistet werden - bei Schreibzugriffen verteilt AuFS dann die Daten je nach Auslastung und Platz auf die Platten, wie genau man das granular beeinflussen kann weiß ich allerdings nicht - ich verwende diese Lösung in meinem Fileserver, um mehrere non-raid Festplatten auf denen Mediadaten liegen zusammenzufassen, um nicht mehrere Netzwerkfreigaben erstellen und mounten zu müssen.
Hi !
Ja genau, das wäre die beste Lösung
Schon mal was von Hardware RAID gehört. Ich würde 3Ware empfehlen !
Ja aber bestimmt kein Software-RAID0
mrtux
Eine Möglichkeit wäre ja z.B. ein Software-RAID0 über
Ja genau, das wäre die beste Lösung
alle Festplatten zu machen, aber zusätzliche Performance erreiche
ich damit ja nicht und es klaut mir CPU-Leistung.
ich damit ja nicht und es klaut mir CPU-Leistung.
Schon mal was von Hardware RAID gehört. Ich würde 3Ware empfehlen !
Naja ... irgend jemand eine Idee? ;)
Ja aber bestimmt kein Software-RAID0
mrtux
Naja ... im Server ist ein 8-Port Hardware-RAID-Controller ... aber IN der VM kann ich ja nicht gut ein Hardware-RAID machen :P
Ich werde mir das AuFS mal genauer ansehen ... thx für den Tipp.
Greetz, Lousek
Ich werde mir das AuFS mal genauer ansehen ... thx für den Tipp.
Greetz, Lousek
Perfekt, ich glaube AuFS (AnotherUnifiedFileSystem) ist das Gesuchte: http://wiki.unixboard.de/index.php/AnotherUnifiedFileSystem_-_aufs
Werde das mal ausprobieren und mich dann wieder melden (evt. mit einem Tutorial) ...
Greetz und thx an alle, Lousek
Werde das mal ausprobieren und mich dann wieder melden (evt. mit einem Tutorial) ...
Greetz und thx an alle, Lousek
Hi !
Schon OK aber so kompliziert wie Du das oben beschrieben hast macht das in der Praxis sowieso niemand, daher meine Verwunderung. Sorry !
mrtux
Schon OK aber so kompliziert wie Du das oben beschrieben hast macht das in der Praxis sowieso niemand, daher meine Verwunderung. Sorry !
mrtux
Was für ein System hast du auf deinem File-Server (Linux-Distri)?
Hast du irgendwelche Links, wie ich AuFS vorzugsweise auf Debian zu laufen kriege?
Greetz, Lousek
Hast du irgendwelche Links, wie ich AuFS vorzugsweise auf Debian zu laufen kriege?
Greetz, Lousek
Bei mir rennt ein stinknormales Ubuntu derzeit (wird demnächst mal auf Debian umgestellt), da war aufs im Kernel schon eingebunden..ich hab nur anhand des wikis das du schon selbst verlinkt hast mir den richtigen Mountbefehl zusammengebastelt und per cron beim booten aufgerufen
Wieso per cron und nicht per fstab?
Einfach Macht der Gewohnheit denke ich.. viele Wege führen nach Rom ;)
Noch eine andere Frage (so mitten im Thread:P):
Wie sieht dein mount-Befehl aus?
Ich habe es mit mount none /mnt/aufs -t aufs -o create=rr,br=/branches/sdb1:/branches/sdc1:/branches/sdd1 probiert, wobei /branches/sdb1 die gemountete Partition sdb1 ist (ext3).
Jedoch teilt er bei mir die Daten nicht auf.
Testhalber sind die drei Partitionen (sdb1, sdc1 und sdd1) nur je 2GB gross.
Jetzt wollte ich ein 1.5GB grosses DiskDump-File nach /mnt/aufs (dorthin habe ich das AUFS-System(???) gemountet mit dem Befehl oben) kopieren.
big1.img ... wird problemlos kopiert, wenn ich ein ls auf die einzelnen branches mache, sehe ich es im sdb1.
nächster Versuch, ein weiteres 1.5GB grosses DiskDump-File kopieren:
big2.img ... bricht ab mit dem Fehler "Auf dem Gerät ist kein Speicherplatz mehr verfügbar" ...
Aber eigentlich sollte er doch dieses File jetzt nach sdc1 oder sdd1 kopieren (wenn man die branches betrachtet) ... warum macht er das nicht???
Greetz, Lousek
Wie sieht dein mount-Befehl aus?
Ich habe es mit mount none /mnt/aufs -t aufs -o create=rr,br=/branches/sdb1:/branches/sdc1:/branches/sdd1 probiert, wobei /branches/sdb1 die gemountete Partition sdb1 ist (ext3).
Jedoch teilt er bei mir die Daten nicht auf.
Testhalber sind die drei Partitionen (sdb1, sdc1 und sdd1) nur je 2GB gross.
Jetzt wollte ich ein 1.5GB grosses DiskDump-File nach /mnt/aufs (dorthin habe ich das AUFS-System(???) gemountet mit dem Befehl oben) kopieren.
big1.img ... wird problemlos kopiert, wenn ich ein ls auf die einzelnen branches mache, sehe ich es im sdb1.
nächster Versuch, ein weiteres 1.5GB grosses DiskDump-File kopieren:
big2.img ... bricht ab mit dem Fehler "Auf dem Gerät ist kein Speicherplatz mehr verfügbar" ...
Aber eigentlich sollte er doch dieses File jetzt nach sdc1 oder sdd1 kopieren (wenn man die branches betrachtet) ... warum macht er das nicht???
Greetz, Lousek
