15
Gibt es PCI-E Karte für Hardware Acceleration bei Gzip (o.Ä.) ?
Hallo Community,
für mein Backup ist es nötig dass ich täglich die Daten meiner Virtuellen Maschine (160gb VHD File) sichere und verschlüssele.
Auf meinem 8-Kern Xeon dauert das mit 7z ca 2 Stunden und reduziert die Daten auf ca 60 GB.
Gibt es eine Addon-Karte oder etwas ähnliches, um hier die CPU zu entlasten und den Vorgang zu beschleunigen?
Infos:
VMWare 6.0 (darauf läuft unter anderem die zu sichernde Maschine)
Kompression ist nötig wegen Bandbreite auf Upload Leitung
Bisher habe ich nur Karten für NETZWERK-Traffic-Kompression gefunden
LZ4 ist schnell, aber zu wenig Kompression
Server hat Raid10 SSD (Platten sind nicht der Flaschenhals)
für mein Backup ist es nötig dass ich täglich die Daten meiner Virtuellen Maschine (160gb VHD File) sichere und verschlüssele.
Auf meinem 8-Kern Xeon dauert das mit 7z ca 2 Stunden und reduziert die Daten auf ca 60 GB.
Gibt es eine Addon-Karte oder etwas ähnliches, um hier die CPU zu entlasten und den Vorgang zu beschleunigen?
Infos:
VMWare 6.0 (darauf läuft unter anderem die zu sichernde Maschine)
Kompression ist nötig wegen Bandbreite auf Upload Leitung
Bisher habe ich nur Karten für NETZWERK-Traffic-Kompression gefunden
LZ4 ist schnell, aber zu wenig Kompression
Server hat Raid10 SSD (Platten sind nicht der Flaschenhals)
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 332312
Url: https://administrator.de/forum/gibt-es-pci-e-karte-fuer-hardware-acceleration-bei-gzip-o-ae-332312.html
Ausgedruckt am: 08.04.2025 um 08:04 Uhr
15 Kommentare
Neuester Kommentar
Moin.
Verschlüssele doch den Inhalt der vhd direkt in der VM (z.B. Bitlocker) und übertrage dann bei der Sicherung nur die Differenz-Bits seit der letzten Änderung (rsync).
Gruß
Verschlüssele doch den Inhalt der vhd direkt in der VM (z.B. Bitlocker) und übertrage dann bei der Sicherung nur die Differenz-Bits seit der letzten Änderung (rsync).
Gruß
Moin,
0. Was für Kompressor Optionen benutzt du?
1. Läuft die Kompression im Single-Thread oder Multi-Thread?
2. Wenn letzteres wie sind die Werte für das Lesen/Schreiben auf dem Raid?
2.b Wenn ersteres --> Kompressor suchen der Multithreaden kann?
3. Wenn genügend RAM vorhanden ist --> Ramdisk eine Option?
4. Eine dicke dedizierte Gaka die über CUDA oder einem anderen Framework das Packen übernimmt?
VG
0. Was für Kompressor Optionen benutzt du?
1. Läuft die Kompression im Single-Thread oder Multi-Thread?
2. Wenn letzteres wie sind die Werte für das Lesen/Schreiben auf dem Raid?
2.b Wenn ersteres --> Kompressor suchen der Multithreaden kann?
3. Wenn genügend RAM vorhanden ist --> Ramdisk eine Option?
4. Eine dicke dedizierte Gaka die über CUDA oder einem anderen Framework das Packen übernimmt?
VG
Hi.
Nimm eine andere Kompressionsstärke ("schnellste") und es wird weitaus schneller gehen und evtl. nicht 60, sondern nun 61 GB verbrauchen - wen stört das schon. Stelle auch sicher, dass Du eingestellt hast, dass alle Kerne mitrechnen.
Nimm eine andere Kompressionsstärke ("schnellste") und es wird weitaus schneller gehen und evtl. nicht 60, sondern nun 61 GB verbrauchen - wen stört das schon. Stelle auch sicher, dass Du eingestellt hast, dass alle Kerne mitrechnen.
Zunächst mal Danke für die schnellen Antworten
Folgendes dazu:
@132692: Es handelt sich um einen Exchange Mail Server. Insofern sollte es ja möglich sein dass viele Bereiche gleich bleiben und somit rsync effektiv arbeiten kann. Bisher jedoch mache ich eine Windows Server Sicherung (erzeugt ja auch VHD Dateien) zwecks Konsistenz der Exchange Datenbank. MIt diesen Dateien ist es mir nicht gelungen durch rsync eine optimierte Übertragung zu erreichen, d.h. rsync hat immer alles neu übertragen.
Ich nutze VMWare in der freien Version, aber ich werde mal testen inwieweit ich meine VMWare Files des Servers per rsync sichern kann (Bitlocker brauche ich zum internen testen ja erstmal nicht)
@H41mSh1C0R:
Habe diverse Tests gemacht mit "-mx=1, 3, 5, 7". Zeit schwankt immer zwischen 105 und 130 min, Größe zwischen 58 und 62 GB. Nutze 7/8 Cores damit das System nebenbei den Mailserver bedienen kann. Nutze diesen Befehl:
7z.exe a -r -t7z -pPASSWORT -mx=3 -mmt=7 -m0=lzma2:d512m -ms=on -mhe y:\test.7z "x:\WindowsImageBackup\*.*"
Der Raid hat mit LZ4 für dieses File Werte von >500 MB / sek
System hat 32 GB Ram (deshalb max Dictionary Size von 512 MB). Laufwerk X: Ist Raid 10, Laufwerk Y: ist ne einzelne SSD nur für diesen Server
Über eine Grafikkarte habe ich auch nachgedacht, aber wahrscheinlich wird die in Server System (windows 2008 r2) UND auf VMWare eh nicht korrekt unterstützt oder?
@DerWoWusste:
habe LZ4 getestet, da braucht das ganze knapp 3 Minuten (statt 120min), schafft aber nur ca 120 GB. Das ist jedoch deutlich über dem was ich jede Nacht mit meiner Leitung hochladen könnte
Folgendes dazu:
@132692: Es handelt sich um einen Exchange Mail Server. Insofern sollte es ja möglich sein dass viele Bereiche gleich bleiben und somit rsync effektiv arbeiten kann. Bisher jedoch mache ich eine Windows Server Sicherung (erzeugt ja auch VHD Dateien) zwecks Konsistenz der Exchange Datenbank. MIt diesen Dateien ist es mir nicht gelungen durch rsync eine optimierte Übertragung zu erreichen, d.h. rsync hat immer alles neu übertragen.
Ich nutze VMWare in der freien Version, aber ich werde mal testen inwieweit ich meine VMWare Files des Servers per rsync sichern kann (Bitlocker brauche ich zum internen testen ja erstmal nicht)
@H41mSh1C0R:
Habe diverse Tests gemacht mit "-mx=1, 3, 5, 7". Zeit schwankt immer zwischen 105 und 130 min, Größe zwischen 58 und 62 GB. Nutze 7/8 Cores damit das System nebenbei den Mailserver bedienen kann. Nutze diesen Befehl:
7z.exe a -r -t7z -pPASSWORT -mx=3 -mmt=7 -m0=lzma2:d512m -ms=on -mhe y:\test.7z "x:\WindowsImageBackup\*.*"
Der Raid hat mit LZ4 für dieses File Werte von >500 MB / sek
System hat 32 GB Ram (deshalb max Dictionary Size von 512 MB). Laufwerk X: Ist Raid 10, Laufwerk Y: ist ne einzelne SSD nur für diesen Server
Über eine Grafikkarte habe ich auch nachgedacht, aber wahrscheinlich wird die in Server System (windows 2008 r2) UND auf VMWare eh nicht korrekt unterstützt oder?
@DerWoWusste:
habe LZ4 getestet, da braucht das ganze knapp 3 Minuten (statt 120min), schafft aber nur ca 120 GB. Das ist jedoch deutlich über dem was ich jede Nacht mit meiner Leitung hochladen könnte
habe LZ4 getestet...
Das hattest Du beschrieben. Ich habe etwas anderes geraten: keinen anderen Algorithmus, sondern eine andere Kompressionsstärke zu nutzen.
Sers,
Wenn du das Windows Backup verwendest, dann sichere doch auf statt auf eine Freigabe auf eine eigene virtuelle Festplatte oder ein iSCSI Target, und synchronisiere dieses mittels rsync.
Windows (Server) Backup macht bei Sicherungen auf Freigaben stets eine Vollsicherung, was zu deinem Problem führt.
Grüße,
Philip
Wenn du das Windows Backup verwendest, dann sichere doch auf statt auf eine Freigabe auf eine eigene virtuelle Festplatte oder ein iSCSI Target, und synchronisiere dieses mittels rsync.
Windows (Server) Backup macht bei Sicherungen auf Freigaben stets eine Vollsicherung, was zu deinem Problem führt.
Grüße,
Philip
@DerWoWusste:
Ich habe 7z (in der kommandozeile) mit den Kompressionsstufen 1 ("fastest"), 3 ("fast"), 5 ("normal") und 7 ("ultra" oder so) getestet. Der Unterschied sowohl in Größe (zwischen 58 und 62 GB) sowie Zeit (zwischen 105 und 130 min) war leider nicht wirklich nennenswert
@psannz:
Ich habe zum Testen für Rsync mehrere Windows-Backups auf eine lokale Platte machen lassen damit ich nicht jedesmal ein Vollbackup bekomme. Das hätte ich vielleicht erwähnen sollen.
Dennoch erscheint mir die Idee mit der eigenen Platte gar nicht so schlecht, das werde ich mal genauer überdenken.
Theoretisch müsste doch folgender Ansatz klappen:
1) Dem Server eine neue virtuelle Platte hinzufügen
2) Diese Platte mit Bitlocker verschlüsseln
3) Auf diese die tägliche Sicherungen machen (wobei dann spät. alle 14 Tage die Vollsicherung durch Windows passiert, aber das lässt sich ja m.W. überhaupt nicht beeinflussen)
4) Das VHD File aus der VMWare (welches die virtuelle Platte darstellt) per rsync effizient (d.h. nur geänderte Blöcke) sichern lassen
War das so gemeint?
Ich habe 7z (in der kommandozeile) mit den Kompressionsstufen 1 ("fastest"), 3 ("fast"), 5 ("normal") und 7 ("ultra" oder so) getestet. Der Unterschied sowohl in Größe (zwischen 58 und 62 GB) sowie Zeit (zwischen 105 und 130 min) war leider nicht wirklich nennenswert
@psannz:
Ich habe zum Testen für Rsync mehrere Windows-Backups auf eine lokale Platte machen lassen damit ich nicht jedesmal ein Vollbackup bekomme. Das hätte ich vielleicht erwähnen sollen.
Dennoch erscheint mir die Idee mit der eigenen Platte gar nicht so schlecht, das werde ich mal genauer überdenken.
Theoretisch müsste doch folgender Ansatz klappen:
1) Dem Server eine neue virtuelle Platte hinzufügen
2) Diese Platte mit Bitlocker verschlüsseln
3) Auf diese die tägliche Sicherungen machen (wobei dann spät. alle 14 Tage die Vollsicherung durch Windows passiert, aber das lässt sich ja m.W. überhaupt nicht beeinflussen)
4) Das VHD File aus der VMWare (welches die virtuelle Platte darstellt) per rsync effizient (d.h. nur geänderte Blöcke) sichern lassen
War das so gemeint?
Einen habe ich noch: Du hast noch nicht beantwortet, ob Du alle 8 Cores rechnen lässt. Ich habe erst heute morgen eine 20-GB-VHDX-Datei in etwa 15 Minuten auf 7,5 gezippt - wohlgemerkt mit 2 Cores
In der Antwort an @H41mSh1C0R habe ich geschrieben, dass ich 7/8 Cores nutze 
Und 7,5/20 ist 37,5 Prozent in 15 Minuten
Das ganze hochgerechnet ist 60/160 in 120 Minuten. Und das ist so ziemlich genau das was ich in meinen Tests auch hatte. Sieht also so aus als ob mein PC ähnlich effizient arbeitet wie deiner ^^
Das ganze hochgerechnet ist 60/160 in 120 Minuten. Und das ist so ziemlich genau das was ich in meinen Tests auch hatte. Sieht also so aus als ob mein PC ähnlich effizient arbeitet wie deiner ^^
Angeblich - habe ich mehrfach gelesen aber keine zitierfähige Quelle gefunden - rechnet 7z mit mehr als 2 Cores eh nicht viel besser... D.h. am besten nutzt man eh max 3 Cores
Ok, wie wäre es mit einem anderen Imageprogramm? Drive snapshot: http://www.drivesnapshot.de/en/snapshot_vss.htm kann auch Exchange im laufenden Betrieb sichern und ist günstig (39€ auf Workstation, 89 auf Servern) und braucht nicht einmal eine Installation - vollwertige Trial eben dort.
Kompression: ca. auf 60% der Originaldatenmenge, also ca 96 GB, wobei man davon noch die Pagefilegröße abziehen kann, die evtl. groß ist.Es arbeitet sehr schnell.
Kompression: ca. auf 60% der Originaldatenmenge, also ca 96 GB, wobei man davon noch die Pagefilegröße abziehen kann, die evtl. groß ist.Es arbeitet sehr schnell.
Hallo,
und schnellere Latenz, die sind für das Netzwerk ebenso geeignet wie für den lokalen Einsatz.
Hier mal die Links zu den Karten und dann einfach dort einmal anfragen und Dein Problem oder Wünsche äußern!
Kompression
um Daten zu packen und nutzen bzw. unterstützen Zlib und GZip auf Linux und Windows basierenden CPs und Servern. Klar sollte
der Packer oder das Programm dann auch auf diese zurückgreifen oder sie benutzen!!! Und wenn die Daten von einem Gerät auf
ein anderes Gerät kopiert bzw. gepackt werden sollen muss eventuell in jedem dieser beiden solch eine Karte eingebaut werden.
Zu dem Packen selber, es kommt auch immer auf die Daten an die gepackt werden müssen denn nicht alle Daten lassen sich gleich
gut packen und komprimieren.
Gruß
Dobby
Gibt es eine Addon-Karte oder etwas ähnliches, um hier die CPU zu entlasten und den Vorgang zu beschleunigen?
Klar von Contech AHA die haben alles was Du brauchst, Karten zum Verschlüsseln, Komprimieren und für eine bessereund schnellere Latenz, die sind für das Netzwerk ebenso geeignet wie für den lokalen Einsatz.
Hier mal die Links zu den Karten und dann einfach dort einmal anfragen und Dein Problem oder Wünsche äußern!
Kompression
für mein Backup ist es nötig dass ich täglich die Daten meiner Virtuellen Maschine (160gb VHD File) sichere und verschlüssele.
Also ob die Karten (PCIe) auch mit virtuellen Maschinen zusammen arbeiten weiß ich nicht, aber sie sind auch für SANs geeignetum Daten zu packen und nutzen bzw. unterstützen Zlib und GZip auf Linux und Windows basierenden CPs und Servern. Klar sollte
der Packer oder das Programm dann auch auf diese zurückgreifen oder sie benutzen!!! Und wenn die Daten von einem Gerät auf
ein anderes Gerät kopiert bzw. gepackt werden sollen muss eventuell in jedem dieser beiden solch eine Karte eingebaut werden.
Zu dem Packen selber, es kommt auch immer auf die Daten an die gepackt werden müssen denn nicht alle Daten lassen sich gleich
gut packen und komprimieren.
Gruß
Dobby
Was ich mich bei dem ganzen hier frage: Was für CPUs bzw generell welche Sys Umgebung hast du denn in der Mache? Quad mit HT gibt es schliesslich schon ne Ecke und da gibt es kleine Unterschied
@DerWoWusste:
Ich werde mir das Drive snapshot mal anschauen, danke für den Tipp
@108012:
Habe dort angefragt, mal schauen was die mir dazu sagen. Hatte die Karten zwar vorher schon entdeckt aber war nicht davon ausgegangen dass die auch "nicht Netzwerk" unterstützen. Mal schauen
@certifiedit.net:
Habe 2 Xeon CPU E5-2620 v4 @ 2.10GHz mit jeweils 8 Cores + HT, also 32 insgesamt. Auf Grund von der freien ESXi Version kann ich aber nur 8 Cores pro VM zuweisen. Und davon habe ich für die Tests bisher immer 7 benutzt. Ach so, da wir selten Spitzenlast auf den Servern haben habe ich ne Version mit nicht so hoher Taktung gewählt. Ist für diesen einen Fall nicht ideal, aber so hohe Leistung wird ansonsten nicht gebraucht.
Ich werde mir das Drive snapshot mal anschauen, danke für den Tipp
@108012:
Habe dort angefragt, mal schauen was die mir dazu sagen. Hatte die Karten zwar vorher schon entdeckt aber war nicht davon ausgegangen dass die auch "nicht Netzwerk" unterstützen. Mal schauen
@certifiedit.net:
Habe 2 Xeon CPU E5-2620 v4 @ 2.10GHz mit jeweils 8 Cores + HT, also 32 insgesamt. Auf Grund von der freien ESXi Version kann ich aber nur 8 Cores pro VM zuweisen. Und davon habe ich für die Tests bisher immer 7 benutzt. Ach so, da wir selten Spitzenlast auf den Servern haben habe ich ne Version mit nicht so hoher Taktung gewählt. Ist für diesen einen Fall nicht ideal, aber so hohe Leistung wird ansonsten nicht gebraucht.
