Tool zur Dateiübertragung bei VPN-Verbindung
Hallo,
wir sind gerade auf eine Firewall samt VPN-Zugänge der Firma Watchguard umgestiegen. Für die seltenen Zugriffe auf das Firmennetzwerk haben wir vorher TeamViewer genutzt, was nun abgelöst werden soll.
Leider mussten wir festestellen, dass der Dateiaustausch mittels VPN über die Zwischenablage deutlich langsamer als die Dateiübertragung per TeamViewer ist.
Als Vergleich, Dateiaustausch einer 2,9 GB großen Dateiordners mit 168 Dateien
TeamViewer: knapp über 10 Minuten
VPN und Zwischenablage: ca. 27,5 Minuten
Der Dateitransfer dauert also mehr als 2,5x so lange. Und leider sind unsere Projekte die wir so übertragen wollen in der Größenordnung von 100 GB
Kennt jemand ein Tool für einen schnelleren Dateitransfer aus der VPN-Verbindung heraus? RoboCopy? ...
wir sind gerade auf eine Firewall samt VPN-Zugänge der Firma Watchguard umgestiegen. Für die seltenen Zugriffe auf das Firmennetzwerk haben wir vorher TeamViewer genutzt, was nun abgelöst werden soll.
Leider mussten wir festestellen, dass der Dateiaustausch mittels VPN über die Zwischenablage deutlich langsamer als die Dateiübertragung per TeamViewer ist.
Als Vergleich, Dateiaustausch einer 2,9 GB großen Dateiordners mit 168 Dateien
TeamViewer: knapp über 10 Minuten
VPN und Zwischenablage: ca. 27,5 Minuten
Der Dateitransfer dauert also mehr als 2,5x so lange. Und leider sind unsere Projekte die wir so übertragen wollen in der Größenordnung von 100 GB
Kennt jemand ein Tool für einen schnelleren Dateitransfer aus der VPN-Verbindung heraus? RoboCopy? ...
Please also mark the comments that contributed to the solution of the article
Content-ID: 41667209799
Url: https://administrator.de/contentid/41667209799
Printed on: September 1, 2024 at 08:09 o'clock
27 Comments
Latest comment
Moin,
Welches VPN? IPsec oder SSL? Wenn es SSL ist, dann stellt um auf IPsec.
Das ist eine gute Idee.
Über die Zwischenablage heißt was? STRG-C im Explorer und STRG-V im Explorer?
Total Commander.
Liebe Grüße
Erik
Zitat von @Gloem:
wir sind gerade auf eine Firewall samt VPN-Zugänge der Firma Watchguard umgestiegen.
wir sind gerade auf eine Firewall samt VPN-Zugänge der Firma Watchguard umgestiegen.
Welches VPN? IPsec oder SSL? Wenn es SSL ist, dann stellt um auf IPsec.
Für die seltenen Zugriffe auf das Firmennetzwerk haben wir vorher TeamViewer genutzt, was nun abgelöst werden soll.
Das ist eine gute Idee.
Leider mussten wir festestellen, dass der Dateiaustausch mittels VPN über die Zwischenablage deutlich langsamer als die Dateiübertragung per TeamViewer ist.
Über die Zwischenablage heißt was? STRG-C im Explorer und STRG-V im Explorer?
Kennt jemand ein Tool für einen schnelleren Dateitransfer aus der VPN-Verbindung heraus? RoboCopy? ...
Total Commander.
Liebe Grüße
Erik
Zitat von @Gloem:
Danke für die schnelle Antwort.
Aber dann muss ich die Dateien erst auf den FTP hochladen und hinterher auch wieder runterladen.
Danke für die schnelle Antwort.
Aber dann muss ich die Dateien erst auf den FTP hochladen und hinterher auch wieder runterladen.
Das stimmt so nicht , intern kann der FTP Server mit seinen Verzeichnissen ein Fileserver sein und normal benutzt werden wie jeder andere File Server.
Ist halt ein FTP drauf der das ganze von aussen zugreifbar macht, je nach account auf ein bestimmtes Verzeichnis halt.
Somit der wo Extern hockt verbindet sich per FTP und lädt daten runter oder wieder hoch (stichwort TeamViewer war wohl nicht anders).
Die wo intern sind arbeiten auf nem normalen Fileserver Share.
Risiko Nutzen Abwägung müsst ihr entscheiden.
Bedeutet der FTP Server ist logischer weise nicht durchs VPN erreichbar sondern wird direkt durch die Firewall genatet... crush FTP so als Produkt mal. hat man auch gleich ne https seite wo man per drag an drop auch daten hoch und runter laden kann...
empfehlenswert dann natürlich sFTP, wenn man schon damit anfängt.
Auch FTP kann man ja durch VPN tunneln und auch die Erreichbarkeit auf VPN beschränken, das würde ich empfehlen. FTP ist halt erstmal eine Alternative zu SMB, wobei auch SMB so nicht schlecht sein muss. +1 daher für einen Test mit Total Commander, ich verstehe noch nicht wie der OP bisher kopiert. Im Windows-Datei-Explorer?
Wo jetzt die Geschwindigkeit verloren geht, ist nicht ganz klar. Da würde ich aber auch weniger den SMB Client vermuten sondern die verwendete Technik im VPN. Siehe Hinweise zu IKEv, SSL oder IPsec und die MTU. Da wird vermutlich der große Unterschied zu Teamviewer herkommen, der verwendete SMB Client hat vermutlich nur geringen Anteil.
Wo jetzt die Geschwindigkeit verloren geht, ist nicht ganz klar. Da würde ich aber auch weniger den SMB Client vermuten sondern die verwendete Technik im VPN. Siehe Hinweise zu IKEv, SSL oder IPsec und die MTU. Da wird vermutlich der große Unterschied zu Teamviewer herkommen, der verwendete SMB Client hat vermutlich nur geringen Anteil.
Problem ist halt das das mit dem SSL VPN halt nunmal so ist...
Und man nicht viel dran drehen können wird.
Daher muss man schon was anderes suchen.
FTP über VPN wird denke ich nichts bringen weil geht ja dann durch den selben Kanal...
Bedeutet der VPN Tunnel ist das Problem und egal welches Paket du reinquetscht es wird immer Eng![face-smile face-smile](/images/icons/fa/light/face-smile.svg)
Und man nicht viel dran drehen können wird.
Daher muss man schon was anderes suchen.
FTP über VPN wird denke ich nichts bringen weil geht ja dann durch den selben Kanal...
Bedeutet der VPN Tunnel ist das Problem und egal welches Paket du reinquetscht es wird immer Eng
Zitat von @Gloem:
Zur Geschwindigkeit: 1000er-Leitung von Kabel Deutschland und VDSL Telekom mit 200 sowie LTE als Reserve. Glasfaser ist seit 03/2020 beauftragt. Da sitzt zwar zwar mittlerweile endlich die Box aber die zeigt seit Monaten ne Störung an. Ist hat nordischNet.
Zur Geschwindigkeit: 1000er-Leitung von Kabel Deutschland und VDSL Telekom mit 200 sowie LTE als Reserve. Glasfaser ist seit 03/2020 beauftragt. Da sitzt zwar zwar mittlerweile endlich die Box aber die zeigt seit Monaten ne Störung an. Ist hat nordischNet.
Nabend.
Von wo wird denn nach wo übertragen?
Oder ist das bidrektional gewünscht?
Neben den Anmerkungen zum VPN Protokoll ist natürlich massiv interessant was für eine Internetleitung das genau ist.
Ist das irgendein Konsumententarif mit 1.000 Mbit/s Downstream und 50 Mbit/s Upstream? Oder ein symmetrischer Business Anschluss?
Wenn die Anforderung ist, dass du 100 GB übers VPN übertragen musst, dann muss auf beiden Seiten mächtig Dampf hinter den Leitungen sein, das schnellste VPN Protokoll zum Einsatzkommen und die Firewalls auf beiden Seiten müssen starke Kisten sein.
Warum werden die Daten überhaupt übers Internet gejuckelt?
Wäre es nicht sinnvoller auf RDS Servern mit eventuell CAD Grafikkarte(n) zu arbeiten?
Sind das CAD / Grafik / Video Projekte oder welcher Art Daten gilt es zu übertragen?
Werden die bisher lokal auf der Arbeit auf die Endgeräte gezogen, daheim bearbeitet und dann von dort aus wieder übertragen?
Gruß
Marc
Zitat von @Gloem:
Zur Geschwindigkeit: 1000er-Leitung von Kabel Deutschland und VDSL Telekom mit 200 sowie LTE als Reserve.
Zur Geschwindigkeit: 1000er-Leitung von Kabel Deutschland und VDSL Telekom mit 200 sowie LTE als Reserve.
Der 1000er Anschluss von Vodafone hat 50 MBit/s Upload. Damit bekommst du maximal knappe 21 GB pro Stunde vom Client zum Server übertragen. Und da ist der VPN-Overhead noch nicht abgezogen.
Welchen Upload die Telekom bei dem Vertrag hat weiß ich nicht. Vermutlich aber in ähnlicher Größenordnung.
FTP ist zwar besser als SMB. Aber auch FTP macht aus 50 MBit keine 100 MBit im Upload.
Per VPN ist der Upload ins Büro aber manchmal noch nicht fertig wenn es morgens weitergehen soll.
Wie genau wird denn kopiert? Mit STRG-V und dann in der RDS-Session StRG-V? Oder aus dem über RDP durchgeschleiften lokalen Laufwerk (Laufwerk D auf ...)? Oder klassisch über SMB auf eine Freigabe?
Die beiden ersten sind meiner Erfahrung nach das langsamste was es gibt.
Über eine Freigabe mit dem Windows-Explorer ist in der Größenordnung auch lahm. Robocopy ist da deutlich schneller.
Manuel
Wie schön beschrieben, haben wir aktuell eine 1000er Leitung von Kabel Deutschland, die aber leider asynchron ist. Der Glasfaseranschluss lässt seit über 4 Jahren auf sich warten.
Das primäre Problem ist ja auch nicht der Download eures Standortes, sondern der Upload eurer Mitarbeitenden.
Es wäre deutlich sinnvoller die Drohnendaten im Büro zu übertragen.
Wenn das unpraktikabel ist, dann müssen den Mitarbeitern bessere Internetleitungen zur Verfügung gestellt werden.
Die obenstehenden Tipps bezüglich VPN Protokoll und anderen Optimierungen sollten umgesetzt sein.
Falls das alles nicht möglich ist, würde ich mal testen eine eigene Rustdesk Instanz in der Firma aufzubauen.
Ist eine Opensource Alternative zu Teamviewer und lässt zum Einen Lizenzkosten wegfallen und eleminiert den Mittelsmann, welcher euren Traffic mitschneiden könnte.
Einziger Nachteil von Rustdesk, dass im Standard nicht auf Port 443 gearbeitet wird, sondern auf der Port Range 21115 - 21119.
Wäre mir persönlich immer noch lieber als der Einsatz von Teamviewer.
Gruß
Marc
Watchguard hat ja auch eine IPsec VPN.
Was sagt Watchguard denn zu eurer Problematik?
Was sagt Watchguard denn zu eurer Problematik?
![13910172396](/images/members/profile_male_48x48.png)
RoboCopy und TotalCommander probiere ich heute Abend aus.
Robocopy aber bitte mit Parameter /j, das verhindert das Buffering der Dateien, und ist eine Schwachstelle des Explorers welche Transfers erheblich verlangsamt und damit umgangen wird.
Teamviewer komprimiert bei der Übertragung on the fly und sendet in in mehreren Chunks parallel, das ist allesamt effizienter als die Methode des Explorers über RDS.
Ich würde auch rsync in Betracht ziehen.
Aber vorher mal mit Wireshark auf die Leitung schauen ob es starke Fragmentierung bei den Übertragungen gibt.
Wenn ja dann als erstes sicherstellen das ICMP über das VPN durchgehend bis zur Workstation im Büro übertragen wird damit die PMTU Ermittlung der TCP Verbindung funktioniert.
Gruß strods
Zitat von @ThePinky777:
Problem ist halt das das mit dem SSL VPN halt nunmal so ist...
Und man nicht viel dran drehen können wird.
Problem ist halt das das mit dem SSL VPN halt nunmal so ist...
Und man nicht viel dran drehen können wird.
Das ist falsch. Die Watchguard bietet auch die Möglichkeit, VPN via IPsec zu realisieren.
https://www.watchguard.com/help/docs/help-center/en-US/Content/en-US/Fir ...
Moin,
Werden die Daten vor der Übertragung komprimiert? Wenn nicht, dann solltet Ihr das tun.![face-wink face-wink](/images/icons/fa/light/face-laugh-wink.svg)
Wie die Kollegen schon sagten, Ihr braucht für eine schnelle Übertragung auf beiden Seiten eine schnelle synchrone Leitung. Naja, wir sind in Deutschland ...
Liebe Grüße
Erik
Zitat von @Gloem:
Es handelt sich hauptsächlich um Daten die mit einer professionellen Vermessungsdrohne erfasst werden.
Es handelt sich hauptsächlich um Daten die mit einer professionellen Vermessungsdrohne erfasst werden.
Werden die Daten vor der Übertragung komprimiert? Wenn nicht, dann solltet Ihr das tun.
Die Kollegen fliegen ein Projekt und übertragen die Daten über Nacht ins Büro. Am nächsten Morgen startet er die Auswertung über vpn auf seinem PC im Büro, die dann über den ganzen Tag läuft. Während der PC rechnet fährt der Kollege zum nächsten Projekt und befliegt dieses und dann geht es von vorne los.
Wie die Kollegen schon sagten, Ihr braucht für eine schnelle Übertragung auf beiden Seiten eine schnelle synchrone Leitung. Naja, wir sind in Deutschland ...
Liebe Grüße
Erik
Zitat von @erikro:
Das ist falsch. Die Watchguard bietet auch die Möglichkeit, VPN via IPsec zu realisieren.
https://www.watchguard.com/help/docs/help-center/en-US/Content/en-US/Fir ...
Zitat von @ThePinky777:
Problem ist halt das das mit dem SSL VPN halt nunmal so ist...
Und man nicht viel dran drehen können wird.
Problem ist halt das das mit dem SSL VPN halt nunmal so ist...
Und man nicht viel dran drehen können wird.
Das ist falsch. Die Watchguard bietet auch die Möglichkeit, VPN via IPsec zu realisieren.
https://www.watchguard.com/help/docs/help-center/en-US/Content/en-US/Fir ...
Sie setzen aber SSL VPN ein und im CLient Bereich ist das ja auch normal.
IPSEC wird meist eher dann bei Sito to Site VPN eingesetzt.
Hat immer alles vor und nachteiler nichtwahr.
und unter uns ich kenne keine Firewall die kein IPSEC kann ist also nix besonderes.
zurückkehrend auf die aktuelle konfig dort:
Problem ist halt das das mit dem SSL VPN halt nunmal so ist.
Und das FTP aktuell über SSL VPN keinen sinn macht.
aber auch mit den Internetleitungen....
bei max 50 Mbit Upload speed (client seite) 100 GB transferieren ist halt schon sportlich....
Und wie man gehört hat wendet teamviewer hier also packer technik an und komprimiert...
da wäre zu überlegen ob man nicht versucht die 100 GB zu splitten in sagen wir 5 GB Grösse
anschliessend jeweis die 5GB komprimieren per script oder waht ever in rar oder zip
und hochladen, während des hochladens das nächste paket komprimieren und der reihe nach....
würde zwar am anfang paar minuten nix hochlanden beim ersten komprimieren, aber in summe würde es dann wohl schneller gehen. und auf empfang seite jeweils beim empfang eines fertigen pakets entsprechend wieder entpacken.
ist halt schon ein wenig komplex so was zu scripten, aber machbar.
KURZFASSUNG, bringt es was das zeug zu packen? ist es dann bedeutend kleiner?
Wenn ja, wäre das auch nochmal ein ansatz.
Moin,
Naja, normal würde ich das nicht nennen.
Wir haben z. B. vor ca. zwei Jahren von TLS auf IPsec umgestellt. Das ist eher eine grundsätzliche Entscheidung, die die Administration trifft. Ich würde immer auf IPsec setzen.
Das habe ich auch nicht behauptet.![face-wink face-wink](/images/icons/fa/light/face-laugh-wink.svg)
Und wenn das Probleme bereitet, dann stellt man das halt um.
Die Frage wäre hier eher, ob der TO das durchsetzen kann.
Nachdem uns der TO verraten hat, dass es sich um Geodaten handelt, gehe ich mal stark davon aus, dass die Daten sehr gut komprimierbar sind. Das würde, wie Du ja richtig sagst, erklären, warum der TV so schnell ist.
Liebe Grüße
Erik
Naja, normal würde ich das nicht nennen.
und unter uns ich kenne keine Firewall die kein IPSEC kann ist also nix besonderes.
Das habe ich auch nicht behauptet.
zurückkehrend auf die aktuelle konfig dort:
Problem ist halt das das mit dem SSL VPN halt nunmal so ist.
Problem ist halt das das mit dem SSL VPN halt nunmal so ist.
Und wenn das Probleme bereitet, dann stellt man das halt um.
KURZFASSUNG, bringt es was das zeug zu packen? ist es dann bedeutend kleiner?
Nachdem uns der TO verraten hat, dass es sich um Geodaten handelt, gehe ich mal stark davon aus, dass die Daten sehr gut komprimierbar sind. Das würde, wie Du ja richtig sagst, erklären, warum der TV so schnell ist.
Liebe Grüße
Erik
Zitat von @erikro:
KURZFASSUNG, bringt es was das zeug zu packen? ist es dann bedeutend kleiner?
Nachdem uns der TO verraten hat, dass es sich um Geodaten handelt, gehe ich mal stark davon aus, dass die Daten sehr gut komprimierbar sind. Das würde, wie Du ja richtig sagst, erklären, warum der TV so schnell ist.Die "Geodaten" sind im wesentlichen massenhaft hochauflösende Bilder und ein paar Dateien die Flugplan und -daten enthalten. Vermessungsdaten werden daraus erst wenn dann im Büro aus den Einzelbildern das Orthofoto und die Punktwolke berechnet werden.
Ich habe mir mal eben bei uns 100 Bilder aus der Befliegung eines beliebigen Projekts besorgt und mit ZIP und 7Zip komprimiert. Da kommt nicht viel bei rum. Beide brauchen etwa 5 Minuten und erreichen eine Kompression von knapp 1%. Das lohnt den Aufwand nicht.
Ordnergröße (mit 100 Bildern):
![screenshot_20240809_095045 - 4eb7759dab64434de9a5c70c0f2f2619 screenshot_20240809_095045](/images/c/2024/08/09/4eb7759dab64434de9a5c70c0f2f2619.jpg)
nach dem packen:
Manuel
Die Richtung des Transfers ist hier im Grunde egal, da ich zuhause mit einem asynchronen Glasfaseranschluss angeschlossen bin und das Büro mit einem asynchronen 1000er-Zugang über KabelDeutschland.
Du meinst asymmetrisch!
Das Büro ist mit dem 1000er Anschluss von Vodafone ausgestattet?! Ich glaube bisher sind alle davon ausgegangen das Home-Office mit dem Vodafone-Anschluss läuft.
Dann ist das Büro bzw. die Firma eingehend eigentlich mit 1.000 MBit ausgestattet. Der Upload von der Firma aus ist in dem Zusammenhang relativ irrelevant.
Wenn alles nichts hilft lade den Kram doch einfach in einen (eigenen) Cloud-Service bspw Nextcloud, Owncloud, Seafile und lade sie im Büro von dort runter. Das sollte mit 1 GB/s ja fix gehen.
Manuel
Hallo,
wir benutzen bei uns Nextcloud intern gehostet. Man benötigt kein VPN sondern legt die zu synchronisierenden Dateien einfach in den entsprechenden Ordner auf dem lokalen Rechner und der Sync läuft los.
Die Bereitstelleung von Nextcloud erfordert natürlich eine gewisse Fachkenntnis, speziell wenn es darum geht Nextcloud im Internet zu publizieren und dort abzusichern!
Bislang gibt es mit dieser Lösung wenig Probleme mit der Ausnahme, dass das bearbeiten einer Datei durch mehrere Benutzer zur gleichen Zeit zu Problemen führen kann. Dies dürfte hier aber keine Rolle spielen wenn ich das richtig sehe.
Bei uns sind auch interne Shares über Nextcloud verfügbar so dass auch auf einen Fileserver zugegriffen werden kann.
Damit sind dorthin synchronisierte Daten für alle Kollegen welche Zugriff haben sowohl remote als auch im Office erreichbar.
Anstelle von Nextcloud gibt es natürlich auch andere, ähnlich arbeitende Dienste.
Ggf. kann der Sync über einen Provider ähnlich gut funktionieren. Die Daten müssen dann zunächst hoch und in der Firma wieder heruntergeladen werden. Dass kann natürlich genau so schnell funktionieren da jede Datei welche hochgeladen wurde automatisch auch auf den Rechner im Office übertragen würde.
Wenn der Rechner morgens eingeschaltet wird, würde er aber nach der Anmeldung erst beginnen die Daten zu synchronisieren. Das kann dann natürlich wieder etwas Zeit kosten.
Die Bandbreite des Internetanschlusses ist dann nur bedingt aussagefähig da es weitere Faktoren gibt welche die Übertragungsgschwingdigkeit End to End beeinflussen können. Schneller als die geringste Bandbreite ist aber je nach Übertragungsweg nicht möglich.
Vg
Hendrik
wir benutzen bei uns Nextcloud intern gehostet. Man benötigt kein VPN sondern legt die zu synchronisierenden Dateien einfach in den entsprechenden Ordner auf dem lokalen Rechner und der Sync läuft los.
Die Bereitstelleung von Nextcloud erfordert natürlich eine gewisse Fachkenntnis, speziell wenn es darum geht Nextcloud im Internet zu publizieren und dort abzusichern!
Bislang gibt es mit dieser Lösung wenig Probleme mit der Ausnahme, dass das bearbeiten einer Datei durch mehrere Benutzer zur gleichen Zeit zu Problemen führen kann. Dies dürfte hier aber keine Rolle spielen wenn ich das richtig sehe.
Bei uns sind auch interne Shares über Nextcloud verfügbar so dass auch auf einen Fileserver zugegriffen werden kann.
Damit sind dorthin synchronisierte Daten für alle Kollegen welche Zugriff haben sowohl remote als auch im Office erreichbar.
Anstelle von Nextcloud gibt es natürlich auch andere, ähnlich arbeitende Dienste.
Ggf. kann der Sync über einen Provider ähnlich gut funktionieren. Die Daten müssen dann zunächst hoch und in der Firma wieder heruntergeladen werden. Dass kann natürlich genau so schnell funktionieren da jede Datei welche hochgeladen wurde automatisch auch auf den Rechner im Office übertragen würde.
Wenn der Rechner morgens eingeschaltet wird, würde er aber nach der Anmeldung erst beginnen die Daten zu synchronisieren. Das kann dann natürlich wieder etwas Zeit kosten.
Die Bandbreite des Internetanschlusses ist dann nur bedingt aussagefähig da es weitere Faktoren gibt welche die Übertragungsgschwingdigkeit End to End beeinflussen können. Schneller als die geringste Bandbreite ist aber je nach Übertragungsweg nicht möglich.
Vg
Hendrik