Große Dateien übers Internet übertragen - mit welchen Tools?
Ich würde gerne zwischen zwei Standorten hin und wieder relativ große Dateien über das Internet übertragen.
Die Dateien sind sehr groß - 30-50gb keine Seltenheit, teilweise aber 500 oder sogar 800gb am Stück.
Ich suche eine Tool (idealerweise Freeware natürlich), welches
- mit so großen Dateien umgehen kann
- eine Bandbreitenlimitierung (am besten mit Zeitfenstern) unterstützt
- die übertragenen Daten auf Validität überprüft (z.B. durch blockweises übertragen mit Checksummen)
- stabil genug ist um diese extrem langen Übertragungszeiten zu verkraften
Ich habe auch schon diverse Sachen ausprobiert (klassisches FTP, DFS, rsync, ein paar File-Sync-Tools) aber spätestens mit den ganz großen Dateien kommen alle bisher getesteten Varianten nicht wirklich klar (oder ich war zu doof zum einrichten ).
Kennt da jemand eine Möglichkeit für diese extremen Datenmengen?
Danke schon mal vorab
Die Dateien sind sehr groß - 30-50gb keine Seltenheit, teilweise aber 500 oder sogar 800gb am Stück.
Ich suche eine Tool (idealerweise Freeware natürlich), welches
- mit so großen Dateien umgehen kann
- eine Bandbreitenlimitierung (am besten mit Zeitfenstern) unterstützt
- die übertragenen Daten auf Validität überprüft (z.B. durch blockweises übertragen mit Checksummen)
- stabil genug ist um diese extrem langen Übertragungszeiten zu verkraften
Ich habe auch schon diverse Sachen ausprobiert (klassisches FTP, DFS, rsync, ein paar File-Sync-Tools) aber spätestens mit den ganz großen Dateien kommen alle bisher getesteten Varianten nicht wirklich klar (oder ich war zu doof zum einrichten ).
Kennt da jemand eine Möglichkeit für diese extremen Datenmengen?
Danke schon mal vorab
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 227920
Url: https://administrator.de/contentid/227920
Ausgedruckt am: 23.11.2024 um 09:11 Uhr
8 Kommentare
Neuester Kommentar
Moin,
ich weiß ja nicht, was eure Internetleitung her gibt, aber ich schätze eine externe Festplatte mit Hardwareverschlüsselung und der gute alte Paketversand ist vermutlich schneller und einfacher.
Ist vielleicht DIE Lösung aber es ist wahrscheinlich einfacher und schneller als alles über das Netzwerk zu schieben.
Gruß
Chris
ich weiß ja nicht, was eure Internetleitung her gibt, aber ich schätze eine externe Festplatte mit Hardwareverschlüsselung und der gute alte Paketversand ist vermutlich schneller und einfacher.
Ist vielleicht DIE Lösung aber es ist wahrscheinlich einfacher und schneller als alles über das Netzwerk zu schieben.
Gruß
Chris
Hallo,
du hast leider nicht erklärt was denn mit FTP,rsync etc. nicht funktioniert hat. Ich würde vermuten das die schlichte Dauer der TCP Verbindung ein Problem ist, da alle Fehler zwischen euch und dem Ziel zu einem Abbruch führen können. Dieses Problem wirst du nur durch ein Tool lösen können welches eine effiziente Neustart Option bietet. Mein Vorschlag wäre rsync + scripting und folgende Parameter beachten
--bwlimit
--timeout
--compress
--partial
--inplace
Das Scripting wird benötigt um einen Neustart automatisch auszuführen und eine Benachrichtigung am Ende zu verschicken. Ansonsten doch mal die Liefergeschwindigkeit von Festplatten prüfen
Gruß
Andi
du hast leider nicht erklärt was denn mit FTP,rsync etc. nicht funktioniert hat. Ich würde vermuten das die schlichte Dauer der TCP Verbindung ein Problem ist, da alle Fehler zwischen euch und dem Ziel zu einem Abbruch führen können. Dieses Problem wirst du nur durch ein Tool lösen können welches eine effiziente Neustart Option bietet. Mein Vorschlag wäre rsync + scripting und folgende Parameter beachten
--bwlimit
--timeout
--compress
--partial
--inplace
Das Scripting wird benötigt um einen Neustart automatisch auszuführen und eine Benachrichtigung am Ende zu verschicken. Ansonsten doch mal die Liefergeschwindigkeit von Festplatten prüfen
Gruß
Andi
Genau so werden aber auch große Datensätze zwischen Datenzentren ausgetauscht. (Gut, die haben 10G-Anbindung, da sind die "Datensätze" dann im Tera-Petabyte-Bereich).
Ich gehe davon aus, dass an beiden Standorten maximal eine 100Mb/s-Anbindung vorhanden ist? Um die Leitung nicht zu blockieren musst du also auf etwa 50MB/s drosseln. Da dauern 500GB dann schon theoretisch über etwas 11 Stunden. Ausserdem wird es dir nicht möglich sein. Overhead zu vermeiden, weshalb du eher mit 13-14 Stunden rechnen musst.
Das liegt dann aber auch ausserhalb jedes vernünftigen Zeitfensters, da du auf alle Fälle in die Arbeitszeit kommst. Ausser, du machst es am Wochenende.
Nimm lieber den Transporter. Wenn der weg nicht all zu weit ist, kann man ja auch einen Kurier damit beauftragen, dann hast du auch noch eine höhere Datenübertragungsrate.
Gruß,
@Snowman25
Hi!
muss das kostenlos sein?
sonst ev. mit einem WAN-Optimizer: WAN Beschleuniger
Kommt halt auch auf die Art der Daten an.
oder per Torrent - sicher nicht die schnellste Methode, aber robust...
sg Dirm
muss das kostenlos sein?
sonst ev. mit einem WAN-Optimizer: WAN Beschleuniger
Kommt halt auch auf die Art der Daten an.
oder per Torrent - sicher nicht die schnellste Methode, aber robust...
sg Dirm