Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Große Dateien übers Internet übertragen - mit welchen Tools?

Mitglied: hushpuppies

hushpuppies (Level 1) - Jetzt verbinden

28.01.2014 um 09:07 Uhr, 3052 Aufrufe, 8 Kommentare

Ich würde gerne zwischen zwei Standorten hin und wieder relativ große Dateien über das Internet übertragen.
Die Dateien sind sehr groß - 30-50gb keine Seltenheit, teilweise aber 500 oder sogar 800gb am Stück.

Ich suche eine Tool (idealerweise Freeware natürlich), welches
- mit so großen Dateien umgehen kann
- eine Bandbreitenlimitierung (am besten mit Zeitfenstern) unterstützt
- die übertragenen Daten auf Validität überprüft (z.B. durch blockweises übertragen mit Checksummen)
- stabil genug ist um diese extrem langen Übertragungszeiten zu verkraften

Ich habe auch schon diverse Sachen ausprobiert (klassisches FTP, DFS, rsync, ein paar File-Sync-Tools) aber spätestens mit den ganz großen Dateien kommen alle bisher getesteten Varianten nicht wirklich klar (oder ich war zu doof zum einrichten ).

Kennt da jemand eine Möglichkeit für diese extremen Datenmengen?

Danke schon mal vorab
Mitglied: Sheogorath
LÖSUNG 28.01.2014, aktualisiert um 10:51 Uhr
Moin,

ich weiß ja nicht, was eure Internetleitung her gibt, aber ich schätze eine externe Festplatte mit Hardwareverschlüsselung und der gute alte Paketversand ist vermutlich schneller und einfacher.

Ist vielleicht DIE Lösung aber es ist wahrscheinlich einfacher und schneller als alles über das Netzwerk zu schieben.

Gruß
Chris
Bitte warten ..
Mitglied: AndiEoh
LÖSUNG 28.01.2014, aktualisiert um 10:51 Uhr
Hallo,

du hast leider nicht erklärt was denn mit FTP,rsync etc. nicht funktioniert hat. Ich würde vermuten das die schlichte Dauer der TCP Verbindung ein Problem ist, da alle Fehler zwischen euch und dem Ziel zu einem Abbruch führen können. Dieses Problem wirst du nur durch ein Tool lösen können welches eine effiziente Neustart Option bietet. Mein Vorschlag wäre rsync + scripting und folgende Parameter beachten
--bwlimit
--timeout
--compress
--partial
--inplace

Das Scripting wird benötigt um einen Neustart automatisch auszuführen und eine Benachrichtigung am Ende zu verschicken. Ansonsten doch mal die Liefergeschwindigkeit von Festplatten prüfen

Gruß

Andi
Bitte warten ..
Mitglied: hushpuppies
28.01.2014 um 09:57 Uhr
Zitat von Sheogorath:

Moin,

ich weiß ja nicht, was eure Internetleitung her gibt, aber ich schätze eine externe Festplatte mit
Hardwareverschlüsselung und der gute alte Paketversand ist vermutlich schneller und einfacher.

Ist vielleicht DIE Lösung aber es ist wahrscheinlich einfacher und schneller als alles über das Netzwerk zu schieben.

Gruß
Chris

Jo das ist Plan B Das geht natürlich immer...ist aber eben sehr unpraktisch
Bitte warten ..
Mitglied: hushpuppies
28.01.2014 um 10:03 Uhr
Zitat von AndiEoh:

Hallo,

du hast leider nicht erklärt was denn mit FTP,rsync etc. nicht funktioniert hat. Ich würde vermuten das die schlichte
Dauer der TCP Verbindung ein Problem ist, da alle Fehler zwischen euch und dem Ziel zu einem Abbruch führen können.
Dieses Problem wirst du nur durch ein Tool lösen können welches eine effiziente Neustart Option bietet. Mein Vorschlag
wäre rsync + scripting und folgende Parameter beachten
--bwlimit
--timeout
--compress
--partial
--inplace

Das Scripting wird benötigt um einen Neustart automatisch auszuführen und eine Benachrichtigung am Ende zu verschicken.
Ansonsten doch mal die Liefergeschwindigkeit von Festplatten prüfen

Gruß

Andi

mhh also rsync hat bei den "kleineren" Dateien so bis 50gb funktioniert, so wie ich es hatte.

Bei den Riesendateien wurde der Transfer offenbar gestartet, ich habe eine dummy-Datei gesehen aber die wurde dann auch nach Tagen nicht grösser, so dass ich das irgendwann mal abgebrochen habe und nach etlichen solcher Versuche (u.a. mit einem Rsync von ReadyNAS auf ReadyNAS mit dem eingebauten Tool) habe ich es dann aufgegeben und vermutet, dass das einfach zu groß ist.

Ist ja auch zugegebenermaßen etwas extrem solche Mengen durchs Internet zu pumpen
Bitte warten ..
Mitglied: Snowman25
LÖSUNG 28.01.2014, aktualisiert um 10:51 Uhr
Zitat von hushpuppies:

Jo das ist Plan B Das geht natürlich immer...ist aber eben sehr unpraktisch

Genau so werden aber auch große Datensätze zwischen Datenzentren ausgetauscht. (Gut, die haben 10G-Anbindung, da sind die "Datensätze" dann im Tera-Petabyte-Bereich).

Ich gehe davon aus, dass an beiden Standorten maximal eine 100Mb/s-Anbindung vorhanden ist? Um die Leitung nicht zu blockieren musst du also auf etwa 50MB/s drosseln. Da dauern 500GB dann schon theoretisch über etwas 11 Stunden. Ausserdem wird es dir nicht möglich sein. Overhead zu vermeiden, weshalb du eher mit 13-14 Stunden rechnen musst.
Das liegt dann aber auch ausserhalb jedes vernünftigen Zeitfensters, da du auf alle Fälle in die Arbeitszeit kommst. Ausser, du machst es am Wochenende.

Nimm lieber den Transporter. Wenn der weg nicht all zu weit ist, kann man ja auch einen Kurier damit beauftragen, dann hast du auch noch eine höhere Datenübertragungsrate.

Gruß,
Snowman25
Bitte warten ..
Mitglied: hushpuppies
28.01.2014 um 10:51 Uhr
Danke für die Antworten - da wird das wohl auf die Transporter-Methode rauslaufen.
Dachte nur vielleicht gäbs da was geschicktes
Bitte warten ..
Mitglied: Dirmhirn
LÖSUNG 28.01.2014, aktualisiert um 11:37 Uhr
Hi!

muss das kostenlos sein?
sonst ev. mit einem WAN-Optimizer: https://www.administrator.de/forum/wan-beschleuniger-222286.html
Kommt halt auch auf die Art der Daten an.

oder per Torrent - sicher nicht die schnellste Methode, aber robust...

sg Dirm
Bitte warten ..
Mitglied: hushpuppies
28.01.2014 um 11:37 Uhr
Zitat von Dirmhirn:

Hi!

muss das kostenlos sein?
sonst ev. mit einem WAN-Optimizer: https://www.administrator.de/forum/wan-beschleuniger-222286.html
Kommt halt auch auf die Art der Daten an.

oder per Torrent - sicher nicht die schnellste Methode, aber robust...

sg Dirm

mmmhhh Torrent ist eine gute Idee...Danke!
Bitte warten ..
Ähnliche Inhalte
E-Mail
Tool Anhang aus Eml Datei extrahieren
Frage von Lebowski23E-Mail1 Kommentar

Hallo, Ich habe einige 100 eml Datein, die alle einen Anhang haben. Ich würde gerne automatisiert alle Anhänge extrahieren ...

Administrator.de Feedback
Muss Werbung so gross platziert werden?
gelöst Frage von BassFishFoxAdministrator.de Feedback4 Kommentare

Hallo Frank Das Siemens gross ist, ist ja bekannt. Aber fast die Haelfte eines Full-HD-Bildschirmes in der Hoehe Werbung ...

HTML

Access-Datei allgemein im Internet zugänglich machen

Frage von KohlenklauHTML3 Kommentare

Ich schlage mich mit folgendem Problem herum: Eine Archiv-Verwaltung mündete in eine Access-Datenbank mit inzwischen mehr als 38000 Datensätzen. ...

Webbrowser

URL an Internet Explorer aus Datei übergeben

gelöst Frage von hesperWebbrowser4 Kommentare

Tach zusammen! Ich hab hier wohl eine kleine Denkblockade und brauch einen Anschubser. Aufs Warenwirtschaftssystem wird nebst Terminalemulation auch ...

Neue Wissensbeiträge
Sicherheits-Tools
Putty hat heftige Bugs korrigiert!
Information von Lochkartenstanzer vor 10 StundenSicherheits-Tools5 Kommentare

Moin, Wie man aus herauslesen kann, sind in den Versionen vor 0.71 gravierende Bugs, die es angeraten erscheinen lassen, ...

Off Topic
Sachen die die Welt nicht braucht - Platz 1
Tipp von brammer vor 3 TagenOff Topic14 Kommentare

Hallo, ich habs als Tipp angelegt als Erfahrungsbericht nein Danke brammer

Humor (lol)
Spirit of Health-Kongress in Berlin
Information von AnkhMorpork vor 3 TagenHumor (lol)3 Kommentare

tgif! Beim dritten Spirit of Health-Kongress trafen sich am Wochenende Alternativmediziner und Naturheilkundler im Maritim Hotel Berlin, um sich ...

Windows 7

Updates zum Nachrüsten des SHA-2-Support für Windows 7 SP1, Windows Server 2008 (R2) und WSUS 3.0 SP2 sind da

Information von kgborn vor 5 TagenWindows 7

Wie bereits früher angekündigt (Windows 7 u. Server 2008 (R2) SHA-2-Update kommt am 12. März 2019) hat Microsoft die ...

Heiß diskutierte Inhalte
ISDN & Analoganschlüsse
Für was ist der Kasten direkt neben dem EVz59 zuständig?
gelöst Frage von Windows10GegnerISDN & Analoganschlüsse18 Kommentare

Hallo, im Schwarzwald habe ich folgendes Foto gemacht: Der Rechte Kasten ist der APL. So was ähnliches wie den ...

Cloud-Dienste
Remotedesktopverbindungen beeinflussen sich gegenseitig
gelöst Frage von Samy89Cloud-Dienste15 Kommentare

Moin, ich habe mehrere RDPs gleichzeitig laufen, auf denen jeweils ein Script via Powershell läuft. In diesem Prozess benutzt ...

Netzwerkgrundlagen
Reicht 10GBit Uplink Port für Stacking für ein 10GBit Switch?
gelöst Frage von walnickNetzwerkgrundlagen12 Kommentare

Hallo, Ich habe eine frage. Ich überlege gerade 2 neue Switche von CiscoSG350XG-24F  zu kaufen und die als Core ...

DNS
Größere DNS Probleme nach zweitem DC. Eigentlich sollte es auch dadurch besser werden
Frage von TeWutzDNS12 Kommentare

Hallo zusammen, nachdem ich letzte Woche erfolgreich einen zweiten DC ) an den Start gebracht habe melden sich weiterhin ...