Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWünsch Dir wasWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Rsync datenvolumen reduzieren mit -fuzzy

Mitglied: NetzwerkDude

NetzwerkDude (Level 2) - Jetzt verbinden

10.07.2020, aktualisiert 14:38 Uhr, 1215 Aufrufe, 1 Kommentar, 4 Danke

Moin,

aus der Kategorie "Häufig übersehene Parameter":
Meistens benutzt kaum jemand den --fuzzy Parameter von rsync, und er taucht kaum im Anleitungen auf, schade, denn er kann viel netzwerktraffik sparen.

fuzzy dient dazu dateien im ziel ggf. aus bereits vorhandenen dateien (im selben Ordner) zu konstruieren, ohne die Dateien über die Leitung zu schicken, ein Beispiel:

Wir erstellen auf dem Remotesystem (Quelle) ein zufälliges 10MB Textfile:
Und transferieren es auf unser lokales System (Ziel):
Ergebnis:

receiving incremental file list
./
v1.txt
10.00M 100% 86.70MB/s 0:00:00 (xfr#1, to-chk=0/2)
Number of files: 2 (reg: 1, dir: 1)
Number of created files: 0
Number of deleted files: 0
Number of regular files transferred: 1
Total file size: 10.00M bytes
Total transferred file size: 10.00M bytes
Literal data: 10.00M bytes
Matched data: 0 bytes
File list size: 51
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 19.04K
Total bytes received: 10.00M
sent 19.04K bytes received 10.00M bytes 1.82M bytes/sec
total size is 10.00M speedup is 1.00

Wie zu erwarten ist, wurden 10MB übertragen, okay

Jetzt machen wir vom v1.txt eine Kopie und hängen sagen wir mal hinten noch ein zufälliges MB dran und nennen die neue Datei v1+1mb.txt
und führen den selben rsync lauf nochmal aus, das Ergebnis:
(...)
Total file size: 21.00M bytes
Total transferred file size: 11.00M bytes
Literal data: 1.00M bytes
Matched data: 10.00M bytes
Total bytes received: 1.01M
(...)
Oh! Es wurden 11MB transferiert aber nur 1.01MB Empfangen - Magick!


Nun hintendran kann man immer Zeug anhängen, wir ändern jede 10000ste Zeile und schauen was passiert:
Und transferrieren das ganze mit dem selben rsync befehl:
(...)
Total file size: 31.00M bytes
Total transferred file size: 10.00M bytes
Literal data: 38.05K bytes
Matched data: 9.96M bytes
Total bytes received: 50.88K
(...)
Auch hier 10MB tranferiert, aber nur 50,88KB über die Leitung übertragen



Nun, Textfiles sind ja langweilig, wie schauts aus in der Praxis?
Hier ein Backup das ich tägliche fahre (Alle möglichen Files auf einem Allzweckfileserver)
(...)
Total file size: 19.69T bytes
Total transferred file size: 739.05G bytes
Literal data: 29.37G bytes
Matched data: 709.68G bytes
Total bytes sent: 99.05M
Total bytes received: 29.59G
(...)
--> 739GB übertragen, dabei ganze 709,68GB matched - pretty nice



Wann lohnt sich also fuzzy?
Wenn ihr genügend Storage und CPU Performacne habt, aber nur eine dünne Leitung zwischen den Servern

Bei welchen files funktioniert fuzzy?
Schlecht bei binarys, gut bei "lesbaren" Dateien - so z.B. auch bei AutoCAD Files im ASCII: 1GB Spaceship_v1 und 1GB Spaceship_v2 -> werden nur die Ändeurngen übertragen.

Noch einige Limitationen des Verfahrens bzw. grundsätzliche Anmerkungen:
- Sind die ändeurungen zu kleinteilig, werden Sie nicht mehr erfasst, also ersetzt man z.B. jedes vorkommende "A" durch "B" im File, wird das ganze File übertragen.
- Heißt die neue Datei nicht mehr "ähnlich" wie die Vergleichsdateien (also z.B. wir machen eine leicht modifizierte Datei, nennen Sie aber "ABABABABABABAABABABABABABAABA.txt") greift auch hier der Vergleichalgorithmus nicht mehr.
- fuzzy nimmt auch umbenennungen mit, daher stecken in der oberen Statistik auch "simple" umbennennungen drin
- am besten mit --delete-delay kombinieren, weil dann auch gelöschte Dateien berücksichtig werden beim Vergleich
- natürlich immer auch mit anderne Parametern kombinierbar, wie kompression (-z) usw.
- lest die manpages von rsync

MFG
N-Dude
Mitglied: monstermania
04.08.2020 um 12:06 Uhr
Hmm,
ich werde das demnächst mal austesten, sehe aber im Augenblick nicht den großen Vorteil, den das bringen soll.
rsync arbeitet ja eh schon blockbasierend, so dass bei großen Dateien nur geänderte Dateiblöcke übertragen werden. Von daher sind Deine Tests nicht aussagekräftig, da Deine Messungen nichts mit 'fuzzy' zu tun haben.

So wie ich die fuzzy-option verstehe, bringt das nur etwas, wenn auf der Quelle ganze Datei- oder Ordnerstrukturen umbenannt wurden. Hier wird dann auf bereits im Ziel vorhandene Dateien gematcht.
Bitte warten ..
Ähnliche Inhalte
Sicherheit

Störung bei Ebay- und Paypal-Authentifizierung

Information von DerWoWussteSicherheit9 Kommentare

Paypal ist, nach Aussage des Supportes mir gegenüber, seit Tagen dabei, eine Störung zu beheben, die Konten betrifft, die ...

Humor (lol)

Winsim Datenroaming in Kanada - Wucher hoch zehn

Information von DerWoWussteHumor (lol)6 Kommentare

Nur mal so kurz notiert: Bei der Ankunft in Kanada wird man von einer netten SMS informiert, dass Daten ...

PHP

PHP RFC: Mcrypt Extension wird ab PHP 7.2 entfernt

Information von FrankPHP

Ein RFC ist grob eine Abstimmung unter den PHP-Entwicklern, um neue, bestehende oder alte Feature hinzuzufügen, zu ändern, oder ...

Hyper-V

Hyper-V - kein virtueller Switch mehr hinzufügbar - mögliche Lösung

Tipp von DerWoWussteHyper-V1 Kommentar

Ich hatte gerade ein kurioses Problem. Hyper-V Win10 1607 funktionierte zwar noch, konnte aber für gewisse Gastmaschinen (in diesem ...

Neue Wissensbeiträge
Viren und Trojaner

Schwachstelle in Teamviewer oder aufgeflogene Backdoor?

Information von magicteddy vor 19 StundenViren und Trojaner

Moin, die Interpretation überlasse ich jedem selber, ich habe eine deutliche Abneigung dagegen. Wer es nutzen muss sollte schleunigst ...

Sicherheit

Eine ungepatchte Sicherheitslücke in der Windows Druckerwarteschlange ermöglicht das Ausführen von Malware mit Adminrechten

Information von transocean vor 3 TagenSicherheit

Moin, eigentlich sollte die Sicherheitslücke schon seit Mai 2020 geschlossen sein. Aber lest selbst. Grüße Uwe

Erkennung und -Abwehr

Liste ungeschützter Pulse-VPN-Server veröffentlicht

Information von Visucius vor 5 TagenErkennung und -Abwehr

bzw. Der tiefe Blick in die Profi-Administratoren-Welt ;-)

Windows 10

Windows Defender verhindert Telemetrieblocking via hosts-Datei

Information von BirdyB vor 5 TagenWindows 102 Kommentare

Für diejenigen, die keine Daten an MS senden wollten, war die hosts-Datei manchmal eine Option.

Heiß diskutierte Inhalte
Internet
VPN und Fritzbox
Frage von jensgebkenInternet29 Kommentare

Hallo Gemeinschaft, da der Support von AVM mir keine Antwort gibt, versuche ich es hier einmal HArdware 7490 zwei ...

Sicherheit
Verschlüsseln anstatt löschen ?
Frage von TastuserSicherheit16 Kommentare

Hallo, ist es möglich ganze Ordner auf Windows 10 zu verschlüsseln? Aber keine Kopien zu verschlüsseln (wie mit WinRAR) ...

Netzwerkprotokolle
Cisco IOS IPv6 Tunnel MTU Problem dauerhafte TLS-Handshakes
Frage von Windows10GegnerNetzwerkprotokolle13 Kommentare

Hallo, ich hatte habe das Problem ja schon lange, ich will das aber jetzt richtig angehen (MTU nicht manuell ...

Switche und Hubs
Neue Switches für Schule
Frage von Freak-On-SiliconSwitche und Hubs12 Kommentare

Servus; Eins Vorweg, bin leider in vielen Sachen noch nicht so erfahren. Und nein, ich kann LEIDER keinen Dienstleister ...

Weniger Werbung?
Administrator Magazin
08 | 2020 Cloud-First-Strategien sind inzwischen die Regel und nicht mehr die Ausnahme und Workloads verlagern sich damit in die Cloud – auch Datenbanken. Dort geht es aber nicht nur um die Frage, wie die Datenbestände in die Wolke zu migrieren sind, sondern auch darum, welche Datenbank ...