atwork
Goto Top

Funktion von rsync mit CP abbilden...

Aufgrund eines FAT Dateisystems auf einem NAS wird Einsatz von rsync unmöglich und nun muss eine Spiegelung mit CP erzeugt werden...

Hallo liebe Admins,

ich beschäftige mich nun schon wieder eine ganze Weile mit einem Dateisystem Prob. und hoffe mir bei euch ein wenig frischen Wind holen zu können.

Wir setzen aktuell Acronis für die Sicherung von 4 virtuellen Maschinen ein und schreiben diese auf eine Sambafreigabe.
Von dieser Freigabe müssen diese Daten nun täglich mit einem abgleich auf ein 2TB Freecom Network Drive XS syncronisiert werden.
rsync weigert sich die Sicherung durch zu ziehen. Selbst Acronis schafft keine Direktsicherung auf das NAS. Schuld wird hier wohl das Dateisystem FAT mit seiner "tiefergelegten" Version zu sein, die auf dem NAS verbaut wurde. Damit die Dateigrößenlimits von FAT einem die 2TB nicht ungenießbar machen, wird dort mit einer Aufteilung der Dateien gearbeitet. Genau hier scheint das Problem zu beginnen. Kopieren von Mickeysoft und Linux aus ist kein Problem. Aber sobald Syncronisiert werden soll, drehen alle Programme am Rad (rsync kopiert einfach immer wieder alles, oder meckert wegen Rechteproblemen, Acronis liefert "TaskID Leer" Acronis Support hat sich dort schon die Zähne ausgebissen.)

Somit scheint also CP als einziges erfolgreich durch zu laufen.
Nun möchte ich also die Funktion von rsync -MIR auf Copy umsetzen. Ich benötige einen Vergleich der Dateien mittels Größe und Löschfunktion der Dateien im Zielordner, sobald sie im Quellordner gelöscht wurden.
Kennt jemand ein Shell Script, welches ich mittels Cron dazu bewege die Sicherungsdaten entlich auf das NAS zu prügeln?

Wenn jemand eine Idee zu meiner NAS (Freecom Network Drive XS) Geschichte hat, immer her damit, denke aber das ich alle Möglichkeiten (Schwerpunkt rsync Parameter) durch habe.
Eingebunden ist das NAS mittels "cifs - (rw,mand)", ein Netzwerk ohne Routing, Testordner und Dateien lassen sich erstellen/ändern/löschen, volle Rechte sind also gegeben...

Vielen lieben Dank für Eure Hilfe!

Grüße AtWork

Content-ID: 177575

Url: https://administrator.de/contentid/177575

Ausgedruckt am: 22.11.2024 um 19:11 Uhr

micneu
micneu 12.12.2011 um 13:17:26 Uhr
Goto Top
als erstes hast du im acronis eingestellt das die imagedatei immer nur 1,9gb groß sein soll (kleiner 2GByte)?
bist du dir wirklich sicher das cp die daten richtig übertragen hat? hast du die daten mal getestet?
mit welcher distribution/version überträgst du die daten ist alles auf dem aktuellen stand (rsync usw.)?
als ich denke auf deinem nas ist kein windows drauf (FAT Datei System) oder? und du meinst die datei größen beschränkung von 2 gbyte,
ja ätere linux dateisysteme hatten auch mal damit probleme.
kannst du das nicht im ext3 oder in NTFS formatieren/konvertieren oder was sagt die hotline von freecom?
ich habe sehr gute erfahrungen mit nas systemen von qnap und thecus gemacht die haben mit den aktuellen systemen keine probleme
mit dateien über 2gybte.

gruß michael
AtWork
AtWork 12.12.2011 um 14:51:50 Uhr
Goto Top
Hallo Michael,

kurz im Telegramstil, da ich die Problematik wirklich genug an den Basics durch gekaut habe, sowas einfaches ist es leider nicht und ich suche nun eigentlich nach einer Alternative auf Basis von CP.

-Acronis sichert gar nicht erst, da hilft auch keine teilen der Dateien.
-Ich hoffe CP macht was man ihm sagt, es ist momentan die einziege Möglichkeit für mich, automatisiert Daten auf das Ding zu bekommen. Genaueres sehe ich später.
-Ubuntu Server 2.6.32-36 up-to-date
-NAS hat FAT und leider geht es auch nicht mit anderem Dateisystem (Parameter +/-2Sek. etc. für FAT waren natürlich mit eingebaut)


Das Problem liegt irgendwo bei der Ausgabe der Rechte/Größen/Dateinamen, so das keines der Programme damit ein abgleich machen kann. Rechte werden bei manueller Abfrage ausgegeben, volle Rechte sind vorhanden.

Nur CP läuft durch, das zwar grade sehr langsam, aber immerhin. Ich möchte eigentlich auf dem CP aufbauen und habe die Lösung mit rsync schon aufgegeben.

LG
Lochkartenstanzer
Lochkartenstanzer 12.12.2011 um 15:33:30 Uhr
Goto Top
Schon mal unison ausprobiert?
AtWork
AtWork 12.12.2011 um 15:41:06 Uhr
Goto Top
Moin LK.Stanzer,

hmm auch wieder als Basis rsync, aber ich will es wohl mal schnell testen. Mehr gibbet gleich...

Schon mal Danke...
micneu
micneu 13.12.2011 um 11:38:32 Uhr
Goto Top
in acronis kannst du auch die email benachrichtigung /log meldung einschallten welche fehler
meldet denn acronis und welche version ist das/welche betriebsysteme (server/workstation)?
hast du mal die acronis jobs per hand ausgeführt? was kam da als meldung?
übrigens fat partitionen dürfen maximal 4gbyte groß werden wie willst du da auf die 2tb zugreifen?
mir ist nochwas eingefallen in was laufen die virtuellen maschienen vmware esx?

ich verstehe es jetzt so du hast eine windows xp workstation die du mit acronis sichern möchtest und das
image wird/soll auf eine samba freigabe gesichert (ubuntu) und der ubuntu server soll mit rsync/cp die daten in euer nas
sichern/übertragen.

gruß michael
micneu
micneu 13.12.2011 um 12:56:54 Uhr
Goto Top
wie hast du das nas auf eurem ubuntu server eingebunden
per smb oder nfs?
hast du mall dein nas per usb an den ubuntu server gehängt?
wenn nicht kannst du es mal machen und uns mal die ausgabe von "fdisk -l" posten?

gruß michael
AtWork
AtWork 13.12.2011 um 17:51:42 Uhr
Goto Top
Hiho micneu,

mal wieder kurz und knapp. Acronis antworte ich mal nicht drauf, da sich der Support schon die Zähne dran ausgebissen hat (1Jahr lang). Problem machen immer noch die NAS.
Es ist wie schon beschrieben per smb eingebunden (cifs).
Per USB noch nicht, warum auch, ist nicht zielführend, das lokale und USB Festplatten funktionieren weiß ich ja und das die NAS fehlerfrei arbeiten auch.
Warum sollte ich eine Partitionstabelle posten?
Das Dateisystem FAT hat zwar Dateilimits, die wird aber einfach mit software übergangen, aus 6gb wird einmal 4 und einmal 2gb gemacht. Das System zeigt diese als eine Datei an...


Zu Unison... Noch bin ich am testen (grad nicht sehr viel Zeit), sieht bis jetzt ganz interessant aus, später mehr.

Danke und Gruß!
AtWork
AtWork 14.12.2011 um 09:31:06 Uhr
Goto Top
Nun mehr...
Nachdem ich nun Unison einmal alles katalogisieren lassen habe, kommt beim ersten richtigen start:
Failed [Backup_2011_10_31_12_29_02_852D.TIB]: Failed to set permissions of file /mnt/1/Backup_2011_10_31_12_29_02_852D.TIB to ??x?-??-?: the permissions was set to ??-?w??w? instead. The filesystem probably does not support all permission bits. You should probably set the "perms" option to 0o0 (or to 0 if you don't need to synchronize permissions).

Also auch bei Unison schon mal erste Anzeichen auf FAT am Zielsystem. Werde mich gleich mal um die Syntax von Unison kümmern, vielleicht ist ja jemand so schnell und kann mir die Syntax für "Alles von [a] nach [b] ohne [.meta] und das Ganze ohne [Perms]" posten. Falls sowas mit Unison möglich ist, wäre eine Anzeige des Datendurchsatzes ganz interessant, als Standardanzeige Restzeit in Sekunden finde ich auch nicht schlecht, mal was neues... face-smile

Später also wieder mehr...

Danke!
AtWork
AtWork 14.12.2011 um 10:13:20 Uhr
Goto Top
Ich werde nicht so ganz schlau aus Unison. Laut Netz dient zum "automatischen beantworten" der SyncRichtungsAnfragen der Parameter -auto... Ich möchte mich eigentlich nicht auf "auto" verlassen, sondern einfach "quelle > Ziel" [ohne] ".meta". Das muss man doch per Syntax mitgeben können...
Hat davon jemand einen Plan?
AtWork
AtWork 14.12.2011 um 14:25:09 Uhr
Goto Top
Unison scheint sich die manuelle Einstellung einfach zu merken und fährt diese dann nach jedem Aufruf... Auch nicht doof.
Nachdem ich natürlich Fehlermeldungen bezüglich der Rechte beim Kopieren erhalten habe, habe ich nun den Parameter "-perms 0" mitgegeben, laut Netz ist der so richtig. Seid dem rödellt er allerding beim Analysieren auf der letzten Datei rum und macht nicht weiter, Last ist allerdings vorhanden.
Also warte ich nun noch mal ein wenig und schau wie sich Unison mit Parameter so verhält.
AtWork
AtWork 15.12.2011 um 11:52:13 Uhr
Goto Top
Nach nun zich Anlauffehlern läuft Unison nun mit folgendem Aufruf noch ca. 40Std. für ein vollen Test mit dem kompletten Sicherungslaufwerk.

screen -S UNISON unison -perms 0 /home/sicherung/mountpoint/Acronis/ /mnt/NAS/

Ich bin gespannt ob auch in diesem Test der Datendurchsatz zusammenbricht.
Was ich nocht nicht ganz verstanden habe, wie gebe ich als fixen Parameter mit, dass er alles von a nach b kopieren soll und wenn a was fehlt auch bei b raus nimmt. Halt einen Ordner 1zu1 synchron halten. Dazu kommt dann noch ein exclude vom ".meta" von Acronis.
Ich lasse denn nun einmal voll durchlaufen und teste dann nochmal, ob er mich immer noch fragt, bzw. immer noch alles ersetzen möchte.
Ich habe inzwischen den Hersteller angeschrieben, die Antwort war mal im ganz großen Bogen um den heißen Brei geschrieben, mal warten was von der Seite noch kommt.

Kennt sich denn hier noch jemand mit dem Unison aus? Ich finde im Netz auf die Schnelle nur komische beschreibungen zum manuellen Transfer...

LG Danke
Euer AtWork
AtWork
AtWork 15.12.2011 um 17:29:02 Uhr
Goto Top
Nun ist das Problem klar, der Hersteller hat mir folgendes geantwortet:

Vielen Dank für Ihre Antwort.
Es kann kein Größenvergleich stattfinden, das unser Network Drive XS ausschließlich mit FAT32 arbeitet. Dateien von über 4 GB werden automatisch intern gesplittet und somit werden auch einige Bytes hinzugefügt. Für automatisierte Backups über Software ist das nicht Produkt nur bedingt geeignet.


Also nach der Aussage muss ich Acronis ja nur sagen, splitte die Archive bei 4GB.
Nun also der Test mit 2 klitze kleinen Textdateien...
Sind die Dateien am Zeillaufwerk nicht da, kopiert rsync sie auch dort hin, wow!
Verändere ich nun eine Datei im Quellpfad:
root@Mars:/mnt/NAS/Test# rsync -Pvr --size-only --delete /home/back/test* /mnt/NAS/Test/
sending incremental file list
test1.txt
          13 100%    0.00kB/s    0:00:00 (xfer#1, to-check=1/2)
rsync: rename "/mnt/NAS/Test/.test1.txt.jHVOTh" -> "test1.txt": Input/output error (5)  

sent 103 bytes  received 31 bytes  268.00 bytes/sec
total size is 13  speedup is 0.10
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1060) [sender=3.0.7]
So wie ich das sehe, kann er eine temporäre Datei (.test1.txt.jHVOTh) nicht in (test1.txt) umbennen... merkwürdig...
Nun also der nächste Test, eine der beiden Testdateien wird im Quellordner gelöscht:
root@Mars:/mnt/NAS/Test# rsync -Pvr --size-only --delete /home/back/test* /mnt/NAS/Test/
sending incremental file list

sent 32 bytes  received 12 bytes  88.00 bytes/sec
total size is 0  speedup is 0.00
Wie jetzt, kein delete? ...
Auf das Ziel: ls -la 
-rw-rw-rw- 1 root root 0 2011-12-15 17:04 test1.txt
-rw-rw-rw- 1 root root 0 2011-12-15 16:59 test2.txt
Auf die Quelle: ls -la 
-rw-rw-rw- 1 root root 0 2011-12-15 16:59 test2.txt
OK, also Tempdateien auf dem Ziel und das Löschen ist nun mein Problem...
Das sollte nun ja funktionieren nach der Aussage von Freecom...
Ich warte nun auf weitere Aussagen von Freecom...
AtWork
AtWork 08.02.2012 um 17:25:15 Uhr
Goto Top
Antwort von Freecom: Das ist alles mit unserem Gerät nicht möglich, es ist kein volles Linux.

Fakt nun: Fat32 Dateisystemprobleme (unklar wie händelbar), das Laufwerk schafft im Netzwerkbetrieb zwischen 5-8Mb/s. Die Leistung bricht auf Dauer noch weiter ein!

Ich habe die Dinger nun ext4 formatiert und über USB an ein Linux Notebook gehängt. Nun schafft das Laufwerk maximal 30MB/s und ich bekomme über die Woche verteilt unsere Sicherungen drauf...

Ich kann nur vom Freecom abraten, sehr langsame Platte, ein Support der auch mit Halbwissen glänzt und sich auf keine weiteren Hilfen einlässt.

Vielen Dank, Grüße Euer AtWork
micneu
micneu 17.02.2012 um 11:01:59 Uhr
Goto Top
also doch nas von qnap kaufen face-smile