01.04.2015

3614

Tar bricht weg. Was kann das sein?

Hallo,

ich versuche, einen 20GB großen Ordner zu tarren (tar cvfz). Dabei bricht das Programm plötzlich mittendrin ohne weitere Meldung ab. Es haut mich sogar aus der SSH Verbindung raus. Andere Verbindungen zu dem selben Server bleiben jedoch bestehen. Aktuelle Datei ist eine INBOX eines Thunderbird Profils mit knapp 7GB. Ist das zu viel? Das ganze ist unter SuSE 13. Im journal konnte ich auch nichts hilfreiches finden.

Hat da jemand eine Idee, wo man schauen könnte?

Gruß
QQR700

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 268056

Url: https://administrator.de/contentid/268056

Ausgedruckt am: 22.11.2024 um 10:11 Uhr

29 Kommentare

Neuester Kommentar

Hi,

hm, auf die Schnelle hab ich nur das gefunden.
Ev. steht da ja was hilfreiches drin.

Gruß

Moin,

du könntest auch mal versuchen das "z" wegzulassen und dann erst hinterher aus dem .tar ein .tar.gz zu machen.

lg,
Slainte

SuSE 32bit oder 64bit?
schlimmere Workarounds: nur Teile taren oder cpio benutzen
oder elegant?:
auf einem 64bit-Client sshfs installieren,
das Dateisystem mit mount -t sshfs nutzer@server-ip:/Verzeichnis /lokalerMountpunkt
einbinden und dann lokal tar.
HG
Mark

Danke, das schau ich mir gleich mal an ...

Das z hab ich auch schon weggelassen. Es kracht trotzdem zusammen.

32 oder 64 bit Plattform:
uname -a
bei x64 64bit...
HG
Mark

SuSE 32bit oder 64bit?

Dürfte ein 64Bit sein. In /etc/os-release steht was von "openSUSE 13.2 (Harlequin) (x86_64)".

schlimmere Workarounds: nur Teile taren oder cpio benutzen
oder elegant?:
auf einem 64bit-Client sshfs installieren, ...

Das klingt so, als ob das ein "gängiges" Problem ist. Grusel.

Danke, da muss ich mich mal einfuchsen.

"eigentlich" nicht, bei 32bit hätte es mich nicht überrascht, man könnte einen weiteren Testlauf - wie bei Vorbereitung für FAT32 oder DVDs machen:
tar cvzf - * | split -b 1G meineTar.tgz.
HG
Mark

Edith: gerade noch einen Stern eingefügt - je nach tar (gnu-tar)

tar cvzf - | split -b 1G meineTar.tgz.

All right! Das probiere ich nachher mal aus.

Ähm ... das Minuszeichen zwischen dem f und dem Pipe (|), ist das so korrekt?

ja ohne den UNIX-Spirit der 70er gehts halt nicht...

tar cz würde auf Band schreiben - kein Band -> Stillstand
tar czf Datei schreibt in die Datei, keine Datei (kein Dateiname)-> Fehler
tar czf - schreibt auf die Standardausgabe - und anstelle dessen Pipen wir's weiter...

man muß nicht völlig verrückt sein für UNIX ...

HG
Mark

oben noch einen * für gnu-tar eingefügt: tar würde normalerweise alles in dem Verzeichnis sichern wollen,
hier müssen wir's explizit wieder angeben, bzw. anstelle des Sterns auch einen Pfad: /zuSichern

Zitat von @QQR700:

Hallo,

ich versuche, einen 20GB großen Ordner zu tarren (tar cvfz). Dabei bricht das Programm plötzlich mittendrin ohne
weitere Meldung ab. Es haut mich sogar aus der SSH Verbindung raus.

lokal ode rüber's Netz?

Was passiert, wenn Du mit screen das lokal im Hintergrund machst?

Liegt da irgendwo ein coredump rum?

lks

PS: Ich würde auf einen pufferüberlauf tippen, weil die tar oder gzip-version villeicht nicht sauber auf 64bit übersetzt wurden.

tar czf - schreibt auf die Standardausgabe - und anstelle dessen Pipen wir's weiter...

Wow! Ein paar Dinge kenne ich ja schon, aber das Minus für StdOut ist mir bisher noch nicht über den Weg gelaufen. Prima! Wieder was gelernt

Danke! Gilt das Minus eigentlich nur für tar oder ist das allgemein Shell-Syntax? <command> - => Ergebnis auf StdOut?

Zitat von @QQR700:

Danke! Gilt das Minus eigentlich nur für tar oder ist das allgemein Shell-Syntax?
<command> - => Ergebnis auf StdOut?

Keine allgemeine Shell-Syntax sondern nur Konvention.

lks

... um's noch zu präzisieren: das Minus ist ja nur in Verbindung mit f um dann doch keinen File-Namen anzugeben, somit würde ich das tar-Spezialität nennen.
HG
Mark

lokal ode rüber's Netz?

Also, ich log mich per SSH auf dem Server ein und starte dort das tar.
/path/arch.tgz und /my/path/to/tar liegen jeweils auf dem Server. In sofern ist es lokal.

Screen hab ich noch nicht probiert. Auch eine Idee. Ich hatte es mittels "&" am Ende. Das ging auch nicht. Jetzt hab ich gerade mal einen Cron-Job beauftragt. Da soll es letztendlich eh hin. Mal sehen....

Ah, ok! Danke

So, mit Aufruf von tar per Cron ging das ganze nun

Ich hab zwar jetzt noch nicht ganz kapiert, was da genau los ist, aber es läuft erstmal.

So, mit Aufruf von tar per Cron ging das ganze nun

Dann bitte noch Wie kann ich einen Beitrag als gelöst markieren? und fairerweise Kollege @broeckers Antwort als "Zur Lösung beigetragen" markieren ;)

Gruß

danke für die vorzeitigen Ostereier,
aber ist im Cron jetzt split drinn - dann könnte man einen 32bit-Überlauf von tar vermuten - oder geht der ursprüngliche tar im cron "einfach"?
HG
Mark

Zitat von @broecker:

aber ist im Cron jetzt split drinn - dann könnte man einen 32bit-Überlauf von tar vermuten - oder geht der
ursprüngliche tar im cron "einfach"?

Das wäre interessant zu wissen.

Es könnte übrigens auch nur einfach ein timeout in der ssh-Verbindung gewesen sein. Wenn die wegbricht werden auch alle Childprozesse gekillt und damit auch der tar-Prozess. Da das ganze tarren bei 20GB eine Weile dauern dürfte, könnte ich mir durchaus vorstellen, daß die ssh-Verbindung ggf. in einen timeout läuft, wenn man nciht regelmäßig auf der Tastatur herumklimpert.

lks

oder geht der ursprüngliche tar im cron "einfach"?

Ja, genau so. Ich hab an dem tar - Aufruf nichts geändert. Den Split hab ich da jetzt gar nicht weiter eingebaut. Die Zeile einfach in den Cron rein und schick wars

Es könnte übrigens auch nur einfach ein timeout in der ssh-Verbindung gewesen sein.

Das hatte ich auch vermutet. Allerdings hatte ich noch 3 weitere SSH-Verbindungen auf, die alle noch lebten. Obwohl ich da jetzt auch nichts gemacht hatte. Wenn, dann müssten doch alle das selbe Timeout haben.

Zitat von @QQR700:

> oder geht der ursprüngliche tar im cron "einfach"?
Ja, genau so. Ich hab an dem tar - Aufruf nichts geändert. Den Split hab ich da jetzt gar nicht weiter eingebaut. Die Zeile
einfach in den Cron rein und schick wars

Dann tippe ich mal, daß es nicht der tar selbst war, sondern eher die ssh-Verbindung gekappt wurde und damit auch alle child-Prozesse.

lks

Zitat von @QQR700:

> Es könnte übrigens auch nur einfach ein timeout in der ssh-Verbindung gewesen sein.
Das hatte ich auch vermutet. Allerdings hatte ich noch 3 weitere SSH-Verbindungen auf, die alle noch lebten. Obwohl ich da jetzt
auch nichts gemacht hatte. Wenn, dann müssten doch alle das selbe Timeout haben.

Alle zum selben System? Liefen in denen auch Prozesse?

Du könntest ja testweise den tar mal im screen laufen lassen. Dann sieht man, ob es dann auch durchläuft.

lks

Zitat von @QQR700:

Hallo,

Hallo,

ich versuche, einen 20GB großen Ordner zu tarren (tar cvfz). Dabei bricht das
Programm plötzlich mittendrin ohne weitere Meldung ab.

Und warum nicht vor Ort tar.gz anlegen und dann über SSH "nur" kopieren?

Es haut mich sogar aus der SSH Verbindung raus. Andere Verbindungen zu
dem selben Server bleiben jedoch bestehen.

Versuch das oben mal, denn tar.gz auf das entfernte Ziel wie schon vorgeschlagen
nützt Dir nichts, denn erst wird "getart" und dann vor Ort danach "gezipt" das ist dann
das selbe nur mit gzip vor Ort am entfernten Ziel und tar wird die wieder abbrechen.

Aktuelle Datei ist eine INBOX eines Thunderbird Profils mit knapp 7GB. Ist das zu viel?
Das ganze ist unter SuSE 13.

Ist es zu viel ist die Hardware zu schwach oder die Verbindung hat zu wenig Durchsatz.

Im journal konnte ich auch nichts hilfreiches finden.
Hat da jemand eine Idee, wo man schauen könnte?

Jo, bei eBay.com oder Amazon.com!

Comtech AHA 5Gbps Gzip PCIe Compression Accelerator Card AHA363PCIE0301G
eBay für ~$30 + Versand
Amazon für ~$65 + Versand

Damit sollte dann auch richtig was "gehen" einmal vor Ort oder als Kompressionshilfe
für die Verbindung und für $30 + Versand ist das nicht zu viel.

Ich habe die Karte bei mir in verschiedenen Linux Servern und auch Firewall laufen
und bin damit echt zufrieden.

Gruß
Dobby

Alle zum selben System? Liefen in denen auch Prozesse?

Ja, das war der selbe Server. 2 Terminals davon hatten nichts zu tun und im dritten hatte ich ein watch ls -l zu laufen.

... den tar mal im screen laufen lassen.

Ja, das werd ich nächste Woche mal ausprobieren.

QQR700

Und warum nicht vor Ort tar.gz anlegen und dann über SSH "nur" kopieren?

Ähm ... hoffe, ich verstehe Dich gerad nicht miss ...
Also, ich bin nur remote auf der Maschine und will das tarren und zippen auch nur remote laufen lassen und die Daten sollen auch remote bleiben. Will den "Mist" gar nicht lokal haben ;)

Comtech AHA 5Gbps Gzip PCIe Compression Accelerator Card AHA363PCIE0301G

Wouu - schick

Wusste gar nicht, dass es sowas gibt!
Gibt es solche Karten auch für Notebooks? Hab jetzt auf die Schnelle bei der Tante nichts gefunden ...

Gruß
QQR700

ja, das ist auch für Notebooks: extern - wie externe Grafikkarten - über 34mm ExpressCard-zu-PCIe-Karte wahlweise mit Gehäuse - Euro 60-100 aus China... - halt etwas unhandlich

http://www.aliexpress.com/item/EXP-GDC-Laptop-External-External-PCI-E-g ...
http://www.aliexpress.com/item/Laptop-Express-to-2-16x-PCIe-Riser-Card- ...
Viele Ostereier!
Mark