danielbodensee
Goto Top

Editor für grosse Dateien

Hallo zusammen,

es gibt ja so tolle Editoren wie Notepad++, Ultra Edit und andere, nur leider haben alle mir aktuell bekannte Editoren das Problem der Lade- und Arbeitszeit bei recht grossen Dateien.

Wir bekommen oft RAW-Daten die über eine Routine nicht in SQL eingelesen werden kann, dann müssen wir Sonderzeichen oder anderes suchen und ersetzten. Bei "normal grosse" Dateien kein Thema, aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein face-smile

Kennt jemand von Euch ein Editor der das editieren, suchen etc per Detail-Fenster erledigen kann? Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.

Ich hörte mal von einem Editor einer Universität in UK, aber leider wird der nicht mehr weiter entwickelt und ist wohl zu MS DOS-Zeiten fast stehen geblieben face-smile

Wenn jemand was weiss wäre ich für ein paar Tipps sehr dankbar.

Aktuell zerlege ich die Datei , bearbeite dann 1 bis x Dateien und füge danach alles wieder zusammen, ist auf Dauer etwas unschön und kann von unseren Kollegen im Business nicht nachvollzogen werden face-smile


Viele Grüsse,
Daniel

Content-ID: 340395

Url: https://administrator.de/forum/editor-fuer-grosse-dateien-340395.html

Ausgedruckt am: 25.12.2024 um 06:12 Uhr

BassFishFox
BassFishFox 12.06.2017 aktualisiert um 19:46:52 Uhr
Goto Top
Hallo,

1 GB ist doch nicht gross. face-wink

Das Stichwort ist "Stream Editor".

In der Linuxwelt ist es z.B. SED. Fuer Windows gibt es das Teil auch. Wen Du W10 ab Prof hast, kannst Du das auch in der BASH erledigen.

Ein paar Beispiele hier :
http://sed.sourceforge.net/sed1line_de.html
https://blog.andreasbecker.de/2011/06/27/suchen-und-ersetzen-in-dateien- ...

Bin mir sicher, dass es mit powershell auch geht aber das ist nicht mein Gelaende. face-smile

BFF
DanielBodensee
DanielBodensee 12.06.2017 um 20:00:56 Uhr
Goto Top
Hi,

danke für die Antwort.

Ja, 1GB ist nicht ganz gross, aber schon recht gross dass Notepad++ "etwas" Zeit dafür braucht zum einlesen. Ich hatte vor kukrzem auch eine 4 GB Datei, wobei ich schon überlegt habe ob es sein muss das die Daten-Quelle immer komplett in ein File exportiert werden muss face-smile

Mit Powershell zerlege ich die Dateien, leider kann ich damit auch nur die Zeichen suchen welche mir bekannt sind. Oftmals muss man in die Nähe der angemeckerten Zeilennummer gehen und dann vor oder zurück schauen und korrigieren.

Ich werde mir morgen gerne mal SED anschauen, wobei ich den Eindruck habe das es kein Editor im Sinn von Notepad++ ist sondern zum suchen nach Ausdrücken dient. Aber ich habe es noch nicht getestet, also erst mal so mein erster Eindruck vom gelesenen. face-smile

Danke nochmals, dann habe ich morgen ja was zu testen face-smile

Viele Grüsse,
Daniel
miniversum
miniversum 12.06.2017 um 20:07:43 Uhr
Goto Top
Hallo Daniel,

Zitat von @DanielBodensee:
Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.

Na wenne s auch am Stück einlesen sein darf dann nim doch PSPad.
Der braucht zwar bei 1 GB ein paar Sekunden aber dann hast du die Ganze Datei am Stück im Speicher (Was bei 1 GB ja noch nicht den RAM sprengen sollte) und du kannst schön flüssig darin suchen, scrollen, u.s.w.

Gruß
...
BassFishFox
BassFishFox 12.06.2017 aktualisiert um 21:34:37 Uhr
Goto Top
Bitte,

wobei ich den Eindruck habe das es kein Editor im Sinn von Notepad++ ist sondern zum suchen nach Ausdrücken dient.

Da liegst Du vollkommen richtig. SED laedt die Datei nicht als Ganzes, sondern zieht die als Stream durch. Deshalb koennen die Dateien auch so gross werden.

Sind das eigentlich immer die gleichen Zeichen, die ersetzt werden muessen? Und warum kommen die Zeichen darein? Gibt es die Moeglichkeit zu unterbinden, das solche Zeichen ueberhaupt erst in die Dateien kommen die ihr weiter verarbeitet?

Einen hab ich noch. Schau dir mal das Teil an : TheGun
https://www.computerwoche.de/a/der-ultimative-text-editor-fuer-grosse-da ...
http://www.movsd.com/thegun.htm


Mein Verfahren waere, per SED alles bekannte nichtdahingehoerende rausfiltern und mit TheGun oder was anderem den Feinschliff zu machen. SED kannst Du ja wunderbar automatisieren.

BFF
114685
114685 12.06.2017 um 20:54:33 Uhr
Goto Top
Hi,

EditpadLite (frei für private Verwendung) verwende ich schon etwas länger. Habe eben mal eine 1,2 GB große Datei erzeugt: 11 Sekunden zum Laden, 32-Bit System ~ 2GB freier Ram.

Gruß
Kraemer
Kraemer 13.06.2017 um 08:52:46 Uhr
Goto Top
Moin,
Zitat von @DanielBodensee:

Hallo zusammen,

es gibt ja so tolle Editoren wie Notepad++, Ultra Edit und andere, nur leider haben alle mir aktuell bekannte Editoren das Problem der Lade- und Arbeitszeit bei recht grossen Dateien.
Kann ich nicht bestätigen

Wir bekommen oft RAW-Daten die über eine Routine nicht in SQL eingelesen werden kann, dann müssen wir Sonderzeichen oder anderes suchen und ersetzten. Bei "normal grosse" Dateien kein Thema, aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein face-smile
Doch z.B. Notepad++ in der 64bit-Variante

Kennt jemand von Euch ein Editor der das editieren, suchen etc per Detail-Fenster erledigen kann? Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.
Notepad++ ist in dem Bereich schon recht gut aufgestellt

Aktuell zerlege ich die Datei , bearbeite dann 1 bis x Dateien und füge danach alles wieder zusammen, ist auf Dauer etwas unschön und kann von unseren Kollegen im Business nicht nachvollzogen werden face-smile
Ich sehe da keinerlei Vorteil.

Wenn man dann noch überlegt, das Editoren wie Notepad++ RegEx , verschiedene Kodierungen und "alle suchen" unterstützen, dann verstehe ich ehrlich nicht mehr, wo dein Problem liegt.
Ich arbeite fast täglich an Dateien der Größe 1,5GB und erledige da ähnliche Arbeiten wie du. Alles tuti.

Gruß
DanielBodensee
DanielBodensee 14.06.2017 um 06:57:23 Uhr
Goto Top
Hi Kraemer,

betreffend grosser Dateien und Notepad++ (64-bit), ich habe gerade den Test gemacht, leider können Dateien grosser als 2GB nicht geöffnet werden.

Bisher hatten wir nur Dateien bis knapp vor 2GB, mittlerweile sehe ich das die gelieferten Dateien nun die 2GB Grenze geknackt haben (das grösste war 5.8GB).

Das zerlegen der Dateien war die einzige Möglichkeit diese "klein zu bekommen", jede für sich zu bearbeiten und dann wieder zusammen zu fügen. Ist umständlich, ich weiss, aber auf die Schnelle (ohne andere Software im Firmen-Umfeld zu unstallieren) war das erst mal die Lösung face-smile

Gruss,
Daniel
Kraemer
Kraemer 14.06.2017 um 11:51:07 Uhr
Goto Top
Wenn du meinst, du kannst einen hier verarschen, dann bin ich hier raus!
Zitat aus deinem Eröffnungspost:

Zitat von @DanielBodensee:
aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein face-smile
1 GB ist was ganz anderes wie ~6GB!
StefanKittel
StefanKittel 14.06.2017 um 15:09:11 Uhr
Goto Top
Hallo,

ich verwende für sowas den 010 Editor.
https://www.sweetscape.com/010editor/

Besonders wenn man mal wieder einen MySQL-Dump mit 8GB hat.

Genug RAM natürlich vorrausgesetzt.

Viele Grüße

Stefan