9
Editor für grosse Dateien
Hallo zusammen,
es gibt ja so tolle Editoren wie Notepad++, Ultra Edit und andere, nur leider haben alle mir aktuell bekannte Editoren das Problem der Lade- und Arbeitszeit bei recht grossen Dateien.
Wir bekommen oft RAW-Daten die über eine Routine nicht in SQL eingelesen werden kann, dann müssen wir Sonderzeichen oder anderes suchen und ersetzten. Bei "normal grosse" Dateien kein Thema, aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein
Kennt jemand von Euch ein Editor der das editieren, suchen etc per Detail-Fenster erledigen kann? Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.
Ich hörte mal von einem Editor einer Universität in UK, aber leider wird der nicht mehr weiter entwickelt und ist wohl zu MS DOS-Zeiten fast stehen geblieben
Wenn jemand was weiss wäre ich für ein paar Tipps sehr dankbar.
Aktuell zerlege ich die Datei , bearbeite dann 1 bis x Dateien und füge danach alles wieder zusammen, ist auf Dauer etwas unschön und kann von unseren Kollegen im Business nicht nachvollzogen werden
Viele Grüsse,
Daniel
es gibt ja so tolle Editoren wie Notepad++, Ultra Edit und andere, nur leider haben alle mir aktuell bekannte Editoren das Problem der Lade- und Arbeitszeit bei recht grossen Dateien.
Wir bekommen oft RAW-Daten die über eine Routine nicht in SQL eingelesen werden kann, dann müssen wir Sonderzeichen oder anderes suchen und ersetzten. Bei "normal grosse" Dateien kein Thema, aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein
Kennt jemand von Euch ein Editor der das editieren, suchen etc per Detail-Fenster erledigen kann? Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.
Ich hörte mal von einem Editor einer Universität in UK, aber leider wird der nicht mehr weiter entwickelt und ist wohl zu MS DOS-Zeiten fast stehen geblieben
Wenn jemand was weiss wäre ich für ein paar Tipps sehr dankbar.
Aktuell zerlege ich die Datei , bearbeite dann 1 bis x Dateien und füge danach alles wieder zusammen, ist auf Dauer etwas unschön und kann von unseren Kollegen im Business nicht nachvollzogen werden
Viele Grüsse,
Daniel
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 340395
Url: https://administrator.de/contentid/340395
Ausgedruckt am: 24.11.2024 um 04:11 Uhr
9 Kommentare
Neuester Kommentar
Hallo,
1 GB ist doch nicht gross.
Das Stichwort ist "Stream Editor".
In der Linuxwelt ist es z.B. SED. Fuer Windows gibt es das Teil auch. Wen Du W10 ab Prof hast, kannst Du das auch in der BASH erledigen.
Ein paar Beispiele hier :
http://sed.sourceforge.net/sed1line_de.html
https://blog.andreasbecker.de/2011/06/27/suchen-und-ersetzen-in-dateien- ...
Bin mir sicher, dass es mit powershell auch geht aber das ist nicht mein Gelaende.
BFF
1 GB ist doch nicht gross.
Das Stichwort ist "Stream Editor".
In der Linuxwelt ist es z.B. SED. Fuer Windows gibt es das Teil auch. Wen Du W10 ab Prof hast, kannst Du das auch in der BASH erledigen.
Ein paar Beispiele hier :
http://sed.sourceforge.net/sed1line_de.html
https://blog.andreasbecker.de/2011/06/27/suchen-und-ersetzen-in-dateien- ...
Bin mir sicher, dass es mit powershell auch geht aber das ist nicht mein Gelaende.
BFF
Hi,
danke für die Antwort.
Ja, 1GB ist nicht ganz gross, aber schon recht gross dass Notepad++ "etwas" Zeit dafür braucht zum einlesen. Ich hatte vor kukrzem auch eine 4 GB Datei, wobei ich schon überlegt habe ob es sein muss das die Daten-Quelle immer komplett in ein File exportiert werden muss
Mit Powershell zerlege ich die Dateien, leider kann ich damit auch nur die Zeichen suchen welche mir bekannt sind. Oftmals muss man in die Nähe der angemeckerten Zeilennummer gehen und dann vor oder zurück schauen und korrigieren.
Ich werde mir morgen gerne mal SED anschauen, wobei ich den Eindruck habe das es kein Editor im Sinn von Notepad++ ist sondern zum suchen nach Ausdrücken dient. Aber ich habe es noch nicht getestet, also erst mal so mein erster Eindruck vom gelesenen.
Danke nochmals, dann habe ich morgen ja was zu testen
Viele Grüsse,
Daniel
danke für die Antwort.
Ja, 1GB ist nicht ganz gross, aber schon recht gross dass Notepad++ "etwas" Zeit dafür braucht zum einlesen. Ich hatte vor kukrzem auch eine 4 GB Datei, wobei ich schon überlegt habe ob es sein muss das die Daten-Quelle immer komplett in ein File exportiert werden muss
Mit Powershell zerlege ich die Dateien, leider kann ich damit auch nur die Zeichen suchen welche mir bekannt sind. Oftmals muss man in die Nähe der angemeckerten Zeilennummer gehen und dann vor oder zurück schauen und korrigieren.
Ich werde mir morgen gerne mal SED anschauen, wobei ich den Eindruck habe das es kein Editor im Sinn von Notepad++ ist sondern zum suchen nach Ausdrücken dient. Aber ich habe es noch nicht getestet, also erst mal so mein erster Eindruck vom gelesenen.
Danke nochmals, dann habe ich morgen ja was zu testen
Viele Grüsse,
Daniel
Hallo Daniel,
Na wenne s auch am Stück einlesen sein darf dann nim doch PSPad.
Der braucht zwar bei 1 GB ein paar Sekunden aber dann hast du die Ganze Datei am Stück im Speicher (Was bei 1 GB ja noch nicht den RAM sprengen sollte) und du kannst schön flüssig darin suchen, scrollen, u.s.w.
Gruß
...
Zitat von @DanielBodensee:
Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.
Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.
Na wenne s auch am Stück einlesen sein darf dann nim doch PSPad.
Der braucht zwar bei 1 GB ein paar Sekunden aber dann hast du die Ganze Datei am Stück im Speicher (Was bei 1 GB ja noch nicht den RAM sprengen sollte) und du kannst schön flüssig darin suchen, scrollen, u.s.w.
Gruß
...
Bitte,
Da liegst Du vollkommen richtig. SED laedt die Datei nicht als Ganzes, sondern zieht die als Stream durch. Deshalb koennen die Dateien auch so gross werden.
Sind das eigentlich immer die gleichen Zeichen, die ersetzt werden muessen? Und warum kommen die Zeichen darein? Gibt es die Moeglichkeit zu unterbinden, das solche Zeichen ueberhaupt erst in die Dateien kommen die ihr weiter verarbeitet?
Einen hab ich noch. Schau dir mal das Teil an : TheGun
https://www.computerwoche.de/a/der-ultimative-text-editor-fuer-grosse-da ...
http://www.movsd.com/thegun.htm
Mein Verfahren waere, per SED alles bekannte nichtdahingehoerende rausfiltern und mit TheGun oder was anderem den Feinschliff zu machen. SED kannst Du ja wunderbar automatisieren.
BFF
wobei ich den Eindruck habe das es kein Editor im Sinn von Notepad++ ist sondern zum suchen nach Ausdrücken dient.
Da liegst Du vollkommen richtig. SED laedt die Datei nicht als Ganzes, sondern zieht die als Stream durch. Deshalb koennen die Dateien auch so gross werden.
Sind das eigentlich immer die gleichen Zeichen, die ersetzt werden muessen? Und warum kommen die Zeichen darein? Gibt es die Moeglichkeit zu unterbinden, das solche Zeichen ueberhaupt erst in die Dateien kommen die ihr weiter verarbeitet?
Einen hab ich noch. Schau dir mal das Teil an : TheGun
https://www.computerwoche.de/a/der-ultimative-text-editor-fuer-grosse-da ...
http://www.movsd.com/thegun.htm
Mein Verfahren waere, per SED alles bekannte nichtdahingehoerende rausfiltern und mit TheGun oder was anderem den Feinschliff zu machen. SED kannst Du ja wunderbar automatisieren.
BFF
Hi,
EditpadLite (frei für private Verwendung) verwende ich schon etwas länger. Habe eben mal eine 1,2 GB große Datei erzeugt: 11 Sekunden zum Laden, 32-Bit System ~ 2GB freier Ram.
Gruß
EditpadLite (frei für private Verwendung) verwende ich schon etwas länger. Habe eben mal eine 1,2 GB große Datei erzeugt: 11 Sekunden zum Laden, 32-Bit System ~ 2GB freier Ram.
Gruß
Moin,
Wenn man dann noch überlegt, das Editoren wie Notepad++ RegEx , verschiedene Kodierungen und "alle suchen" unterstützen, dann verstehe ich ehrlich nicht mehr, wo dein Problem liegt.
Ich arbeite fast täglich an Dateien der Größe 1,5GB und erledige da ähnliche Arbeiten wie du. Alles tuti.
Gruß
Zitat von @DanielBodensee:
Hallo zusammen,
es gibt ja so tolle Editoren wie Notepad++, Ultra Edit und andere, nur leider haben alle mir aktuell bekannte Editoren das Problem der Lade- und Arbeitszeit bei recht grossen Dateien.
Kann ich nicht bestätigenHallo zusammen,
es gibt ja so tolle Editoren wie Notepad++, Ultra Edit und andere, nur leider haben alle mir aktuell bekannte Editoren das Problem der Lade- und Arbeitszeit bei recht grossen Dateien.
Wir bekommen oft RAW-Daten die über eine Routine nicht in SQL eingelesen werden kann, dann müssen wir Sonderzeichen oder anderes suchen und ersetzten. Bei "normal grosse" Dateien kein Thema, aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein
Doch z.B. Notepad++ in der 64bit-VarianteKennt jemand von Euch ein Editor der das editieren, suchen etc per Detail-Fenster erledigen kann? Ich meine damit eine Art Datenausschnitt der zu bearbeitenden Datei was sich "stückweise" durch die Datei arbeitet, aber nicht die ganze Datei in den Speicher liest.
Notepad++ ist in dem Bereich schon recht gut aufgestelltAktuell zerlege ich die Datei , bearbeite dann 1 bis x Dateien und füge danach alles wieder zusammen, ist auf Dauer etwas unschön und kann von unseren Kollegen im Business nicht nachvollzogen werden
Ich sehe da keinerlei Vorteil.Wenn man dann noch überlegt, das Editoren wie Notepad++ RegEx , verschiedene Kodierungen und "alle suchen" unterstützen, dann verstehe ich ehrlich nicht mehr, wo dein Problem liegt.
Ich arbeite fast täglich an Dateien der Größe 1,5GB und erledige da ähnliche Arbeiten wie du. Alles tuti.
Gruß
Hi Kraemer,
betreffend grosser Dateien und Notepad++ (64-bit), ich habe gerade den Test gemacht, leider können Dateien grosser als 2GB nicht geöffnet werden.
Bisher hatten wir nur Dateien bis knapp vor 2GB, mittlerweile sehe ich das die gelieferten Dateien nun die 2GB Grenze geknackt haben (das grösste war 5.8GB).
Das zerlegen der Dateien war die einzige Möglichkeit diese "klein zu bekommen", jede für sich zu bearbeiten und dann wieder zusammen zu fügen. Ist umständlich, ich weiss, aber auf die Schnelle (ohne andere Software im Firmen-Umfeld zu unstallieren) war das erst mal die Lösung
Gruss,
Daniel
betreffend grosser Dateien und Notepad++ (64-bit), ich habe gerade den Test gemacht, leider können Dateien grosser als 2GB nicht geöffnet werden.
Bisher hatten wir nur Dateien bis knapp vor 2GB, mittlerweile sehe ich das die gelieferten Dateien nun die 2GB Grenze geknackt haben (das grösste war 5.8GB).
Das zerlegen der Dateien war die einzige Möglichkeit diese "klein zu bekommen", jede für sich zu bearbeiten und dann wieder zusammen zu fügen. Ist umständlich, ich weiss, aber auf die Schnelle (ohne andere Software im Firmen-Umfeld zu unstallieren) war das erst mal die Lösung
Gruss,
Daniel
Wenn du meinst, du kannst einen hier verarschen, dann bin ich hier raus!
Zitat aus deinem Eröffnungspost:
Zitat aus deinem Eröffnungspost:
Zitat von @DanielBodensee:
aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein
1 GB ist was ganz anderes wie ~6GB!aber leider bekommen wir auch zu oft Dateien von einigen MB's bis zu 1 GB (war auch schon mal), sowas liest kein Editor mehr ein
1
Hallo,
ich verwende für sowas den 010 Editor.
https://www.sweetscape.com/010editor/
Besonders wenn man mal wieder einen MySQL-Dump mit 8GB hat.
Genug RAM natürlich vorrausgesetzt.
Viele Grüße
Stefan
ich verwende für sowas den 010 Editor.
https://www.sweetscape.com/010editor/
Besonders wenn man mal wieder einen MySQL-Dump mit 8GB hat.
Genug RAM natürlich vorrausgesetzt.
Viele Grüße
Stefan
