Jan 14, 2021, updated at 09:40:52 (UTC)

1384

Sed-Script ist zu langsam. Perl bzw. AWK als alternative?

Hallo an alle Mitglieder!

Ich folgende Frage. Ich habe ein SED-Script, die alle falsch kodierte UTF-8-Symbole durch normale Symbole ersetzt.

Es funktioniert wie folgt:

sed -f Replace.sed Muster.txt > Muster1.txt

Replace.sed sieht wie folgt aus (als Beispiel. Originale Datei beinhaltet fast 70.000 Zeilen):

s// /g
s/ß½/߽/g
s/ß¼/߼/g
s/ß»/߻/g
s/ßº/ߺ/g
s/ß¹/߹/g
s/ß¸/߸/g
s/ß·/߷/g
s/ß¶/߶/g
s/ßµ/ߵ/g
s/ß´/ߴ/g
s/ß³/߳/g
s/ß²/߲/g
s/ß±/߱/g
s/ß°/߰/g
s/ß¯/߯/g
s/ß®/߮/g
s/ß­/߭/g
s/ß¬/߬/g
s/ß«/߫/g
s/ßª/ߪ/g
s/ß©/ߩ/g
s/ß¨/ߨ/g
s/ß§/ߧ/g
s/ß¦/ߦ/g
s/ß¥/ߥ/g
s/ß¤/ߤ/g
s/ß£/ߣ/g
s/ß¢/ߢ/g
s/ß¡/ߡ/g
s/ß /ߠ/g
s/ß/ߟ/g
s/ß/ߞ/g
s/ß/ߝ/g
s/ß/ߜ/g
s/ß/ߛ/g
s/ß/ߚ/g
s/ß/ߙ/g
s/ß/ߘ/g
s/ß/ߗ/g
s/ß/ߖ/g
s/ß/ߕ/g
s/ß/ߔ/g
s/ß/ߓ/g
s/ß/ߒ/g
s/ß/ߑ/g
s/ß/ߐ/g
s/ß/ߏ/g
s/ß/ߎ/g
s/ß/ߍ/g
s/ß/ߌ/g
s/ß/ߋ/g
s/ß/ߊ/g
s/ß/߉/g
s/ß/߈/g
s/ß/߇/g
s/ß/߆/g
s/ß/߅/g
s/ß/߄/g
s/ß/߃/g
s/ß/߂/g
s/ß/߁/g
s/ß/߀/g
s/Þ¿/޿/g
s/Þ¾/޾/g
s/Þ½/޽/g
s/Þ¼/޼/g
s/Þ»/޻/g
s/Þº/޺/g
s/Þ¹/޹/g
s/Þ¸/޸/g
s/Þ·/޷/g
s/Þ¶/޶/g
s/Þµ/޵/g
s/Þ´/޴/g
s/Þ³/޳/g
s/Þ²/޲/g
s/Þ±/ޱ/g
s/Þ°/ް/g
s/Þ¯/ޯ/g
s/Þ®/ޮ/g
s/Þ­/ޭ/g
s/Þ¬/ެ/g
s/Þ«/ޫ/g
s/Þª/ު/g
s/Þ©/ީ/g
s/Þ¨/ި/g
s/Þ§/ާ/g
s/Þ¦/ަ/g
s/Þ¥/ޥ/g
s/Þ¤/ޤ/g
s/Þ£/ޣ/g
s/Þ¢/ޢ/g
s/Þ¡/ޡ/g
s/Þ /ޠ/g
s/Þ/ޟ/g
s/Þ/ޞ/g
s/Þ/ޝ/g
s/Þ/ޜ/g
s/Þ/ޛ/g
s/Þ/ޚ/g
s/Þ/ޙ/g
s/Þ/ޘ/g
s/Þ/ޗ/g
s/Þ/ޖ/g
s/Þ/ޕ/g
s/Þ/ޔ/g
s/Þ/ޓ/g
s/Þ/ޒ/g
s/Þ/ޑ/g
s/Þ/ސ/g
s/Þ/ޏ/g
s/Þ/ގ/g
s/Þ/ލ/g
s/Þ/ތ/g
s/Þ/ދ/g
s/Þ/ފ/g
s/Þ/މ/g
s/Þ/ވ/g
s/Þ/އ/g
s/Þ/ކ/g
s/Þ/ޅ/g
s/Þ/ބ/g
s/Þ/ރ/g
s/Þ/ނ/g
s/Þ/ށ/g
s/Þ/ހ/g
s/Ý¿/ݿ/g
s/Ý¾/ݾ/g
s/Ý½/ݽ/g
s/Ý¼/ݼ/g
s/Ý»/ݻ/g
s/Ýº/ݺ/g
s/Ý¹/ݹ/g
s/Ý¸/ݸ/g
s/Ý·/ݷ/g
s/Ý¶/ݶ/g
s/Ýµ/ݵ/g
s/Ý´/ݴ/g
s/Ý³/ݳ/g
s/Ý²/ݲ/g
s/Ý±/ݱ/g
s/Ý°/ݰ/g
s/Ý¯/ݯ/g
s/Ý®/ݮ/g
s/Ý­/ݭ/g
s/Ý¬/ݬ/g
s/Ý«/ݫ/g
s/Ýª/ݪ/g
s/Ý©/ݩ/g
s/Ý¨/ݨ/g
s/Ý§/ݧ/g
s/Ý¦/ݦ/g
s/Ý¥/ݥ/g
s/Ý¤/ݤ/g
s/Ý£/ݣ/g
s/Ý¢/ݢ/g
s/Ý¡/ݡ/g
s/Ý /ݠ/g
s/Ý/ݟ/g
s/Ý/ݞ/g
s/Ý/ݝ/g
s/Ý/ݜ/g
s/Ý/ݛ/g
s/Ý/ݚ/g
s/Ý/ݙ/g
s/Ý/ݘ/g
s/Ý/ݗ/g
s/Ý/ݖ/g
s/Ý/ݕ/g
s/Ý/ݔ/g
s/Ý/ݓ/g
s/Ý/ݒ/g
s/Ý/ݑ/g
s/Ý/ݐ/g
s/Ý/ݏ/g
s/Ý/ݎ/g
s/Ý/ݍ/g
s/Ý/݌/g
s/Ý/݋/g
s/Ý/݊/g
s/Ý/݉/g
s/Ý/݈/g
s/Ý/݇/g
s/Ý/݆/g
s/Ý/݅/g
s/Ý/݄/g
s/Ý/݃/g
s/Ý/݂/g
s/Ý/݁/g
s/Ý/݀/g
s/Ü¿/ܿ/g
s/Ü¾/ܾ/g
s/Ü½/ܽ/g
s/Ü¼/ܼ/g
s/Ü»/ܻ/g
s/Üº/ܺ/g
s/Ü¹/ܹ/g
s/Ü¸/ܸ/g
s/Ü·/ܷ/g
s/Ü¶/ܶ/g
s/Üµ/ܵ/g
s/Ü´/ܴ/g
s/Ü³/ܳ/g
s/Ü²/ܲ/g
s/Ü±/ܱ/g
s/Ü°/ܰ/g
s/Ü¯/ܯ/g
s/Ü®/ܮ/g
s/Ü­/ܭ/g
s/Ü¬/ܬ/g
s/Ü«/ܫ/g
s/Üª/ܪ/g
s/Ü©/ܩ/g
s/Ü¨/ܨ/g
s/Ü§/ܧ/g
s/Ü¦/ܦ/g
s/Ü¥/ܥ/g
s/Ü¤/ܤ/g
s/Ü£/ܣ/g
s/Ü¢/ܢ/g
s/Ü¡/ܡ/g
s/Ü /ܠ/g
s/Ü/ܟ/g
s/Ü/ܞ/g
s/Ü/ܝ/g
s/Ü/ܜ/g
s/Ü/ܛ/g
s/Ü/ܚ/g
s/Ü/ܙ/g
s/Ü/ܘ/g
s/Ü/ܗ/g
s/Ü/ܖ/g
s/Ü/ܕ/g
s/Ü/ܔ/g
s/Ü/ܓ/g
s/Ü/ܒ/g
s/Ü/ܑ/g
s/Ü/ܐ/g
s/Ü/܏/g
s/Ü/܎/g
s/Ü/܍/g
s/Ü/܌/g
s/Ü/܋/g
s/Ü/܊/g
s/Ü/܉/g
s/Ü/܈/g
s/Ü/܇/g
s/Ü/܆/g
s/Ü/܅/g
s/Ü/܄/g
s/Ü/܃/g
s/Ü/܂/g
s/Ü/܁/g
s/Ü/܀/g
s/Û­/ۭ/g
s/Û¬/۬/g
s/Û«/۫/g
s/Ûª/۪/g
s/Û©/۩/g
s/Û¨/ۨ/g
s/Û§/ۧ/g
s/Û¦/ۦ/g
s/Û¥/ۥ/g
s/Û¤/ۤ/g
s/Û£/ۣ/g
s/Û¢/ۢ/g
s/Û¡/ۡ/g
s/Û /۠/g
s/Û/۟/g
s/Û/۞/g
s/Û/۝/g
s/Û/ۜ/g
s/Û/ۛ/g
s/Û/ۚ/g
s/Û/ۙ/g
s/Û/ۘ/g
s/Û/ۗ/g
s/Û/ۖ/g
s/Ù´/ٴ/g
s/Ù°/ٰ/g
s/Ùª/٪/g
s/Ù/ٟ/g
s/Ù/ٞ/g
s/Ù/ٝ/g
s/Ù/ٜ/g
s/Ù/ٛ/g
s/Ù/ٚ/g
s/Ù/ٙ/g
s/Ù/٘/g
s/Ù/ٗ/g
s/Ù/ٖ/g
s/Ù/ٕ/g
s/Ù/ٔ/g
s/Ù/ٓ/g
s/Ù/ْ/g
s/Ù/ّ/g
s/Ù/ِ/g
s/Ù/ُ/g
s/Ù/َ/g
s/Ù/ٍ/g
s/Ù/ٌ/g
s/Ù/ً/g
s/Ø/؝/g
s/Ø/؜/g
s/Ø/؛/g
s/Ø/ؚ/g
s/Ø/ؙ/g
s/Ø/ؘ/g
s/Ø/ؗ/g
s/Ø/ؖ/g
s/Ø/ؕ/g
s/Ø/ؔ/g
s/Ø/ؓ/g
s/Ø/ؒ/g
s/Ø/ؑ/g
s/Ø/ؐ/g
s/Ø/؏/g
s/Ø/؎/g
s/Ø/،/g
s/Ø/؊/g
s/Ø/؉/g
s/Ø/؇/g
s/Ø/؆/g
s/Ø/؅/g
s/×¿/׿/g
s/×¾/׾/g
s/×½/׽/g
s/×¼/׼/g
s/×»/׻/g
s/×º/׺/g
s/×¹/׹/g
s/×¸/׸/g
s/×·/׷/g
s/×¶/׶/g
s/×µ/׵/g
s/×¯/ׯ/g
s/×®/׮/g
s/×­/׭/g
s/×¬/׬/g
s/×«/׫/g
s/×/׏/g
s/×/׎/g
s/×/׍/g
s/×/׌/g
s/×/׋/g
s/×/׊/g
s/×/׉/g
s/×/׈/g
s/Ö/֐/g
s/Ö/֏/g
s/Ö/֎/g
s/Ö/֍/g
s/Ö/֌/g
s/Ö/֋/g
s/Ö//g
s/Ö//g
s/Ö/ֈ/g
s/Ö//g
s/Ö//g
s/Ö//g
s/Ö//g
s/Ö//g
s/Ö//g
s/Ö//g
s/Ö//g
s/Õ /ՠ/g
s/Õ/՟/g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ/ՙ/g
s/Õ/՘/g
s/Õ/՗/g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Õ//g
s/Ô°/԰/g
s/Ô¯/ԯ/g
s/Ô®/Ԯ/g
s/Ô­/ԭ/g
s/Ô¬/Ԭ/g
s/Ô«/ԫ/g
s/Ôª/Ԫ/g
s/Ô©/ԩ/g
s/Ô¨/Ԩ/g
s/Ô§/ԧ/g
s/Ô¦/Ԧ/g
s/Ô¥/ԥ/g
s/Ô¤/Ԥ/g
s/Ô£/ԣ/g
s/Ô¢/Ԣ/g
s/Ô¡/ԡ/g
s/Ô /Ԡ/g
s/Ô/ԟ/g
s/Ô/Ԟ/g
s/Ô/ԝ/g
s/Ô/Ԝ/g
s/Ô/ԛ/g
s/Ô/Ԛ/g
s/Ô/ԙ/g
s/Ô/Ԙ/g
s/Ô/ԗ/g
s/Ô/Ԗ/g
s/Ô/ԕ/g
s/Ô/Ԕ/g
s/Ô/ԓ/g
s/Ô/Ԓ/g
s/Ô/ԑ/g
s/Ô/Ԑ/g
s/Ô/ԏ/g
s/Ô/Ԏ/g
s/Ô/ԍ/g
s/Ô/Ԍ/g
s/Ô/ԋ/g
s/Ô/Ԋ/g
s/Ô/ԉ/g
s/Ô/Ԉ/g
s/Ô/ԇ/g
s/Ô/Ԇ/g
s/Ô/ԅ/g
s/Ô/Ԅ/g
s/Ô/ԃ/g
s/Ô/Ԃ/g
s/Ô/ԁ/g
s/Ô/Ԁ/g
s/Ó¿/ӿ/g
s/Ó¾/Ӿ/g
s/Ó½/ӽ/g
s/Ó¼/Ӽ/g
s/Ó»/ӻ/g
s/Óº/Ӻ/g
s/Ó¹/ӹ/g
s/Ó¸/Ӹ/g
s/Ó·/ӷ/g
s/Ó¶/Ӷ/g
s/Óµ/ӵ/g
s/Ó´/Ӵ/g
s/Ó³/ӳ/g
s/Ó²/Ӳ/g
s/Ó±/ӱ/g
s/Ó°/Ӱ/g
s/Ó¯/ӯ/g
s/Ó®//g
s/Ó­/ӭ/g
s/Ó¬/Ӭ/g
s/Ó«/ӫ/g
s/Óª/Ӫ/g
s/Ó©//g
s/Ó¨//g
s/Ó§/ӧ/g
s/Ó¦/Ӧ/g
s/Ó¥/ӥ/g
s/Ó¤/Ӥ/g
s/Ó£//g
s/Ó¢//g
s/Ó¡/ӡ/g
s/Ó /Ӡ/g
s/Ó/ӟ/g
s/Ó/Ӟ/g
s/Ó/ӝ/g
s/Ó/Ӝ/g
s/Ó/ӛ/g
s/Ó/Ӛ/g
s/Ó//g
s/Ó//g
s/Ó/ӗ/g
s/Ó/Ӗ/g
s/Ó/ӕ/g
s/Ó/Ӕ/g
s/Ó/ӓ/g
s/Ó/Ӓ/g
s/Ó/ӑ/g
s/Ó/Ӑ/g
s/Ó/ӏ/g
s/Ó/ӎ/g
s/Ó/Ӎ/g
s/Ó/ӌ/g
s/Ó/Ӌ/g
s/Ó/ӊ/g
s/Ó/Ӊ/g
s/Ó/ӈ/g
s/Ó/Ӈ/g
s/Ó/ӆ/g
s/Ó/Ӆ/g
s/Ó/ӄ/g
s/Ó/Ӄ/g
s/Ó/ӂ/g
s/Ó/Ӂ/g
s/Ó/Ӏ/g
s/Ò¿/ҿ/g
s/Ò¾/Ҿ/g
s/Ò½/ҽ/g
s/Ò¼/Ҽ/g
s/Ò»//g
s/Òº//g
s/Ò¹//g
s/Ò¸//g
s/Ò·//g
s/Ò¶//g
s/Òµ/ҵ/g
s/Ò´/Ҵ/g
s/Ò³//g
s/Ò²//g
s/Ò±//g
s/Ò°//g
s/Ò¯//g
s/Ò®//g
s/Ò­/ҭ/g
s/Ò¬/Ҭ/g
s/Ò«/ҫ/g
s/Òª/Ҫ/g
s/Ò©/ҩ/g
s/Ò¨/Ҩ/g
s/Ò§/ҧ/g
s/Ò¦/Ҧ/g
s/Ò¥/ҥ/g
s/Ò¤/Ҥ/g
s/Ò£//g
s/Ò¢//g
s/Ò¡/ҡ/g
s/Ò /Ҡ/g
s/Ò/ҟ/g
s/Ò/Ҟ/g
s/Ò//g
s/Ò//g
s/Ò//g
s/Ò//g
s/Ò/ҙ/g
s/Ò/Ҙ/g
s/Ò//g
s/Ò//g
s/Ò/ҕ/g
s/Ò/Ҕ/g
s/Ò//g
s/Ò//g
s/Ò//g
s/Ò//g
s/Ò/ҏ/g
s/Ò/Ҏ/g
s/Ò/ҍ/g
s/Ò/Ҍ/g
s/Ò/ҋ/g
s/Ò/Ҋ/g
s/Ò/҉/g
s/Ò/҈/g
s/Ò/҇/g
s/Ò/҆/g
s/Ò/҅/g
s/Ò/҄/g
s/Ò/҃/g
s/Ò/҂/g
s/Ò/ҁ/g
s/Ò/Ҁ/g
s/Ñ¿/ѿ/g
s/Ñ¾/Ѿ/g
s/Ñ½/ѽ/g
s/Ñ¼/Ѽ/g
s/Ñ»/ѻ/g
s/Ñº/Ѻ/g
s/Ñ¹/ѹ/g
s/Ñ¸/Ѹ/g
s/Ñ·/ѷ/g
s/Ñ¶/Ѷ/g
s/Ñµ/ѵ/g
s/Ñ´/Ѵ/g
s/Ñ³/ѳ/g
s/Ñ²/Ѳ/g
s/Ñ±/ѱ/g
s/Ñ°/Ѱ/g
s/Ñ¯/ѯ/g
s/Ñ®/Ѯ/g
s/Ñ­/ѭ/g
s/Ñ¬/Ѭ/g
s/Ñ«/ѫ/g
s/Ñª/Ѫ/g
s/Ñ©/ѩ/g
s/Ñ¨/Ѩ/g
s/Ñ§/ѧ/g
s/Ñ¦/Ѧ/g
s/Ñ¥/ѥ/g
s/Ñ¤/Ѥ/g
s/Ñ£/ѣ/g
s/Ñ¢/Ѣ/g
s/Ñ¡/ѡ/g
s/Ñ /Ѡ/g
s/Ñ/џ/g
s/Ñ/ў/g
s/Ñ/ѝ/g
s/Ñ/ќ/g
s/Ñ/ћ/g
s/Ñ/њ/g
s/Ñ/љ/g
s/Ñ/ј/g
s/Ñ/ї/g
s/Ñ/і/g
s/Ñ/ѕ/g
s/Ñ/є/g
s/Ñ/ѓ/g
s/Ñ/ђ/g
s/Í¯/ͯ/g
s/Í®/ͮ/g
s/Í­/ͭ/g
s/Í¬/ͬ/g
s/Í«/ͫ/g
s/Íª/ͪ/g
s/Í©/ͩ/g
s/Í¨/ͨ/g
s/Í§/ͧ/g
s/Í¦/ͦ/g
s/Í¥/ͥ/g
s/Í¤/ͤ/g
s/Í£/ͣ/g
s/Í¢/͢/g
s/Í¡/͡/g
s/Í /͠/g
s/Í/͟/g
s/Í/͞/g
s/Í/͝/g
s/Í/͜/g
s/Í/͛/g
s/Í/͚/g
s/Í/͙/g
s/Í/͘/g
s/Í/͗/g
s/Í/͖/g
s/Í/͕/g
s/Í/͔/g
s/Í/͓/g
s/Í/͒/g
s/Í/͑/g
s/Í/͐/g
s/Í/͏/g
s/Í/͎/g
s/Í/͍/g
s/Í/͌/g
s/Í/͋/g
s/Í/͊/g
s/Í/͉/g
s/Í/͈/g
s/Í/͇/g
s/Í/͆/g
s/Í/ͅ/g
s/Í/̈́/g
s/Í/̓/g
s/Í/͂/g
s/Í/́/g
s/Í/̀/g
s/Ì¿/̿/g
s/Ì¾/̾/g
s/Ì½/̽/g
s/Ì¼/̼/g
s/Ì»/̻/g
s/Ìº/̺/g
s/Ì¹/̹/g
s/Ì¸/̸/g
s/Ì·/̷/g
s/Ì¶/̶/g
s/Ìµ/̵/g
s/Ì´/̴/g
s/Ì³/̳/g
s/Ì²/̲/g
s/Ì±/̱/g
s/Ì°/̰/g
s/Ì¯/̯/g
s/Ì®/̮/g
s/Ì­/̭/g
s/Ì¬/̬/g
s/Ì«/̫/g
s/Ìª/̪/g
s/Ì©/̩/g
s/Ì¨/̨/g
s/Ì§/̧/g
s/Ì¦/̦/g
s/Ì¥/̥/g
s/Ì¤/̤/g
s/Ì£//g
s/Ì¢/̢/g
s/Ì¡/̡/g
s/Ì /̠/g
s/Ì/̟/g
s/Ì/̞/g
s/Ì/̝/g
s/Ì/̜/g
s/Ì/̛/g
s/Ì/̚/g
s/Ì/̙/g
s/Ì/̘/g
s/Ì/̗/g
s/Ì/̖/g
s/Ì/̕/g
s/Ì/̔/g
s/Ì/̓/g
s/Ì/̒/g
s/Ì/̑/g
s/Ì/̐/g
s/Ì/̏/g
s/Ì/̎/g
s/Ì/̍/g
s/Ì/̌/g
s/Ì/̋/g
s/Ì/̊/g
s/Ì//g
s/Ì/̈/g
s/Ì/̇/g
s/Ì/̆/g
s/Ì/¯/g
s/Ì/̄/g
s/Ì//g
s/Ì/̂/g
s/Ì//g
s/Ì//g
s/Ë¿/˿/g
s/Ë¾/˾/g
s/Ë½/˽/g
s/Ë¼/˼/g
s/Ë»/˻/g
s/Ëº/˺/g
s/Ë¹/˹/g
s/Ë¸/˸/g
s/Ë·/˷/g
s/Ë¶/˶/g
s/Ëµ/˵/g
s/Ë´/˴/g
s/Ë³/˳/g
s/Ë²/˲/g
s/Ë±/˱/g
s/Ë°/˰/g
s/Ë¯/˯/g
s/Ë®/ˮ/g
s/Ë­/˭/g
s/Ë¬/ˬ/g
s/Ë«/˫/g
s/Ëª/˪/g
s/Ë©/˩/g
s/Ë¨/˨/g
s/Ë§/˧/g
s/Ë¦/˦/g
s/Ë¥/˥/g
s/Ë¤/ˤ/g
s/Ë£/ˣ/g
s/Ë¢/ˢ/g
s/Ë¡/ˡ/g
s/Ë /ˠ/g
s/Ë/˟/g
s/Ë/˞/g
s/Ë/˝/g
s/Ë//g
s/Ë/˛/g
s/Ë/˚/g
s/Ë/˙/g
s/Ë/˘/g
s/Ë/˗/g
s/Ë/˖/g
s/Ë/˕/g
s/Ë/˔/g
s/Ë/˓/g
s/Ë/˒/g
s/Ë/ˑ/g
s/Ë/ː/g
s/Ë/ˏ/g
s/Ë/ˎ/g
s/Ë/ˍ/g
s/Ë/ˌ/g
s/Ë/ˋ/g
s/Ë/ˊ/g
s/Ë/ˉ/g
s/Ë/ˈ/g
s/Ë/ˇ/g
s/Ë//g
s/Ë/˅/g
s/Ë/˄/g
s/Ë/˃/g
s/Ë/˂/g
s/Ë/ˁ/g
s/Ë/ˀ/g
s/Ê¿/ʿ/g
s/Ê¾/ʾ/g
s/Ê½/ʽ/g
s/Ê¼/ʼ/g
s/Ê»/ʻ/g
s/Êº/ʺ/g
s/Ê¹/ʹ/g
s/Ê¸/ʸ/g
s/Ê·/ʷ/g
s/Ê¶/ʶ/g
s/Êµ/ʵ/g
s/Ê´/ʴ/g
s/Ê³/ʳ/g
s/Ê²/ʲ/g
s/Ê±/ʱ/g
s/Ê°/ʰ/g
s/Ê¯/ʯ/g
s/Ê®/ʮ/g
s/Ê­/ʭ/g
s/Ê¬/ʬ/g
s/Ê«/ʫ/g
s/Êª/ʪ/g
s/Ê©/ʩ/g
s/Ê¨/ʨ/g
s/Ê§/ʧ/g
s/Ê¦/ʦ/g
s/Ê¥/ʥ/g
s/Ê¤/ʤ/g
s/Ê£/ʣ/g
s/Ê¢/ʢ/g
s/Ê¡/ʡ/g
s/Ê /ʠ/g
s/Ê/ʟ/g
s/Ê/ʞ/g
s/Ê/ʝ/g
s/Ê/ʜ/g
s/Ê/ʛ/g
s/Ê/ʚ/g
s/Ê/ʙ/g
s/Ê/ʘ/g
s/Ê/ʗ/g
s/Ê/ʖ/g
s/Ê/ʕ/g
s/Ê/ʔ/g
s/Ê/ʓ/g
s/Ê/ʒ/g
s/Ê/ʑ/g
s/Ê/ʐ/g
s/Ê/ʏ/g
s/Ê/ʎ/g
s/Ê/ʍ/g
s/Ê/ʌ/g
s/Ê/ʋ/g
s/Ê/ʊ/g
s/Ê/ʉ/g
s/Ê/ʈ/g
s/Ê/ʇ/g
s/Ê/ʆ/g
s/Ê/ʅ/g
s/Ê/ʄ/g
s/Ê/ʃ/g
s/Ê/ʂ/g
s/Ê/ʁ/g
s/Ê/ʀ/g
s/É¿/ɿ/g
s/É¾/ɾ/g
s/É½/ɽ/g
s/É¼/ɼ/g
s/É»/ɻ/g
s/Éº/ɺ/g
s/É¹/ɹ/g
s/É¸/ɸ/g
s/É·/ɷ/g
s/É¶/ɶ/g
s/Éµ//g
s/É´/ɴ/g
s/É³/ɳ/g
s/É²/ɲ/g
s/É±/ɱ/g
s/É°/ɰ/g
s/É¯/ɯ/g
s/É®/ɮ/g
s/É­/ɭ/g
s/É¬/ɬ/g
s/É«/ɫ/g
s/Éª/ɪ/g
s/É©/ɩ/g
s/É¨/ɨ/g
s/É§/ɧ/g
s/É¦/ɦ/g
s/É¥/ɥ/g
s/É¤/ɤ/g
s/É£/ɣ/g
s/É¢/ɢ/g
s/É¡/ɡ/g
s/É /ɠ/g
s/É/ɟ/g
s/É/ɞ/g
s/É/ɝ/g
s/É/ɜ/g
s/É/ɛ/g
s/É/ɚ/g
s/É//g
s/É/ɘ/g
s/É/ɗ/g
s/É/ɖ/g
s/Â/ /g
s/É/ɕ/g
s/É/ɔ/g
s/É/ɓ/g
s/É/ɒ/g
s/É/ɑ/g
s/É/ɐ/g
s/É/ɏ/g
s/É/Ɏ/g
s/É/ɍ/g
s/É/Ɍ/g
s/É/ɋ/g
s/É/Ɋ/g
s/É/ɉ/g
s/É/Ɉ/g
s/É/ɇ/g
s/É/Ɇ/g
s/É/Ʌ/g
s/É/Ʉ/g
s/É/Ƀ/g
s/É/ɂ/g
s/É/Ɂ/g
s/É/ɀ/g
s/È¿/ȿ/g
s/È¾/Ⱦ/g
s/È½/Ƚ/g
s/È¼/ȼ/g
s/È»/Ȼ/g
s/Èº/Ⱥ/g
s/È¹/ȹ/g
s/È¸/ȸ/g
s/È·/ȷ/g
s/È¶/ȶ/g
s/Èµ/ȵ/g
s/È´/ȴ/g
s/È³/ȳ/g
s/È²/Ȳ/g
s/È±/ȱ/g
s/È°/Ȱ/g
s/È¯/ȯ/g
s/È®/Ȯ/g
s/È­/ȭ/g
s/È¬/Ȭ/g
s/ß¿/߿/g
s/È«/ȫ/g
s/Èª/Ȫ/g
s/È©/ȩ/g
s/È¨/Ȩ/g
s/È§/ȧ/g
s/È¦/Ȧ/g
s/È¥/ȥ/g
s/È¤/Ȥ/g
s/È£/ȣ/g
s/È¢/Ȣ/g
s/È¡/ȡ/g
s/È /Ƞ/g
s/È/ȟ/g
s/È/Ȟ/g
s/È/ȝ/g
s/È/Ȝ/g
s/È/ț/g
s/È/Ț/g
s/È/ș/g
s/È/Ș/g
s/È/ȗ/g
s/È/Ȗ/g
s/È/ȕ/g
s/È/Ȕ/g
s/È/ȓ/g
s/È/Ȓ/g
s/È/ȑ/g
s/È/Ȑ/g
s/È/ȏ/g
s/È/Ȏ/g
s/È/ȍ/g
s/È/Ȍ/g
s/È/ȋ/g
s/È/Ȋ/g
s/È/ȉ/g
s/È/Ȉ/g
s/È/ȇ/g
s/È/Ȇ/g
s/È/ȅ/g
s/È/Ȅ/g
s/È/ȃ/g
s/È/Ȃ/g
s/È/ȁ/g
s/È/Ȁ/g
s/Ç¿/ǿ/g
s/Ç¾/Ǿ/g
s/Ç½/ǽ/g
s/Ç¼/Ǽ/g
s/Ç»/ǻ/g
s/Çº/Ǻ/g
s/Ç¹/ǹ/g

Nun ist klar, dass sed-Script zu langsam ist, wenn ich eine txt-Datei von der Größe von 2GB (also mehrere Millionen Zeilen) korrigieren muss. Die Lösung den Script auf mehrere kleinere Scripts zu verteilen ist nicht zielführend.
Kann man so einen Script mit AWK oder Perl umschreiben, damit es schneller geht? Leider habe ich da nicht so viel Ahnung.

Danke!

Please also mark the comments that contributed to the solution of the article

Content-Key: 640480

Url: https://administrator.de/contentid/640480

Printed on: April 24, 2024 at 17:04 o'clock

11 Comments

Latest comment

Nun ist klar, dass sed-Script zu langsam ist, wenn ich eine txt-Datei von der Größe von 2GB (also mehrere Millionen Zeilen) korrigieren muss.

Definiere doch bitte mal langsam?
2 Minuten? 2 Stunden? 2 Tage?

Kann man so einen Script mit AWK oder Perl umschreiben, damit es schneller geht? Leider habe ich da nicht so viel Ahnung.

SED ist ein kompiliertes Programm. Es ist per Definition schneller als Pearl und AWK da dieses Skript-Sprachen sind.

Wobei AWK genau dafür gemacht wurde.
Müsste man schlicht ausprobieren.

Dein Problem kommt rein von der rechenleistung.
Für jedes Zeichen in Deinen 2GB muss er 70.000 Vergleiche durchführen.

2.000.000.000 x 70.000 = 140.000.000.000.000 Vergleiche + Die Ersetzungen

Wichtig ist, dass Du möglichst alles in den RAM bekommst.
Ich weiß halt nicht wie schlau SED programmiert ist.

Am einfachsten wäre ein eigenes Programm in C# C++ schreiben (lassen).
Das sollte nicht so aufwendig sein.

Stefan

txt-Datei besteht aus 60.000.000 Zeilen.

Es werden pro Stunde ca. 500 Zeichen aus sed-Script bearbeitet und ersetzt.

Macht insgesamt fast 8 Tage.

Danach muss Script nochmals wiederholt werden, um alle neu entstehende Zeichenkombinationen zu korrigieren.

Also - zusammen 16 Tage.

Hallo,

witzig, passt

70.000 Zeichen zum ersetzem
10 Zeichen/Sekunde (geraten)
700.000 Sekunden
11.667 Minuten
194 Stunden
8,10 Tage

Ich denke, dass man mit einem optimierten Multithreadingprogramme durchaus in den einstellungen Stundenbereich vorstoßen kann.
Dass muss natürlich Jemand programmieren.

Ich glaube kaum, dass Du da mit einer Skript-Lösung deutlich schneller wirst.

Stefan

Ok. Dann bin ich falsch in diesem Thread. Danke! Ich werde dann unsere Programierer fragen, viellleicht findet jemand Zeit dafür.

Wenn's um Kodierungskorrektur geht, würde mir an deiner Stelle stattdessen mal iconv anschauen
https://linux.die.net/man/1/iconv

Bringt nichts - in der Textdatei sind mehrere Kodierungen zusammengemischt: UTF8, UTF16LE, KOI8-R, Win1252, Wind1251, Win1256, usw....

Oi, da hat sich aber einer ausgetobt

.

SED ist aber schon eines der schnellsten unter den Produkten zur Änderung von Dateien.

Das passiert, wenn ein .... einige Dateien von diversen Weltniederlassungen automatisch per Script zusammenfügt und vergisst dabei die Config-Datei entsprechend zu ändern. Vor allem eine Zeile, die für Löschung von Originaldateien sorgt.

PS: Einer von unseren Programmierer macht es mit C++ heute abend.

Zitat von @Gustaff:
sed -f Replace.sed Muster.txt > Muster1.txt

Nun ist klar, dass sed-Script zu langsam ist, wenn ich eine txt-Datei von der Größe von 2GB (also mehrere Millionen Zeilen) korrigieren muss.

stichwort: parallel

mit "parallel" habe ich schon einige challenge gegen programmierer bzgl. performce gewonnen.

z.b.:

cat Muster1.txt | parallel -gnu " sed -f Replace.sed"......

siehe dazu: linux bash parallel

Danke! Das habe ich nicht gewusst. Leider habe ich den Befehl nicht im System.

Und unser Admin ist diese Woche nicht da. Trotzdem vielen Dank!

Zitat von @StefanKittel:

Nun ist klar, dass sed-Script zu langsam ist, wenn ich eine txt-Datei von der Größe von 2GB (also mehrere Millionen Zeilen) korrigieren muss.

Definiere doch bitte mal langsam?
2 Minuten? 2 Stunden? 2 Tage?

Kann man so einen Script mit AWK oder Perl umschreiben, damit es schneller geht? Leider habe ich da nicht so viel Ahnung.

SED ist ein kompiliertes Programm. Es ist per Definition schneller als Pearl und AWK da dieses Skript-Sprachen sind.

@Stefan
Pearl != Perl
Ja ich weiß ein Vertippper.

Gruss Penny.

German solved Question Linux

Hotly discussed

Check of ZFW Firewallgleixnerd - 5 Comments

Wireguard VPN on UDM Pro behind Fritzbox - Handshake did not completejstricker - 3 Comments