8
Powershell - csv - Sonderzeichen
Einen wunderschönen arbeitsreichen Tag
Ich bin gerade dabei csv-Dateien mittels Powershell zu vergleichen und Unterschiede bzw Gemeinsamkeiten abzuspeichern. Mein Problem dabei ist, ok sind die "fremdländischen Zeichen"
Die Umlaute funktionieren, die habe ich im Griff, es geht z.B. um die "tschechischen Hatscheks", also das c mit dem Hakerl drauf oder auch andere Buchstaben die ein Apostroph drüber haben.
Ich bekomme die csv's utf8 (ohne bom), da stimmt alles. Nachdem vergleichen etc ist in der Enddatei, naja nix mehr so richtig Ich habe sowohl mit out-file also auch mit export-csv herumexperimentiert, gc und sc ....... alles was das Internet so halt geboten hat. Als Ergebnis hatte ich entweder eine utf8-bom oder eine ucs-2 le bom mit "interessanten" Werten.
Wie kann ich die Powershell dazu übereden, daß sie in die Codierung nicht eingreift oder welche andere Möglichkeiten habe ich?
Ich bin gerade dabei csv-Dateien mittels Powershell zu vergleichen und Unterschiede bzw Gemeinsamkeiten abzuspeichern. Mein Problem dabei ist, ok sind die "fremdländischen Zeichen"
Die Umlaute funktionieren, die habe ich im Griff, es geht z.B. um die "tschechischen Hatscheks", also das c mit dem Hakerl drauf oder auch andere Buchstaben die ein Apostroph drüber haben.Ich bekomme die csv's utf8 (ohne bom), da stimmt alles. Nachdem vergleichen etc ist in der Enddatei, naja nix mehr so richtig
Ich habe sowohl mit out-file also auch mit export-csv herumexperimentiert, gc und sc ....... alles was das Internet so halt geboten hat. Als Ergebnis hatte ich entweder eine utf8-bom oder eine ucs-2 le bom mit "interessanten" Werten.Wie kann ich die Powershell dazu übereden, daß sie in die Codierung nicht eingreift oder welche andere Möglichkeiten habe ich?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 388390
Url: https://administrator.de/contentid/388390
Printed on: March 27, 2023 at 11:03 o'clock
8 Comments
Latest comment
Hallo,
kannst du den Code bitte posten.
Danke
kannst du den Code bitte posten.
Danke
Moin,
Leider verstehe ich überhaupt nicht, was "interessante Werte" und "nicht mehr so richtig" sein soll.
Gruß
Zitat von @Franz-Josef-II:
Wie kann ich die Powershell dazu übereden, daß sie in die Codierung nicht eingreift oder welche andere Möglichkeiten habe ich?
die Powershell greift nicht in die Codierung ein! Sie liest die Daten ja anscheinend korrekt. Export-CSV kennt imho nur UTF8 mit BOM. Per .net solltest du eine Lösung bauen können: Wie kann ich die Powershell dazu übereden, daß sie in die Codierung nicht eingreift oder welche andere Möglichkeiten habe ich?
[IO.File]::WriteAllLines($filename, $content)Gruß
Hat jetzt ein bißchen gedauert, die Echtdaten kommen nicht so gut an, wenn ich die öffentlich .....
Also die Ursprungsdatei schaut so aus (utf8):
Jetzt importiere ich die beiden zu vergleichen csv-Dateien, vergleiche sie und speichere sie ab:
Da kommt jetzt folgendes utf8 heraus:
Also die Sonderzeichen werden durch Fragezeichen ersetzt.
Dann kommt das heraus (UCS-2 LE BOM):
Wobei ich mich jetzt ein bißchen verrannt habe, ich weiß jetzt nicht mehr, mit welchen Befehlen ich die "interessanten Zeichen" bekomme habe
Ein paar Beispiele eben dieser (es handelt sich um Namensteile, allerdings im Original sind dort keine Umlaute sondern eben die Hatscheks und Apostrophe):
Also die Ursprungsdatei schaut so aus (utf8):
Spalte1;Spalte2;Spalte3;Spalte4
Raum303;TALIĆ;Aik;01.04.2018
Raum303;Čejkoska;Maria;01.04.2018
Raum303;Ünstantinoj;Gabriel;01.08.2018
Raum487;Zakić;Ivanowa;01.08.2018
Raum487;Červesia;Bier;01.08.2018
Raum487;Bodankšić;Siegfrid;01.10.2018
Raum487;Barić;Anđero;01.10.2018
Raum487;Jastić;Vladimir;01.10.2018Jetzt importiere ich die beiden zu vergleichen csv-Dateien, vergleiche sie und speichere sie ab:
#Importieren
$a = Import-CSV .\test.csv -Delimiter ";"
$b = Import-CSV .\test2.csv -Delimiter ";"
# Vergleich und erstellen einer Datei
Compare $a $b -Property Spalte2,Spalte3,Spalte4 -IncludeEqual -ExcludeDifferent -PassThru | select Spalte1,Spalte2,Spalte3,Spalte4 | Export-CSV .\c.csv -Delimiter ";" -NoTypeInformationDa kommt jetzt folgendes utf8 heraus:
"Spalte1";"Spalte2";"Spalte3";"Spalte4"
"Raum303";"TALI?";"Aik";"01.04.2018"
"Raum303";"?ejkoska";"Maria";"01.04.2018"
"Raum303";"?nstantinoj";"Gabriel";"01.08.2018"
"Raum487";"Zaki?";"Ivanowa";"01.08.2018"
"Raum487";"?ervesia";"Bier";"01.08.2018"
"Raum487";"Bodank?i?";"Siegfrid";"01.10.2018"
"Raum487";"Bari?";"An?ero";"01.10.2018"
"Raum487";"Jasti?";"Vladimir";"01.10.2018"Also die Sonderzeichen werden durch Fragezeichen ersetzt.
Compare $a $b -Property Spalte2,Spalte3,Spalte4 -IncludeEqual -ExcludeDifferent -PassThru | select Spalte1,Spalte2,Spalte3,Spalte4 | Out-File .\c.csvDann kommt das heraus (UCS-2 LE BOM):
Spalte1 Spalte2 Spalte3 Spalte4
------- ------- ------- -------
Raum303 TALIĆ Aik 01.04.2018
Raum303 Čejkoska Maria 01.04.2018
Raum303 Ünstantinoj Gabriel 01.08.2018
Raum487 Zakić Ivanowa 01.08.2018
Raum487 Červesia Bier 01.08.2018
Raum487 Bodankšić Siegfrid 01.10.2018
Raum487 Barić Anđero 01.10.2018
Raum487 Jastić Vladimir 01.10.2018Wobei ich mich jetzt ein bißchen verrannt habe, ich weiß jetzt nicht mehr, mit welchen Befehlen ich die "interessanten Zeichen" bekomme habe
Ein paar Beispiele eben dieser (es handelt sich um Namensteile, allerdings im Original sind dort keine Umlaute sondern eben die Hatscheks und Apostrophe):
IĆ
ÄŒej
oç
Ãœns
ić
Du gibst ja auch kein Encoding beim Im- und Export an, wie soll da die Powershell automatisch das "wirklich" passende Encoding nehmen wenn die Datei kein BOM hat 
.
.#Importieren
$a = Import-CSV .\test.csv -Delimiter ";" -Encoding UTF8
$b = Import-CSV .\test2.csv -Delimiter ";" -Encoding UTF8
# Vergleich und erstellen einer Datei
Compare $a $b -Property Spalte2,Spalte3,Spalte4 -IncludeEqual -ExcludeDifferent -PassThru | select Spalte1,Spalte2,Spalte3,Spalte4 | Export-CSV .\c.csv -Delimiter ";" -NoTypeInformation -Encoding UTF8
Keine Änderung Genau gleiches Verhalten
Genau gleiches Verhalten
Hier geht's. Wir haben deine Ausgangsdateien nicht ....
Zitat von @137289:
Hier geht's. Wir haben deine Ausgangsdateien nicht ....
Hier geht's. Wir haben deine Ausgangsdateien nicht ....
Stimmt.
Ich denke, ich werde alles über Bord werfen und komplett von vorne wieder anfangen (und Deinen Tipp miteinbauen)
Irgendwo pfuscht mir da was drein Die letzte Datei, ist das bei Dir eine utf8 oder eine utf8 bom?
?? Meine Test-Dateiquelle war eine UTF-8 kodierte ohne BOM.
Die CMDLets geben immer eine Datei mit BOM aus, ist auch gut so, dann erkennen Programme auch gleich worum es geht! Willst du das nicht, s. Kommentar von Krämer, mit den .NET Methoden die Daten wegschreiben.
Die CMDLets geben immer eine Datei mit BOM aus, ist auch gut so, dann erkennen Programme auch gleich worum es geht! Willst du das nicht, s. Kommentar von Krämer, mit den .NET Methoden die Daten wegschreiben.
