CSV Stapelverarbeitung mit Filterfunktion für große Datenmengen

# Schritt 1: Einlesen der CSV Dateien

workflow MergeCSV {
    param([string]$path)
    # Dateien die verarbeitet werden ermitteln
    $files = Get-ChildItem -Path $path -File -Recurse -Filter '*.csv'  

    #Funktion die eine CSV entsprechend bearbeitet und modifiziert zurückgibt
    function Process-CSV($file){
        $content = Get-Content -Path $file.FullName | select -skip 7
        return ($content[0..($content.GetUpperBound(0)-1)] | ConvertFrom-CSV -Delimiter ";" -Header "Colour","Car","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" | select -Property 'Car','ID',@{n='TimeStamp';e={get-date -Date $_.Timestamp -Format 'dd-MM-yyyy HH:mm:ss'}},'Note',@{n='PublicationTimeStamp';e={get-date -Date $_.PublicationTimeStamp -Format 'dd-MM-yyyy HH:mm:ss'}},@{n='ModificationTimeStamp';e={get-date -Date $_.ModificationTimeStamp -Format 'dd-MM-yyyy HH:mm:ss'}})  
    }

    foreach -parallel -throttle 8 ($csv in $files){
        # rufe Funktion zum Bearbeiten der CSV-Datei in Parallelverarbeitung auf
        Process-CSV -file $csv
    }
}

$CSV_PATH = 'C:\Daten Bearbeitung\Import'  

$outVW = 'C:\Daten Bearbeitung\Export\VW.csv'  
$outAudi= 'C:\Daten Bearbeitung\Export\Audi.csv'  

$outVWred = 'C:\Daten Bearbeitung\Export\VWred.csv'  
$outVWblue = 'C:\Daten Bearbeitung\Export\VWblue.csv'  
$outAudired= 'C:\Daten Bearbeitung\Export\Audired.csv'  
$outAudiblue= 'C:\Daten Bearbeitung\Export\Audiblue.csv'  

MergeCSV -path $CSV_PATH | select "Car","Colour","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" | group {$_.Car} | %{  
    $group = $_.group
    switch ($_.Name){
        'VW'{  
            $group | ?{$_."Colour" -eq 'red'}  | export-csv -Path $outVWred -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
            $group | ?{$_."Colour" -eq 'blue'} | export-csv -Path $outVWblue -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
         
			$group | export-csv -Path $outVW -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
		}
        'Audi'{  
            $group | ?{$_."Colour" -eq 'red'}  | export-csv -Path $outAudired -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
            $group | ?{$_."Colour" -eq 'blue'} | export-csv -Path $outAudiblue -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
        
		    $group | export-csv -Path $outAudi -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
		}
    } $group | export-csv -Path $out -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
}

# Schritt 2: Doppelte Wert anhand der Aktuallität aussortieren

workflow FILTERCSV 

{
 Parallel
{
gci 'C:\Daten Bearbeitung\Export\VWred.csv'| %{  
    gc $_.FullName | select -Skip 1| ConvertFrom-CSV -Delimiter ";" -Header "Colour","Car","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" | group {get-date $_.TimeStamp}| %{$_.Group | sort {get-date $_.'ModificationTimeStamp'} -Descending | select -First 1} | Sort "TimeStamp", "ModificationTimeStamp" -descending | export-csv 'C:\Daten Bearbeitung\Export\bereinigte Daten\VWred.csv' -Append -Delimiter ";" -Notype -Encoding UTF8  

}

gci 'C:\Daten Bearbeitung\Export\VWblue.csv'| %{  
    gc $_.FullName | select -Skip 1| ConvertFrom-CSV -Delimiter ";" -Header "Colour","Car","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" | group {get-date $_.TimeStamp}| %{$_.Group | sort {get-date $_.'ModificationTimeStamp'} -Descending | select -First 1} | Sort "TimeStamp", "ModificationTimeStamp" -descending | export-csv 'C:\Daten Bearbeitung\Export\bereinigte Daten\VWblue.csv' -Append -Delimiter ";" -Notype -Encoding UTF8  
}

gci 'C:\Daten Bearbeitung\Export\Audired.csv'| %{  
    gc $_.FullName | select -Skip 1| ConvertFrom-CSV -Delimiter ";" -Header "Colour","Car","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" | group {get-date $_.TimeStamp}| %{$_.Group | sort {get-date $_.'ModificationTimeStamp'} -Descending | select -First 1} | Sort "TimeStamp", "ModificationTimeStamp" -descending | export-csv 'C:\Daten Bearbeitung\Export\bereinigte Daten\Audired.csv' -Append -Delimiter ";" -Notype -Encoding UTF8  

}

gci 'C:\Daten Bearbeitung\Export\Audiblue.csv'| %{  
    gc $_.FullName | select -Skip 1| ConvertFrom-CSV -Delimiter ";" -Header "Colour","Car","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" | group {get-date $_.TimeStamp}| %{$_.Group | sort {get-date $_.'ModificationTimeStamp'} -Descending | select -First 1} | Sort "TimeStamp", "ModificationTimeStamp" -descending | export-csv 'C:\Daten Bearbeitung\Export\bereinigte Daten\Audiblue.csv' -Append -Delimiter ";" -Notype -Encoding UTF8  
}

}
}
 
FILTERCSV

# Schritt 3: Zusammenfassen der Daten



workflow Zusammenfassen {
    param([string]$path)
    # Dateien die verarbeitet werden ermitteln
    $files = Get-ChildItem -Path $path -File -Recurse -Filter '*.csv'  

    #Funktion die eine CSV entsprechend bearbeitet und modifiziert zurückgibt
    function Process-CSV($file){
        return Get-Content -Path $file.FullName | select -skip 1 | ConvertFrom-CSV -Delimiter ";" -Header "Colour","Car","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" )  
    }

    foreach -parallel -throttle 8 ($csv in $files){
        # rufe Funktion zum Bearbeiten der CSV-Datei in Parallelverarbeitung auf
        Process-CSV -file $csv
    }
}

$CSV_PATH = 'C:\Daten Bearbeitung\Export\bereinigte Daten'  

$out = 'C:\Daten Bearbeitung\Export\bereinigte Daten\Gesamt\BEGesamt.csv'  

$outVW = 'C:\Daten Bearbeitung\Export\bereinigte Daten\Gesamt\BEVW.csv'  
$outAudi= 'C:\Daten Bearbeitung\Export\bereinigte Daten\Gesamt\BEAudi.csv'  



Zusammenfassen -path $CSV_PATH | select "Car","Colour","TimeStamp","Note","PublicationTimeStamp","ModificationTimeStamp" | group {$_.Car} | %{  
    $group = $_.group
    switch ($_.Name){
        'VW'{  
			$group | export-csv -Path $outVW -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
		}
        'Audi'{                 
		    $group | export-csv -Path $outAudi -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
		}
    } $group | export-csv -Path $out -NoTypeInformation -Encoding "UTF8" -Delimiter ";" -Append  
}