crusher79
Goto Top

Windows MD5 Hash Generierung langsam

Moin,

wie generiert man am besten MD5 Hash unter Windows?

Debian:
Di 30. Jan 08:46:22 CET 2024
3215e7f7918060613818e4b328cdd839  /mnt/backuplenovo/Acronis_CB_Local/Zabbix-0A4872D3-1378-40F0-9DFC-CCC3DB4E9F85-5269ED32-FDAD-D425-0254-9AE4188EF8B3A-0024.tibx
Di 30. Jan 08:48:46 CET 2024

Windows:
Tue Jan 30 07:37:03 CET 2024
3215e7f7918060613818e4b328cdd839 *Zabbix-0A4872D3-1378-40F0-9DFC-CCC3DB4E9F85-5269ED32-FDAD-D425-0254-9AE4188EF8B3A-0024.tibx
Tue Jan 30 07:43:22 CET 2024

Statt 2 min. dauert es 6-8 min. auf dem gleichen Server. Linux greift via Netzwerk drauf zu. Unten wurde mal mit MSYS2 unter Windows getestet. Auch langsam.

PowerShell oder certutil verhalten sich ähnlich. Auf die Spitze getrieben erstellt md5sum von Linux den Hash via Netzwerk mit Zugriff auf die Windows Datei schneller, als lokal.

Die Datei hat ca 45 TB binär Daten.

mfg Crusher

Content-ID: 61068834740

Url: https://administrator.de/forum/windows-md5-hash-generierung-langsam-61068834740.html

Ausgedruckt am: 24.12.2024 um 19:12 Uhr

Lochkartenstanzer
Lochkartenstanzer 30.01.2024 aktualisiert um 09:26:02 Uhr
Goto Top
Moin,

Hast Du es mal mit Windows über Netzwerk versucht?

Ggf. Werden lokale Prozesse zugunsten des Netzwerks ausgebremst oder das caching über Netzwerk hat positive Effekte. Oder der Client hat mehr Rechenpower oder bekommt mehr zugeteilt.

lks
Crusher79
Crusher79 30.01.2024 um 09:43:38 Uhr
Goto Top
Hi, ja hab ich. Via \\localhost

Ist schon echt krass. Everythin auch mal ausgestellt. Da läuft ansonsten Veeam B&R CE - zur Zeit ungenutzt - und Acronis Cypber Backup drauf.

certuil, md5sum unter Windows oder auch PowerShell sind alle langsam.

der Windows Server ist nur für Backups da. Von der Hardwareausstattung auch nicht gerade an der Grenze. Wäre es ein Vergleich zwischen jeweils lokalen Vorgängen unter Windows und Linux wäre es noch erklärbar.

Wenn ich aber md5sum unter debian auf dem Windows Share mache ist es wie gesagt deutlich schneller. Naja Muss ich wohl den Server "auseinandernehmen".

30-01-_2024_09-41-17
Lochkartenstanzer
Lochkartenstanzer 30.01.2024 aktualisiert um 09:51:16 Uhr
Goto Top
Zitat von @Crusher79:

Hi, ja hab ich. Via \\localhost

Nein, nicht via localhost auf der Kiste selbst, sondern per Windowsclient auf dem share. Sonst vergleichst Du Äpfel mit Birnen.

lks
Crusher79
Crusher79 30.01.2024 um 09:58:22 Uhr
Goto Top
Jo hab ich auch. Client via IP - 10 min. Dauer.
Lochkartenstanzer
Lochkartenstanzer 30.01.2024 um 10:19:26 Uhr
Goto Top
Auch mal das md5sum unter WSL benutzt?
Crusher79
Crusher79 30.01.2024 um 11:48:35 Uhr
Goto Top
Ach ka warum ich so auf MD5 eingeschworen war.

Ich wollte nur was rasches zum zusätzlichen validieren für rsync jobs.

Krypto nicht nötig. Gehe wohl auf xxxhash.

https://manpages.debian.org/testing/xxhash/xxhsum.1.en.html

https://sourceforge.net/projects/xxhsum-for-windows/


Immer noch langsamer, aber besser. Denke werde bei der Variante bleiben.
Lochkartenstanzer
Lösung Lochkartenstanzer 30.01.2024 um 12:20:56 Uhr
Goto Top
Zitat von @Crusher79:

Immer noch langsamer, aber besser. Denke werde bei der Variante bleiben.

Moin,

Wird vermutllich dann an den Windows-Bibliotheken der Programmierumgebung liegen.

lks
Crusher79
Crusher79 30.01.2024 um 12:38:16 Uhr
Goto Top
Zitat von @Lochkartenstanzer:

Moin,

Wird vermutllich dann an den Windows-Bibliotheken der Programmierumgebung liegen.

lks

Möglich. Gern ist eig. immutable Backup ohne Veeam, bzw. build-in support. Baue es nach. Hashsumme ggf. als zusätliche Validierung.

Werd wohl bei xxxhash bleiben. rsync arbeitet ansonsten auch zuverlässig. Reicht mir so.