peetbl
Goto Top

HyperV mit Ubuntu nur Nextcloud erzeugt 100 Prozent Festplattenauslastung

Ich habe ein seltsames Verhalten festgestellt:
HyperV mit Ubuntu nur Nextcloud erzeugt 100 Prozent Festplattenauslastung.
Ich habe noch weitere VM (Ubuntu und Windows Server) diese zeigen das Verhalten nicht.
Habe die VM mal zu verschiedenen Platten verschoben, immer das gleiche Verhalten die Platte auf der die VM läuft erzeug 100% Festplattenauslastung (SATA, SAS RAID 10 oder SSD).
Die Linux-Maschine zeigt wenig Festplatten zugriffe.

Hat jemand eine Idee für einen Ansatzpunkt? Klar es muss etwas an der VM sein, aber was???

LG Peet

Content-ID: 5428540970

Url: https://administrator.de/contentid/5428540970

Ausgedruckt am: 28.09.2024 um 20:09 Uhr

manuel-r
manuel-r 25.06.2024 um 18:27:44 Uhr
Goto Top
Und was sagt ein entsprechendes Tool innerhalb der VM woher die Auslastung kommt?
PeetBL
PeetBL 25.06.2024 um 18:49:41 Uhr
Goto Top
Zitat von @manuel-r:

Und was sagt ein entsprechendes Tool innerhalb der VM woher die Auslastung kommt?

Kaum Auslastung:
screenshot 2024-06-25 184835
PeetBL
PeetBL 25.06.2024 um 18:56:08 Uhr
Goto Top
Zitat von @manuel-r:

Und was sagt ein entsprechendes Tool innerhalb der VM woher die Auslastung kommt?

So sieht es auf dem Host aus:
screenshot 2024-06-25 185339
manuel-r
manuel-r 25.06.2024 um 18:58:50 Uhr
Goto Top
Zitat von @PeetBL:

Zitat von @manuel-r:

Und was sagt ein entsprechendes Tool innerhalb der VM woher die Auslastung kommt?

Kaum Auslastung:
screenshot 2024-06-25 184835

Dann muss es ja der Hypervisor sein, der irgendwas anstellt. Was sagt denn der Taskmanager/Prozessmonitor welcher Prozess dafür verantwortlich ist? Der Prozess der die VM darstellt oder was anderes?
manuel-r
manuel-r 25.06.2024 um 19:04:02 Uhr
Goto Top
Zitat von @PeetBL:

Zitat von @manuel-r:

Und was sagt ein entsprechendes Tool innerhalb der VM woher die Auslastung kommt?

So sieht es auf dem Host aus:
screenshot 2024-06-25 185339

100% Auslastung und gleichzeitig fast keine Datenübertragung hin oder her. Sicher, dass die Platte noch in Ordnung ist?
PeetBL
PeetBL 25.06.2024 um 19:08:13 Uhr
Goto Top
screenshot 2024-06-25 190647
Hier ist auch nichts besonderes.
Sobald ich die VM ausschalte, ist die Auslastung bei 0%.
PeetBL
PeetBL 25.06.2024 um 19:09:49 Uhr
Goto Top
Die Platten sind in Ordnung. habe die VM auch die anderen verschoben, immer das gleiche Verhalten. face-sad
MysticFoxDE
MysticFoxDE 25.06.2024 um 22:53:02 Uhr
Goto Top
Moin @PeetBL,

Die Platten sind in Ordnung. habe die VM auch die anderen verschoben, immer das gleiche Verhalten. face-sad

wieviel vRAM hast du den der entsprechenden VM zugeordnet?

Gruss Alex
PeetBL
PeetBL 25.06.2024 um 23:05:09 Uhr
Goto Top
screenshot 2024-06-25 230253
vRam ist auch reichlich, sonst würde in der MV mehr los sein.

LG Peet
MysticFoxDE
MysticFoxDE 25.06.2024 um 23:40:44 Uhr
Goto Top
Moin @PeetBL,

screenshot 2024-06-25 230253
vRam ist auch reichlich, sonst würde in der MV mehr los sein.

ähm, auf der VM ist ja auch einiges los!
Denn die 5% Auslastung gelten nicht für die vCores der VM, sondern sagen nur, dass diese VM 5% deiner gesamten physischen CPU momentan frisst, was je nach Konfiguration der VM, eine interne vCore Last von 100% bedeuten könnte. 😉

Gruss Alex
PeetBL
PeetBL 26.06.2024 um 07:09:54 Uhr
Goto Top
Zitat von @MysticFoxDE:

Moin @PeetBL,

screenshot 2024-06-25 230253
vRam ist auch reichlich, sonst würde in der MV mehr los sein.

ähm, auf der VM ist ja auch einiges los!
Denn die 5% Auslastung gelten nicht für die vCores der VM, sondern sagen nur, dass diese VM 5% deiner gesamten physischen CPU momentan frisst, was je nach Konfiguration der VM, eine interne vCore Last von 100% bedeuten könnte. 😉

Gruss Alex

100 Prozent Festplattenauslastung und nicht vCore.

Gruß
Peet
MysticFoxDE
MysticFoxDE 26.06.2024 um 08:18:37 Uhr
Goto Top
Moin @PeetBL,

100 Prozent Festplattenauslastung und nicht vCore.

du hast mich missverstanden.
OK, dann versuchen wir es mal anders herum.
Wie viele logische Prozessorkerne hat dein Hyper-V Host?
Und wie viele vCores hast du der VM zugeordnet?
Und wieviel vRAM hast du der entsprechenden VM in der Konfig zugeordnet?

Und ja, ich habe es schon verstanden, dass es dir primär um die 100 Prozent Festplattenauslastung geht.
Die Infos die ich oben abgefragt habe, sich für die Analyse dieses Problems jedoch auch sehr wichtig. 😉

Gruss Alex
jsysde
jsysde 26.06.2024 um 09:06:30 Uhr
Goto Top
Moin.

Läuft Nextcloud nativ auf der VM oder im Docker Container?

Falls Docker:
Ich habe das von dir beschriebene Verhalten erst letzte Woche auf einem Ubuntu 22.04 LTS gesehen, nach einem apt update/upgrade hat dockerd _immer_ 100% CPU gezogen und wild auf den Platten gerödelt. Letztlich war De- und Neu-Installation von Docker inkl. Bereinigung aller Verzeichnisse die Lösung.

Ursache könnte eine (durch apt verursachte?) falsche Einstellung beim Schreiben der Logfiles sein; ich hab da nicht weiter Zeit in die Ursachenforschung investiert, aber die Google-Suche deutete stark in diese Richtung.

Cheers,
jsysde
PeetBL
PeetBL 26.06.2024 um 11:11:55 Uhr
Goto Top
Zitat von @jsysde:

Moin.

Läuft Nextcloud nativ auf der VM oder im Docker Container?

Falls Docker:
Ich habe das von dir beschriebene Verhalten erst letzte Woche auf einem Ubuntu 22.04 LTS gesehen, nach einem apt update/upgrade hat dockerd _immer_ 100% CPU gezogen und wild auf den Platten gerödelt. Letztlich war De- und Neu-Installation von Docker inkl. Bereinigung aller Verzeichnisse die Lösung.

Ursache könnte eine (durch apt verursachte?) falsche Einstellung beim Schreiben der Logfiles sein; ich hab da nicht weiter Zeit in die Ursachenforschung investiert, aber die Google-Suche deutete stark in diese Richtung.

Cheers,
jsysde

Nextcloud läuft nativ auf der VM,
Das sind die Daten des Host:
screenshot 2024-06-26 110611
screenshot 2024-06-26 110703

Das sind die der VM:
screenshot 2024-06-26 110827
screenshot 2024-06-26 110908
jsysde
jsysde 26.06.2024 um 11:35:04 Uhr
Goto Top
Moin.

Mal nen Blick in die Logs deiner Wolke geworfen, geht daraus etwas hervor?
Nimm der VM mal die Netzwerkverbindung weg - ändert das etwas an der Auslastung?

Cheers,
jsysde
PeetBL
PeetBL 26.06.2024 um 13:02:53 Uhr
Goto Top
Mit oder ohne Netzwerkverbindung, das gleiche verhalten. Im LOG der Wolke ist auch nichts festzustellen.
Ich bin Ratlos, wo könnte ich noch ansetzen?
Gruß
Peet
kaiand1
kaiand1 26.06.2024 um 13:16:10 Uhr
Goto Top
Zitat von @PeetBL:

Mit oder ohne Netzwerkverbindung, das gleiche verhalten. Im LOG der Wolke ist auch nichts festzustellen.
Ich bin Ratlos, wo könnte ich noch ansetzen?
Gruß
Peet

Denn schau doch mal in deiner Ubuntu VM nach welche Prozesse da Aktiv sind...
htop und iotop Helfen da schon mal weiter was Aktiv ist....
Bislang hast du dein System ja nur von außen Angeschaut aber nicht von innen was dort los ist...
C.R.S.
C.R.S. 26.06.2024 um 13:44:32 Uhr
Goto Top
Zitat von @PeetBL:

Mit oder ohne Netzwerkverbindung, das gleiche verhalten. Im LOG der Wolke ist auch nichts festzustellen.
Ich bin Ratlos, wo könnte ich noch ansetzen?

Suche mal im Syslog nach Ereignissen von systemd-udevd und schaue, was sich in deren Umgebung abspielt. Snapd wäre bei Ubuntu ein Verdächtiger, aber eigentlich nur auf unterdimensionierten Systemen (insb. RAM).

Grüße
Richard
PeetBL
PeetBL 26.06.2024 um 15:35:40 Uhr
Goto Top
Jun 26 12:29:56 cloud-xxxxxxxxxx systemd-udevd[469]: Using default interface naming scheme 'v249'.

Davon gibt es zwischen dem 28.05. und jetzt 28 Einträge.

Nicht besonderes in der Nähe, das einzige wäre vielleicht "sbkeysync" erscheint recht häufig. Erklärt aber die 100% Festplattenauslastung nicht.
Gruß
Peet
C.R.S.
C.R.S. 26.06.2024 um 15:43:20 Uhr
Goto Top
Fehler/Timeouts wegen der Auslastung würden sich als systemd-udevd-Nachrichten zu sdx zeigen. Wenn da nichts ist sollte zumindest iotop die Aktivität anzeigen, wie oben vorgeschlagen.
jsysde
jsysde 26.06.2024 um 20:10:43 Uhr
Goto Top
Moin.

Welches Ubuntu haste denn eigentlich laufen? Und wie ist die VM installiert, Gen2? SecureBoot?
Welche Nextcloud-Version kommt zum Einsatz?

Cheers,
jsysde
PeetBL
PeetBL 26.06.2024 um 22:16:57 Uhr
Goto Top
MV Gen2
Ubuntu Linux 22.04.4, PHP Version: 8.2.20 Speicherlimit: 4 GB Maximale Ausführungszeit: 6000 Maximale Größe zum Hochladen: 1.000 GB OPcache-Revalidierungshäufigkeit: 1
Datenbank: mysql Version: 8.0.37 Größe: 1,9 GB

Nextcloud Hub 8 (29.0.3)

screenshot 2024-06-26 221420
screenshot 2024-06-26 221521
MysticFoxDE
MysticFoxDE 27.06.2024 um 07:12:22 Uhr
Goto Top
Moin @PeetBL,

Nextcloud läuft nativ auf der VM,
Das sind die Daten des Host:
screenshot 2024-06-26 110611

OK, dein Hyper-V-Host hat 20 logische Kerne.

Das sind die der VM:
screenshot 2024-06-26 110827

Und der VM sind 10 davon zugeordnet.
Das ist übrigens etwas zu viel des Guten an vCores.
Gibt dieser VM für das erste 4-6 Kerne, das sollte dieser locker reichen.

screenshot 2024-06-26 110908

😯 … dynamischer Arbeitsspeicher … 😱 … ähm, das nix gut, weder bei einer Pinguin-VM noch bei einer Windows-VM!
Glaub mir, ich habe diesen Mist nur ein einziges Mal auf einigen VM’s einer produktiven Umgebung mal kurz aktiviert gehabt und werde es sicher nicht nochmals machen. 🤮
Stell den RAM der VM bitte fix auf z.B. 16384 MB um.

So, nun zu deiner (theoretischen) CPU-Auslastung.
Dein Hypervisor hat 20 logische Kerne und der Hyper-V Manager zeigt bei der entsprechenden VM eine Auslastung von 5% an. Wenn die 5% CPU-Last bei der VM immer dastehen, dann bedeutet das, dass einer der vKerne dieser VM, wahrscheinlich ständig zu 100% ausgelastet ist. Denn die prozentuale CPU-Auslastung die im Hyper-V Manager angezeigt wird, bezieht sich wie ich schon weiter oben geschrieben habe nicht auf die Auslastung der vCores der entsprechenden VM, sondern zeigt an, wieviel CPU-Ressourcen die entsprechende VM von dem Hyper-V Node aktuell verbraucht.

Beispiel:
Wenn du einer deiner VM‘s z.B. 4 vCores gibst, sprich, 20% deiner zur Verfügung stehenden logischen Kerne und der Hyper-V Manager würde bei dieser VM eine CPU-Last von 20% anzeigen, dann bedeutet das, dass die vCores dieser VM auf 100% CPU-Last laufen! Weil sich die 20% Auslastung eben nicht auf die 4 vCores der VM, sondern auf die 20 Logischen Kerne deines Hypervisors beziehen. 😉
Wenn das für dich jetzt zu kompliziert kling, kann ich verstehen ich finde diese Darstellung auch etwas ungewöhnlich, Microsoft eben. 🙃

Und das mit „(theoretischen) CPU-Auslastung“ habe ich deshalb geschrieben, weil Windows die CPU Auslastung beim eingeschalteten Hyperthreading eh falsch darstellt, weil es alle 20 logischen Kerne als gleichleistungsfähig ansieht. Das ist aber reiner Bull-Shit, weil das aktivieren von Hyper-Threading, im besten Fall nur +20% Mehrleistung bringt und keine +100%, so wie es der Taskmanager suggeriert. 😔 Sprich, wenn beim eingeschalteten Hyperthreading, der Taskmanager eine Auslastung von 50% anzeigt, dann besteht eine sehr hohe Wahrscheinlichkeit, dass deine physikalische CPU, bereits schon zu > 90% ausgelastet. 🙃

Jetzt muss ich aber weitertiggern … 😧 … igitt, es pisst ja draussen wie aus dem Eimer, das nix gut für mein Fell. 😬

Ähm und ja, die CPU-Last der VM kommt ja nicht von irgendwo her und wahrscheinlich ist diese Last auch für die Datenträgerauslastung verantwortlich. 😉
Mein Bauchgefühl sagt mir jedoch, dass du bereits mit dem Ändern des Arbeitsspeichers von dynamisch zu fix, das Problem eventuell schon beseitigen könntest.

Gruss Alex
PeetBL
PeetBL 27.06.2024 um 09:14:02 Uhr
Goto Top
@alex; Danke für diese ausführliche Erklärung. Ich werde deine Empfehlung einmal umsetzen und schauen was passiert.

Gruß
Peet