netzer2021
Goto Top

Ubuntu startet nicht nach update

Hallo Community,

ich wende mich heut mit einer dringenden Frage an euch. Es scheint, als wenn nach meinem gestrigen Ubuntu update auf Ubuntu 22.04.1 LTS (GNU/Linux 5.15.0-48-generic x86_64) mein system defekt, korrupt, out of sync wie auch immer kaputt scheint. Ich weiß aktuell nicht und habe auch keien Spur voran es liegen könnte. Kann euch daher nur Beobachtungen liefern. Gefühlt lief nach dem Update gestern abend noch alles. Heute stellte ich dann fest das einige Docker Container nicht mehr erreichbar sind und ich machte mich mal auf die Suche. Shutdown per SSH klappte schon nicht, Gerät ging einfach nicht aus. Also hard shutdown.

Dann bootete Ubuntuu nicht mehr. Das konnte ich nach etwas Zeit und abwarten rausfinden, dass das wohl am resync eines der RAID1 war.

Grundlegend meine Conf: MiniPC bestückt mit 2xSSD 1TB

~$ lsblk
NAME                        MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
loop0                         7:0    0    62M  1 loop  /snap/core20/1611
loop1                         7:1    0  63.2M  1 loop  /snap/core20/1623
loop2                         7:2    0  79.9M  1 loop  /snap/lxd/22923
loop3                         7:3    0   103M  1 loop  /snap/lxd/23541
loop4                         7:4    0    47M  1 loop  /snap/snapd/16292
loop5                         7:5    0    48M  1 loop  /snap/snapd/16778
sda                           8:0    0 931.5G  0 disk  
├─sda1                        8:1    0     1G  0 part  /boot/efi
├─sda2                        8:2    0   1.2G  0 part  
│ └─md126                     9:126  0   1.2G  0 raid1 
│   └─vg0--boot-lv0--boot   253:0    0   1.2G  0 lvm   /boot
└─sda3                        8:3    0 929.3G  0 part  
  └─md127                     9:127  0 929.1G  0 raid1 
    └─dm_crypt-0            253:1    0 929.1G  0 crypt 
      └─vg1--data-lv1--data 253:2    0 929.1G  0 lvm   /var/lib/docker/btrfs
                                                       /
sdb                           8:16   0 931.5G  0 disk  
├─sdb1                        8:17   0     1G  0 part  
├─sdb2                        8:18   0   1.2G  0 part  
│ └─md126                     9:126  0   1.2G  0 raid1 
│   └─vg0--boot-lv0--boot   253:0    0   1.2G  0 lvm   /boot
└─sdb3                        8:19   0 929.3G  0 part  
  └─md127                     9:127  0 929.1G  0 raid1 
    └─dm_crypt-0            253:1    0 929.1G  0 crypt 
      └─vg1--data-lv1--data 253:2    0 929.1G  0 lvm   /var/lib/docker/btrfs
                                                       /

Infos zum Raid:
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md126 : active raid1 sda2[1] sdb2
      1256448 blocks super 1.2 [2/2] [UU]
      
md127 : active raid1 sda3[1] sdb3
      974268416 blocks super 1.2 [2/2] [UU]
      bitmap: 2/8 pages [8KB], 65536KB chunk
Sah dann aber alles wieder gut aus. Dananch ging danna uch ssh zumindest wieder.

Also irgendwas vielleicht mit meiner Disk conf.

sudo pvdisplay
  --- Physical volume ---
  PV Name               /dev/md126
  VG Name               vg0-boot
  PV Size               <1.20 GiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              306
  Free PE               0
  Allocated PE          306
  PV UUID               ow0eWp-kW2m-SaXX-8Bp5-4bRr-0d54-Wa5Zb1
   
  --- Physical volume ---
  PV Name               /dev/mapper/dm_crypt-0
  VG Name               vg1-data
  PV Size               <929.12 GiB / not usable 2.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              237854
  Free PE               0
  Allocated PE          237854
  PV UUID               95MLH9-UCkf-jLxj-d5As-Z4Yi-3JU2-OjqOTX
   
~$ sudo vgdisplay
  --- Volume group ---
  VG Name               vg0-boot
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  2
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <1.20 GiB
  PE Size               4.00 MiB
  Total PE              306
  Alloc PE / Size       306 / <1.20 GiB
  Free  PE / Size       0 / 0   
  VG UUID               6dWzL0-OF9k-GHnI-wOKT-US0s-oagc-pqBMWw
   
  --- Volume group ---
  VG Name               vg1-data
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  2
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <929.12 GiB
  PE Size               4.00 MiB
  Total PE              237854
  Alloc PE / Size       237854 / <929.12 GiB
  Free  PE / Size       0 / 0   
  VG UUID               JOZ4rL-w5Ro-647k-GsUe-uULB-s2wi-ptDvvO
   
:~$ sudo lvdisplay
  --- Logical volume ---
  LV Path                /dev/vg0-boot/lv0-boot
  LV Name                lv0-boot
  VG Name                vg0-boot
  LV UUID                06wuDC-ZdN6-X2lw-UbKG-h1XQ-P15X-SubPFA
  LV Write Access        read/write
  LV Creation host, time ubuntu-server, 2022-09-01 09:20:03 +0200
  LV Status              available
  # open                 1
  LV Size                <1.20 GiB
  Current LE             306
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0
   
  --- Logical volume ---
  LV Path                /dev/vg1-data/lv1-data
  LV Name                lv1-data
  VG Name                vg1-data
  LV UUID                kXOmwI-JtIg-3UHB-hNif-oaxI-MIj8-qumD8R
  LV Write Access        read/write
  LV Creation host, time ubuntu-server, 2022-09-01 09:21:05 +0200
  LV Status              available
  # open                 1
  LV Size                <929.12 GiB
  Current LE             237854
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:2

Sieht für mich alles gut aus, Platten, Größen, alles wie immer.

Status der Raids:
:~$ sudo mdadm -D /dev/md127
/dev/md127:
           Version : 1.2
     Creation Time : Thu Sep  1 09:20:34 2022
        Raid Level : raid1
        Array Size : 974268416 (929.13 GiB 997.65 GB)
     Used Dev Size : 974268416 (929.13 GiB 997.65 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sat Sep 24 22:42:00 2022
             State : active 
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : bitmap

              Name : ubuntu-server:md1-data
              UUID : ab31dc8d:73c41eb8:10290dcd:a4fdefb6
            Events : 30475

    Number   Major   Minor   RaidDevice State
       0       8       19        0      active sync   /dev/sdb3
       1       8        3        1      active sync   /dev/sda3
~$ sudo mdadm -D /dev/md126
/dev/md126:
           Version : 1.2
     Creation Time : Thu Sep  1 09:19:48 2022
        Raid Level : raid1
        Array Size : 1256448 (1227.00 MiB 1286.60 MB)
     Used Dev Size : 1256448 (1227.00 MiB 1286.60 MB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sat Sep 24 22:28:42 2022
             State : clean 
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : ubuntu-server:md0-boot
              UUID : 8313eaf3:ab138283:b5cd529f:70ba8ff2
            Events : 65

    Number   Major   Minor   RaidDevice State
       0       8       18        0      active sync   /dev/sdb2
       1       8        2        1      active sync   /dev/sda2

Überlbick:
:~$ df -h
Filesystem                       Size  Used Avail Use% Mounted on
tmpfs                            1.6G  1.7M  1.6G   1% /run
/dev/mapper/vg1--data-lv1--data  930G   75G  852G   9% /
tmpfs                            7.8G     0  7.8G   0% /dev/shm
tmpfs                            5.0M     0  5.0M   0% /run/lock
/dev/mapper/vg0--boot-lv0--boot  1.2G  248M  845M  23% /boot
/dev/sda1                        1.1G  5.3M  1.1G   1% /boot/efi
tmpfs                            1.6G  4.0K  1.6G   1% /run/user/1000
Alles ok....

Anshcließend fiel mir auf, dass "systemd-journald" immens CPU schluckt aber nicht gestartet werden kann. "Top" zeigte mir, dass ich 185 habe, 1 aktiv ist "systemd" und 184 schlafen. Das erklärt auch warum Docker nciht starten wollte. JournalD konnte ich mit Stop und restart zum laufen bekommen, aber mehr auch nicht. Das ganze System ist arg langsam und es starten keine Services wie z.B.: Docker mehr. Bis auf die RAID resnyc geschichte und den nicht startenden Services kann ich ncihts weiter finden.

Was kann ich tun? Wo kann ich gucken? WIe gesagt,e s lief alles super. Bis das Update kam.....face-sad

Content-Key: 4050548847

Url: https://administrator.de/contentid/4050548847

Ausgedruckt am: 19.03.2024 um 09:03 Uhr

Mitglied: 2423392070
2423392070 25.09.2022 um 00:09:12 Uhr
Goto Top
Vorheriger Kernel noch vorhanden?
Mitglied: netzer2021
netzer2021 25.09.2022 aktualisiert um 00:13:49 Uhr
Goto Top
GNU/Linux 5.15.0-47 meine ich, die beiden Optionen sehe ich im grub. Habe ich vorhin gestartet, hat aber zu keinem anderem Ergebnis geführt
Mitglied: 2423392070
2423392070 25.09.2022 um 00:14:10 Uhr
Goto Top
Hast du die vorherige Kernel Version schon probiert?
Mitglied: netzer2021
netzer2021 25.09.2022 um 00:14:34 Uhr
Goto Top
ja, siehe oben, kurz geupdatet...
Mitglied: netzer2021
netzer2021 25.09.2022 um 00:16:52 Uhr
Goto Top
Problem für mich ist, dass ich irgendiwe auch mal so gar keinen Ansatz habe wo ich gucken könnte. Restore des Systems ja, wenn ich mal nicht nur die Docker Volumes sichern würde :D schande auf mein Haupt...

Emergency shell, recovery mode - alles super - aber was soll ich darin tun?
Mitglied: 2423392070
2423392070 25.09.2022 um 00:20:53 Uhr
Goto Top
Ich würde, neben dem Backup folgendes machen.

Der Docker Dienst der sich nicht starten lässt, der schreibt auf warum er keinen hoch bekommt. Andere Dienste, die vielleicht für den Docker nötig sind ebenfalls. Alle wichtigen Dienste schreiben sauber auf, wo es klemmt.
Die Reihenfolge der Dienste beim booten ist auch kein Geheimnis.
Mitglied: netzer2021
netzer2021 25.09.2022 um 00:29:39 Uhr
Goto Top
ich habe noch mal das Gerät ausgemacht und wieder an die richtige Stelle gestellt. Jetzt fängt wieder ein resync vom RAID an. Scheint doch dann doch irgendwie was nicht ok damit zu sein?

Zu den Diensten: Es standen ja quasi alle still, wie oben beschrieben.
Mitglied: 2423392070
2423392070 25.09.2022 um 00:33:59 Uhr
Goto Top
Deshalb, das Backup. Alles ist möglich.

Was sagt denn die Shell wenn du Docker manuell starten willst? Was steht im Log von Docker?
Mitglied: netzer2021
netzer2021 25.09.2022 um 00:40:54 Uhr
Goto Top
aktuell habe ich das System nicht mehr zur Verfügung.

Vorhin hatte ich mit systemctl mal geschaut im Status vom DOcker aber auch journal stand sinngemäß starting since 45min etc. Jpurnal konnte ich dann mit stop und start auf active setzen. Docker blieb nach einem stop auch im stop hängen. Auffällig ist, dass alles in Zeitlupe passiert. Als wenn im Hintergrund noch max last steht. aber weder top, Lüfter etc. sagen etwas. Last auf SSD hört man nur leider nicht aber auch ein iotop zeigte dass sich die platten langweilien.
Mitglied: Lochkartenstanzer
Lochkartenstanzer 25.09.2022 um 00:42:13 Uhr
Goto Top
Moin,

Einfach frisches 22.04 nehmen und dann die Config und Daten von der alten İnstaltion übernehmen. Geht meist schneller, als die kaputten Stellen zu identifizieren und wieder zu flicken.

lks
Mitglied: netzer2021
netzer2021 25.09.2022 aktualisiert um 01:00:47 Uhr
Goto Top
naja, da bräuchte ich doch nen Backup? Oder ist Ubuntu so schlau und schreibt nur "default" daten neu? Bei ner neuinstallation müsste ich doch auch den ganzen LVM /RAID Kram neu machen, dazu vorher die aktuellen komplett löschen, damit auch alle Daten weg...oder geht das anders?

Jetzt läuft ein resync des raids mit ca 900GB, das dauert wohl mal 3 Wochen.....face-sad...kann ich das nicht auch abbrechen? :D
Mitglied: Lochkartenstanzer
Lochkartenstanzer 25.09.2022 um 10:39:24 Uhr
Goto Top
Entweder Du sicherst Dir alles weg und kopierst anschließend alles wieder herein oder packst jeweils den Inhalt eines Filesystems in einen Ordner "old" oder "saved" auf dem Filesystem

Beim Neuinstallieren läßt Du die vorhandenen devices und Filesysteme übernehmen ohne die Filesysteme formattieren zu lassen. Dann kannst Du nach der Installation die Dateien, die Du benötigst aus dem saved-ordner wieder hervorholen und an die richtige Stelle packen.

Achtung: Bei Fehlbedienung ist Datenverlust zu erwarten.

lks
Mitglied: Lochkartenstanzer
Lochkartenstanzer 25.09.2022 um 10:41:16 Uhr
Goto Top
Zitat von @netzer2021:

naja, da bräuchte ich doch nen Backup? Oder ist Ubuntu so schlau und schreibt nur "default" daten neu? Bei ner neuinstallation müsste ich doch auch den ganzen LVM /RAID Kram neu machen, dazu vorher die aktuellen komplett löschen, damit auch alle Daten weg...oder geht das anders?

Jetzt läuft ein resync des raids mit ca 900GB, das dauert wohl mal 3 Wochen.....face-sad...kann ich das nicht auch abbrechen? :D

Normalerweise kann man während dem resync weiterarbeiten, was aber den resync verlangsamt. Aber für 900 GB sollte eigentlich ein Tag reichen, wenn Du vernünftige Hardware hast.
Mitglied: 117471
117471 25.09.2022 um 17:52:16 Uhr
Goto Top
Hallo,

Zitat von @netzer2021:

...kann ich das nicht auch abbrechen?

Meinst Du ernsthaft, dass das in genau diesem Augenblick eine gute Idee ist?

Wenn Du das Upgrade über das offizielle Tool gemacht hast, wird mit Sicherheit eine LOG-Datei vorhanden sein. Entweder unter /root, unter ~/ oder in dem Ordner, von dem aus Du den Upgrader aufgerufen hast.

Die würde ich mir zuerst durchlesen.

Gruß,
Jörg

Übrigens: Tröste dich. Mein letztes Upgrade (Linux Mint auf Vanessa) ist auch richtig Sch..... gelaufen. Gerade die Fremdrepositories (Devolo, winehq usw.) und die selbstcompilierten Sachen konnte ich komplett nachzuppeln.
Mitglied: netzer2021
Lösung netzer2021 20.10.2022 um 23:02:18 Uhr
Goto Top
Danke für eure Hinweise, viel gelernt. Ich habe letzten Endes Ubuntu samt Docker neu aufgesetzt und per Duplicati restored. Dabei habe ich gleich einige Fehler im Backup Prozess festgestellt aber am Ende alles gut.