24.08.2017, aktualisiert um 16:52:26 Uhr

6164

Software RAID auf größere Platten umziehen

Hi,
bei mir hat ein ältere Server mit zwei 60GB Platten in einem Software RAID (RAID 1) den Dienst eingestellt, da diese schlicht voll sind. Es sind leider keine alten Logdateien sondern eine Datenbank. --> Das System läuft noch!

Jetzt war mein Gedanke

die Daten per rsync (rsync --stats --progress --numeric-ids -axAhHSP /mnt/alt/ /mnt/neu ) auf eine externe Platte zu kopieren
dann die neuen Platten in den Server zu schrauben
auf diesen mit einem Live System ein Software RAID einzurichten
die Daten mit rsync wieder zurück zu kopieren.
in /etc/fstab die UUIDs anpassen
Per chroot hab ich dann noch grub installiert und die Kiste neu gestartet.

Jetzt habe ich aber zwei Probleme:

Im BIOS/UEFI kann ich die neuen SSDs nicht als Boot Platten auswählen. Über die temproäre Startdevice Auswahl (F11) kann ich allerdings von den Platten starten. Der Support des MB Herstellers schweigt.
Das System kommt nicht richtig hoch. Es bleibt beim boot mit "Failed to start Network Time Synchronisation" hängen.

Hardware

MB: ASRock Z77 Extreme3
alte SSDs von SanDisk
neue SSDs Samsung Pro
Da steckt noch ein HBA für Datenplatten drin.
16GB RAM

Auf dem Server läuft Ubuntu 16.04 LTS

Ist es eventuell Sinnvoll statt das MD-Raid zu reparieren auf ZFS umzusteigen? (Die Datenplatten sind auch ein ZFS Verbund)

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 347200

Url: https://administrator.de/forum/software-raid-auf-groessere-platten-umziehen-347200.html

Ausgedruckt am: 23.12.2024 um 00:12 Uhr

43 Kommentare

Neuester Kommentar

Nun erst mal scheinst du nicht so die Erfahrung zu haben wodurch es so schon ein Fehler war nur Copy & Paste zu machen ohne sich Auszukennen.
Ihr solltet jedenfalls Schulung zu Linux Grundkenntnisse mal machen.

Nun auch wenn ihr die Daten Kopiert habt (mit Symlink & Co?), habt ihr zwar eine Kopie die jedoch ohne Handarbeit unbrauchbar als Startsystem ist.
Jede Platte und Partition hat eine Individuelle UUID worüber Linux die Platte erkennt und zuordnen wodurch es nach dem Start auch egal ist in welchen Port welche Platte steckt.
Da du 2 neue Platten hast haben die natürlich nach dem Dateisystem Anlegen auch eine andere UUID wo beim Start schon die ersten Probleme auftauchen da das System die Alte Platte Ansprechen will (mounten & Co) diese jedoch nicht mehr da ist wodurch das System stehen bleibt.
Dies kann man zwar auch Händisch auf die neuen Platten alle umändern (Grundwissen).
Dazu je nachdem was später noch geändert wurde in Scripten,Programmen für Backup & Co das auf die UUIDs zugreift (Dokumentation vorhanden?).

Normal würde man (je nach Raid was wohl 1 sein dürfte) die eine Platte als Fehlerhaft kennzeichnen und diese gegen die neue Platte Tauschen und diese einbinden.
Nach dem Rebuild auf die neue wird der Vorgang für die andere Platte gemacht und danach der Plattenplatz vergrößert.

Aber du kannst auch das System komplett neu machen falls alle Einstellungen & Co Bekannt sind.
Es gibt viele Dateisysteme wie auch BTRFS aber ein Umstieg sollte auch alle Vor und Nachteile bekannt sein sowie die Handhabung Bekannt sein was zb bei Problemen zu tun ist.

Bootflag bei der Platte gesetzt?

Hallo,

nur noch kurz eine Anmerkung von mir nachtrtäglich dazu.

MB: ASRock Z77 Extreme3

Ist jetzt nicht so das Server Mainboard oder? Aber egal, ich würde die HDD/SSDs so wechseln wie schon von meinem
Vorredner beschrieben und wenn das nicht mehr funktionierten sollte dann muss eben das Backup mit "ins Spiel" und
man setzt den Server ganz neu auf und spielt dann ein Backup ein. Mal nach einem neuen BIOS für das Board geschaut?

alte SSDs von SanDisk

Funktioniert denn noch eine davon, oder bootet der Server noch mit den beiden alten Platten?

neue SSDs Samsung Pro

Einmal nach einer neuen Firmware für die SSDs geschaut?

Da steckt noch ein HBA für Datenplatten drin.

Firmware auch hier aktuell?

Auf dem Server läuft Ubuntu 16.04 LTS

Schön und gut, nur mit was wurde denn das Backup gemacht?

Ist es eventuell Sinnvoll statt das MD-Raid zu reparieren auf ZFS umzusteigen?

Also Platten reparieren ist das eine und die Daten wieder beschaffen das andere! Ist die Datenbank denn nicht wichtig
für Dich das die dort drauf ist und Du nicht das RAID reparieren möchtest?

(Die Datenplatten sind auch ein ZFS Verbund)

Mag sein aber das ist ein stark protokolliertes Dateisystem, und da empfiehlt es sich immer ECC RAM zu benutzen denn
wenn dort erst einmal ein Fehler drauf ist bekommt man den so schnell und einfach nicht wieder herunter!!!!

Gruß
Dobby

moin,

die einfachste Art so ein RAID umzuziehen ist. mit ddrescue ein image des alten zu ziehen und dann per dd auf das neu erstellte zurückzuspielen.

Danach das filesystem resizen auf die neue Größe udn alles wird gut.

Durch das kopieren mit drescue bleiben auch die uuids und bootblöcke erhalten, so daß auc das direkte starten davon kein problem mehr sein sollte.

lks

Danke für die Antwort.

Nun erst mal scheinst du nicht so die Erfahrung zu haben […] Ihr solltet jedenfalls Schulung zu Linux Grundkenntnisse mal machen.

Die Schulung hab ich meinem Cheff vor nem halben Jahr aus der Tasche geleiert. Aber bei so einer Schulung geht erstaunlicherweise nie was schief ;)

Jede Platte und Partition hat eine Individuelle UUID

hatte ich vergessen zu erwähnen. Die habe ich in der /etc/fstab umgeschrieben.

nicht so das Server Mainboard oder?

ich denke es ist eher an Gamer gerichtet. Aber war wohl bezahlbar und hat die Anforderungen meines Vor- Vorgängers erfüllt.

Das alte SSD Raid funktioniert noch. Habe die Info oben ergänzt. --> Das alte System konnte ich nach dem kopieren auch noch ganz normal starten. Es sollte also noch eine laufende Kopie des Systems vorhanden sein.

Firmware von SSD, MB und HBA sind auf dem aktuellen Stand (Stand letzte Woche Montag)

Schön unf gut, nur mit was wurde denn das Backup gemacht?

Die Daten wurden mit rsync von dem ro gemounteten MD Raid über ein Live System kopiert.

Falls du das Recoverybackup des Servers meinst. Das liegt darauf. Das ist unser Backup Server. --> Im Nachhinein würde ich sagen das ist nicht die beste Idee aber wie würdet ihr das machen? Bareos ist ein wares Monster an Funktionen und ich bin immer für Verbesserungstipps zu begeistern.

ich denke es ist eher an Gamer gerichtet. Aber war wohl bezahlbar und hat die Anforderungen meines Vor- Vorgängers erfüllt.

Ok, kein Thema.

Das alte SSD Raid funktioniert noch. Habe die Info oben ergänzt. --> Das alte System konnte ich nach dem kopieren
auch noch ganz normal starten. Es sollte also noch eine laufende Kopie des Systems vorhanden sein.

Also dann würde ich glatt die beiden noch lauffähigen SSDs einbauen und dann eine davon austauschen gegen eine
größere SSD und dann das ganze noch einmal machen mit der zweiten SSD, fertig. Das ist eine faire Chance das System
wieder flott zu bekommen und es auch gleich auf zu rüsten!

Firmware von SSD, MB und HBA sind auf dem aktuellen Stand (Stand letzte Woche Montag)

Das ist ebenso wichtig denn dadurch werden eventuell schon gelöste Probleme voll erledigt und ausgeschlossen!

Gruß
Dobby

Normal würde man (je nach Raid was wohl 1 sein dürfte) die eine Platte als Fehlerhaft kennzeichnen und diese gegen die neue Platte Tauschen und diese einbinden.

Soweit so gut. Jetzt läuft das System immerhin schon mal auf den beiden neuen Platten.

Nach dem Rebuild auf die neue wird der Vorgang für die andere Platte gemacht und danach der Plattenplatz vergrößert.

Aber an dieser Stelle hänge ich jetzt.

Nach diesem (http://blog.jonaspasche.com/2010/06/24/raid1-mit-neuen-platten-vergroes ..) Blogpost müsste ja der Befehl

mdadm --grow -z max /dev/md1

das Raid auf volle Größe der Platte erweitern. Det klappt jetzt aber irgend wie nicht.

$ mdadm --grow -z max /dev/md1
mdadm: component size of /dev/md1 unchanged at ...K

EDIT: Habe es jetzt mal mit einem Live System getestet, bei dem die RAIDs eben nicht gemountet sind. Wieder die gleiche Meldung.

Wie groß sind denn fie Pattitionen, wie groß ist dasRaid und wie groß ist das filesystem?

Welche version der Metadaten ist auf dem raid?

boot = 4,7G (md0)
swap = 4,7G
/ = 49,4G (md1)

Welche version der Metadaten ist auf dem raid?

Wie finde ich das raus?

EDIT 2: Irgend was übersehe ich gerade. Wenn ich das in der Anleitung richtig sehe, dann sollte mdadm --grow doch die raid Partitionen auf den Platten vergrößern oder muss ich das mit fdisk manuell machen? In dieser Anleitung liest es sich so als müsste man eine Platte aus dem Array nehmen und dann mit fdisk die raid Partition vergrößern um es anschließend wieder im raid aufzunehmen.

Kann mir jemand nen Tipp geben, der das schon mal gemacht hat?

Zitat von @TrialAndError:

boot = 4,7G (md0)
swap = 4,7G
/ = 49,4G (md1)

Und wie groß sind die partitionen ais denen die raids zusammengebaur wurden (/dev/sdxy)

Welche version der Metadaten ist auf dem raid?

Wie finde ich das raus?

mdadm --detail

Zitat von @TrialAndError:

EDIT 2: Irgend was übersehe ich gerade. Wenn ich das in der Anleitung richtig sehe, dann sollte mdadm --grow doch die raid Partitionen auf den Platten vergrößern oder muss ich das mit fdisk manuell machen?

Die grow-option vergrößert oder verklenert das Raid nur nnerhalb der Größe der physikkalischen Partition /dev/sdxy.

Wenn Du die genauso groß ist wie vorher, mußt du erstmal mit fdisk/gdisk/parted/gpareted/etc. die physiklaischen Partitionen größer machen, bevor Du mit mdadm --grow das Raid vergrößern kannst.

In dieser Anleitung liest es sich so als müsste man eine Platte aus dem Array nehmen und dann mit fdisk die raid Partition vergrößern um es anschließend wieder im raid aufzunehmen.

Man muß die partition nicht entfernen und wieder aufnehmen. Man kann sie direkt größer machen. Ansonsten wird resynchronisiert.

Kann mir jemand nen Tipp geben, der das schon mal gemacht hat?

Somit geschehen.

lks

/dev/sdq1 linux-raid 4,66GiB
/dev/sdq2 linux-swap 4,66 GiB
/dev/sdq3 linux-raid 49,39 GiB
nicht zugewiesen: 179,78 GiB

#mdadm --detail
Version: 1.2

Zitat von @TrialAndError:

/dev/sdq1 linux-raid 4,66GiB
/dev/sdq2 linux-swap 4,66 GiB
/dev/sdq3 linux-raid 49,39 GiB
nicht zugewiesen: 179,78 GiB

Du hast offnesichtlich die neune RAID-Partiitionen genauso groß gemacht wie die vorherigen. Du hättest sie größer machen müssen, damit Du dann anschließend mit "mdadm -grow" das raid auch vergrößern kannst.

Es gibt nun mehrere Möglichkeiten:

gparted

Du boostest mit knoppix und verschiebst/vergrößerst die Partitionen mit gparted.

raid aufbrechen udn neu zusammenbauen.

Du nimmst die einen Hälfte des RAIDs wieder weg. Partitionierst die entsprechende SSD neu mit den gewünschten Zielgrößen! Danach nimmst Du die Partitionen wieder in das RAID auf. nach er Synchronisation wirfst Du die '"kleinere Hälfte" des RAIDs raus und partitionierst die auch neu. Danach ins RAID aufnehmen, synchronisation abwarten. Anschließen mit mdadm -grow RAID auf maximum aufblasen und anschließend mit resize2fs oder dem jeweils entsprechenden Tool Deines ausgewählten Filesystems Dein dateisystem vergrößern.

#mdadm --detail
Version: 1.2

Du solltest das mdadm --detail für die jeweiligen raids machen. Also:

# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Wed May 10 15:10:24 2017
     Raid Level : raid1
     Array Size : 4192192 (4.00 GiB 4.29 GB)
  Used Dev Size : 4192192 (4.00 GiB 4.29 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Mon Aug 28 00:24:55 2017
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : dagobert:0  (local to host dagobert)
           UUID : b3755415:faacd74f:5fca311d:bdac93df
         Events : 282

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       2       8        1        1      active sync   /dev/sda1

# mdadm --detail /dev/md1
...

ausführen.

Ok, also muss ich doch die darunterliegenden Partitionen anfassen. Bin davon ausgegangen, dass das der Befehl ''mdadm --grow -z max /dev/md1'' automatisch erledigt.

gparted zeigt die linux-raid Partition zwar an, kann sie aber nicht verändern. (im LiveSystem)

Hier wurde das Ganze mit parted gemacht: https://superuser.com/questions/469117/resize-underlying-partitions-in-m ...
Dabei wurde aber auch die Platte aus dem RAID genommen.

Sch.... jetzt hab ich mich vertippt.

Eigentlich wollte ich testweise eine Partition aus dem Array nehmen und dann mal versuchen die Partition zu verändern. Der Resync dauert ja nur ein paar Minuten, die Platten sind neu und zur Not liegen die beiden alten Platten noch auf dem Server.

eingegeben habe ich aber dummerweise:

mdadm --fail /dev/md1
mdadm --remove /dev/md1

Die alten Platten sind ja wie gesagt noch da. Aber wo ich gerade schon dabei bin würde mich jetzt auch reizen das wieder zu reparieren. Könnte ja auch mal auf nem Profuktievsystem passieren.

ok, schaue ich mir später in einer VM noch mal an.

baue jetzt erst mal wieder die alten Platten ein und beginne noch mal von vorne.

Zitat von @TrialAndError:

baue jetzt erst mal wieder die alten Platten ein und beginne noch mal von vorne.

Dann machst Du das folgendermaßen:

boote mit Live-system (z.B. knoppix)
Stecke eine "alte" und eine neue Platte ein.
Falls die RAIDs automatisch loslaufen solltest Du diese mit mdadm --stop anhalten!
kopiere mit ddrescue die alte auf die neue Platte.
Steck beide neuen Platten ein
Starte die RAIDs auf der kopierten Platte.
erzeuge auf der "leeren" neune Platte die Partitionsen in der Größe wie Du sie benötigst.
füge diese Partitionen den RAIDs hinzu.
warte auf Synchronisationsende.
wirf die "kleine" Partitionen auys dem RAID
repartitioniere die Platte
füge die Partitionen dem RAId hinzu.
vergrößerere mit -grow das RAID
resize das filesystem.

lks

PS. Alternativ:

bau alle Platten geleichzeitig rein.
Boote vom livesystem.
Kopiere mit ddrescue 1MB der Plattenanfänge der alten Platten auf die neuen (mbr + bootlader, i.d.R. grub).
Erstelle die neuen RAIDs. mit gewünschten Größen
kopiere mit rsync die jeweiligen RAIDs
passe /etc/fstab auf die neuen uuids an.
passe /boot/grub/grub.cfg (oder die passende datei für Deinen bootlader) an die neuen uuids an.
booten und genießen.

Zitat von @TrialAndError:

Hier wurde das Ganze mit parted gemacht: https://superuser.com/questions/469117/resize-underlying-partitions-in-m ...
Dabei wurde aber auch die Platte aus dem RAID genommen.

du mußt einfach das RAID stoppen. bevor Du an den Partitionen rumwerkelst.

lks

Ok, bin gerade dazu gekommen das mal durchzugehen:

Dann machst Du das folgendermaßen:

boote mit Live-system (z.B. knoppix) [OK]
Stecke eine "alte" und eine neue Platte ein. [OK]
Falls die RAIDs automatisch loslaufen solltest Du diese mit mdadm --stop anhalten! [OK]
kopiere mit ddrescue die alte auf die neue Platte. [OK]
Steck beide neuen Platten ein [OK]
Starte die RAIDs auf der kopierten Platte. [???]

Bis hier hin ist alles ok. Aber ''cat /proc/mdstat'' zeigt mir jetzt keine RAIDs mehr an. In GParted sehen die Partitionen so weit ok aus.

erzeuge auf der "leeren" neune Platte die Partitionsen in der Größe wie Du sie benötigst.

Ich habe von den vorher erstellten Partitionen die /dev/sdr3 gelöscht und Plattenfüllend neu angelegt.

füge diese Partitionen den RAIDs hinzu.
warte auf Synchronisationsende.
wirf die "kleine" Partitionen auys dem RAID
repartitioniere die Platte
füge die Partitionen dem RAId hinzu.
vergrößerere mit -grow das RAID
resize das filesystem.

~ # cat /proc/mdstat 
Personalities : 
unused devices: <none>

~ # mdadm --query /dev/sdq1
/dev/sdq1: is not an md array
/dev/sdq1: device 3 in 2 device inactive raid1 array.  Use mdadm --examine for more detail.

~ # mdadm --examine /dev/sdq1
/dev/sdq1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : b8826bc2:fd079bfb:6e062ca4:b4cebafb
           Name : server:0
  Creation Time : Sat Apr 29 09:10:57 2017
     Raid Level : raid1
   Raid Devices : 2

 Avail Dev Size : 9754624 (4.65 GiB 4.99 GB)
     Array Size : 4877312 (4.65 GiB 4.99 GB)
    Data Offset : 8192 sectors
   Super Offset : 8 sectors
   Unused Space : before=8104 sectors, after=0 sectors
          State : clean
    Device UUID : d3430951:feb4d9f7:6d104d6d:ba0daa3e

    Update Time : Mon Aug 28 08:33:22 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 192f6eab - correct
         Events : 134


   Device Role : Active device 1
   Array State : AA ('A' == active, '.' == missing, 'R' == replacing)  
mint ~ # mdadm --examine /dev/sdq3
/dev/sdq3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 3f485ed4:4db336cc:b069175c:ab32a9d1
           Name : server:1
  Creation Time : Sat Apr 29 09:11:58 2017
     Raid Level : raid1
   Raid Devices : 2

 Avail Dev Size : 103495680 (49.35 GiB 52.99 GB)
     Array Size : 51747840 (49.35 GiB 52.99 GB)
    Data Offset : 65536 sectors
   Super Offset : 8 sectors
   Unused Space : before=65448 sectors, after=0 sectors
          State : clean
    Device UUID : 5ab7b511:a8f3cd5a:6365af9d:0b496fc4

    Update Time : Mon Aug 28 08:04:12 2017
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 6e8e881b - correct
         Events : 1544


   Device Role : Active device 1
   Array State : AA ('A' == active, '.' == missing, 'R' == replacing)  

root@mint / # mdadm --examine --scan                                                                                                                                                                            
ARRAY /dev/md/0  metadata=1.2 UUID=b8826bc2:fd079bfb:6e062ca4:b4cebafb name=copie:0                                                                                                                             
ARRAY /dev/md/1  metadata=1.2 UUID=3f485ed4:4db336cc:b069175c:ab32a9d1 name=copie:1 

Zitat von @TrialAndError:

* Starte die RAIDs auf der kopierten Platte. [???]
Bis hier hin ist alles ok. Aber ''cat /proc/mdstat'' zeigt mir jetzt keine RAIDs mehr an. In GParted sehen die Partitionen so weit ok aus.

mdadm -A /dev/mdX /dev/sdaY missing

Vorher natürlich die alte Platte entfernen.

* erzeuge auf der "leeren" neune Platte die Partitionsen in der Größe wie Du sie benötigst.
Ich habe von den vorher erstellten Partitionen die /dev/sdr3 gelöscht und Plattenfüllend neu angelegt.

o.k.

dann mit mdadm /dev/mdX --add /dev/sdr3 die Partition dem raid hinzufügen.

lks

mdadm -A /dev/mdX /dev/sdaY missing

Vorher natürlich die alte Platte entfernen.

root@mint / # mdadm -A /dev/md0 /dev/sdq1 missing                                                                                                                                                               
mdadm: cannot open device missing: No such file or directory                                                                                                                                                    
mdadm: missing has no superblock - assembly aborted    

Momentan sind nur die beiden neuen SSDs eingebaut.

hm,
ob das jetzt eine gute Idee war?

root@mint / # mdadm -A /dev/md0 /dev/sdq1 missing                                                                                                                                                               
mdadm: cannot open device missing: No such file or directory                                                                                                                                                    
mdadm: missing has no superblock - assembly aborted                                                                                                                                                             
root@mint / # mdadm -A /dev/md0 /dev/sdq1 /dev/sdr1                                                                                                                                                             
mdadm: /dev/md0 has been started with 1 drive (out of 2).                                                                                                                                                      
root@mint / # mdadm -A /dev/md1 /dev/sdq3 missing                                                                                                                                                               
mdadm: cannot open device missing: No such file or directory                                                                                                                                                    
mdadm: missing has no superblock - assembly aborted                                                                                                                                                             
root@mint / # mdadm -A /dev/md1 /dev/sdq3 /dev/sdr3                                                                                                                                                             
mdadm: /dev/md1 has been started with 1 drive (out of 2).                                                                                                                                                      
root@mint / # cat /proc/mdstat                                                                                                                                                                               
Personalities : [raid1]                                                                                                                                                                                      
md1 : active raid1 sdr3[1]                                                                                                                                                                                     
      51747840 blocks super 1.2 [2/1] [_U]                                                                                                                                                                    
                                                                                                                                                                                                              
md0 : active raid1 sdr1[1]                                                                                                                                                                                      
      4877312 blocks super 1.2 [2/1] [_U]                                                                                                                                                                       
                                                                                                                                                                                                                
unused devices: <none>     

/dev/sdr ist die Platte, auf der ich die große Partition /dev/sdr3 neu angelegt habe.

Ist denn sdq in Ordnung und hast Du da komplett alles mit ddrescue von einer der alten rüberkopiert? Den die Fehlermeldung zeugt eher davon, daß das RAID auf sdq nicht in ordnung ist.

lks

Ja, ich habe die ganze Platte übertragen. Bin dabei dieser (https://www.030-datenrettung.de/datenrettung-linux-ddrescue-anleitung) Anleitung gefolgt.

Also noch mal von vorne?

Kann ich auch das alte System von einer der ursprünglichen Platten booten und die Platte mit der vergrößerten RAID Partition hinzufügen? Ich sehe dabei aber das Risiko, dass er bei meinem Glück die original Platte überschreibt.

Zitat von @TrialAndError:

Ja, ich habe die ganze Platte übertragen. Bin dabei dieser (https://www.030-datenrettung.de/datenrettung-linux-ddrescue-anleitung) Anleitung gefolgt.

Also noch mal von vorne?

Kann ich auch das alte System von einer der ursprünglichen Platten booten und die Platte mit der vergrößerten RAID Partition hinzufügen?

Ja.

Ich sehe dabei aber das Risiko, dass er bei meinem Glück die original Platte überschreibt.

Wenn Du das alte System gebootet hast, überschreibt er da ncihts beim hinzufügen.

lks

Was ist denn das für ein Sch...?

Jetzt habe ich mit einer original SSD und einer neuen SSD gestartet. Die neue SSD habe ich vorher noch im Live System neu formatiert.

root@copie:~# fdisk -l /dev/sdq
Medium /dev/sdq: 238,5 GiB, 256060514304 Bytes, 500118192 Sektoren
Einheiten: sectors von 1 * 512 = 512 Bytes
Sektorengröße (logisch/physisch): 512 Bytes / 512 Bytes
I/O Größe (minimal/optimal): 512 Bytes / 512 Bytes
Typ der Medienbezeichnung: dos
Medienkennung: 0x63f3d021

Gerät      Boot    Start      Ende  Sektoren Größe Id Typ
/dev/sdq1  *        2048   9764863   9762816   4,7G fd Linux raid autodetect
/dev/sdq2        9764864  19529727   9764864   4,7G 82 Linux Swap / Solaris
/dev/sdq3       19529728 500117503 480587776 229,2G fd Linux raid autodetect

root@copie:~# fdisk -l /dev/sdr
Medium /dev/sdr: 58,7 GiB, 63023063040 Bytes, 123091920 Sektoren
Einheiten: sectors von 1 * 512 = 512 Bytes
Sektorengröße (logisch/physisch): 512 Bytes / 512 Bytes
I/O Größe (minimal/optimal): 512 Bytes / 512 Bytes
Typ der Medienbezeichnung: dos
Medienkennung: 0x63f3d021

Gerät      Boot    Start      Ende  Sektoren Größe Id Typ
/dev/sdr1  *        2048   9764863   9762816  4,7G fd Linux raid autodetect
/dev/sdr2        9764864  19529727   9764864  4,7G 82 Linux Swap / Solaris
/dev/sdr3       19529728 123090943 103561216 49,4G fd Linux raid autodetect

Jetzt wollte ich die neue Platte /dev/sdq dem Array hinzufügen. Aber in ''/proc/mdstat'' steht:

root@copie:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdq1[1]
      4877312 blocks super 1.2 [2/1] [_U]
      
md1 : active raid1 sdq3[1]
      51747840 blocks super 1.2 [2/1] [_U]
      
unused devices: <none>

Müsste da jetzt nicht eigentlich die Platte stehen, von der ich gebootet habe? Also sdr???

Was passiert denn jetzt, wenn ich die original Platte /dev/sdr hinzufüge? Synct er mir dann die Daten von der original Platte auf die neue Platte oder überschreibt er dann die laufende Platte?

Zitat von @TrialAndError:

Jetzt wollte ich die neue Platte /dev/sdq dem Array hinzufügen. Aber in ''/proc/mdstat'' steht:

> root@copie:~# cat /proc/mdstat 
> Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
> md0 : active raid1 sdq1[1]
>       4877312 blocks super 1.2 [2/1] [_U]
>       
> md1 : active raid1 sdq3[1]
>       51747840 blocks super 1.2 [2/1] [_U]
>       
> unused devices: <none>

Müsste da jetzt nicht eigentlich die Platte stehen, von der ich gebootet habe? Also sdr???

Offensichtlich hast Du die RAIDs 8bzw. deren Superblocks) auf der neuen SSD nicht gelöscht.
Was sagt denn "cat /proc/mounts"

Was passiert denn jetzt, wenn ich die original Platte /dev/sdr hinzufüge? Synct er mir dann die Daten von der original Platte auf die neue Platte oder überschreibt er dann die laufende Platte?

Ja nicht hinzufügen. So wie das aussieht, laufen die RAIDS auf der neuen Platte.

SChau mal, welche Filesystem er von welchen devicces gemountett hat (cat /proc/mounts). dann sehen wir weiter.

lks

Er scheint jetzt wirklich irgend wie zu glauben, dass er von der neuen Platte gestarte ist.

[…]
/dev/md1 on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)    
[…]
/dev/md0 on /boot type ext4 (rw,relatime,data=ordered) 

root@copie:~# blkid /dev/sdq1                       
/dev/sdq1: UUID="b8826bc2-fd07-9bfb-6e06-2ca4b4cebafb" UUID_SUB="b4230396-ed94-d45f-5b39-708fa566625a" LABEL="copie:0" TYPE="linux_raid_member" PARTUUID="63f3d021-01"              
root@copie:~# blkid /dev/sdq3             
/dev/sdq3: UUID="3f485ed4-4db3-36cc-b069-175cab32a9d1" UUID_SUB="65009c12-6735-778b-a9a9-10280a9ac0c9" LABEL="copie:1" TYPE="linux_raid_member" PARTUUID="63f3d021-03"  

# definitions of existing MD arrays                                                                                                                                                                          
ARRAY /dev/md/0  metadata=1.2 UUID=b8826bc2:fd079bfb:6e062ca4:b4cebafb name=copie:0                                                                                                                             
ARRAY /dev/md/1  metadata=1.2 UUID=3f485ed4:4db336cc:b069175c:ab32a9d1 name=copie:1                                                                                                                          
ARRAY /dev/md/2  metadata=1.2 UUID=53a04364:b5374ab0:45ecd942:f724d1d1 name=copie:2  



root@copie:~# cat /proc/mdstat                                                                                                                
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]                                                                                                                  
md0 : active raid1 sdq1[1]                                                                                                                    
      4877312 blocks super 1.2 [2/1] [_U]                                                                                    
                                                                                                                                                                        
md1 : active raid1 sdq3[1]                                                                                                                                                      
      51747840 blocks super 1.2 [2/1] [_U]                                                                                
                                                                                                                                                                                           
unused devices: <none>

Die Datei kannte ich bisher noch nicht

root@copie:~# cat /proc/mounts                                                                                                                                                                           
sysfs /sys sysfs rw,nosuid,nodev,noexec,relatime 0 0                                                                                                                                                     
proc /proc proc rw,nosuid,nodev,noexec,relatime 0 0                                                                                                                                                        
udev /dev devtmpfs rw,nosuid,relatime,size=8039196k,nr_inodes=2009799,mode=755 0 0                                                                                                                        
devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0                                                                                                                          
tmpfs /run tmpfs rw,nosuid,noexec,relatime,size=1611876k,mode=755 0 0                                                                                                                                     
/dev/md1 / ext4 rw,relatime,errors=remount-ro,data=ordered 0 0                                                                                                                                             
securityfs /sys/kernel/security securityfs rw,nosuid,nodev,noexec,relatime 0 0                                                                                                                            
tmpfs /dev/shm tmpfs rw,nosuid,nodev 0 0                                                                                                                                                                   
tmpfs /run/lock tmpfs rw,nosuid,nodev,noexec,relatime,size=5120k 0 0                                                                                                                                      
tmpfs /sys/fs/cgroup tmpfs ro,nosuid,nodev,noexec,mode=755 0 0                                                                                                                                            
cgroup /sys/fs/cgroup/systemd cgroup rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd 0 0                                                              
pstore /sys/fs/pstore pstore rw,nosuid,nodev,noexec,relatime 0 0                                                                                                                                          
cgroup /sys/fs/cgroup/net_cls,net_prio cgroup rw,nosuid,nodev,noexec,relatime,net_cls,net_prio 0 0                                                                                                         
cgroup /sys/fs/cgroup/hugetlb cgroup rw,nosuid,nodev,noexec,relatime,hugetlb 0 0                                                                                                                            
cgroup /sys/fs/cgroup/blkio cgroup rw,nosuid,nodev,noexec,relatime,blkio 0 0                                                                                                                               
cgroup /sys/fs/cgroup/freezer cgroup rw,nosuid,nodev,noexec,relatime,freezer 0 0                                                                                                                           
cgroup /sys/fs/cgroup/devices cgroup rw,nosuid,nodev,noexec,relatime,devices 0 0                                                                                                                          
cgroup /sys/fs/cgroup/cpu,cpuacct cgroup rw,nosuid,nodev,noexec,relatime,cpu,cpuacct 0 0                                                                                                                 
cgroup /sys/fs/cgroup/cpuset cgroup rw,nosuid,nodev,noexec,relatime,cpuset 0 0                                                                                                                             
cgroup /sys/fs/cgroup/memory cgroup rw,nosuid,nodev,noexec,relatime,memory 0 0                                                                                                                              
cgroup /sys/fs/cgroup/perf_event cgroup rw,nosuid,nodev,noexec,relatime,perf_event 0 0                                                                                                                    
cgroup /sys/fs/cgroup/pids cgroup rw,nosuid,nodev,noexec,relatime,pids 0 0                                                                                                                                
mqueue /dev/mqueue mqueue rw,relatime 0 0                                                                                                                                                                 
hugetlbfs /dev/hugepages hugetlbfs rw,relatime 0 0                                                                                                                                                        
debugfs /sys/kernel/debug debugfs rw,relatime 0 0                                                                                                                                                        
systemd-1 /proc/sys/fs/binfmt_misc autofs rw,relatime,fd=38,pgrp=1,timeout=0,minproto=5,maxproto=5,direct 0 0                                                                                             
fusectl /sys/fs/fuse/connections fusectl rw,relatime 0 0                                                                                                                                                  
/dev/md0 /boot ext4 rw,relatime,data=ordered 0 0                                                                                                                                                          
backuppool /backuppool zfs rw,relatime,xattr,noacl 0 0                                                                                                                                                    
backuppool/backup /backuppool/backup zfs rw,relatime,xattr,noacl 0 0                                                                                                                                      
lxcfs /var/lib/lxcfs fuse.lxcfs rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other 0 0                                                                                                              
tmpfs /run/user/0 tmpfs rw,nosuid,nodev,relatime,size=1611876k,mode=700 0 0     

Offensichtlich hast Du die RAIDs 8bzw. deren Superblocks) auf der neuen SSD nicht gelöscht.

Naja, habe in gparted die Partitionen gelöscht und neu angelegt.
Da habe ich es mir wohl zu einfach gemacht.

Also Kiste noch mal neu starten und Platte komplett formatieren? Oder lässt sich das aus dem laufenden System heraus beheben?

Moin

Zitat von @TrialAndError:

Offensichtlich hast Du die RAIDs 8bzw. deren Superblocks) auf der neuen SSD nicht gelöscht.

Naja, habe in gparted die Partitionen gelöscht und neu angelegt.
Da habe ich es mir wohl zu einfach gemacht.

ja, denn dadurch verschwinden die Superblocks nicht.

Also Kiste noch mal neu starten und Platte komplett formatieren? Oder lässt sich das aus dem laufenden System heraus beheben?

Nicht unbedingt.

Die Kiste hat ja vom "neuen" RAID gebootet, wie es aussieht. Ist denn das System, daß da läuft o.k. und vollständig?. wenn ja, dann kannst Du das auf die neuen Größen anpassen. da mußt du nichts mehr kopieren, sondern nur noch die andere SSd in das RAID einbinden. Am besten überprüfst Du, ob /dev/sdr alle Dateien hat, die Du brauchst. Dann sehen wir weiter.

lks

Die Kiste hat ja vom "neuen" RAID gebootet, wie es aussieht. Ist denn das System, daß da läuft o.k. und vollständig?

Auch wenn es da steht, aber es kann nicht von der neuen Platte gebootet sein.
Ich habe zwischenzeitlich (neben einem schnellen Abendessen) die Platte noch mal neu formatiert (msdos -> wie auch zuvor).

Es sieht aber immer noch so aus als würde er von der Platte starten. Da die Platte formatiert ist kann das aber nicht sein. Kann das eventuell ein mapping Problem sein? Also, dass die alte SSD vorher sdq war und die neue jetzt ebenfallst als sdq erkannt wird?
Andererseits sollten das ja die uuids ausschließen und die passen ja auch alle zur neuen Platte.

Nach dem ich die Platte jetzt formatiert habe habe ich noch mal die UUIDs abgefragt. Die sind immer noch identisch mit der von eben. Ich hätte erwartet, dass die Partition /dev/sdq1 jetzt eine neue UUID hat.

Am besten überprüfst Du, ob /dev/sdr alle Dateien hat, die Du brauchst.

Wie meinst du das? /dev/sdr3 ist ja eine RAID Partition.

Von welcher Platte das System jetzt auch immer gestartet ist. Da sind anscheinend alle Daten da. Zumindest die 30Gb Postgres DB sind da.

Zitat von @TrialAndError:

Die Kiste hat ja vom "neuen" RAID gebootet, wie es aussieht. Ist denn das System, daß da läuft o.k. und vollständig?

Was genau meinst Du mit formattiert? partoirtion gelöscht udn neu angelegt? Dann bleibt sowohl filesystem als auch RAID-Superblock erhlten.

nur ein ddrescue /dev/zero /dev/sdX löscht alle szuverlässig.

Es sieht aber immer noch so aus als würde er von der Platte starten. Da die Platte formatiert ist kann das aber nicht sein. Kann das eventuell ein mapping Problem sein? Also, dass die alte SSD vorher sdq war und die neue jetzt ebenfallst als sdq erkannt wird?

Um das festzustellen, höng einfach mal die alte Platte raus und starte nur mit der Platte die als /dev/sdr eingebunden ist. andererseits muß er die sdr3 als RAID gebootet haben, weil die RAID-größer zur Partitionsgröße paßt.

Andererseits sollten das ja die uuids ausschließen und die passen ja auch alle zur neuen Platte.

wenn die uuids gleich sind, kann es sein, daß er bei der "richtigen" UUId auf das falsche device zeigt.

Nach dem ich die Platte jetzt formatiert habe habe ich noch mal die UUIDs abgefragt. Die sind immer noch identisch mit der von eben. Ich hätte erwartet, dass die Partition /dev/sdq1 jetzt eine neue UUID hat.

???

Am besten überprüfst Du, ob /dev/sdr alle Dateien hat, die Du brauchst.

Wie meinst du das? /dev/sdr3 ist ja eine RAID Partition.

Die ist als md1 eingebunden und gemountet, wenn man Den obigen Ausgaben trauen darf.

Von welcher Platte das System jetzt auch immer gestartet ist. Da sind anscheinend alle Daten da. Zumindest die 30Gb Postgres DB sind da.

Um das ganz in einem definierten Zustand zu haben solltest Du folgendes tun:

Bau die alten SSd raus.
Laß nur die eine neue SSD drin, die als sdr oben zu sehen war.
Schau ob das System bootet und alle daten da sind, wenn es gebootet hat.
Wenn es nicht bootet, nimmst Du ein knoppix o.ä. und löscht mit ddrescue /dev/zero /dev/sdX die komplette SSD. und bootest anschließend mit der alten SSD. udn schaust, was als RAID-member udn root/boot-filesystem angezeigt wird.

lks

lks

Um das ganz in einem definierten Zustand zu haben solltest Du folgendes tun:

Bau die alten SSd raus.
Laß nur die eine neue SSD drin, die als sdr oben zu sehen war.
Schau ob das System bootet und alle daten da sind, wenn es gebootet hat.
Wenn es nicht bootet, nimmst Du ein knoppix o.ä. und löscht mit ddrescue /dev/zero /dev/sdX die komplette SSD. und bootest anschließend mit der alten SSD. udn schaust, was als RAID-member udn root/boot-filesystem angezeigt wird.

Versuch von der neuen SSD zu starten scheitert. Nicht mal nen Grub.

Werde jetzt nen Live System starten und die neuen SSD wie von dir beschrieben platt machen.

ok, jetzt ist das System wieder oben.

root@copie:~# cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdr1[1]
      4877312 blocks super 1.2 [2/1] [_U]
      
md1 : active raid1 sdr3[1]
      51747840 blocks super 1.2 [2/1] [_U]
      
unused devices: <none>

Soweit scheint das auch wieder zu stimmen.

Stimmt denn der "Laufwerksbuchstabe"?

lks

PS: Jetzt muss mit dem gelöschten laufwerk zusätzlich booten und dann die partitionen in der gwünschten zielgröße anlegen.

GNU Parted 3.2
/dev/sdr wird verwendet
Willkommen zu GNU Parted! Rufen Sie »help« auf, um eine Liste der verfügbaren Befehle zu erhalten.
(parted) print                                                            
Modell: ATA SanDisk SDSSDP06 (scsi)
Festplatte  /dev/sdr:  63,0GB
Sektorgröße (logisch/physisch): 512B/512B
Partitionstabelle: msdos
Disk-Flags: 

Nummer  Anfang  Ende    Größe   Typ      Dateisystem     Flags
 1      1049kB  5000MB  4999MB  primary  ext4            boot, RAID
 2      5000MB  9999MB  5000MB  primary  linux-swap(v1)
 3      9999MB  63,0GB  53,0GB  primary                  RAID

GNU Parted 3.2
/dev/sdq wird verwendet
Willkommen zu GNU Parted! Rufen Sie »help« auf, um eine Liste der verfügbaren Befehle zu erhalten.
(parted) print                                                            
Modell: ATA Samsung SSD 850 (scsi)
Festplatte  /dev/sdq:  256GB
Sektorgröße (logisch/physisch): 512B/512B
Partitionstabelle: msdos
Disk-Flags: 

Nummer  Anfang  Ende    Größe   Typ      Dateisystem  Flags
 1      1049kB  5000MB  4999MB  primary               boot, RAID
 2      5000MB  9999MB  5000MB  primary
 3      9999MB  256GB   246GB   primary               RAID

mdadm --manage /dev/md0 --add /dev/sdq1
mdadm --manage /dev/md1 --add /dev/sdq3

es scheint zu funktionieren

so, das RAID läuft jetzt mit beiden neuen SSDs.

cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdr1[3] sdq1[2]
      4877312 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sdr3[3] sdq3[2]
      51747840 blocks super 1.2 [2/2] [UU]
      
unused devices: <none>

Ich nehme an, dass ich jetzt mit dem zuvor probierten Befehl ''mdadm --grow -z max /dev/md1'' das RAID md1 auf die volle Partitionsgröße ausdehnen kann.

Ich tippe mal, danach muss ich noch das Dateisystem vergrößern. Laut parted ist es ein ext4.

Zitat von @TrialAndError:

so, das RAID läuft jetzt mit beiden neuen SSDs.

cat /proc/mdstat 
> Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
> md0 : active raid1 sdr1[3] sdq1[2]
>       4877312 blocks super 1.2 [2/2] [UU]
>       
> md1 : active raid1 sdr3[3] sdq3[2]
>       51747840 blocks super 1.2 [2/2] [UU]
>       
> unused devices: <none>
> 

Ich nehme an, dass ich jetzt mit dem zuvor probierten Befehl ''mdadm --grow -z max /dev/md1'' das RAID md1 auf die volle Partitionsgröße ausdehnen kann.

Ich tippe mal, danach muss ich noch das Dateisystem vergrößern. Laut parted ist es ein ext4.

Ja mt resize2fs.

lks