butterbot
Goto Top

LUKS - Device is not a valid LUKS device

Moin,

ich habe am Donnerstag ein Raid mit mdadm auf 8 Festplatten gebaut.
Nachdem er mit dem erstellen fertig war, habe ich eine luks Verschlüsselung auf /dev/md1 (md0 gibt es schon) gesetzt.

1. cryptsetup luksFormat -c aes-xts-plain64 -s 512 -h sha512 -y /dev/md1
2. cryptsetup luksOpen /dev/md1 Storage_three

Das hat soweit problemlos funktioniert, nun habe ich da etliche Daten drauf gespielt und gestern den Server neugestartet.
Danach kam das hier:
root@fileshare:/home/jj#cryptsetup luksOpen /dev/md1 Storage_three 
Device /dev/md1 is not a valid LUKS device.
root@fileshare:/home/jj# 

Jetzt geht mir ein bisschen der Stift, da ich ein zweites Raid habe, wo ich die Platten Formatieren muss, da ich mir das ein bisschen zerschossen hatte.
Also habe ich alle Daten von /dev/md0 auf /dev/md1 (sage ich jetzt so, da darauf jeweils nochmal die Luks Verschlüsselung ist) verschoben.

Das komische ist, das ich das ganze mit dem /dev/md1 Verbund schonmal hatte, nach einem Neustart konnte das luks Volumen nicht mehr gefunden werden.....

/dev/md1 - Was nicht entschlüsselt werden kann:
root@fileshare:/home/jj# dd if=/dev/md1 count=50 | hexdump -C
00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000001b0  00 00 00 00 00 00 00 00  00 00 00 00 1d 9a 00 00  |................|
000001c0  01 00 ee fe ff ff 01 00  00 00 ff ff ff ff 00 00  |................|
000001d0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000001f0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 55 aa  |..............U.|
00000200  45 46 49 20 50 41 52 54  00 00 01 00 5c 00 00 00  |EFI PART....\...|
00000210  cd dc 09 98 00 00 00 00  01 00 00 00 00 00 00 00  |................|
00000220  ff 07 41 4f 01 00 00 00  22 00 00 00 00 00 00 00  |..AO....".......|  
00000230  de 07 41 4f 01 00 00 00  2f 1b c0 77 2c c1 13 47  |..AO..../..w,..G|
00000240  92 65 e8 15 56 98 ee 1c  02 00 00 00 00 00 00 00  |.e..V...........|
00000250  80 00 00 00 80 00 00 00  23 06 d4 66 00 00 00 00  |........#..f....|
00000260  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000400  2a e0 31 aa 0f 40 db 11  95 90 00 0c 29 11 d1 b8  |*.1..@......)...|
00000410  07 71 a2 da eb 48 d9 40  bc 1d 52 da 7f f6 83 ec  |.q...H.@..R.....|
00000420  00 08 00 00 00 00 00 00  00 00 41 4f 01 00 00 00  |..........AO....|
00000430  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00005000  7b 22 6b 65 79 73 6c 6f  74 73 22 3a 7b 22 30 22  |{"keyslots":{"0"|  
00005010  3a 7b 22 74 79 70 65 22  3a 22 6c 75 6b 73 32 22  |:{"type":"luks2"|  
00005020  2c 22 6b 65 79 5f 73 69  7a 65 22 3a 36 34 2c 22  |,"key_size":64,"|  
00005030  61 66 22 3a 7b 22 74 79  70 65 22 3a 22 6c 75 6b  |af":{"type":"luk|  
00005040  73 31 22 2c 22 73 74 72  69 70 65 73 22 3a 34 30  |s1","stripes":40|  
00005050  30 30 2c 22 68 61 73 68  22 3a 22 73 68 61 35 31  |00,"hash":"sha51|  
00005060  32 22 7d 2c 22 61 72 65  61 22 3a 7b 22 74 79 70  |2"},"area":{"typ|  
00005070  65 22 3a 22 72 61 77 22  2c 22 6f 66 66 73 65 74  |e":"raw","offset|  
00005080  22 3a 22 33 32 37 36 38  22 2c 22 73 69 7a 65 22  |":"32768","size"|  
00005090  3a 22 32 35 38 30 34 38  22 2c 22 65 6e 63 72 79  |:"258048","encry|  
000050a0  70 74 69 6f 6e 22 3a 22  61 65 73 2d 78 74 73 2d  |ption":"aes-xts-|  
000050b0  70 6c 61 69 6e 36 34 22  2c 22 6b 65 79 5f 73 69  |plain64","key_si|  
000050c0  7a 65 22 3a 36 34 7d 2c  22 6b 64 66 22 3a 7b 22  |ze":64},"kdf":{"|  
000050d0  74 79 70 65 22 3a 22 61  72 67 6f 6e 32 69 64 22  |type":"argon2id"|  
000050e0  2c 22 74 69 6d 65 22 3a  36 2c 22 6d 65 6d 6f 72  |,"time":6,"memor|  
000050f0  79 22 3a 31 30 34 38 35  37 36 2c 22 63 70 75 73  |y":1048576,"cpus|  
00005100  22 3a 34 2c 22 73 61 6c  74 22 3a 22 30 49 4b 37  |":4,"salt":"0IK7|  
00005110  75 4d 4e 73 69 6b 57 79  59 78 55 45 50 78 78 6b  |uMNsikWyYxUEPxxk|
00005120  65 50 73 66 74 4f 7a 36  31 53 4e 2b 71 42 49 48  |ePsftOz61SN+qBIH|
00005130  46 67 58 39 65 38 73 3d  22 7d 7d 7d 2c 22 74 6f  |FgX9e8s="}}},"to|  
00005140  6b 65 6e 73 22 3a 7b 7d  2c 22 73 65 67 6d 65 6e  |kens":{},"segmen|  
00005150  74 73 22 3a 7b 22 30 22  3a 7b 22 74 79 70 65 22  |ts":{"0":{"type"|  
00005160  3a 22 63 72 79 70 74 22  2c 22 6f 66 66 73 65 74  |:"crypt","offset|  
00005170  22 3a 22 31 38 38 37 34  33 36 38 22 2c 22 73 69  |":"18874368","si|  
00005180  7a 65 22 3a 22 64 79 6e  61 6d 69 63 22 2c 22 69  |ze":"dynamic","i|  
00005190  76 5f 74 77 65 61 6b 22  3a 22 30 22 2c 22 65 6e  |v_tweak":"0","en|  
000051a0  63 72 79 70 74 69 6f 6e  22 3a 22 61 65 73 2d 78  |cryption":"aes-x|  
000051b0  74 73 2d 70 6c 61 69 6e  36 34 22 2c 22 73 65 63  |ts-plain64","sec|  
000051c0  74 6f 72 5f 73 69 7a 65  22 3a 34 30 39 36 7d 7d  |tor_size":4096}}|  
000051d0  2c 22 64 69 67 65 73 74  73 22 3a 7b 22 30 22 3a  |,"digests":{"0":|  
000051e0  7b 22 74 79 70 65 22 3a  22 70 62 6b 64 66 32 22  |{"type":"pbkdf2"|  
000051f0  2c 22 6b 65 79 73 6c 6f  74 73 22 3a 5b 22 30 22  |,"keyslots":["0"|  
00005200  5d 2c 22 73 65 67 6d 65  6e 74 73 22 3a 5b 22 30  |],"segments":["0|  
00005210  22 5d 2c 22 68 61 73 68  22 3a 22 73 68 61 35 31  |"],"hash":"sha51|  
00005220  32 22 2c 22 69 74 65 72  61 74 69 6f 6e 73 22 3a  |2","iterations":|  
00005230  32 34 30 30 35 38 2c 22  73 61 6c 74 22 3a 22 44  |240058,"salt":"D|  
00005240  79 73 63 44 47 42 31 33  43 79 72 72 66 33 59 46  |yscDGB13Cyrrf3YF|
00005250  61 42 53 44 35 38 55 38  35 30 54 72 46 51 32 52  |aBSD58U850TrFQ2R|
00005260  4c 65 71 59 4e 76 73 70  58 77 3d 22 2c 22 64 69  |LeqYNvspXw=","di|  
00005270  67 65 73 74 22 3a 22 32  37 70 7a 32 77 76 44 34  |gest":"27pz2wvD4|  
00005280  51 55 31 66 6c 49 4f 4b  53 4f 48 7a 31 6b 30 6b  |QU1flIOKSOHz1k0k|
00005290  73 43 32 62 61 42 4a 7a  43 30 62 78 4e 34 77 5a  |sC2baBJzC0bxN4wZ|
000052a0  2f 73 73 61 2b 55 6d 30  71 7a 58 77 6d 4c 65 47  |/ssa+Um0qzXwmLeG|
000052b0  31 55 76 36 61 69 38 36  4c 78 66 34 6e 54 67 70  |1Uv6ai86Lxf4nTgp|
000052c0  4a 4b 70 4b 4f 38 6d 4f  39 34 58 78 67 3d 3d 22  |JKpKO8mO94Xxg=="|  
000052d0  7d 7d 2c 22 63 6f 6e 66  69 67 22 3a 7b 22 6a 73  |}},"config":{"js|  
000052e0  6f 6e 5f 73 69 7a 65 22  3a 22 31 32 32 38 38 22  |on_size":"12288"|  
000052f0  2c 22 6b 65 79 73 6c 6f  74 73 5f 73 69 7a 65 22  |,"keyslots_size"|  
00005300  3a 22 31 36 37 34 34 34  34 38 22 7d 7d 00 00 00  |:"16744448"}}...|  
00005310  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00006400
50+0 records in
50+0 records out
25600 bytes (26 kB, 25 KiB) copied, 0,000764082 s, 33,5 MB/s
root@fileshare:/home/jj#


/dev/md0 - Was ohne Probleme funktioniert:
root@fileshare:/home/jj# dd if=/dev/md0 count=50 | hexdump -C
00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000001b0  00 00 00 00 00 00 00 00  00 00 00 00 1d 9a 00 00  |................|
000001c0  01 00 ee fe ff ff 01 00  00 00 7f 00 dc e8 00 00  |................|
000001d0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000001f0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 55 aa  |..............U.|
00000200  45 46 49 20 50 41 52 54  00 00 01 00 5c 00 00 00  |EFI PART....\...|
50+0 records in
50+0 records out
00000210  8f 32 32 8a 00 00 00 00  01 00 00 00 00 00 00 00  |.22.............|
00000220  7f 00 dc e8 00 00 00 00  22 00 00 00 00 00 00 00  |........".......|  
00000230  5e 00 dc e8 00 00 00 00  c3 51 5b a5 c2 b9 f5 4a  |^........Q[....J|
00000240  89 8d 94 76 a6 3b a5 9e  02 00 00 00 00 00 00 00  |...v.;..........|
00000250  80 00 00 00 80 00 00 00  09 f6 7b bc 00 00 00 00  |..........{.....|
00000260  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000400  2a e0 31 aa 0f 40 db 11  95 90 00 0c 29 11 d1 b8  |*.1..@......)...|
00000410  9c a1 18 23 7c 0d cd 43  94 07 a8 9e 4a 2f 41 bf  |...#|..C....J/A.|
00000420  00 08 00 00 00 00 00 00  00 f8 db e8 00 00 00 00  |................|
25600 bytes (26 kB, 25 KiB) copied, 0,000100697 s, 254 MB/s
00000430  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00004400  65 82 c6 10 68 79 4a 61  ce 45 ad 57 bd 59 f1 bc  |e...hyJa.E.W.Y..|
00004410  30 18 14 42 84 47 77 9f  f0 3f f3 bb b6 54 f9 0a  |0..B.Gw..?...T..|
00004420  96 88 ca 97 fd 1b bc e4  bd be 44 ef 1a 8e 6a dd  |..........D...j.|
00004430  b9 ae c1 3b 54 21 d9 e5  de 1f 20 57 fd ef 76 2c  |...;T!.... W..v,|
00004440  08 66 8c 43 83 61 33 b3  10 8b ee 02 89 55 5f 17  |.f.C.a3......U_.|
00004450  d8 3f a4 a9 d3 93 ce 0d  6f 97 c6 5c 5e 13 5a 22  |.?......o..\^.Z"|  
00004460  68 47 2b 87 e7 5b 1f 7e  d9 0c ff 72 5a 55 bd a7  |hG+..[.~...rZU..|
00004470  e5 bd f7 78 22 f9 9c 35  00 51 62 4b 9b 29 fd 15  |...x"..5.QbK.)..|  
00004480  2b da f5 f7 1a 12 e3 d7  27 33 c2 37 93 1c 1e e8  |+.......'3.7....|  
00004490  60 6d 6b d8 56 1c a1 a4  8a cb 3f ad cb dd 78 33  |`mk.V.....?...x3|
000044a0  a4 4f ca b2 df bd 95 b7  dc 5f 66 a3 1a 86 c6 e0  |.O......._f.....|
000044b0  11 63 b9 73 5e fb 1b 21  1d 54 aa e6 0f d4 3d 10  |.c.s^..!.T....=.|
000044c0  2a ac 0f e2 b3 a4 a7 7c  0d 97 48 88 2e 6e c8 c2  |*......|..H..n..|
000044d0  81 a6 9d 45 1f 83 8a 44  71 bb 3a 04 e6 c2 ef 7e  |...E...Dq.:....~|
000044e0  56 9d 38 38 41 cf bf 60  5d 47 04 4d c2 6a 7a da  |V.88A..`]G.M.jz.|
000044f0  2d e8 ef 6a 3f de b0 01  ef 4b f0 f5 a1 17 52 4a  |-..j?....K....RJ|
00004500  da 2d 74 b6 19 fb 94 a8  d6 93 9d ef b0 41 75 00  |.-t..........Au.|
00004510  5a 0d 06 5b 4f 94 04 57  bf 64 e1 2b 95 1d d3 f6  |Z..[O..W.d.+....|
00004520  51 83 de 59 7b 40 47 76  e1 a8 de 0e 29 ad de 24  |Q..Y{@Gv....)..$|
00004530  cf 58 e0 e2 d3 4b 9a 45  9e 59 48 85 08 e4 19 8a  |.X...K.E.YH.....|
00004540  e4 52 57 9b e2 4f 9e 1d  92 71 d0 37 9e d0 d5 db  |.RW..O...q.7....|
00004550  56 90 f5 b4 eb 20 ac 9d  22 18 3b af a2 bc db 90  |V.... ..".;.....|  
00004560  08 04 06 d5 ed 91 38 4f  91 d7 3b 3a 78 75 58 70  |......8O..;:xuXp|
00004570  ac 2b 65 21 91 36 e6 ec  65 67 0d d0 73 c5 94 88  |.+e!.6..eg..s...|
00004580  3a c2 f3 c7 79 6e 89 47  3f d6 2a 9b e7 ad 7c 27  |:...yn.G?.*...|'|  
00004590  77 02 ca 12 57 a0 89 83  25 b4 86 99 4c e3 78 12  |w...W...%...L.x.|
000045a0  eb 88 0e b8 42 03 01 21  f5 a3 26 12 4d 0f 93 6f  |....B..!..&.M..o|
000045b0  da 23 8b b5 c8 0f 87 1c  25 7a cc fb 7e 61 ab ab  |.#......%z..~a..|
000045c0  03 d9 38 5d ea d3 8b 18  3e 5b c4 41 2f c7 b5 eb  |..8]....>[.A/...|
000045d0  6c 46 16 39 da d8 24 db  08 91 13 36 02 9f 01 1a  |lF.9..$....6....|
000045e0  9e 35 04 d3 8f 33 90 4e  47 62 5d aa e8 e7 91 d1  |.5...3.NGb].....|
000045f0  de 15 f1 12 7c d0 94 87  97 b1 54 4f 1f e8 ff 3f  |....|.....TO...?|
00004600  32 d5 5d da a2 a0 d2 a7  d1 28 75 7d 46 8c b2 22  |2.]......(u}F.."|  
00004610  49 55 58 24 12 00 76 cc  53 63 b2 0a ad 1f 9a 97  |IUX$..v.Sc......|
00004620  92 c9 24 de 99 b3 3a 72  84 1a 73 b8 6a 67 8f 30  |..$...:r..s.jg.0|
00004630  af 7e 47 0b d9 11 41 fb  95 1d 2c fb 66 9c 0c 27  |.~G...A...,.f..'|  
00004640  a0 21 c5 38 fd b9 eb 1f  8a 39 41 70 be 0e 67 5e  |.!.8.....9Ap..g^|
00004650  81 aa bb 37 c0 03 24 e3  67 fc f5 78 ab 80 9b 21  |...7..$.g..x...!|
00004660  5f e4 dc 10 40 5b f5 3e  eb c5 b8 45 36 57 6b 08  |_...@[.>...E6Wk.|
00004670  6c 6f b0 a1 ab e3 1d 3b  7c f9 7f f6 5b b5 52 ce  |lo.....;|...[.R.|
00004680  65 42 4d 53 8b 4d 9c 7b  11 f4 7e 73 13 f9 84 74  |eBMS.M.{..~s...t|
00004690  51 85 cc 1b 5c 63 77 e4  1e 95 7f b2 66 76 85 2a  |Q...\cw.....fv.*|
000046a0  5b f5 9e bb 54 97 fb 92  23 43 b8 49 7e ab 72 62  |[...T...#C.I~.rb|
000046b0  eb dd 90 99 78 48 49 38  7c 9b 8f 76 01 4e 09 af  |....xHI8|..v.N..|
000046c0  f2 fb 9e c3 a9 a9 f7 1b  7b 42 e4 6a 22 b6 24 30  |........{B.j".$0|  
000046d0  c3 a2 79 d0 74 64 7d 18  46 96 1b 24 bc e0 b3 2b  |..y.td}.F..$...+|
000046e0  bf 5f f0 6b 44 02 44 58  61 ad f2 f7 6b 9c 81 f2  |._.kD.DXa...k...|
000046f0  67 56 94 fb af ec 8d 47  6e c8 a5 9e e7 2a 18 eb  |gV.....Gn....*..|
00004700  7b 8f 88 ba ee 18 a3 67  bb 39 3e 2b 9a bc ec fc  |{......g.9>+....|
00004710  eb 7d 4a 32 05 33 e7 0e  65 5d e6 e5 c1 b0 62 ec  |.}J2.3..e]....b.|
00004720  44 a1 48 5f de 3f d7 81  b1 66 e4 15 8f 5c 5c 41  |D.H_.?...f...\\A|
00004730  5b 16 17 aa c4 ae 9a 97  eb d3 ed 65 fc e4 dd eb  |[..........e....|
00004740  9d 42 db d0 45 f8 97 b1  94 87 d1 3d b2 ba 89 f4  |.B..E......=....|
00004750  ba 88 5c 73 23 55 af 5d  49 d6 33 8e b7 11 2b 30  |..\s#U.]I.3...+0|
00004760  67 9b d6 21 e4 67 f4 12  39 09 93 52 d7 5c ed 52  |g..!.g..9..R.\.R|
00004770  8f 38 91 31 c3 bd 07 8f  f7 8d f7 78 52 e3 0b 2d  |.8.1.......xR..-|
..... 1000 Zeilen mehr

Es sieht so aus, als würden da Sachen verschoben sein.
Wenn ich den Counter bei /dev/md1 höher setzte, werden mir auch die anderen Sachen ähnlich wie bei /dev/md0 angezeigt.

Habt ihr ne Idee?
Ich mag nich mehr.....

Content-Key: 42999416936

Url: https://administrator.de/contentid/42999416936

Printed on: December 6, 2023 at 20:12 o'clock

Member: katrin11
katrin11 Nov 19, 2023 updated at 20:45:14 (UTC)
Goto Top
Hi.
Als erstes mal das MD RAID auf Konsistenz prüfen und die Smart-Parameter der Platten prüfen auf dem das RAID läuft, bevor man sich an den Inhalt macht.

Da fehlt auf den ersten Blick das Key-Material, war auf den dem Volume vorher schon mal was drauf?

Zum Recovery von Luks verschlüsselten Volumes sind folgende Artikel lesenswert zum Thema und den Hintergründen.
cryptsetup repair, Part One — Magic Bytes Recovery
cryptsetup repair, Part Two — Full Header Recovery

Gruß Katrin
Member: LordGurke
LordGurke Nov 19, 2023 at 19:18:35 (UTC)
Goto Top
Falls auf den Platten mal etwas eingerichtet war, empfiehlt es sich mit "wipefs" die Dateisystem- und RAID-Signaturen zu löschen, da manche Automatismen sonst alte Einträge finden, die zufällig an der richtigen Stelle stehen.
Member: commodity
commodity Nov 19, 2023 at 22:08:56 (UTC)
Goto Top
Wenn das RAID nicht auf dem korrekten Weg benannt wurde oder die Benennung nicht persistent gemacht, verändert sich dessen Bezeichnung oftmals nach dem Neustart und beginnt dann bei 127.

Das kannst du mit
cat /proc/mdstat
prüfen.

Da der hexdump ja auf md1 funktioniert ist das obige aber wahrscheinlich nicht relevant. Es sei denn, es wurde beim Start noch ein anderes RAID-Device auf den Platten gefunden.

Viele Grüße, commodity
Member: ButterBot
ButterBot Nov 23, 2023 at 13:44:37 (UTC)
Goto Top
Zitat von @commodity:

Wenn das RAID nicht auf dem korrekten Weg benannt wurde oder die Benennung nicht persistent gemacht, verändert sich dessen Bezeichnung oftmals nach dem Neustart und beginnt dann bei 127.

Das kannst du mit
cat /proc/mdstat
prüfen.

Da der hexdump ja auf md1 funktioniert ist das obige aber wahrscheinlich nicht relevant. Es sei denn, es wurde beim Start noch ein anderes RAID-Device auf den Platten gefunden.

Viele Grüße, commodity

Moin,

also das Raid funktioniert an sich:
root@fileshare:/home/jj# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md0 : active raid1 dm-1[1] dm-0[0]
      1953366080 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md1 : active raid6 sdm[7] sdi[2] sdl[5] sdk[3] sdh[1] sdj[4] sdg[0] sdf[6]
      2812314624 blocks super 1.2 level 6, 512k chunk, algorithm 2 [8/8] [UUUUUUUU]
      bitmap: 0/4 pages [0KB], 65536KB chunk

unused devices: <none>
root@fileshare:/home/jj# 

denke das irgendwie die LUKS Verschlüsselung nicht ganz okay ist.
Member: commodity
commodity Nov 23, 2023 at 20:33:02 (UTC)
Goto Top
Reparaturversuche (Check RAID) und Wiederherstellung LUKS-Header aus den Links der Kollgin @katrin11 versucht? Deren Fragen wurden leider nicht beantwortet. Sind die Daten wichtig? Sonst nochmal neu machen. Vor dem Anlegen den Anfang der zu verschlüsselnden Partition mit Zufallsbytes überschreiben:

sudo dd if=/dev/urandom bs=1M count=8 of=GERÄTEDATEI 

Viele Grüße, commodity