rickstinson
Goto Top

Synology, BTRFS, 6TB Plattenplatz blockiert bzw nicht nutzbar

Hallo,
es geht um zwei Synos, jeweils mit BTRFS mit 47,1TB Plattenplatz, Benutzt sind derzeit effektiv 36,8 TB. Frei angezeigt werden wir mir aber nur 3,8 TB. Richtig wären sowas um die 10TB.

Details:
- Zwei Synos, jeweils aktuelles DSM 7.2, Raid 5 mit einem BTRFS Volume (47,1 TB)
- Es ist ein Ordner "backup" freigegeben, dort liegen die Backup Files, 38,58 TB groß
- Tägliche Replizierung des Backup-Ordners via Snapshot Replication zum zweiten NAS
- Es wird derzeit nur ein Snapshot zurückgehalten. Ein Snapshot hat meist um die 1,0 - 1,2 TB
- Die Snapshotbereinigung ist aktiviert und wird automatisch ausgeführt = funktioniert
- Das System zeigt mir aber nur 3,8 TB freien Platzenplattenplatz an.
= Es sollten aber (47,1 TB minus 36,8 TB) um die 10 TB frei sein (abzüglich ein paar OS-Daten, etc)

BTFS dürfte ja nicht so simple zum handhaben sein, was ich so ergoogelt habe, ist dies ein weit verbreitetes Phänomen.
Folgende Ansätze habe ich versucht, aber ohne erfolg (auch Reboot des NAS durchgeführt)

1.) reclaim-space
https://www.reddit.com/r/synology/comments/oobv0j/btrfs_defragmentation_ ...
btrfs filesystem reclaim-space -S /volume1 -r

2.) Balance
https://docs.nvidia.com/networking-ethernet-software/knowledge-base/Conf ...
btrfs balance start -dusage=5 /volume1

3.) Defragmentierung
Hab ich nicht gemacht, es ja nicht empfohlen ist, diese zu machen, wenn man Snapshots verwendet.
Warning: Defragmenting with Linux kernel versions < 3.9 or ≥ 3.14-rc2 as well as with Linux stable kernel versions ≥ 3.10.31, ≥ 3.12.12 or ≥ 3.13.4 will break up the ref-links of COW data (for example files copied with cp --reflink, snapshots or de-duplicated data). This may cause considerable increase of space usage depending on the broken up ref-links.

4.) Synologys Datenträgerbereinigung
habe ich bis dato NICHT durchgeführt, da es hier seitens Synology zu wenig Infos gibt, WAS es genau tut.
Mein letztstand ist, dass hier beim "scrubbing" einfach nur das Raid geprüft wird, aber nichts am Filesystem gemacht wird.


Hat noch irgendwer eine Idee die 6TB zurückzuholen, oder zumindest einen Teil davon?
Wenn nur 1 TB wäre, ja ist gut, wäre mir egal, aber jetzt sind es 6 TB, ev. wächst es an, dann sinds 10 TB usw usf...


Vielen Dank
Patrick

Auszug vom BTRFS:
btrfs fi usage -b -h /volume1
Overall:
    Device size:                  49.08TiB
    Device allocated:             45.59TiB
    Device unallocated:            3.49TiB
    Device missing:                  0.00B
    Used:                         43.37TiB
    Free (estimated):              5.71TiB      (min: 3.97TiB)
    Data ratio:                       1.00
    Metadata ratio:                   2.00
    Global reserve:              409.22MiB      (used: 0.00B)

Data,single: Size:45.59TiB, Used:43.36TiB
   /dev/mapper/cachedev_0         45.59TiB

Metadata,DUP: Size:3.00GiB, Used:904.25MiB
   /dev/mapper/cachedev_0          6.00GiB

System,DUP: Size:64.00MiB, Used:512.00KiB
   /dev/mapper/cachedev_0        128.00MiB

Unallocated:
   /dev/mapper/cachedev_0          3.49TiB

Content-ID: 7773541850

Url: https://administrator.de/contentid/7773541850

Printed on: September 1, 2024 at 01:09 o'clock

Xerebus
Xerebus Jul 07, 2023 at 12:30:03 (UTC)
Goto Top
Papierkörbe auf der Syno aktiviert?
rickstinson
rickstinson Jul 07, 2023 at 13:38:46 (UTC)
Goto Top
Nein, sind deaktiviert... wenn nur so was simples gewesen wäre face-smile
kaiand1
kaiand1 Jul 07, 2023 at 16:30:21 (UTC)
Goto Top
Hi
und wie groß sind deine Metadaten auf dem System die ja auch Platz brauchen ?
btrfs fi df /mnt/btrfs-system
Die sind in deiner anderen Auflistung nicht dabei....
rickstinson
rickstinson Jul 07, 2023 at 16:53:09 (UTC)
Goto Top
stimmt, auf das hatte ich vergessen:

btrfs fi df /volume1
Data, single: total=45.59TiB, used=43.34TiB
System, DUP: total=64.00MiB, used=512.00KiB
Metadata, DUP: total=3.00GiB, used=857.48MiB
GlobalReserve, single: total=410.09MiB, used=0.00B

Schaut jetzt aber nicht so wild aus..
jsysde
jsysde Jul 07, 2023 at 21:39:53 (UTC)
Goto Top
N'Abend.

Zähl mal "Device unallocated" und "Free (estimated)" zusammen, dann kommst du ziemlich genau dahin, wo du hin willst. face-wink
Erklärt ist es u.a. hier: https://www.reddit.com/r/btrfs/comments/zu06hu/confused_by_unallocated_s ...

Cheers,
jsysde
rickstinson
rickstinson Jul 07, 2023 at 23:49:00 (UTC)
Goto Top
Danke! Hier nochmals die aktuellen Daten in TB statt in TiB (zum besseren Vergleich)
Overall:
    Device size:                           53.97TB
    Device allocated:                      50.13TB
    Device unallocated:                     3.84TB
    Device missing:                          0.00B
    Used:                                  47.75TB
    Free (estimated):                       6.21TB      (min: 4.29TB)
    Data ratio:                               1.00
    Metadata ratio:                           2.00
    Global reserve:                       464.16MB      (used: 0.00B)


Ich verstehe es jetzt mal so:
- "Free (estimated)" sind Blöcke die schon genutzt wurden, aber derzeit frei sind.
- "Device unallocated" sind Blöcke die noch darauf Warten mit Daten oder Metazeug gefüllt zu werden (=jungfräulich)

Richtig?
Diese beiden zusammengezählt wären in meinen Fall genau wie du gesagt hast die fehlenden 8 (bis 10) TB.
Allerdings wie komme ich dazu diesen freien Platz noch nutzen zu können?

93% ist laut herkömmlichen "du" schon belegt, auch wenn man "du" jetzt mit BTRFS nicht wirklich verwenden soll/kann. Das Problem sehe ich jetzt eh wenn die Platte volläuft (obwohl sie es nicht ist) und man dann nichts mehr auf das NAS speichern kann, weil zB SMB meint "diskfull" oder etwaige ISCSI Targets in den Read Only Mode gehen.

Oder wie darf ich mir das genau vorstellen? (ich checks echt nicht).

df -h /volume1
Filesystem              Size  Used Avail Use% Mounted on
/dev/mapper/cachedev_0   48T   44T  3.7T  93% /volume1

Abgesehen davon ist mein "backup"-Ordner (mehr ist auf diese Maschine nicht drauf) nur 35TB groß + ein einziger täglicher Snaphot mit ca 1-2TB (die Berinigung dafür läuft auch täglich).

Schaut übrigens so aus:
du -hs *
72K     @S2S
36K     @SnapshotReplication
28K     @SynoFinder-etc-volume
1.1M    @SynoFinder-log
112K    @appconf
5.1M    @appdata
0       @apphome
0       @appshare
15M     @appstore
0       @apptemp
0       @autoupdate
40K     @config_backup
60M     @database
24K     @eaDir
37T     @sharesnap
0       @sharesnap_restoring
528K    @synobtrfsreplic.synology_r1000_rs422+.64570.core.gz
0       @synoconfd
0       @tmp
44K     @userpreference
35T     backup

Wenn ich vom Ordner @sharesnap (Snapshots), von den angezeigten 37TB die 35TB abziehen + 2TB fürs die eigentliche Größe des Snapshot würde es so auch passen.

Laut meiner Kalkulation hätte ich effektiv 37TB genutzt und nicht 44TB.
Da hat man ein knapp 50TB Storage und ist bei 37TB Nutzung schon zu 93% voll.