2
Mysqldump bei riesiger Tabelle
Hallo Zusammen,
wir haben eine MySQL-MyISAM-Tabelle mit rund 300M Einträgen, der Dump selber ist rund 80G groß. Die normale Sicherung läuft über einen replizierten Slave ohne Probleme. Ich möchte aber zur Sicherheit gerne 1x pro Woche den Master selber sichern. Wird aber in der DB diese Tabelle gesichert, friert das System für die Zeit der Tabellensicherung ein. Wie kann ich das optimieren? Ich setze u.a. die folgenden Befehle ein:
mysql -pXXXX -e "set global net_write_timeout=1200"
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables --quick
Umfeld:
Ubuntu 16.04LTS
Maria-DB: 10.0.38
RAM: 256G
SSD Storage
Gruß,
Roadmax
wir haben eine MySQL-MyISAM-Tabelle mit rund 300M Einträgen, der Dump selber ist rund 80G groß. Die normale Sicherung läuft über einen replizierten Slave ohne Probleme. Ich möchte aber zur Sicherheit gerne 1x pro Woche den Master selber sichern. Wird aber in der DB diese Tabelle gesichert, friert das System für die Zeit der Tabellensicherung ein. Wie kann ich das optimieren? Ich setze u.a. die folgenden Befehle ein:
mysql -pXXXX -e "set global net_write_timeout=1200"
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables --quick
Umfeld:
Ubuntu 16.04LTS
Maria-DB: 10.0.38
RAM: 256G
SSD Storage
Gruß,
Roadmax
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 1692783849
Url: https://administrator.de/forum/mysqldump-bei-riesiger-tabelle-1692783849.html
Ausgedruckt am: 27.12.2024 um 02:12 Uhr
2 Kommentare
Neuester Kommentar
Hallo Roadmax,
würde da mal auf einen Tablelock tippen. Der ist ja auch richtig, willst ja eine Konsistente Sicherung haben
P.S. Deine Maria-DB Version ist schon ein wenig aus dem Support ( 31. März 2019)
Gruß
Delta
würde da mal auf einen Tablelock tippen. Der ist ja auch richtig, willst ja eine Konsistente Sicherung haben
P.S. Deine Maria-DB Version ist schon ein wenig aus dem Support ( 31. März 2019)
Gruß
Delta
--skip-lock-tables weglassen...
und alle Clients disconnecten. Und mal überlegen 80 GB ist ne Menge Holz selbst wenn das Ziel der Sicherung eine SLC Server SSD ist wird die Aktion minimal 20-30 Minuten laufen, auf TLC Consumer SSD s bricht die Schreibrate meist auf 100 MB/Sec zusammen wenn sie mal mehr als ein drittel voll sind, dann dauerts halt Stunden.
Und MySQL Dumps in der Regel mit dem Faktor 1ß-20 komprimierbar, ich wüde den Dump nicht direkt wegschreiben sondern pipen... in ein Gzip -7 oder -8 was schon eine relativ gute Kompression ergibt.
und alle Clients disconnecten. Und mal überlegen 80 GB ist ne Menge Holz selbst wenn das Ziel der Sicherung eine SLC Server SSD ist wird die Aktion minimal 20-30 Minuten laufen, auf TLC Consumer SSD s bricht die Schreibrate meist auf 100 MB/Sec zusammen wenn sie mal mehr als ein drittel voll sind, dann dauerts halt Stunden.
Und MySQL Dumps in der Regel mit dem Faktor 1ß-20 komprimierbar, ich wüde den Dump nicht direkt wegschreiben sondern pipen... in ein Gzip -7 oder -8 was schon eine relativ gute Kompression ergibt.
1
