4
MySQL Backup Probleme mit großen DBs
Hallo Zusammen,
ich habe ein Problem mit den Backups von großen Datenbanken im Live Betrieb ( Apache (PHP) und MySQL ). Derzeit haben wir eine Datenbank mit einer Dump Größe von 75GB, insbesondere ist dort eine Tabelle besonders groß und hat mehr als 120 Millionen Einträge. Kommt mysqldump an diese Tabelle wird das ganze System unendlich langsam und es kann keine Seite mehr aufgerufen werden, welche auf diese Tabelle zugreißt. Die Skip-Locking Option habe ich auch schon versucht, bingt aber nichts. Derzeit habe ich den Server repliziert und sichere den Replikationsserver, was gut funktioniert. Dieses Szenario können wir aber nicht bei anderen Szenarien einsetzen, da dort die technischen Möglichkeiten nicht bestehen. Hat jemand eine Idee wo ich ansetzen kann?
Danke und Gruß,
Roadmax
ich habe ein Problem mit den Backups von großen Datenbanken im Live Betrieb ( Apache (PHP) und MySQL ). Derzeit haben wir eine Datenbank mit einer Dump Größe von 75GB, insbesondere ist dort eine Tabelle besonders groß und hat mehr als 120 Millionen Einträge. Kommt mysqldump an diese Tabelle wird das ganze System unendlich langsam und es kann keine Seite mehr aufgerufen werden, welche auf diese Tabelle zugreißt. Die Skip-Locking Option habe ich auch schon versucht, bingt aber nichts. Derzeit habe ich den Server repliziert und sichere den Replikationsserver, was gut funktioniert. Dieses Szenario können wir aber nicht bei anderen Szenarien einsetzen, da dort die technischen Möglichkeiten nicht bestehen. Hat jemand eine Idee wo ich ansetzen kann?
Danke und Gruß,
Roadmax
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 667541
Url: https://administrator.de/forum/mysql-backup-probleme-mit-grossen-dbs-667541.html
Ausgedruckt am: 22.12.2024 um 06:12 Uhr
4 Kommentare
Neuester Kommentar
Moin, Roadmax,
leider hast du nicht geschrieben, welche Parameter du explizit getestet/versucht hast. Daher starten wir mit dem Basics - Backup huge mysql database.
Gruß,
Dani
leider hast du nicht geschrieben, welche Parameter du explizit getestet/versucht hast. Daher starten wir mit dem Basics - Backup huge mysql database.
Gruß,
Dani
Hey Dani,
ich habe folgendes getestet und letzteres aktiv im Einsatz:
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables --quick
Aber das Problem bleibt trotzdem bestehen.
Gruß!
ich habe folgendes getestet und letzteres aktiv im Einsatz:
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables --quick
Aber das Problem bleibt trotzdem bestehen.
Gruß!
hallo,
Du kennst in der FAQ Wie man eine Frage stellt?
Schau Dir den Abschnitt Je nach Fragestellung werden folgende Informationen zusätzlich benötigt: an.
Also bitte möglichst viele Informationen.
Gruss Penny.
Du kennst in der FAQ Wie man eine Frage stellt?
Schau Dir den Abschnitt Je nach Fragestellung werden folgende Informationen zusätzlich benötigt: an.
- Welches Betriebssystem wird eingesetzt?
- Welches Version von MySQL?
- Sicherst Du nur mit Boardmittel?
- Auf welche Hardware läuft das Ganze?
- Wie ist diese ausgestattet?
- Wie ist Netzwerkanbindung?
- Wohin wird gesichert und mit welchen Protokollen (SMB, CIFS, iSCSI, FibreChannel, spezielles Storage)?
- Was hast Du bisher versucht, was NICHT funktioniert?
Also bitte möglichst viele Informationen.
Gruss Penny.
Hallo Roadmax,
also mysqldump ist eine coole Sache, wenn es um kleine Datenbanken geht.
Bei großen DB's ist man geliefert.
Es gibt meiner Meinung nach keinen vernünftigen Weg MySQL mit mysqldump zu sichern.
Außerdem ist es in den meisten Fällen so, dass zwischen zwei Backups nur ein Bruchteil der Daten sich ändert.
Wegen diesem kleinen Anteil schaufelt man den ganzen Datenbestand und blockiert dabei das Livesystem. Sehr unklug.
Das muss im Ansatz anders funktionieren.
Die Entwickler haben sich wohl keine Gedanken gemacht. Daher muss man hier einfach auf das Dateisystem setzen.
Die Antwort heißt: ZFS
Hier das Beispiel als Anregung, weitere lassen sich recherchieren.
Ich hoffe, ich konnte weiter helfen
Viel Erfolg!
Gruß
Andre
also mysqldump ist eine coole Sache, wenn es um kleine Datenbanken geht.
Bei großen DB's ist man geliefert.
Es gibt meiner Meinung nach keinen vernünftigen Weg MySQL mit mysqldump zu sichern.
- Dauert zu lange
- frisst zu viele Ressourcen
- an Rücksicherung möchte ich nicht mal denken
Außerdem ist es in den meisten Fällen so, dass zwischen zwei Backups nur ein Bruchteil der Daten sich ändert.
Wegen diesem kleinen Anteil schaufelt man den ganzen Datenbestand und blockiert dabei das Livesystem. Sehr unklug.
Das muss im Ansatz anders funktionieren.
Die Entwickler haben sich wohl keine Gedanken gemacht. Daher muss man hier einfach auf das Dateisystem setzen.
Die Antwort heißt: ZFS
Hier das Beispiel als Anregung, weitere lassen sich recherchieren.
Ich hoffe, ich konnte weiter helfen
Viel Erfolg!
Gruß
Andre
