roadmax
Goto Top

MySQL Backup Probleme mit großen DBs

Hallo Zusammen,

ich habe ein Problem mit den Backups von großen Datenbanken im Live Betrieb ( Apache (PHP) und MySQL ). Derzeit haben wir eine Datenbank mit einer Dump Größe von 75GB, insbesondere ist dort eine Tabelle besonders groß und hat mehr als 120 Millionen Einträge. Kommt mysqldump an diese Tabelle wird das ganze System unendlich langsam und es kann keine Seite mehr aufgerufen werden, welche auf diese Tabelle zugreißt. Die Skip-Locking Option habe ich auch schon versucht, bingt aber nichts. Derzeit habe ich den Server repliziert und sichere den Replikationsserver, was gut funktioniert. Dieses Szenario können wir aber nicht bei anderen Szenarien einsetzen, da dort die technischen Möglichkeiten nicht bestehen. Hat jemand eine Idee wo ich ansetzen kann?

Danke und Gruß,
Roadmax

Content-Key: 667541

Url: https://administrator.de/contentid/667541

Printed on: April 21, 2024 at 03:04 o'clock

Member: Dani
Dani Jun 13, 2021 at 08:22:24 (UTC)
Goto Top
Moin, Roadmax,
leider hast du nicht geschrieben, welche Parameter du explizit getestet/versucht hast. Daher starten wir mit dem Basics - Backup huge mysql database.


Gruß,
Dani
Member: Roadmax
Roadmax Jun 13, 2021 at 08:30:10 (UTC)
Goto Top
Hey Dani,

ich habe folgendes getestet und letzteres aktiv im Einsatz:
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables
mysqldump --max_allowed_packet=1G --single-transaction --skip-lock-tables --quick

Aber das Problem bleibt trotzdem bestehen.

Gruß!
Member: Penny.Cilin
Penny.Cilin Jun 13, 2021 at 09:19:05 (UTC)
Goto Top
hallo,

Du kennst in der FAQ Wie man eine Frage stellt?

Schau Dir den Abschnitt Je nach Fragestellung werden folgende Informationen zusätzlich benötigt: an.

  • Welches Betriebssystem wird eingesetzt?
  • Welches Version von MySQL?
  • Sicherst Du nur mit Boardmittel?
  • Auf welche Hardware läuft das Ganze?
  • Wie ist diese ausgestattet?
  • Wie ist Netzwerkanbindung?
  • Wohin wird gesichert und mit welchen Protokollen (SMB, CIFS, iSCSI, FibreChannel, spezielles Storage)?
  • Was hast Du bisher versucht, was NICHT funktioniert?

Also bitte möglichst viele Informationen.
Gruss Penny.
Member: stickybit
stickybit Jun 16, 2021 at 09:54:51 (UTC)
Goto Top
Hallo Roadmax,

also mysqldump ist eine coole Sache, wenn es um kleine Datenbanken geht.
Bei großen DB's ist man geliefert.

Es gibt meiner Meinung nach keinen vernünftigen Weg MySQL mit mysqldump zu sichern.

  • Dauert zu lange
  • frisst zu viele Ressourcen
  • an Rücksicherung möchte ich nicht mal denken

Außerdem ist es in den meisten Fällen so, dass zwischen zwei Backups nur ein Bruchteil der Daten sich ändert.
Wegen diesem kleinen Anteil schaufelt man den ganzen Datenbestand und blockiert dabei das Livesystem. Sehr unklug.

Das muss im Ansatz anders funktionieren.
Die Entwickler haben sich wohl keine Gedanken gemacht. Daher muss man hier einfach auf das Dateisystem setzen.

Die Antwort heißt: ZFS

Hier das Beispiel als Anregung, weitere lassen sich recherchieren.

Ich hoffe, ich konnte weiter helfen

Viel Erfolg!

Gruß
Andre