Worauf kommt es an?
Hallo liebe IT-Gemeinde,
ich benötige mal eure Hilfe. Wir sind derzeit in der Entwicklung einer Industriesoftware. Ganz grob umschrieben geht es um Produktionszustände, Stückzahlen und Betriebsstunden. Alle diese Daten die durch SPS-Anlagen usw. erzeugt werden, werden über ein serverseitiges Skript aufgearbeitet und in einer MySQL Datenbank gespeichert. Diese Daten werden dann durch ein SAP oder was auch immer ausgelesen und für weitere Zwecke weiter verarbeitet. Läuft alle Klasse, wir haben aktuell 4 Testanlagen die alle samt reibungslos laufen.
Wenn man überhaupt von einem Problem sprechen kann, dann das, dass unsere MySQL Server am Limit laufen. Wir haben unsere Software jedoch so gestaltet, dass wir diese kaskadieren können. So haben wir bei unserer größten Anlage mit knapp 197 Maschinen 4 MySQL Server laufen. Aktuell verwenden wir jedoch herkömmliche Rechner und statten diese lediglich mit einer 24/7 Festplatte aus. Soviel erstmal zum Hintergrund. Nun zu meiner eigentlichen Frage:
Wenn ich einen Rechner / Server zusammensetzte der nur die Anforderung hat einen MySQL Server laufen zu lassen, worauf kommt es bei der Hardware wirklich an. Was muss man beachten. Viel RAM? Schnelle CPU? Das ist eine generelle Frage.
Aktuell haben wir bei unserer größten Anlage folgendes Befehlsaufkommen pro Sekunde: 2.000 SELECT - 250 INSERT & 15 CREATE
Wenn wir nächstes Jahr in den Produktiveinsatz gehen, wollen wir ja auch die MySQL Server vernümftig auslegen.
Ich danke schonmal im voraus für die Antworten.
ich benötige mal eure Hilfe. Wir sind derzeit in der Entwicklung einer Industriesoftware. Ganz grob umschrieben geht es um Produktionszustände, Stückzahlen und Betriebsstunden. Alle diese Daten die durch SPS-Anlagen usw. erzeugt werden, werden über ein serverseitiges Skript aufgearbeitet und in einer MySQL Datenbank gespeichert. Diese Daten werden dann durch ein SAP oder was auch immer ausgelesen und für weitere Zwecke weiter verarbeitet. Läuft alle Klasse, wir haben aktuell 4 Testanlagen die alle samt reibungslos laufen.
Wenn man überhaupt von einem Problem sprechen kann, dann das, dass unsere MySQL Server am Limit laufen. Wir haben unsere Software jedoch so gestaltet, dass wir diese kaskadieren können. So haben wir bei unserer größten Anlage mit knapp 197 Maschinen 4 MySQL Server laufen. Aktuell verwenden wir jedoch herkömmliche Rechner und statten diese lediglich mit einer 24/7 Festplatte aus. Soviel erstmal zum Hintergrund. Nun zu meiner eigentlichen Frage:
Wenn ich einen Rechner / Server zusammensetzte der nur die Anforderung hat einen MySQL Server laufen zu lassen, worauf kommt es bei der Hardware wirklich an. Was muss man beachten. Viel RAM? Schnelle CPU? Das ist eine generelle Frage.
Aktuell haben wir bei unserer größten Anlage folgendes Befehlsaufkommen pro Sekunde: 2.000 SELECT - 250 INSERT & 15 CREATE
Wenn wir nächstes Jahr in den Produktiveinsatz gehen, wollen wir ja auch die MySQL Server vernümftig auslegen.
Ich danke schonmal im voraus für die Antworten.
Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 253323
Url: https://administrator.de/forum/worauf-kommt-es-an-253323.html
Ausgedruckt am: 23.12.2024 um 06:12 Uhr
19 Kommentare
Neuester Kommentar
Hallo JollyJumper,
RAM, CPU UND Platten/RAID, die auch die Daten fix liefern können.
Alternativ die DB gleich komplett in den Arbeitsspeicher (je nach Größe).
Ebenso ist die Definition von InnoDB/MyISAM wichtig...
Und bei ~ 2.000 Anfragen/Sekunde sollte man auch zusehen, daß die Netzwerkanbindung tadellos läuft.
Das ist so aussagekräftig wie:
wir haben 5km Straße zu kehren und dafür 15 Besen. Reicht das?
Es kommt auf die Straßenbeschaffenheit und die Besen an.
Wenn das SELECTS mit mehreren JOINS sind, oder die Tables nicht ordnungsgemäß mit Index belegt sind, dann kann so ein simpler SELECT schon mal ein paar Sekunden dauern, und dabei auch ordentlich Ressourcen fressen.
Das Gleiche gilt für die INSERT's.
Dann spart nicht an der Hardware.
Lonesome Walker
Zitat von @JollyJumper83:
Wenn ich einen Rechner / Server zusammensetzte der nur die Anforderung hat einen MySQL Server laufen zu lassen, worauf kommt es
bei der Hardware wirklich an. Was muss man beachten. Viel RAM? Schnelle CPU? Das ist eine generelle Frage.
Wenn ich einen Rechner / Server zusammensetzte der nur die Anforderung hat einen MySQL Server laufen zu lassen, worauf kommt es
bei der Hardware wirklich an. Was muss man beachten. Viel RAM? Schnelle CPU? Das ist eine generelle Frage.
RAM, CPU UND Platten/RAID, die auch die Daten fix liefern können.
Alternativ die DB gleich komplett in den Arbeitsspeicher (je nach Größe).
Ebenso ist die Definition von InnoDB/MyISAM wichtig...
Und bei ~ 2.000 Anfragen/Sekunde sollte man auch zusehen, daß die Netzwerkanbindung tadellos läuft.
Aktuell haben wir bei unserer größten Anlage folgendes Befehlsaufkommen pro Sekunde: 2.000 SELECT - 250 INSERT & 15
CREATE
CREATE
Das ist so aussagekräftig wie:
wir haben 5km Straße zu kehren und dafür 15 Besen. Reicht das?
Es kommt auf die Straßenbeschaffenheit und die Besen an.
Wenn das SELECTS mit mehreren JOINS sind, oder die Tables nicht ordnungsgemäß mit Index belegt sind, dann kann so ein simpler SELECT schon mal ein paar Sekunden dauern, und dabei auch ordentlich Ressourcen fressen.
Das Gleiche gilt für die INSERT's.
Wenn wir nächstes Jahr in den Produktiveinsatz gehen, wollen wir ja auch die MySQL Server vernümftig auslegen.
Dann spart nicht an der Hardware.
Lonesome Walker
Ich stehe erst am Anfang meiner Kariere und bin auch noch sehr stark am einlernen und lesen.
Laut der Fachzeitschriften und Bücher ist am meisten wichtig bei Datenbanken die richtige Festplatte zu finden und genug Arbeitsspeicher.
Arbeitsspeicher bekommt man nie genug und lieber zu viel als zu wenig.
Doch eigentlich ist bei Arbeitsspeicher zu bedenken, dass dieser nur als Cache dient.
Jetzt kommt die heikle Geschichte, Datenbankzugriffe sind durcheinander und das OS kann nie Wissen was als nächstes kommt.
Deshalb ist eine gut Gewählte Festplatte sehr wichtig, mit schnellen Zugriffszeiten.
Ich hab selber schon große Datenbanken gesehen die auf 1,6 GHz Dual-Core laufen. Meistens bremst du Netzwerkanbindung alles etwas aus, oder die Festplatte. (Bei mir im Moment noch im Betrieb so)
PS: Diese 24/7 Festplatten sind meist nicht die schnellsten. Stichwort "IOPS"
Würde mich sehr freuen wenn sich hier mehr beteiligen würden, damit ich gegeben falls auch korrigiert werde.
Laut der Fachzeitschriften und Bücher ist am meisten wichtig bei Datenbanken die richtige Festplatte zu finden und genug Arbeitsspeicher.
Arbeitsspeicher bekommt man nie genug und lieber zu viel als zu wenig.
Doch eigentlich ist bei Arbeitsspeicher zu bedenken, dass dieser nur als Cache dient.
Jetzt kommt die heikle Geschichte, Datenbankzugriffe sind durcheinander und das OS kann nie Wissen was als nächstes kommt.
Deshalb ist eine gut Gewählte Festplatte sehr wichtig, mit schnellen Zugriffszeiten.
Ich hab selber schon große Datenbanken gesehen die auf 1,6 GHz Dual-Core laufen. Meistens bremst du Netzwerkanbindung alles etwas aus, oder die Festplatte. (Bei mir im Moment noch im Betrieb so)
PS: Diese 24/7 Festplatten sind meist nicht die schnellsten. Stichwort "IOPS"
Würde mich sehr freuen wenn sich hier mehr beteiligen würden, damit ich gegeben falls auch korrigiert werde.
Zitat von @janzendi:
Ich stehe erst am Anfang meiner Kariere und bin auch noch sehr stark am einlernen und lesen.
Ich stehe erst am Anfang meiner Kariere und bin auch noch sehr stark am einlernen und lesen.
Das merkt mann.
Laut der Fachzeitschriften und Bücher ist am meisten wichtig bei Datenbanken die richtige Festplatte zu finden und genug
Arbeitsspeicher.
Arbeitsspeicher.
Falsch.
Man kann die DB gleich in den Arbeitsspeicher pumpen, dann ist es nur für das Hochfahren wichtig, wie gut die Festplatten sind...
Doch eigentlich ist bei Arbeitsspeicher zu bedenken, dass dieser nur als Cache dient.
Falsch.
Jetzt kommt die heikle Geschichte, Datenbankzugriffe sind durcheinander und das OS kann nie Wissen was als nächstes kommt.
Ja und?
Deshalb ist eine gut Gewählte Festplatte sehr wichtig, mit schnellen Zugriffszeiten.
Alleine schon diese Begründung dazu ist falsch.
Lonesome Walker
Moin,
wie schon geschrieben leben DBs hauptsächlich von RAM und IOPS. Ggfs. bringt also eine Workstation mit >32GB RAM und 2(4) SSDs im Raid 1(10) schon die gewünschte Leistung. Evtl. noch einene aktuellen Xeon dazustecken.
Ansonsten findet Google dazu >3mio Treffer
lg,
Slainte
wie schon geschrieben leben DBs hauptsächlich von RAM und IOPS. Ggfs. bringt also eine Workstation mit >32GB RAM und 2(4) SSDs im Raid 1(10) schon die gewünschte Leistung. Evtl. noch einene aktuellen Xeon dazustecken.
Ansonsten findet Google dazu >3mio Treffer
lg,
Slainte
Hallo,
- Ein richtiges Server OS benutzen!
- Dazu zertifizierte Hardware kaufen! (vom OS Hersteller)
- SAS HDDs mit 10k oder 15k UPM
- 2 x RAID Controller mit Cache-Modul & BBU
- USB 3.0 RDX Laufwerk mit RDX Medien und Backupsoftware
- Die Last auf mehrere RAIDs verteilen
- ECC RAM und Intel Xeon CPU oder bei einem Server zwei Xeon CPUs
RAID1 mit zwei HDDs für das OS
RAID10 mit 10 SAS HDDs für die DB
RAID5 mit 6 HDDs und einer HDD als HotSpare für die DB Protokolldateien (DB Logs)
Gruß
Dobby
Wenn man überhaupt von einem Problem sprechen kann, dann das, dass unsere MySQL Server am
Limit laufen.
Dann wäre es einmal nett zu wissen welche Hardware dabei zum Einsatz kommt.Limit laufen.
Wir haben unsere Software jedoch so gestaltet, dass wir diese kaskadieren können. So haben wir
bei unserer größten Anlage mit knapp 197 Maschinen 4 MySQL Server laufen.
Also sind das dann ~50 Maschinen die dann einen "Server" an den Rand der Leistung bringen, richtig?bei unserer größten Anlage mit knapp 197 Maschinen 4 MySQL Server laufen.
Aktuell verwenden wir jedoch herkömmliche Rechner und statten diese lediglich mit einer
24/7 Festplatte aus. Soviel erstmal zum Hintergrund. Nun zu meiner eigentlichen Frage:
Na das ist ja nun nicht so der "Bringer" und das auch nicht erst seit gestern, oder?24/7 Festplatte aus. Soviel erstmal zum Hintergrund. Nun zu meiner eigentlichen Frage:
- Ein richtiges Server OS benutzen!
- Dazu zertifizierte Hardware kaufen! (vom OS Hersteller)
- SAS HDDs mit 10k oder 15k UPM
- 2 x RAID Controller mit Cache-Modul & BBU
- USB 3.0 RDX Laufwerk mit RDX Medien und Backupsoftware
- Die Last auf mehrere RAIDs verteilen
- ECC RAM und Intel Xeon CPU oder bei einem Server zwei Xeon CPUs
RAID1 mit zwei HDDs für das OS
RAID10 mit 10 SAS HDDs für die DB
RAID5 mit 6 HDDs und einer HDD als HotSpare für die DB Protokolldateien (DB Logs)
Gruß
Dobby
Auch wenn das meiste gesagt worden ist:
Schaut üebr Eure Programme/Anwendungen. Denn ncihts beschleunigt das ganze gerödel besser, als die Anwendung ordentlch zu programmieren.
Daher empfehle ich euch auch profiling zu machen, damit Ihr seht, wo die "hotspots" sind.
lks
Zitat von @Lochkartenstanzer:
Daher empfehle ich euch auch profiling zu machen, damit Ihr seht, wo die "hotspots" sind.
Daher empfehle ich euch auch profiling zu machen, damit Ihr seht, wo die "hotspots" sind.
Jeztz überforderste den aber
Lonesome Walker
Zitat von @16568:
> Zitat von @Lochkartenstanzer:
> Daher empfehle ich euch auch profiling zu machen, damit Ihr seht, wo die "hotspots" sind.
Jeztz überforderste den aber
> Zitat von @Lochkartenstanzer:
> Daher empfehle ich euch auch profiling zu machen, damit Ihr seht, wo die "hotspots" sind.
Jeztz überforderste den aber
Google hilft beim Verständnis des Satzes.
lks
Zitat von @JollyJumper83:
Hase - dat haste aber schön geschrieben. Hast Du es denn auch selbst verstanden.
Hase - dat haste aber schön geschrieben. Hast Du es denn auch selbst verstanden.
Ja, ich weiß wovon ich rede.
Ich frage mich zudem gerade, ob ich danach überhaupt gefragt hatte - Hmmm - Nein.
Manchmal komtm die Lösung aus einer ganz anderen Richtung als aus der, in die die Frage ging.
Hast Du den Code bereits einsehen können - Hmmm - auch Nein.
Konntest Dir aber sicher ein Bild darüber machen wie gut / schlecht der Code programmiert ist. - Hmmm - Ich denke auch hier
Nein.
Konntest Dir aber sicher ein Bild darüber machen wie gut / schlecht der Code programmiert ist. - Hmmm - Ich denke auch hier
Nein.
Nein, brauche ich auch nicht, habe auch keine Aussage darüber gemacht, ob er gut oder schlecht ist. Nur meine Erfahrung sagt, da geht immer was und man übersieht oft Optimierungsmöglichkeiten. Vor Jahren, als ich noch aktiv programmiert habe, habe ich festgestellt, daß es manchmal an Kleinigkeiten hing, ob ein Programm schnell oder langsam war. und es niicht schadet da nochmal drüberzuschauen, ob Optimierungsmöglichkeiten vorhanden sind.
Wenn ich das hätte Fragen wollen - hätte ich es mit Sicherheit auch getan.
Naja Hauptsache etwas schlaues zu posten.
Naja Hauptsache etwas schlaues zu posten.
Es ging nicht darum nur etwas Schlaues zu posten, sondern um weitere Möglichkeiten aufzuzeigen. Wie ich schon sagte: Meine Erfahrung sagt, daß man offen für andere Lösungsmöglichkeien sein muß, um optimale Lösungen zu finden. Wenn Du das als persönlichen Angriff empfunden hast, so ist das Dein Problem und nicht meines.
lks
Hallo Jolly,
Da ich grundsätzlich dafür bekannt bin, kein Blatt vor den Mund zu nehmen, bin ich mir sicher, daß ich auch anderen Kollegen hier aus der Seele spreche wenn ich sage:
So Leute wie Du, die ohne das nötige KnowHow Sachen machen, und dadurch anderen Firmen die Kohle "stehlen", die nerven auch.
Noch dazu, da Du damit Deinem Arbeitgeber effektiv/langfristig Schaden zufügst.
Lonesome Walker
Zitat von @JollyJumper83:
Du, es nerven einfach nur dumme Sprüche und dann auch noch welche die total an der Frage vorbei sind. Hilft keinen weiter.
Du, es nerven einfach nur dumme Sprüche und dann auch noch welche die total an der Frage vorbei sind. Hilft keinen weiter.
Da ich grundsätzlich dafür bekannt bin, kein Blatt vor den Mund zu nehmen, bin ich mir sicher, daß ich auch anderen Kollegen hier aus der Seele spreche wenn ich sage:
So Leute wie Du, die ohne das nötige KnowHow Sachen machen, und dadurch anderen Firmen die Kohle "stehlen", die nerven auch.
Noch dazu, da Du damit Deinem Arbeitgeber effektiv/langfristig Schaden zufügst.
Lonesome Walker
Zitat von @JollyJumper83:
Du, es nerven einfach nur dumme Sprüche und dann auch noch welche die total an der Frage vorbei sind. Hilft keinen weiter.
Du, es nerven einfach nur dumme Sprüche und dann auch noch welche die total an der Frage vorbei sind. Hilft keinen weiter.
Dann entschuldige, daß ich Dir helfen wollte.
Tschüss.
lks
Zitat von @JollyJumper83:
aufklären. Ich bin Geschäftsführer eines Ingenieurbüros mit aktuell 5 Angestellten, zudem beschäftigen
wir weiterhin noch 4 freiberufliche Programmierer.
aufklären. Ich bin Geschäftsführer eines Ingenieurbüros mit aktuell 5 Angestellten, zudem beschäftigen
wir weiterhin noch 4 freiberufliche Programmierer.
Das ist schön, aber woher sollen wir das riechen?
Die Software um die es hier im Ansatz geht hat mich in den vergangenen 2 Jahren knapp 150 t€ Investitionssumme gekostet. Ich
beschäftige rechtschaffene Menschen / Firmen und setzte Ideen um. Menschen die kein Blatt vor den Mund nehmen sind mir
grundsätzlich sympatisch - jedoch nur dann wenn diese sich vorher auch erkundigen und wissen worum es geht.
beschäftige rechtschaffene Menschen / Firmen und setzte Ideen um. Menschen die kein Blatt vor den Mund nehmen sind mir
grundsätzlich sympatisch - jedoch nur dann wenn diese sich vorher auch erkundigen und wissen worum es geht.
Nun ja, das ist in einem Forum halt immer so eine Sache:
je weniger Input da ist, desto weniger/mehr falscher Output kommt dabei raus.
Außerdem sagt eine Investitionssumme nichts über die Qualität aus, siehe unser Berliner Flughafen...
Wenn Du dir im Ansatz auch nur meine Frage durchgelesen hättest, würdest Du jetzt wissen das ich nicht in den PC-Shop
gehen wollte und mir einen Server zusammenbauen wollte. Es ging lediglich darum - Worauf kommt es an. Einfache Frage die
vielleicht komplexer ist als erwartet.
gehen wollte und mir einen Server zusammenbauen wollte. Es ging lediglich darum - Worauf kommt es an. Einfache Frage die
vielleicht komplexer ist als erwartet.
Bedaure, aber wir haben hier im Forum schon die kuriosesten Sachen miterlebt; daher Verzeihung, wenn wir immer den Worst-Case unterstellen.
Ist zur Berufskrankheit verkommen...
Ich gebe dir lediglich in einem einzigen Punkt recht - ich selber habe vielleicht nicht den kompletten Durchblick was MySQL und
Serverzusammenstellung betrifft. Aber ich verschaffe mir gerne einen Überblick, da ich ungern ahnungslos Angebote einhole.
Serverzusammenstellung betrifft. Aber ich verschaffe mir gerne einen Überblick, da ich ungern ahnungslos Angebote einhole.
Öhm, das ist jetzt aber lustig...
Normalerweise wendet man sich an ein oder mehrere Fachhäuser, und holt sich dann da den entsprechenden Rat/Angebote.
Der Erste schreibt im Forum RAM, der Zweite: total falsch, mehr CPU...
Und das ist dann Überblick...?
Vielleicht hast Du das Prinzip eines Forums noch nicht verstanden, aber mit Sprüchen und vermeintlich schlauen Sätzen
hat es eher weniger zu tun.
hat es eher weniger zu tun.
Vielleicht sind Dir auch die Grundregeln eines Forums fremd:
man muß auch Meinungen/Aussagen von anderen akzeptieren, denn Forum bedeutet, da dürfen alle schreiben.
Lonesome Walker
Zitat von @JollyJumper83:
Vielleicht hast Du das Prinzip eines Forums noch nicht verstanden, aber mit Sprüchen und vermeintlich schlauen Sätzen
hat es eher weniger zu tun.
Vielleicht hast Du das Prinzip eines Forums noch nicht verstanden, aber mit Sprüchen und vermeintlich schlauen Sätzen
hat es eher weniger zu tun.
Offensichtlich hast Du das Prinzip dieseses Forums nicht verstanden, obwohl Du seit 2008 dabei bist. Man kommt hier nicht nur dann vorbei, wenn man selbst ein Problem hat und das kostengünstig gelöst haben will, sondern einander gegenseitig zu helfen. Wenn Du öfter hier vorbheischauen und vileicht sogar versuchen würdest, anderen zu helfen, wüßtest, wieviel (oder eher wie wenig) Inut kommt und wie die Leute raten müssen. Du wüßtest dann auch, daß manchmal die Lösungen aus einer ganz anderen Ecke kommen, als es sich der To vorstelt.
Wenn du hier also weiterhin kstenlosen Support holen willst, mußt Du Dich mit dem Marotten deer Forumsteilnehmer abfinden oder Du suchtst Dir eine Dienstleister, der Dir Lösungen gegen bares liefert.
lks