9
Ich suche eine Software um Auslastungsänderungen bei NGINX+Apache-Webservern aufzuspüren
Hallo,
Ich suche eine Software um Auslastungsänderungen bei NGINX/Apache-Webservern aufzuspüren.
Grundlage sind die Access-Log-Dateien.
Ich werde hin und wieder gefragt wenn ein Web-Server auf einmal sehr langsam ist.
Meist sieht man die CPU Last bei 100% und meist stellt sich herraus, dass irgendein Bad-Bot ganz wild die Webseite crawlt.
Dann blockt man diese IP und gut.
Manchmal ist es aber auch Bing oder Google die spontan entscheiden zeitgleich die Anzahl der Zugriff deutlich zu erhöhen.
Ich nutzt WebLog-Expert Professional, aber das hilft nur bedingt.
Auf die Frage was ist von 08:00 bis 08:10 anders als von 07:30 - 07:40 hilft es eher gar nicht.
Ich nutzte dann Excel um die IPs oder Agents zu gruppieren und auszuwerten um Muster zu finden die vorher nicht da waren.
Aber das ist sehr mühsam.
Kennt Jemand eine Software mit der man solche Änderungen aufspüren kann?
Ich stelle mir einen Slider Oben vor und Unten verschiedene Listen die dann nach Anzahl sortiert werden.
Danke
Stefan
Ich suche eine Software um Auslastungsänderungen bei NGINX/Apache-Webservern aufzuspüren.
Grundlage sind die Access-Log-Dateien.
Ich werde hin und wieder gefragt wenn ein Web-Server auf einmal sehr langsam ist.
Meist sieht man die CPU Last bei 100% und meist stellt sich herraus, dass irgendein Bad-Bot ganz wild die Webseite crawlt.
Dann blockt man diese IP und gut.
Manchmal ist es aber auch Bing oder Google die spontan entscheiden zeitgleich die Anzahl der Zugriff deutlich zu erhöhen.
Ich nutzt WebLog-Expert Professional, aber das hilft nur bedingt.
Auf die Frage was ist von 08:00 bis 08:10 anders als von 07:30 - 07:40 hilft es eher gar nicht.
Ich nutzte dann Excel um die IPs oder Agents zu gruppieren und auszuwerten um Muster zu finden die vorher nicht da waren.
Aber das ist sehr mühsam.
Kennt Jemand eine Software mit der man solche Änderungen aufspüren kann?
Ich stelle mir einen Slider Oben vor und Unten verschiedene Listen die dann nach Anzahl sortiert werden.
Danke
Stefan
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 656097
Url: https://administrator.de/contentid/656097
Printed on: April 20, 2024 at 02:04 o'clock
9 Comments
Latest comment
schau dir mal mod_status bei apache an
Danke auf den hab ich ganz vergessen, stellt zwar nur den Momentanwert dar, aber da gibt es eine nette Auffrischung "Visuel"
https://github.com/axelhahn/pimped-apache-status/tree/master
Liegt die Webseite bei Euch lokal und macht die DSL Leitung dicht?
Die helfen aber alle nicht bei der Frage was von 08:00 - 08:10 anders ist als von 07:50 - 08:00.
Bei 200 Zugriffen pro Sekunde hilft das auch nicht bei der Frage was jetzt gegenüber vor 15 Minuten anders ist.
Cluster im Rechenzentrum mit Load Balancer
Es ist definitiv die CPU-Leistung und diese bedingt durch die Anzahl der Zugriffe.
Heute morgen waren auf einmal 80% aller Zugriff von Bing und Google gegenüber den sonst üblichen 10%.
Stefan
wenn du was buntes zum klicken suchst, dann musst du inzwischen ein paar Scheine rüberreichen ....
Gute Software kostet Geld... Kein Problem.Bei 200 Zugriffen pro Sekunde hilft das auch nicht bei der Frage was jetzt gegenüber vor 15 Minuten anders ist.
Cluster im Rechenzentrum mit Load Balancer
Es ist definitiv die CPU-Leistung und diese bedingt durch die Anzahl der Zugriffe.
Heute morgen waren auf einmal 80% aller Zugriff von Bing und Google gegenüber den sonst üblichen 10%.
Stefan
Du kannst Google auch sagen was es nicht durchsuchen darf.
Man kann über die robots.txt den Bots vorgeben was sie durchsuchen und wie schnell.
Aber leider halten sich selbst Google und Bing nicht an das Rate-Limit und die Bad-Bots halten sich an gar nichts.
Aber leider halten sich selbst Google und Bing nicht an das Rate-Limit und die Bad-Bots halten sich an gar nichts.
Okay, dann die Apache Logs in einen ELK-Stack kippen und dann die "Baseline" finden wie normaler traffic aussieht und die peaks sollten dann von allein auffallen.
Such mal nach "Apache ELK", da kommen ganz gute Ergebnisse schon auf Seite 1
Such mal nach "Apache ELK", da kommen ganz gute Ergebnisse schon auf Seite 1
Für Apache gibt es für diesen Zweck mod_evasive. Das ist definitiv besser als nur stupides Auswerten von Logfiles. Allerdings ist es auch so komplex, dass man sich damit die eigene Webseite ziemlich zerschießen kann.
