Ich suche eine Software um Auslastungsänderungen bei NGINX+Apache-Webservern aufzuspüren
StefanKittel (Level 5) - Jetzt verbinden
25.02.2021, aktualisiert 09:27 Uhr, 726 Aufrufe, 9 Kommentare
Hallo,
Ich suche eine Software um Auslastungsänderungen bei NGINX/Apache-Webservern aufzuspüren.
Grundlage sind die Access-Log-Dateien.
Ich werde hin und wieder gefragt wenn ein Web-Server auf einmal sehr langsam ist.
Meist sieht man die CPU Last bei 100% und meist stellt sich herraus, dass irgendein Bad-Bot ganz wild die Webseite crawlt.
Dann blockt man diese IP und gut.
Manchmal ist es aber auch Bing oder Google die spontan entscheiden zeitgleich die Anzahl der Zugriff deutlich zu erhöhen.
Ich nutzt WebLog-Expert Professional, aber das hilft nur bedingt.
Auf die Frage was ist von 08:00 bis 08:10 anders als von 07:30 - 07:40 hilft es eher gar nicht.
Ich nutzte dann Excel um die IPs oder Agents zu gruppieren und auszuwerten um Muster zu finden die vorher nicht da waren.
Aber das ist sehr mühsam.
Kennt Jemand eine Software mit der man solche Änderungen aufspüren kann?
Ich stelle mir einen Slider Oben vor und Unten verschiedene Listen die dann nach Anzahl sortiert werden.
Danke
Stefan
Ich suche eine Software um Auslastungsänderungen bei NGINX/Apache-Webservern aufzuspüren.
Grundlage sind die Access-Log-Dateien.
Ich werde hin und wieder gefragt wenn ein Web-Server auf einmal sehr langsam ist.
Meist sieht man die CPU Last bei 100% und meist stellt sich herraus, dass irgendein Bad-Bot ganz wild die Webseite crawlt.
Dann blockt man diese IP und gut.
Manchmal ist es aber auch Bing oder Google die spontan entscheiden zeitgleich die Anzahl der Zugriff deutlich zu erhöhen.
Ich nutzt WebLog-Expert Professional, aber das hilft nur bedingt.
Auf die Frage was ist von 08:00 bis 08:10 anders als von 07:30 - 07:40 hilft es eher gar nicht.
Ich nutzte dann Excel um die IPs oder Agents zu gruppieren und auszuwerten um Muster zu finden die vorher nicht da waren.
Aber das ist sehr mühsam.
Kennt Jemand eine Software mit der man solche Änderungen aufspüren kann?
Ich stelle mir einen Slider Oben vor und Unten verschiedene Listen die dann nach Anzahl sortiert werden.
Danke
Stefan
Antworten-
- Mehr
Auf Facebook teilen
Auf Twitter teilen9 Antworten
- LÖSUNG godlie schreibt am 25.02.2021 um 09:38:00 Uhr
- LÖSUNG NetzwerkDude schreibt am 25.02.2021 um 09:39:20 Uhr
- LÖSUNG godlie schreibt am 25.02.2021 um 09:44:05 Uhr
- LÖSUNG NordicMike schreibt am 25.02.2021 um 09:50:05 Uhr
- LÖSUNG godlie schreibt am 25.02.2021 um 09:44:05 Uhr
- LÖSUNG StefanKittel schreibt am 25.02.2021 um 10:58:37 Uhr
- LÖSUNG NordicMike schreibt am 25.02.2021 um 11:37:58 Uhr
- LÖSUNG StefanKittel schreibt am 25.02.2021 um 12:50:00 Uhr
- LÖSUNG NetzwerkDude schreibt am 25.02.2021 um 20:51:28 Uhr
- LÖSUNG NordicMike schreibt am 25.02.2021 um 11:37:58 Uhr
- LÖSUNG Gentooist schreibt am 15.03.2021 um 20:38:14 Uhr
LÖSUNG 25.02.2021 um 09:38 Uhr
LÖSUNG 25.02.2021 um 09:39 Uhr
schau dir mal mod_status bei apache an
LÖSUNG 25.02.2021 um 09:44 Uhr
Danke auf den hab ich ganz vergessen, stellt zwar nur den Momentanwert dar, aber da gibt es eine nette Auffrischung "Visuel"
https://github.com/axelhahn/pimped-apache-status/tree/master
LÖSUNG 25.02.2021 um 09:50 Uhr
Liegt die Webseite bei Euch lokal und macht die DSL Leitung dicht?
LÖSUNG 25.02.2021 um 10:58 Uhr
Die helfen aber alle nicht bei der Frage was von 08:00 - 08:10 anders ist als von 07:50 - 08:00.
Bei 200 Zugriffen pro Sekunde hilft das auch nicht bei der Frage was jetzt gegenüber vor 15 Minuten anders ist.
Cluster im Rechenzentrum mit Load Balancer
Es ist definitiv die CPU-Leistung und diese bedingt durch die Anzahl der Zugriffe.
Heute morgen waren auf einmal 80% aller Zugriff von Bing und Google gegenüber den sonst üblichen 10%.
Stefan
wenn du was buntes zum klicken suchst, dann musst du inzwischen ein paar Scheine rüberreichen ....
Gute Software kostet Geld... Kein Problem.Bei 200 Zugriffen pro Sekunde hilft das auch nicht bei der Frage was jetzt gegenüber vor 15 Minuten anders ist.
Cluster im Rechenzentrum mit Load Balancer
Es ist definitiv die CPU-Leistung und diese bedingt durch die Anzahl der Zugriffe.
Heute morgen waren auf einmal 80% aller Zugriff von Bing und Google gegenüber den sonst üblichen 10%.
Stefan
LÖSUNG 25.02.2021 um 11:37 Uhr
Du kannst Google auch sagen was es nicht durchsuchen darf.
LÖSUNG 25.02.2021 um 12:50 Uhr
Man kann über die robots.txt den Bots vorgeben was sie durchsuchen und wie schnell.
Aber leider halten sich selbst Google und Bing nicht an das Rate-Limit und die Bad-Bots halten sich an gar nichts.
Aber leider halten sich selbst Google und Bing nicht an das Rate-Limit und die Bad-Bots halten sich an gar nichts.
LÖSUNG 25.02.2021 um 20:51 Uhr
Okay, dann die Apache Logs in einen ELK-Stack kippen und dann die "Baseline" finden wie normaler traffic aussieht und die peaks sollten dann von allein auffallen.
Such mal nach "Apache ELK", da kommen ganz gute Ergebnisse schon auf Seite 1
Such mal nach "Apache ELK", da kommen ganz gute Ergebnisse schon auf Seite 1
LÖSUNG 15.03.2021 um 20:38 Uhr
Für Apache gibt es für diesen Zweck mod_evasive. Das ist definitiv besser als nur stupides Auswerten von Logfiles. Allerdings ist es auch so komplex, dass man sich damit die eigene Webseite ziemlich zerschießen kann.
