Ich suche eine Software um Auslastungsänderungen bei NGINX+Apache-Webservern aufzuspüren

Mitglied: StefanKittel

StefanKittel (Level 5) - Jetzt verbinden

25.02.2021, aktualisiert 09:27 Uhr, 726 Aufrufe, 9 Kommentare

Hallo,

Ich suche eine Software um Auslastungsänderungen bei NGINX/Apache-Webservern aufzuspüren.
Grundlage sind die Access-Log-Dateien.

Ich werde hin und wieder gefragt wenn ein Web-Server auf einmal sehr langsam ist.
Meist sieht man die CPU Last bei 100% und meist stellt sich herraus, dass irgendein Bad-Bot ganz wild die Webseite crawlt.
Dann blockt man diese IP und gut.

Manchmal ist es aber auch Bing oder Google die spontan entscheiden zeitgleich die Anzahl der Zugriff deutlich zu erhöhen.

Ich nutzt WebLog-Expert Professional, aber das hilft nur bedingt.

Auf die Frage was ist von 08:00 bis 08:10 anders als von 07:30 - 07:40 hilft es eher gar nicht.
Ich nutzte dann Excel um die IPs oder Agents zu gruppieren und auszuwerten um Muster zu finden die vorher nicht da waren.
Aber das ist sehr mühsam.



Kennt Jemand eine Software mit der man solche Änderungen aufspüren kann?
Ich stelle mir einen Slider Oben vor und Unten verschiedene Listen die dann nach Anzahl sortiert werden.

Danke

Stefan
Mitglied: godlie
25.02.2021 um 09:38 Uhr
Hallo,

auf die schnelle fallen mir die üblichen Verdächtigen ein:


wenn du was buntes zum klicken suchst, dann musst du inzwischen ein paar Scheine rüberreichen ....
Bitte warten ..
Mitglied: NetzwerkDude
25.02.2021 um 09:39 Uhr
schau dir mal mod_status bei apache an
Bitte warten ..
Mitglied: godlie
25.02.2021 um 09:44 Uhr
Zitat von @NetzwerkDude:

schau dir mal mod_status bei apache an

Danke auf den hab ich ganz vergessen, stellt zwar nur den Momentanwert dar, aber da gibt es eine nette Auffrischung "Visuel"
https://github.com/axelhahn/pimped-apache-status/tree/master
Bitte warten ..
Mitglied: NordicMike
25.02.2021 um 09:50 Uhr
Liegt die Webseite bei Euch lokal und macht die DSL Leitung dicht?
Bitte warten ..
Mitglied: StefanKittel
25.02.2021 um 10:58 Uhr
Zitat von @godlie:
auf die schnelle fallen mir die üblichen Verdächtigen ein:
Die helfen aber alle nicht bei der Frage was von 08:00 - 08:10 anders ist als von 07:50 - 08:00.

wenn du was buntes zum klicken suchst, dann musst du inzwischen ein paar Scheine rüberreichen ....
Gute Software kostet Geld... Kein Problem.


Zitat von @NetzwerkDude:
schau dir mal mod_status bei apache an
Bei 200 Zugriffen pro Sekunde hilft das auch nicht bei der Frage was jetzt gegenüber vor 15 Minuten anders ist.


Zitat von @NordicMike:
Liegt die Webseite bei Euch lokal und macht die DSL Leitung dicht?
Cluster im Rechenzentrum mit Load Balancer
Es ist definitiv die CPU-Leistung und diese bedingt durch die Anzahl der Zugriffe.

Heute morgen waren auf einmal 80% aller Zugriff von Bing und Google gegenüber den sonst üblichen 10%.

Stefan
Bitte warten ..
Mitglied: NordicMike
25.02.2021 um 11:37 Uhr
Du kannst Google auch sagen was es nicht durchsuchen darf.
Bitte warten ..
Mitglied: StefanKittel
25.02.2021 um 12:50 Uhr
Zitat von @NordicMike:
Du kannst Google auch sagen was es nicht durchsuchen darf.
Man kann über die robots.txt den Bots vorgeben was sie durchsuchen und wie schnell.
Aber leider halten sich selbst Google und Bing nicht an das Rate-Limit und die Bad-Bots halten sich an gar nichts.
Bitte warten ..
Mitglied: NetzwerkDude
25.02.2021 um 20:51 Uhr
Okay, dann die Apache Logs in einen ELK-Stack kippen und dann die "Baseline" finden wie normaler traffic aussieht und die peaks sollten dann von allein auffallen.
Such mal nach "Apache ELK", da kommen ganz gute Ergebnisse schon auf Seite 1
Bitte warten ..
Mitglied: Gentooist
15.03.2021 um 20:38 Uhr
Für Apache gibt es für diesen Zweck mod_evasive. Das ist definitiv besser als nur stupides Auswerten von Logfiles. Allerdings ist es auch so komplex, dass man sich damit die eigene Webseite ziemlich zerschießen kann.
Bitte warten ..
Heiß diskutierte Inhalte
Netzwerkgrundlagen
Frage der anderen Art
NeuerleVor 1 TagFrageNetzwerkgrundlagen16 Kommentare

Hi an alle, Ich bin InformatikStudi. Habe Ende des Monats Klausur im Fach Netzwerke zu schreiben und komme gar nicht klar. Entweder ich bin ...

Ubuntu
Cups-Server mit SMB lehnt Verbindungen ab (smb.conf)?
ErikHeinemannVor 1 TagFrageUbuntu17 Kommentare

Guten Morgen, ich habe einen Ubuntu 20.04 Server mit Cups als Printspooler. Nun Soll noch Samba hinzugefügt werden für eine einfache Verwendung unter Windows. ...

Exchange Server
Kaspersky for Exchange Meldungen
gelöst wieoderwasVor 1 TagFrageExchange Server11 Kommentare

Guten Morgen, wir haben bei uns einen Exchange 2013 mit Kaspersky for Exchange und Sophos auf Dateiebene. Heute Morgen habe ich einige von diesen ...

Groupware
Lokale Mini-Groupware für Mail, Adressbuch und Kalender gesucht
AndreasKasselVor 1 TagFrageGroupware10 Kommentare

Hallo zusammen, ich habe insgesamt 2 PCs, 1 Notebook, 1 Android-Tablet und ein Android-Smartphone. Weiterhin habe ich 2 Mail-Adressen bei 1&1 mit einer eigenen ...

Grafikkarten & Monitore
Unerklärliche Aussetzer Bildschirm und Maus
nixwissenderVor 1 TagFrageGrafikkarten & Monitore10 Kommentare

hallo! wir haben aktuell das unerklärliche phänomen, dass sich am arbeitsplatz vom mitarbeiter eines der beiden bildschirme kurzzeitig ausschaltet (und zwar der, der per ...

CPU, RAM, Mainboards
CPU Lüfter ausbauen
gelöst ben1300Vor 1 TagFrageCPU, RAM, Mainboards9 Kommentare

Hallo zusammen, ich habe mir damals einen Fertig PC gekauft. Ich würde gerne den Arbeitsspeichern austauschen, allerdings muss ich dafür - so wie es ...

Backup
Backup Datei
gelöst KanrishaVor 1 TagFrageBackup5 Kommentare

Hallo Zusammen, ich habe eine Frage ich will eine Backup bat Datei schreiben habe jedoch ein kleines Problem. Ich möchte ein Laufwerk in das ...

DNS
Android 10 und mein DNS Server
gelöst CyborgWeaselVor 1 TagFrageDNS7 Kommentare

Hallo allesamt, ich spiele gerade etwas mit einer Synology herum, habe unter Anderem einen eigenen DNS jetzt aufgesetzt. Die lokale Domäne ist HomeDomain.local und ...