Sind unfreundliche Bots zu doof oder haben die zu viel Geld?

Hallo,

ich habe etwas was ich nicht verstehe.
Ich betreue für mehrere WebShops deren WAF.

Dabei kommt es quasi täglich vor, dass unfreundliche Bots durch den Rate-Limiter gesperrt werden weil sie zu schnell zu viele Seiten aufrufen. Auch gibt es eine Liste die immer abgewiesen wird. Das ist soweit normal.

Wenn ein Bot gesperrt ist, erhält er einen 403-Fehler (Zugriff abgewiesen).

Was mir immer mal wieder auffällt ist, dass ein Bot der in diesen Zustand läuft noch Stundenlang zehntausende Anfragen sendet. Die laufen alle in einen 403 und richten damit keinen Schaden an.

Ich habe auch mal die IP geblockt, so dass keine Verbindung zustande kommt.
Die Anzahl der Zugriffe bleibt gleich.

Ok, das sind automatisierte Zugriffe. Aber bei der Anzahl bedeutet dass doch auf für die Kosten für Infrastruktur und Traffic. So why?

Stefan

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 13125880112

Url: https://administrator.de/contentid/13125880112

Ausgedruckt am: 21.11.2024 um 21:11 Uhr

11 Kommentare

Neuester Kommentar

Zitat von @StefanKittel:

Ok, das sind automatisierte Zugriffe. Aber bei der Anzahl bedeutet dass doch auf für die Kosten für Infrastruktur und Traffic. So why?

Moin,

Vermutlich zahlt die Kosten jemand anders, wie das bei Botnetzen so üblich ist.

Oder die haben eine Flatrate.

Oder es sind Staatsbedienstete, wo dann der Steuerzahler dafür aufkommt.

lks

... schon nach "htaccess block bots" geg**?

Glaubst du wirklich da steckt jemand viel IQ rein? wenn ich mal auf meinen webserver schaue (der sich klar als linux apache zu erkennen gibt!) -> da wird trotzdem permanent versucht die cmd.exe aufzurufen, RDP verbindungen,... Das sind irgendwelche Script-Kiddys die sich eben für die grossen Hacker halten weil die irgendwo nen 3zeiler gefunden haben und den ausführen konnten...

Zitat von @MirkoKR:
... schon nach "htaccess block bots" geg**?

Wie ich das blocke spielt doch keine Rolle. Egal ob iptable, WAF oder HTA.
Mich "ärgert", dass die unfreundlichen Bots zehntauschend mal eine URL aufrufen. Auch wenn es mich keine Resourcen kostet.

Zitat von @maretz:

Glaubst du wirklich da steckt jemand viel IQ rein? wenn ich mal auf meinen webserver schaue (der sich klar als linux apache zu erkennen gibt!) -> da wird trotzdem permanent versucht die cmd.exe aufzurufen, RDP verbindungen,... Das sind irgendwelche Script-Kiddys die sich eben für die grossen Hacker halten weil die irgendwo nen 3zeiler gefunden haben und den ausführen konnten...

Ja, aber die machen 100 Zugriffe und ziehen weiter.
Die haben damit ja ein Ergebnis generiert: Da komme ich nicht rein.

Hier rufen die unfreundlichen Bots 10.000 Produktseiten auf und erhalten nichts.
Nach 100 403 Seiten den Job abzubrechen wäre ja nur 2 Zeilen code.

Stefan

OK, da klingt ja nach DOS- da muss man anders vorgehen um den Server nicht zu überlasten ...

naja - das kommt ja drauf an was das für de**en sind... Am Ende wirst du es eben immer als "Hintergrundrauschen" haben... Zum Teil kann man da noch was über Geoblocking machen aber dank der ganzen CDNs, Clouds,... usw. ist selbst das nur noch etwas reduzierend... Und grad bei Botnetzen is es dem eigentlichem Controller ja egal wieviel Traffic das is -> der läuft ja dann über die Bots (und ich vermute wenn ich mir hier so einige Beiträge im Forum angucke das auch da einige Bots laufen die der sog. "Admin" nich mal bemerkt...)

Zitat von @MirkoKR:
OK, da klingt ja nach DOS- da muss man anders vorgehen um den Server nicht zu überlasten ...

Ne, das ist leider normal. Es ist in dem Sinne kein Problem. Dafür ist ja die WAF mit Rate-Limiter, Geo-Blocking, etc.
Ich versuche nur deren Logik zu verstehen. Das einzige was mir bis jetzt dazu einfällt: "Lass mal laufen, die Kosten sind egal" oder "Lass mal laufen, der Traffic läuft eh über gehackte Server".

Normal ist (bei verschiedenen Kunden und Shop-Systemen)
30% = gute Bots (Google, Apple, Bing, etc)
50% = normale Besucher
20% = Monitoring, unfreundliche Bots, Hacker, Skriptkiddies, Scanner, etc

Zitat von @maretz:

naja - das kommt ja drauf an was das für de**en sind... Am Ende wirst du es eben immer als "Hintergrundrauschen" haben... Zum Teil kann man da noch was über Geoblocking machen aber dank der ganzen CDNs, Clouds,... usw. ist selbst das nur noch etwas reduzierend... Und grad bei Botnetzen is es dem eigentlichem Controller ja egal wieviel Traffic das is -> der läuft ja dann über die Bots (und ich vermute wenn ich mir hier so einige Beiträge im Forum angucke das auch da einige Bots laufen die der sog. "Admin" nich mal bemerkt...)

Ja, möglich.