1
Boese UserAgent fernhalten via Robots.txt
Macht es Sinn, böse Robots (Spider,Crawler), die nur auf der Suche nach E-Mail Adressen sind oder sonstigen Unsinn treiben, per robots.txt auszuschließen?
Werden sich böse Spinnen tatsächlich an einen Eintrag in der robots.txt Datei halten? Ob die robots.txt nun ignoriert wird oder nicht, lässt sich allerdings nur im Selbstversuch testen.
Ich arbeite gerade an meine Robots.txt und bin mir nicht sicher ob sich der Aufwand tatsächlich rechnet.
Dank für euer Feedback
Andreas
Werden sich böse Spinnen tatsächlich an einen Eintrag in der robots.txt Datei halten? Ob die robots.txt nun ignoriert wird oder nicht, lässt sich allerdings nur im Selbstversuch testen.
Ich arbeite gerade an meine Robots.txt und bin mir nicht sicher ob sich der Aufwand tatsächlich rechnet.
Dank für euer Feedback
Andreas
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 167114
Url: https://administrator.de/contentid/167114
Ausgedruckt am: 15.11.2024 um 05:11 Uhr
1 Kommentar
Hallo Andreas,
die robots.txt ist ja ein Mittel um (seriöse) darauf "hinzuweisen", dass dein Content nicht, bzw. nach vorgegebenen Regeln gecrawlt werden soll.
Weniger seriöse Robots werden sich sicher nicht an diese Text-Datei halten. Dazu nutzt man eher ".htaccess - Regeln" mit dem Nachteil, dass sie Umständlicher und Wartungsintensiver sind. Man sperrt darin meisst "ALLE Bots AUSSER: Bots die dürfen ... ", aber dann sperrt man sicher auch unbekannte Gute wichtige Bots oder sogar Besucher!
Besser ist immer Mailadressen "Bot-sicherer" zu gestalten (als auf Verdacht irgendwas zu sperren), z.B. in dem man das "@-Zeichen" oder die ganze Mailadresse als Bilddatei anzeigen lässt oder Scripte verwendet, die Mailadressen verschleiern. Das "mailto:" ist zwar bequem bringt aber sicher sehr viele neue "Mailfreundschaften"...
Gruß@all!
die robots.txt ist ja ein Mittel um (seriöse) darauf "hinzuweisen", dass dein Content nicht, bzw. nach vorgegebenen Regeln gecrawlt werden soll.
Weniger seriöse Robots werden sich sicher nicht an diese Text-Datei halten. Dazu nutzt man eher ".htaccess - Regeln" mit dem Nachteil, dass sie Umständlicher und Wartungsintensiver sind. Man sperrt darin meisst "ALLE Bots AUSSER: Bots die dürfen ... ", aber dann sperrt man sicher auch unbekannte Gute wichtige Bots oder sogar Besucher!
Besser ist immer Mailadressen "Bot-sicherer" zu gestalten (als auf Verdacht irgendwas zu sperren), z.B. in dem man das "@-Zeichen" oder die ganze Mailadresse als Bilddatei anzeigen lässt oder Scripte verwendet, die Mailadressen verschleiern. Das "mailto:" ist zwar bequem bringt aber sicher sehr viele neue "Mailfreundschaften"...
Gruß@all!
