68702
28.09.2009, aktualisiert um 15:41:02 Uhr
4966
7
0
Webcrawler dursucht Seite nicht
Moin,
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:
User-agent: *
Disallow:
Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:
User-agent: *
Disallow:
Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
Auf Facebook teilen
Auf X (Twitter) teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 125962
Url: https://administrator.de/forum/webcrawler-dursucht-seite-nicht-125962.html
Ausgedruckt am: 19.04.2025 um 09:04 Uhr
7 Kommentare
Neuester Kommentar
Mit Webcrawler meinst du Bots die im namen von Google und Co. das WWW durchsuchen oder verstehe ich da was falsch?
Richtig, Bots, die die Seite durchsuchen, das Ergebnis an google und co übergeben und später bei eingabe des richtigen Suchbegriffs bei einer Suchmaschine ein Ergebnis liefern.
und du willst SEO Optimierung betreiben oder wie soll ich das verstehen wegen der robots.txt
Moin moin
Das dürfte erklären warum nur auf das verbieten eingegangen wird ;)
Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).
~Arano
Ein Schlüsselwort Allow: wurde niemals definiert
Quelle: http://de.selfhtml.org/diverses/robots.htmDas dürfte erklären warum nur auf das verbieten eingegangen wird ;)
Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).
~Arano
stimmt ^^
das heißt nichts anderes wie niemand das irgendwas - insofern nicht das was du willst
das heißt nichts anderes wie niemand das irgendwas - insofern nicht das was du willst
Die Seite läuft seit ca. 3 Monaten, kann schon sein dass der Crawler später noch vorbeischaut und die Seite dann durchsucht.
Aber machen das alle Crawler so ?
Aber machen das alle Crawler so ?
das dauert schon
indexiert wirds in 2-3 tagen spätestens bis der dann wieder kommt kann schon einiges an zeit vergehen
indexiert wirds in 2-3 tagen spätestens bis der dann wieder kommt kann schon einiges an zeit vergehen
