91863
14.12.2013, aktualisiert um 01:53:29 Uhr
3554
7
0
Im Google Webmastertools erscheing beim Test für crawling blockierte URL Meldung Zulässig für Zeile 2Disallow:
Hallo,
meine robots.txt wird gelesen, stoppt aber scheinbar gleich. Ich habe eingetragen alles durchsuchen !
User-agent: *
Disallow:
Im Google Webmastertools erscheint dann
Zulässig für Zeile 2Disallow:
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
Laut dem hier habe ich gefunden:
http://productforums.google.com/forum/#!topic/webmasters/5AzbdGJbhzA
Ich konnte aber in adneren Dateien keinn Eiintrag wie diesen finden
<meta name='robots' content='noindex,nofollow' />
Hat wer ne Idee ? ich benutze Oscommer 2.2
Gruss
Ralf
ich habe eben noch die Robots.txt angepasst, da ich vermutet habe , es gibt ein Verziechnis wo so Weiterleitungen etc.. sind.
Neu ist nun
User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/
Allow: /
Sitemap: http://www.rc-thomas.ch/sitemapindex.xml
Es soll alles Spider, von , jeder Suchmaschine ausser die Verzeichniss mit Disallow. Ich hoffe das Allow: / steht hier richtig , für alles Spiderm !
Fehler in Webmastertools ist aber gleich.
Gruss
Ralf
Nun hatte ich aber
Zulässig für Zeile 17Allow: /
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
Zeile 17 ist die mit Allow: /
brauche ich die ? Nun habe ich die weggelassen. Nun kommt !
Zugelassen
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
So 10 Minuten später war ich nun auf einem neuen Generator.
Da sieht es so aus:
Sitemap: http://www.rc-thomas.ch/sitemapindex.xml
User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /
Der Google Test sagt ok. Hier scannt es alle Verzeichnis von google und anderen , ausser die mit Disallow, stimmt das ? Ansonsten alles, oder ?
Gruss
Ralf
meine robots.txt wird gelesen, stoppt aber scheinbar gleich. Ich habe eingetragen alles durchsuchen !
User-agent: *
Disallow:
Im Google Webmastertools erscheint dann
Zulässig für Zeile 2Disallow:
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
Laut dem hier habe ich gefunden:
http://productforums.google.com/forum/#!topic/webmasters/5AzbdGJbhzA
Ich konnte aber in adneren Dateien keinn Eiintrag wie diesen finden
<meta name='robots' content='noindex,nofollow' />
Hat wer ne Idee ? ich benutze Oscommer 2.2
Gruss
Ralf
ich habe eben noch die Robots.txt angepasst, da ich vermutet habe , es gibt ein Verziechnis wo so Weiterleitungen etc.. sind.
Neu ist nun
User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/
Allow: /
Sitemap: http://www.rc-thomas.ch/sitemapindex.xml
Es soll alles Spider, von , jeder Suchmaschine ausser die Verzeichniss mit Disallow. Ich hoffe das Allow: / steht hier richtig , für alles Spiderm !
Fehler in Webmastertools ist aber gleich.
Gruss
Ralf
Nun hatte ich aber
Zulässig für Zeile 17Allow: /
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
Zeile 17 ist die mit Allow: /
brauche ich die ? Nun habe ich die weggelassen. Nun kommt !
Zugelassen
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
So 10 Minuten später war ich nun auf einem neuen Generator.
Da sieht es so aus:
- ===================================
- Generator: http://pixelfolk.net/tools/robots
- Erstellt am: 14.12.2013, 01:49
- Webseite: http://http://www.RC-Thomas.ch
- ===================================
Sitemap: http://www.rc-thomas.ch/sitemapindex.xml
- ===================================
- Folgende Seiten sollen nicht indexiert werden:
- ===================================
User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/
- ===================================
- Schließe folgende Spider komplett aus:
- ===================================
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /
Der Google Test sagt ok. Hier scannt es alle Verzeichnis von google und anderen , ausser die mit Disallow, stimmt das ? Ansonsten alles, oder ?
Gruss
Ralf
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 224465
Url: https://administrator.de/forum/im-google-webmastertools-erscheing-beim-test-fuer-crawling-blockierte-url-meldung-zulaessig-fuer-zeile-224465.html
Ausgedruckt am: 22.12.2024 um 13:12 Uhr
7 Kommentare
Neuester Kommentar
Hallo Ralf,
die
Beispiel 1: Allen Robots alles auf dem Server verbieten
Beispiel 2: Allen Robots alles freigeben
Beispiel 3: Allen Robots nur bestimmte Verzeichnisse verbieten, alle anderen Verzeichnisse sind erlaubt.
Dein Allow: / am Ende deiner robots.txt ist also überflüssig. Eine schöne Darstellung und weitere Beispiele dafür findest du hier.
Grüße Uwe
die
robots.txt wird auch Robots Exclusion Protocol genannt, also werden dort nur die Verzeichnisse eingetragen die ein Robot nicht indizieren soll, alles andere ist für den Robot freigegeben.Beispiel 1: Allen Robots alles auf dem Server verbieten
User-agent: *
Disallow: /
User-agent: *
Disallow:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Grüße Uwe
Hoi,
danke Uwe. DAs bringt mich weiter. Jedoch wird mein Shop trotzdem nicht richtig gelistet. Habe nun die letzten Tage einen neuen OScommerce Shop aufgebaut und werde ihn mit neuem Namen registrieren
. Der alte Shop ist auslaufend. Vielleicht wird da ja mal doch gelistet
Gruss
Ralf
danke Uwe. DAs bringt mich weiter. Jedoch wird mein Shop trotzdem nicht richtig gelistet. Habe nun die letzten Tage einen neuen OScommerce Shop aufgebaut und werde ihn mit neuem Namen registrieren
. Der alte Shop ist auslaufend. Vielleicht wird da ja mal doch gelistet Gruss
Ralf
Das crawling dauert immer etwas, wenn du also etwas an deinen Sitemaps änderst, kann es immer etwas dauern bis die Änderungen bei Google reflektiert werden.
Überprüfe auch mal die generierten XML-Dateien anhand der Sitemap-Referenz: https://support.google.com/webmasters/answer/183668
Du kannst deine Sitemap zusätzlich auch in der robots.txt hinterlegen:
siehe:https://support.google.com/webmasters/answer/183669?hl=en
Grüße Uwe
Überprüfe auch mal die generierten XML-Dateien anhand der Sitemap-Referenz: https://support.google.com/webmasters/answer/183668
Du kannst deine Sitemap zusätzlich auch in der robots.txt hinterlegen:
Sitemap: http://www.rc-thomas.ch/sitemapindex.xml
Grüße Uwe
Hallo,
ja die Sitemap wurde auch eingetragen und ist seit Tagen gecrawled. Aber bei Google kein Ergebnis.
Gruss
Ralf
ja die Sitemap wurde auch eingetragen und ist seit Tagen gecrawled. Aber bei Google kein Ergebnis.
Gruss
Ralf
Hallo Ralf,
die Funktion testet deine robots.txt nur auf eventuell vorhandene Crawlingeinschränkungen - du siehst initial deine aktuell von Google bekannte robots.txt, kannst dort aber auch Eingaben hinzufügen, um die Auswirkung auf das Crawling zu testen.
Um einen Test durchzuführen, trägst du unten URLs ein, die du auf Crawling-Einschränkungen testen möchtest. In deinem Fall sagt die Meldung oben ja nur, dass die Startseite deines Shops gecrawlt werden darf. Also eigentlich ist alles ok.
Schau dir doch auch mal folgendes, kostenloses E-Book über die Webmaster Tools an: http://www.trustagents.de/unternehmen/publikationen/google-webmaster-to ...
die Funktion testet deine robots.txt nur auf eventuell vorhandene Crawlingeinschränkungen - du siehst initial deine aktuell von Google bekannte robots.txt, kannst dort aber auch Eingaben hinzufügen, um die Auswirkung auf das Crawling zu testen.
Um einen Test durchzuführen, trägst du unten URLs ein, die du auf Crawling-Einschränkungen testen möchtest. In deinem Fall sagt die Meldung oben ja nur, dass die Startseite deines Shops gecrawlt werden darf. Also eigentlich ist alles ok.
Schau dir doch auch mal folgendes, kostenloses E-Book über die Webmaster Tools an: http://www.trustagents.de/unternehmen/publikationen/google-webmaster-to ...
Ok. Das werde ich mir noch gerne anschauen.
Gruss
Ralf
Gruss
Ralf
ich habe jetut me neue Domäne mit neuer OS Commerce Technik ausfgeschalten, und Shop war 10 Minuten später gelistet.
Eventuell kaufe ich aber trotzdem noch ein Webshop.
Der Oscommerce ist mir zuviel gebastel. Jetzt fehlt noch Amazon.de Anbindung etc..
Nach jedem Plugin laufen die meist nicht gut.
Fazit. Neue Shoptechnik , und Listing kein Problem !!
Gruss
Ralf
Eventuell kaufe ich aber trotzdem noch ein Webshop.
Der Oscommerce ist mir zuviel gebastel. Jetzt fehlt noch Amazon.de Anbindung etc..
Nach jedem Plugin laufen die meist nicht gut.
Fazit. Neue Shoptechnik , und Listing kein Problem !!
Gruss
Ralf
