Im Google Webmastertools erscheing beim Test für crawling blockierte URL Meldung Zulässig für Zeile 2Disallow:

Hallo,

meine robots.txt wird gelesen, stoppt aber scheinbar gleich. Ich habe eingetragen alles durchsuchen !

User-agent: *
Disallow:
Im Google Webmastertools erscheint dann

Zulässig für Zeile 2Disallow:
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.

Laut dem hier habe ich gefunden:
http://productforums.google.com/forum/#!topic/webmasters/5AzbdGJbhzA

Ich konnte aber in adneren Dateien keinn Eiintrag wie diesen finden
<meta name='robots' content='noindex,nofollow' />

Hat wer ne Idee ? ich benutze Oscommer 2.2

Gruss
Ralf


ich habe eben noch die Robots.txt angepasst, da ich vermutet habe , es gibt ein Verziechnis wo so Weiterleitungen etc.. sind.
Neu ist nun
User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/
Allow: /

Sitemap: http://www.rc-thomas.ch/sitemapindex.xml

Es soll alles Spider, von , jeder Suchmaschine ausser die Verzeichniss mit Disallow. Ich hoffe das Allow: / steht hier richtig , für alles Spiderm !
Fehler in Webmastertools ist aber gleich.

Gruss
Ralf

Nun hatte ich aber
Zulässig für Zeile 17Allow: /

Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
Zeile 17 ist die mit Allow: /
brauche ich die ? Nun habe ich die weggelassen. Nun kommt !
Zugelassen

Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.


So 10 Minuten später war ich nun auf einem neuen Generator.
Da sieht es so aus:

1. ===================================
2. Generator: http://pixelfolk.net/tools/robots
3. Erstellt am: 14.12.2013, 01:49
4. Webseite: http://http://www.RC-Thomas.ch
5. ===================================

Sitemap: http://www.rc-thomas.ch/sitemapindex.xml

1. ===================================
2. Folgende Seiten sollen nicht indexiert werden:
3. ===================================

User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/

1. ===================================
2. Schließe folgende Spider komplett aus:
3. ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /

Der Google Test sagt ok. Hier scannt es alle Verzeichnis von google und anderen , ausser die mit Disallow, stimmt das ? Ansonsten alles, oder ?

Gruss
Ralf

User-agent: *
Disallow: /

User-agent: *
Disallow:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

Sitemap: http://www.rc-thomas.ch/sitemapindex.xml