roadmax
Goto Top

Suchmaschinen Crawler

Hallo Zusammen,

wir betreiben eine PHP Applikation, die durch eine Firewall abgesichert wird, sodass der Zugriff nur innerhalb Europas erlaubt ist. Seit geraumer Zeit werden wir mit der APP nicht mehr in den Suchmaschinen gefunden. Laut unserer SEO Agentur haben wir das Problem, dass Google, Bing un Co. die Seite nicht mehr indizieren wollen/können, da ein Teil derer jeweiligen IPs ausserhalb Europas liegt und nach Aussage der Agentur sollen wir die IP Restriktionen abschalten, sodass ein Zugriff wieder möglich ist. Dies geht aber leider Vertraglich nicht, hat jemand eine Ahnung, ob das stimmt und was ich hier tun kann?

VG
Roadmax

Content-ID: 1074208229

Url: https://administrator.de/contentid/1074208229

Ausgedruckt am: 05.11.2024 um 17:11 Uhr

149062
149062 22.07.2021 aktualisiert um 11:24:12 Uhr
Goto Top
Tja weil die Bots von Google & Co eben IPs z.B. aus den USA benutzen ist ja klar das sie die Seite nicht mehr indizieren können weil ihr sie blockt, logisch ...
und was ich hier tun kann?
Per reverse dns lookup prüfen ob es sich bei der Source-IP um einen Bot handelt und diesen dann rein lassen:
https://developers.google.com/search/docs/advanced/crawling/verifying-go ...

Prüfen, ob der Googlebot der Crawler ist
Befehlszeilentools verwenden
Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Logs handelt.


G. evo