1
Suchmaschinen Crawler
Hallo Zusammen,
wir betreiben eine PHP Applikation, die durch eine Firewall abgesichert wird, sodass der Zugriff nur innerhalb Europas erlaubt ist. Seit geraumer Zeit werden wir mit der APP nicht mehr in den Suchmaschinen gefunden. Laut unserer SEO Agentur haben wir das Problem, dass Google, Bing un Co. die Seite nicht mehr indizieren wollen/können, da ein Teil derer jeweiligen IPs ausserhalb Europas liegt und nach Aussage der Agentur sollen wir die IP Restriktionen abschalten, sodass ein Zugriff wieder möglich ist. Dies geht aber leider Vertraglich nicht, hat jemand eine Ahnung, ob das stimmt und was ich hier tun kann?
VG
Roadmax
wir betreiben eine PHP Applikation, die durch eine Firewall abgesichert wird, sodass der Zugriff nur innerhalb Europas erlaubt ist. Seit geraumer Zeit werden wir mit der APP nicht mehr in den Suchmaschinen gefunden. Laut unserer SEO Agentur haben wir das Problem, dass Google, Bing un Co. die Seite nicht mehr indizieren wollen/können, da ein Teil derer jeweiligen IPs ausserhalb Europas liegt und nach Aussage der Agentur sollen wir die IP Restriktionen abschalten, sodass ein Zugriff wieder möglich ist. Dies geht aber leider Vertraglich nicht, hat jemand eine Ahnung, ob das stimmt und was ich hier tun kann?
VG
Roadmax
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 1074208229
Url: https://administrator.de/contentid/1074208229
Printed on: April 25, 2024 at 08:04 o'clock
1 Comment
Tja weil die Bots von Google & Co eben IPs z.B. aus den USA benutzen ist ja klar das sie die Seite nicht mehr indizieren können weil ihr sie blockt, logisch ...
https://developers.google.com/search/docs/advanced/crawling/verifying-go ...
G. evo
und was ich hier tun kann?
Per reverse dns lookup prüfen ob es sich bei der Source-IP um einen Bot handelt und diesen dann rein lassen:https://developers.google.com/search/docs/advanced/crawling/verifying-go ...
Prüfen, ob der Googlebot der Crawler ist
Befehlszeilentools verwenden
Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Logs handelt.
Befehlszeilentools verwenden
Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Logs handelt.
G. evo
