1
Suchmaschinen Crawler
Hallo Zusammen,
wir betreiben eine PHP Applikation, die durch eine Firewall abgesichert wird, sodass der Zugriff nur innerhalb Europas erlaubt ist. Seit geraumer Zeit werden wir mit der APP nicht mehr in den Suchmaschinen gefunden. Laut unserer SEO Agentur haben wir das Problem, dass Google, Bing un Co. die Seite nicht mehr indizieren wollen/können, da ein Teil derer jeweiligen IPs ausserhalb Europas liegt und nach Aussage der Agentur sollen wir die IP Restriktionen abschalten, sodass ein Zugriff wieder möglich ist. Dies geht aber leider Vertraglich nicht, hat jemand eine Ahnung, ob das stimmt und was ich hier tun kann?
VG
Roadmax
wir betreiben eine PHP Applikation, die durch eine Firewall abgesichert wird, sodass der Zugriff nur innerhalb Europas erlaubt ist. Seit geraumer Zeit werden wir mit der APP nicht mehr in den Suchmaschinen gefunden. Laut unserer SEO Agentur haben wir das Problem, dass Google, Bing un Co. die Seite nicht mehr indizieren wollen/können, da ein Teil derer jeweiligen IPs ausserhalb Europas liegt und nach Aussage der Agentur sollen wir die IP Restriktionen abschalten, sodass ein Zugriff wieder möglich ist. Dies geht aber leider Vertraglich nicht, hat jemand eine Ahnung, ob das stimmt und was ich hier tun kann?
VG
Roadmax
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 1074208229
Url: https://administrator.de/forum/suchmaschinen-crawler-1074208229.html
Ausgedruckt am: 22.12.2024 um 13:12 Uhr
1 Kommentar
Tja weil die Bots von Google & Co eben IPs z.B. aus den USA benutzen ist ja klar das sie die Seite nicht mehr indizieren können weil ihr sie blockt, logisch ...
https://developers.google.com/search/docs/advanced/crawling/verifying-go ...
G. evo
und was ich hier tun kann?
Per reverse dns lookup prüfen ob es sich bei der Source-IP um einen Bot handelt und diesen dann rein lassen:https://developers.google.com/search/docs/advanced/crawling/verifying-go ...
Prüfen, ob der Googlebot der Crawler ist
Befehlszeilentools verwenden
Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Logs handelt.
Befehlszeilentools verwenden
Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Logs handelt.
G. evo
