Suchmaschinen Crawler

Hallo Zusammen,

wir betreiben eine PHP Applikation, die durch eine Firewall abgesichert wird, sodass der Zugriff nur innerhalb Europas erlaubt ist. Seit geraumer Zeit werden wir mit der APP nicht mehr in den Suchmaschinen gefunden. Laut unserer SEO Agentur haben wir das Problem, dass Google, Bing un Co. die Seite nicht mehr indizieren wollen/können, da ein Teil derer jeweiligen IPs ausserhalb Europas liegt und nach Aussage der Agentur sollen wir die IP Restriktionen abschalten, sodass ein Zugriff wieder möglich ist. Dies geht aber leider Vertraglich nicht, hat jemand eine Ahnung, ob das stimmt und was ich hier tun kann?

VG
Roadmax

Content-Key: 1074208229

Url: https://administrator.de/contentid/1074208229

Ausgedruckt am: 24.07.2021 um 18:07 Uhr

Mitglied: evoplus
evoplus 22.07.2021 aktualisiert um 11:24:12 Uhr
Goto Top
Tja weil die Bots von Google & Co eben IPs z.B. aus den USA benutzen ist ja klar das sie die Seite nicht mehr indizieren können weil ihr sie blockt, logisch ...
und was ich hier tun kann?
Per reverse dns lookup prüfen ob es sich bei der Source-IP um einen Bot handelt und diesen dann rein lassen:
https://developers.google.com/search/docs/advanced/crawling/verifying-go ...

Prüfen, ob der Googlebot der Crawler ist
Befehlszeilentools verwenden
Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Logs handelt.


G. evo
Heiß diskutierte Beiträge
question
RAM-Zugriff auf einem neuen High-Performance Server, teilweise um Welten langsamer als auf einer WorkstationMysticFoxDEVor 1 TagFrageBenchmarks47 Kommentare

Moin Zusammen, mir ist gestern beim Optimieren eines neuen Servers eine Sonderheit aufgefallen, die ich mir so beim besten Willen, momentan absolut nicht erklären kann. ...

general
Kosten nicht gerechtfertigt? Dienstleister stellt Kosten für "Troubleshooting" bei Neuanschaffung von HCI + CoreSwitchDirty2186Vor 1 TagAllgemeinZusammenarbeit17 Kommentare

Hallo Zusammen, ich interessiere mich für Eure Meinung zu dem Thema Leistungsnachweise von Systemhäusern und Dienstleistern und deren Berechnung von Leistungen. Da sich hier ja ...

question
Listet Microsoft Default ACLs von Windows?DerWoWussteVor 1 TagFrageSicherheit18 Kommentare

Moin Kollegen. Nach dem Sicherheits-GAU "Hivenightmare" stellt sich mir die Frage, wie ich in Zukunft sicherstellen kann, dass die ACLs der Systemdateien in Windows korrekt ...

question
Erfahrungen mit CodeTwo Exchange Migration von 2016-2019dlohnierVor 2 TagenFrageExchange Server19 Kommentare

Hallo, ich möchte unseren Exchange Server 2016 der noch auf WIndows 2016 läuft auf einen Server 2019 mit Exchange 2019 migrieren. Habe das Tool "CodeTwo ...

question
Doppelte A-Records in DNSBPeterVor 1 TagFrageWindows Server10 Kommentare

Hallo, unsere Windows Notebooks registrieren sich im DNS mit ihrer Lan- und Wlan Adresse. D.h. es gibt 2 gleiche Namen mit 2 unterschiedlichen IP-Adressen. Wie ...

question
2U Home-Server Frage zur HardwaremossoxVor 23 StundenFrageServer-Hardware10 Kommentare

Hallo zusammen, ich habe in den letzten Jahren auf die Systeme von Synology gesetzt. Im Wesentlichen ging es immer nur um simple CIFS Dienste, nichts ...

question
Powershell Ordner löschen die älter als x Tage sindsascha46Vor 20 StundenFrageEntwicklung6 Kommentare

Hallo Ich würde gerne in einem Verzeichnis alle Ordner die älter als X Tage sind löschen. Aber irgendwie bekomme ich das nicht hin. Bisher habe ...

question
Firmengelände Glasfaser mehrere GebäudeTonLichtVideoVor 18 StundenFrageNetzwerke4 Kommentare

Hallo zusammen, Ist Zustand: Firmengelände mit mehreren großen Hallen die zentral per Glasfaser verbunden werden sollen. Längen zwischen 100 und 400 Metern. Aufgrund der Zukunftssicherheit ...