4
Wie findet Google neue Domains?
Hallo zusammen!
Zugegeben, die Frage klingt etwas banal: Wie findet Google neue Domains? Hintergrund: Ich habe eine Domain registriert die ich nur zum Testen verschiedener Scripte verwende. Die Domain ist nirgends öffentlich verlinkt und nicht in meinen Bookmarks. Erst recht in keinen Social Networks etc. Trotzdem hat der Gockel die Site gecrawled. Nur wie kam er überhaupt an die Domain? Letztenendes muss er ja von irgendwoher gefolgt sein. Nuckelt der ständig am DeNIC-WHOIS herum? Oder wenden die eine Art Bruteforce an und probieren alle möglichen Kombinationen durch?
Mir ist das aber auch bei Subdomains aufgefallen die nirgends verlinkt sind und trotzdem irgendwann im Google-Index auftauchen. Ich habe leider nur einen normalen Shared Webspace und keinen Root-Zugang um detailliertere Logs anzuschauen. Denn wenn meine Vermutung richtig ist müßten ja ausgehend vom Googlebot derartige Ratespielchen erkennbar sein.
Irgendwie riecht das nach Verschwörung und da bin ich immer neugierig
Grüssle
Cody
Zugegeben, die Frage klingt etwas banal: Wie findet Google neue Domains? Hintergrund: Ich habe eine Domain registriert die ich nur zum Testen verschiedener Scripte verwende. Die Domain ist nirgends öffentlich verlinkt und nicht in meinen Bookmarks. Erst recht in keinen Social Networks etc. Trotzdem hat der Gockel die Site gecrawled. Nur wie kam er überhaupt an die Domain? Letztenendes muss er ja von irgendwoher gefolgt sein. Nuckelt der ständig am DeNIC-WHOIS herum? Oder wenden die eine Art Bruteforce an und probieren alle möglichen Kombinationen durch?
Mir ist das aber auch bei Subdomains aufgefallen die nirgends verlinkt sind und trotzdem irgendwann im Google-Index auftauchen. Ich habe leider nur einen normalen Shared Webspace und keinen Root-Zugang um detailliertere Logs anzuschauen. Denn wenn meine Vermutung richtig ist müßten ja ausgehend vom Googlebot derartige Ratespielchen erkennbar sein.
Irgendwie riecht das nach Verschwörung und da bin ich immer neugierig
Grüssle
Cody
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 150938
Url: https://administrator.de/contentid/150938
Printed on: April 20, 2024 at 04:04 o'clock
4 Comments
Latest comment
Hallo @Codehunter,
Bei einem Shared Webspace haben die Seiten gerne auch eine 2. Adresse mit Provider-präfix. Diese Adresspools werden dann in den Log-/Statisitkseiten der Provider aufgeführt. Google verirrt sich schon gern mal auf eben diese Seiten (sind nicht sonderlich geschützt, da keine relevanten Daten preisgegeben werden) und greift dort die Links ab. So kommt der Crawler auch auf Ghost-sites.
Wenn du jetzt persönlich nach diesen Statistik-Seiten suchen möchtest: Viel Spaß! Die können unter Umständen gut versteckt sein.
Greetz
Snow
Ich habe leider nur einen normalen Shared Webspace und keinen Root-Zugang um detailliertere Logs anzuschauen.
Bei einem Shared Webspace haben die Seiten gerne auch eine 2. Adresse mit Provider-präfix. Diese Adresspools werden dann in den Log-/Statisitkseiten der Provider aufgeführt. Google verirrt sich schon gern mal auf eben diese Seiten (sind nicht sonderlich geschützt, da keine relevanten Daten preisgegeben werden) und greift dort die Links ab. So kommt der Crawler auch auf Ghost-sites.
Wenn du jetzt persönlich nach diesen Statistik-Seiten suchen möchtest: Viel Spaß! Die können unter Umständen gut versteckt sein.
Greetz
Snow
Ansonsten könnte man in Google mal nach Seiten suchen, die auf Deine verlinken.
Eventuell gibts doch welche ...
Eventuell gibts doch welche ...
Zitat von @AndreasHoster:
Ansonsten könnte man in Google mal nach Seiten suchen, die auf Deine verlinken.
Eventuell gibts doch welche ...
Ansonsten könnte man in Google mal nach Seiten suchen, die auf Deine verlinken.
Eventuell gibts doch welche ...
Da das Kind nun ja schon in den Brunnen gefallen ist habe ich das mal getan. Über die Google-Boardmittel ist da erstmal nichts zu finden. Die werden selbst in den Webmastertools nicht alle Karten aufdecken. Also bin ich mal bingen gegangen wenn das googlen schon nichts brachte. So bin ich dann tatsächlich auf eine zweite Adresse des Providers gestoßen wie von Snowman25 beschrieben. Da drin findet man aber keine direkten Verweise auf meine Geheim-Domain. Allerdings ist der Gockel so schon mal auf dem Webspace und kann crawlen. Jetzt fehlt mir aber noch das letzte Stückchen in dem Puzzle, woher Google den eigentlichen Domainnamen hat. Mann, das ist j richtiges Datamining
Wenn du nicht mehr in den Sucherergebnissen der Suchmaschinen (sehr viele, aber nicht alle) auftauchen möchtest, dann kannst du ja eine entsprechende robots.txt ins root legen.
Danach lässt du Google die Seite nochmals scannen (über die Webmastertools) und dann solltest du nicht mehr zu finden sein
Gruß
Snow
User-agent: *
Disallow: /Danach lässt du Google die Seite nochmals scannen (über die Webmastertools) und dann solltest du nicht mehr zu finden sein
Gruß
Snow
