Googlebot
 |
Den här artikelnbehöverkällhänvisningarför att kunnaverifieras.(2021-06) Åtgärda genom att lägga till pålitliga källor (gärna som fotnoter). Uppgifter utan källhänvisning kanifrågasättasoch tas bort utan att det behöver diskuteras pådiskussionssidan. |
Googlebotär en sökrobot som används av sökmotornGoogle.Den hämtar dokument frånInternet,främstWorld Wide Web,för att bygga upp endatabasför Googles sökmotor. Googlebot finns i två olika versioner,FreshbotochDeepbot.Deepbot följer alla länkar den hittar och laddar ner så mycket den kan till Googles indexerare. En runda för Deepbot tar cirka en månad att slutföra. Freshbot far runt på Internet och letar efter nytt material. Den besöker enskilda webbsidor beroende på hur mycket de ändras. Den kan besöka en del webbplatser såsom utpräglade nyhetssajter upp till sju gånger om dagen. Alla Googles sökrobotar har värdmaskencrawl-xxx-xxx-xxx-xxx.googlebot,där alla xxx representerar detIP-nummersökroboten har.
Googlebot upptäcker webbsidor genom att skörda alla länkar på alla sidor den hittar. Sedan följer den länkarna vidare till andra sidor. Nya webbsidor måste vara länkade från en som redan är känd av Googlebot. Googlebot är ett problem för en delwebbmasterssom hyr webbutrymme och har en gräns på hur mycket trafik de får utnyttja. Många webbmasters har klagat på att Googlebot använder för mycket av deras bandbredd och att deras webbplatser temporärt tagits ned för att de har gått över bandbreddsgränsen. Detta är ett stort problem för alla webbspeglar (website mirrors) som ofta lagrar flera gigabyte data.
Om en webbmaster registrerar sin webbplats hosGoogle Webmaster Tools,får Googlebot en liten ledtråd om vilken sida den ska söka igenom. Man kan även konfigurera att boten ska begränsa sina genomsökningar av en viss webbsida/webbplats. Det kan göras genom att man registrerar ett Googlekonto.
| ||||||||||||||||||||||||||