Googlebot
Googlebot is de crawler van Google. Googlebot bestaat uit een compleet leger van 'crawlers' die 24 uur per dag het wereldwijde web indexeren. Googlebot vindt nieuwe website en pagina's maar Googlebot kijk ook regelmatig of jouw pagina vernieuwd is.
Hoe werk Googlebot?
Googlebot crawlt de pagina's van jouw website. Crawlen is het bezoeken, doorzoeken en het toevoegen van de informatie op de website aan de Google index.
Googlebot gaat actief op zoek naar nieuwe pagina's en nieuwe links. Googlebot zal ook vaak een pagina 'her-indexeren' om te kijken of deze pagina nog steeds hetzelfde is.
Het is verstandig om jouw pagina Googlebot vriendelijk te maken zodat Google jouw pagina gemakkelijk kan indexeren.
Googlebot is de meest geavanceerde crawler die er is. Googlebot is de enige grote crawler die jouw pagina net zo ziet als een echte browser. Andere crawlers zien alleen de broncode. Maar Googlebot voert jouw pagina echt uit, kijkt waar alle afbeeldingen en teksten staan en kijkt zelfs of er met javascript inhoud op de pagina wordt aangepast.
Hoe vaak bezoekt Googlebot jouw site?
Hoe vaak Googlebot jouw site bezoekt hangt af van het 'crawlbudget' van jouw site. Dat is term die Google hanteert voor hoe vaak jouw site bezocht mag worden door Googlebot. Een goede site met waardevolle inhoud wordt vaker bezocht dan een website met minder goede inhoud. Wanneer jij vaak jouw pagina's veranderd bezoekt Googlebot jouw site ook vaker.
Googlebot blokkeren
Het is mogelijk om Googlebot te blokkeren wanneer jij niet wilt dat delen of pagina'van jouw site worden geïndexeerd in Google. JE kunt dit op 2 manieren doen.
De eerste manier is via de robots.txt. Dit is een bestandje dat je op jouw website plaats. Daarin kun je per pagina of folder vertellen dat Googlebot deze niet mag indexeren.
De tweede manier is via de robots meta tag. Dit is een regeltje code in de html van jouw pagina. Per pagina kun je instellen of Google de pagina mag indexeren (index vs noindex) en of google de linkjes op een pagina mag volgend (follow vs nofollow). Standaard staat de waarde van met robots meta tag op 'index, follow'. Iedere pagina mag dus gevolgd en geïndexeerd worden zonder dat je iets op hoeft te geven.
Googlebot en jouw sitemap
"GoogleBot houdt van sitemaps" is een bekende quote van Google. Een sitemap is een lijst met alle pagina's op jouw website. In een sitemap kun je ook zetten wanneer een pagina voor het laatste veranderd is. Wanneer Googlebot een sitemap vind hoeft Googlebot niet zelf op zoek naar nieuwe of veranderde links en kan Googlebot sneller, beter en eerder jouw site indexeren.
Andere instructies voor Googlebot
In het robots.txt bestand kun je aangeven waar de locatie naar jouw sitemap is. Googlebot zal deze dan kunnen vinden en gebruiken. Bovendien kun je aangeven hoe lang Googlebot moet wachten na iedere 'crawl'. Dat kan soms tijdelijk nodig zijn bij een overbelaste, drukke site.
Een waarschuwing
Wanneer je gaat experimenteren met de meta robots tag of het uitsluiten van pagina's in de robots.txt pas dan heel goed op. Je zult niet de eerste en zeker niet de laatste zijn die zijn gehele website uit de index van google heeft gehaald. Controleer altijd dubbel of de instellingen goed staan en houd de google webmaster tools goed in de gaten.
Marketing
Technische seo
a/b testen
Above the fold
Alt-tag
Anchor text
Black hat seo
Bouncepercentage
Broken links
Canonical tag
Cloaking
Content farm
Crawler
Duplicate content
Gestructureerde gegevens
Google algoritme
Google Panda
Google penalty
Google penguin
Googlebot
Crawler Traps
Geavanceerde Search operators
Inernal nofollow
Correlatie Ranking signalen
Google BERT
Linkuilding
Social Media
Website snelheid
Time to first byte
First Contentful Paint
Inline CSS
JavaScript uitstellen
Largest Contentful Paint
WebFonts slim laden voor een betere performance
Icon fonts lazy laden
Verbeter pagina rendering met content-visibility
Analytics zonder Core Web Vitals vertraging
Handleiding Google fonts lokaal hosten