Crawl budget

Betekenis van crawl budget

Het crawl budget is de hoeveelheid tijd en middelen die Google (of een andere zoekmachine) besteedt aan het crawlen van je website.
Met andere woorden: het bepaalt hoeveel pagina’s en hoe vaak Googlebot jouw site bezoekt en bijwerkt in de index.

Waaruit bestaat het crawl budget?

Het crawl budget wordt bepaald door twee factoren:

• Crawl capacity limit – hoeveel verzoeken je server aankan zonder overbelast te raken.
• Crawl demand – hoeveel interesse Google heeft in het opnieuw crawlen van je pagina’s (afhankelijk van populariteit en updatefrequentie).

Het is dus een balans tussen technische capaciteit en SEO-relevantie.

Waarom is het crawl budget belangrijk voor SEO?

Voor kleine websites speelt het meestal geen grote rol, maar bij middelgrote tot grote sites (zoals webshops met duizenden pagina’s) kan een beperkt crawl budget ervoor zorgen dat:

• belangrijke pagina’s niet of te laat worden gecrawld;
• oude of irrelevante URL’s crawlbudget verspillen;
• nieuwe content traag wordt geïndexeerd.

Door je site technisch gezond te houden, zorg je dat zoekmachines hun tijd besteden aan de juiste URL’s.

Best practices om je crawl budget te optimaliseren

• Verwijder of blokkeer irrelevante pagina’s via robots.txt of noindex (zoals filter- of tagpagina’s).
• Gebruik interne links slim – belangrijkere pagina’s moeten meer interne verwijzingen hebben.
• Los 404’s en redirect-ketens op om verspilling te voorkomen.
• Verbeter laadsnelheid en serverprestaties – trage sites worden minder diep gecrawld.
• Vermijd eindeloze URL-varianten door parameters of facetten te beperken.

Veelgemaakte fouten

• Onnodige filterpagina’s of zoekresultaten laten indexeren.
• Redirect-loops of lange ketens.
• Dynamisch gegenereerde URL’s zonder canonical of robots-beperkingen.
• Lage kwaliteitspagina’s die de crawl-efficiëntie verminderen.

Gerelateerde begrippen

• Crawlen
• Indexatie
• Robots.txt
• Canonical tag
• Sitemap.xml