DigituraDigitura
Plan een gratis bedrijfsscanBel 06 27 56 83 59

Je krijgt mij aan de lijn, niet een helpdesk.

SEO en vindbaarheid

Wat is een crawler? Zo crawlt Google je website

Kort gezegd

Crawlen is het bezoeken van webpagina's door een programma, een crawler of bot, dat links volgt en pagina's ophaalt. Zoekmachines als Google doen dit om pagina's te vinden die ze kunnen indexeren.

Ook geschreven of gezegd als: crawler, googlebot, wat is crawlen, wat is een crawler, spider, zoekrobot

Door Gerwin Kuijntjes, software-engineer ·

Een crawler is een programma dat webpagina’s ophaalt en de links daarop volgt naar nieuwe pagina’s, zoals iemand die van plank naar plank loopt in een bibliotheek en elke titel noteert. Die van Google heet Googlebot. Hij begint bij adressen die hij al kent, zoals je XML-sitemap en eerder bezochte pagina’s, en gaat vandaar verder. Wat hij vindt, wordt later verwerkt en eventueel geïndexeerd. Crawlen is dus de eerste stap: pagina’s die een crawler nooit bereikt, kunnen niet in de zoekresultaten komen.

Hoeveel moet je je zorgen maken?

Over het crawlbudget, het aantal pagina’s dat Google op een site wil bezoeken, hoor je veel. Voor een bedrijfssite met enkele tientallen of honderden pagina’s is dat zelden een probleem. Het speelt bij zeer grote sites. Bij een kleine site zit het probleem bijna altijd in iets anders: een pagina die niet bereikbaar is.

Wat een crawler tegenhoudt

De bekendste oorzaak is een regel in robots.txt die bots buitensluit. Daarnaast speelt een trage of falende server, een omleiding die in een lus loopt, een pagina achter een inlog en een link die alleen met JavaScript werkt in plaats van met een gewone link in de code. Heeft een pagina nergens een link naartoe, dan vindt een crawler hem alleen via de sitemap.

De AI-crawlers die ChatGPT en andere diensten gebruiken, voeren volgens onderzoek uit 2024 geen JavaScript uit. Tekst die pas in de browser wordt opgebouwd, zien ze dan niet. Dat is een reden om belangrijke teksten in de pagina zelf te zetten. Meer daarover bij GEO.

Zelf een crawl doen

De beste manier om te zien wat een crawler ziet, is er zelf een draaien. Een crawlprogramma loopt je site door, volgt de links en rapporteert fouten, omleidingen en pagina’s zonder titel. Het is ook hoe ik begin bij een doorlichting: de site doorlopen zoals een zoekmachine dat doet, zodat zichtbaar wordt wat blokkeert. Meer over die aanpak staat bij vindbaarheid.

Dat een crawler een pagina heeft bezocht, zegt overigens niets over of hij in de index komt. Zie je in Search Console dat Google een pagina wel heeft gecrawld maar niet heeft opgenomen, dan ligt de oorzaak vaak bij de inhoud en niet bij de techniek. Het technische deel hoort bij technische SEO.

Liever dat iemand meekijkt?

Ik loop je site door als een zoekmachine en herstel wat je zichtbaarheid blokkeert.

SEO en vindbaarheid

Veelgestelde vragen

Hoe vaak crawlt Google mijn site?

Dat verschilt per site en per pagina. Een pagina die vaak verandert en veel links krijgt, wordt vaker bezocht dan een stille pagina. Een vast schema bestaat niet. In Search Console staat een rapport met crawlstatistieken waarin je ziet hoe vaak Googlebot langskomt.

Kan ik Googlebot vragen sneller te komen?

Je kunt in Search Console bij de URL-inspectie vragen om een pagina te laten indexeren, en een sitemap met datums van wijzigingen helpt. Afdwingen kun je het niet. Een site die snel reageert en goede links heeft, wordt in de praktijk vanzelf vaker bezocht.

Is elke crawler van een zoekmachine?

Nee. Er zijn ook bots die prijzen vergelijken, sociale netwerken die een voorbeeld van een link ophalen, SEO-tools en AI-bedrijven. Sommige houden zich aan robots.txt, andere niet. Een programma dat zegt Googlebot te zijn, is dat niet altijd.

Alle begrippen

Wil je dit laten uitzoeken?

Je kunt veel zelf nakijken. Wil je dat iemand het voor je regelt, dan doe ik dat. Na oplevering is het werk van jou.

Gratis bedrijfsscan