Een robot die links volgt
Een crawler is een programma dat webpagina’s ophaalt en de links daarop volgt naar nieuwe pagina’s, zoals iemand die van plank naar plank loopt in een bibliotheek en elke titel noteert. Die van Google heet Googlebot. Hij begint bij adressen die hij al kent, zoals je XML-sitemap en eerder bezochte pagina’s, en gaat vandaar verder. Wat hij vindt, wordt later verwerkt en eventueel geïndexeerd. Crawlen is dus de eerste stap: pagina’s die een crawler nooit bereikt, kunnen niet in de zoekresultaten komen.
Hoeveel moet je je zorgen maken?
Over het crawlbudget, het aantal pagina’s dat Google op een site wil bezoeken, hoor je veel. Voor een bedrijfssite met enkele tientallen of honderden pagina’s is dat zelden een probleem. Het speelt bij zeer grote sites. Bij een kleine site zit het probleem bijna altijd in iets anders: een pagina die niet bereikbaar is.
Wat een crawler tegenhoudt
De bekendste oorzaak is een regel in robots.txt die bots buitensluit. Daarnaast speelt een trage of falende server, een omleiding die in een lus loopt, een pagina achter een inlog en een link die alleen met JavaScript werkt in plaats van met een gewone link in de code. Heeft een pagina nergens een link naartoe, dan vindt een crawler hem alleen via de sitemap.
De AI-crawlers die ChatGPT en andere diensten gebruiken, voeren volgens onderzoek uit 2024 geen JavaScript uit. Tekst die pas in de browser wordt opgebouwd, zien ze dan niet. Dat is een reden om belangrijke teksten in de pagina zelf te zetten. Meer daarover bij GEO.
Zelf een crawl doen
De beste manier om te zien wat een crawler ziet, is er zelf een draaien. Een crawlprogramma loopt je site door, volgt de links en rapporteert fouten, omleidingen en pagina’s zonder titel. Het is ook hoe ik begin bij een doorlichting: de site doorlopen zoals een zoekmachine dat doet, zodat zichtbaar wordt wat blokkeert. Meer over die aanpak staat bij vindbaarheid.
Dat een crawler een pagina heeft bezocht, zegt overigens niets over of hij in de index komt. Zie je in Search Console dat Google een pagina wel heeft gecrawld maar niet heeft opgenomen, dan ligt de oorzaak vaak bij de inhoud en niet bij de techniek. Het technische deel hoort bij technische SEO.

