Welk indexeren bedoelen we?
Het woord heeft twee werelden. In de economie is indexeren het koppelen van een bedrag aan een index, zoals bij huur of prijzen. Hier gaat het over de index van een zoekmachine: een enorme lijst van pagina’s waaruit Google zijn zoekresultaten samenstelt. Een pagina die er niet in staat, kan niet verschijnen, hoe goed hij ook is.
Van pagina naar index
Eerst bezoekt een bot de pagina, zie crawlen. Daarna leest Google de inhoud, bepaalt waar de pagina over gaat en besluit of hij wordt opgeslagen. Dat laatste is geen automatisme. Google neemt niet alles op wat hij bezoekt: dubbele pagina’s, pagina’s met weinig inhoud en pagina’s die weinig toevoegen, blijven vaak buiten de index. Zit een pagina erin, dan betekent dat alleen dat hij kan verschijnen. Of hij ergens hoog komt, is een andere vraag.
Waarom een pagina ontbreekt
Meestal is een van deze de oorzaak. De pagina staat op noindex. Een omleiding of foutmelding verstoort de weg ernaartoe. Een canonical wijst naar een andere pagina. De pagina is nieuw en heeft nog geen links, of de inhoud is te dun of te dubbel.
Een klassieker bij een nieuwe site is een noindex die vanuit de testomgeving is meeverhuisd naar de echte site. Alles ziet er normaal uit, maar Google krijgt de opdracht de pagina’s te negeren. Kijk bij een nieuwe site daarom altijd eerst of er geen noindex in de broncode staat.
Ook een pagina die je in robots.txt blokkeert kan in de index staan, zonder tekst, als er links naar wijzen.
Wat je kunt doen
Zorg dat de pagina bereikbaar is via gewone links van andere pagina’s en dat hij in je sitemap staat. Controleer in Google Search Console met de URL-inspectie hoe Google de pagina ziet, en vraag daar eventueel om indexering. Dat is een verzoek en geen garantie. Voor Bing en enkele andere zoekmachines bestaat IndexNow, waarmee je een wijziging direct meldt. Google gebruikt het niet.
Heb je veel pagina’s die niet worden opgenomen, kijk dan ook naar de inhoud: heeft de pagina iets dat een andere pagina niet heeft? Zo’n onderzoek hoort bij mijn werk aan vindbaarheid.

