Wat erin staat
Voordat een bot je site bezoekt, kijkt hij of er een bestand op /robots.txt staat. Daarin staan regels per bot: wat hij wel en niet mag bezoeken. De robots.txt van mijn eigen site is kort:
User-agent: *
Allow: /
Sitemap: https://digitura.nl/sitemap-index.xml
De eerste regel geldt voor alle bots, de tweede staat alles toe en de derde wijst naar de XML-sitemap. Een site met een beheeromgeving heeft meestal ook een regel als Disallow: /beheer/.
Crawlen is niet indexeren
Dit wordt vaak verward. Robots.txt regelt of een bot een pagina mag crawlen, dus bezoeken. Het regelt niet of die pagina in de index komt. Een pagina die je blokkeert, kan toch in Google verschijnen, zonder beschrijving, als andere sites ernaar linken.
Wil je een pagina uit de zoekresultaten houden, dan gebruik je noindex: een regel in de code van de pagina (<meta name="robots" content="noindex">) of een kop in het antwoord van de server. Hier zit de valkuil. Een bot moet de pagina kunnen bezoeken om de noindex te lezen. Blokkeer je dezelfde pagina ook in robots.txt, dan ziet Google de noindex nooit. Kies dus één van de twee. Wil je een pagina uit Google houden, dan is dat noindex.
AI-bots
Ook AI-bedrijven gebruiken bots, en die kun je per naam toestaan of blokkeren. Er zijn bots die zoeken, zoals OAI-SearchBot, en bots die trainen, zoals GPTBot en ClaudeBot. Blokkeer je een zoekbot, dan sta je niet in dat zoekresultaat. Blokkeer je een trainingsbot, dan sluit je alleen training uit. Welke je wilt toestaan is een afweging, zie ook GEO. Een llms.txt is een ander bestand en wordt door Google Search niet gebruikt.
De fout met de grootste gevolgen
Veel sites worden gebouwd op een testadres met Disallow: /, zodat Google de onaffe versie niet bezoekt. Gaat de site live en reist die regel mee, dan is de hele site voor bots gesloten. Je merkt het pas als de bezoekers wegblijven. Open na elke lancering of verhuizing dus /robots.txt en lees wat er staat.
Blokkeer ook geen bestanden die Google nodig heeft om de pagina te begrijpen, zoals stijlbestanden en scripts. Dat loop je mee na bij een doorlichting van je vindbaarheid.

