DigituraDigitura
Plan een gratis bedrijfsscanBel 06 27 56 83 59

Je krijgt mij aan de lijn, niet een helpdesk.

SEO en vindbaarheid

Robots.txt: wat is het en wat regelt het?

Kort gezegd

Robots.txt is een tekstbestand in de hoofdmap van je website dat bots vertelt welke delen van de site ze mogen crawlen. Het regelt crawlen, niet of een pagina in de index komt.

Ook geschreven of gezegd als: robots txt, robots.txt bestand, noindex, noindex tag, meta robots

Door Gerwin Kuijntjes, software-engineer ·

Wat erin staat

Voordat een bot je site bezoekt, kijkt hij of er een bestand op /robots.txt staat. Daarin staan regels per bot: wat hij wel en niet mag bezoeken. De robots.txt van mijn eigen site is kort:

User-agent: *
Allow: /

Sitemap: https://digitura.nl/sitemap-index.xml

De eerste regel geldt voor alle bots, de tweede staat alles toe en de derde wijst naar de XML-sitemap. Een site met een beheeromgeving heeft meestal ook een regel als Disallow: /beheer/.

Crawlen is niet indexeren

Dit wordt vaak verward. Robots.txt regelt of een bot een pagina mag crawlen, dus bezoeken. Het regelt niet of die pagina in de index komt. Een pagina die je blokkeert, kan toch in Google verschijnen, zonder beschrijving, als andere sites ernaar linken.

Wil je een pagina uit de zoekresultaten houden, dan gebruik je noindex: een regel in de code van de pagina (<meta name="robots" content="noindex">) of een kop in het antwoord van de server. Hier zit de valkuil. Een bot moet de pagina kunnen bezoeken om de noindex te lezen. Blokkeer je dezelfde pagina ook in robots.txt, dan ziet Google de noindex nooit. Kies dus één van de twee. Wil je een pagina uit Google houden, dan is dat noindex.

AI-bots

Ook AI-bedrijven gebruiken bots, en die kun je per naam toestaan of blokkeren. Er zijn bots die zoeken, zoals OAI-SearchBot, en bots die trainen, zoals GPTBot en ClaudeBot. Blokkeer je een zoekbot, dan sta je niet in dat zoekresultaat. Blokkeer je een trainingsbot, dan sluit je alleen training uit. Welke je wilt toestaan is een afweging, zie ook GEO. Een llms.txt is een ander bestand en wordt door Google Search niet gebruikt.

De fout met de grootste gevolgen

Veel sites worden gebouwd op een testadres met Disallow: /, zodat Google de onaffe versie niet bezoekt. Gaat de site live en reist die regel mee, dan is de hele site voor bots gesloten. Je merkt het pas als de bezoekers wegblijven. Open na elke lancering of verhuizing dus /robots.txt en lees wat er staat.

Blokkeer ook geen bestanden die Google nodig heeft om de pagina te begrijpen, zoals stijlbestanden en scripts. Dat loop je mee na bij een doorlichting van je vindbaarheid.

Liever dat iemand meekijkt?

Ik loop je site door als een zoekmachine en herstel wat je zichtbaarheid blokkeert.

SEO en vindbaarheid

Veelgestelde vragen

Houdt robots.txt slechte bots tegen?

Nee. Het bestand is een verzoek waar nette bots zich aan houden, zoals Googlebot. Kwaadwillende bots negeren het, en omdat iedereen het bestand kan lezen, wijst het zelfs de weg naar wat je wilt verbergen. Voor echt afgeschermde pagina's gebruik je een inlog.

Waar vind ik het robots.txt-bestand van een site?

Altijd op hetzelfde adres: de domeinnaam gevolgd door /robots.txt, bijvoorbeeld digitura.nl/robots.txt. Staat er niets of een foutmelding, dan heeft de site geen robots.txt en mogen bots in principe alles bezoeken.

Hoe haal ik een pagina uit Google die al is geïndexeerd?

Zet de pagina op noindex en laat hem bereikbaar voor bots, zodat Google dat opmerkt. Blokkeer je hem juist in robots.txt, dan kan Google de noindex niet meer zien. Voor een dringend geval kun je in Search Console tijdelijk een verwijdering aanvragen.

Alle begrippen

Wil je dit laten uitzoeken?

Je kunt veel zelf nakijken. Wil je dat iemand het voor je regelt, dan doe ik dat. Na oplevering is het werk van jou.

Gratis bedrijfsscan