Voor de meeste mkb-bedrijven is AI-bots blokkeren geen goed idee: die bots zijn precies de reden dat ChatGPT, Perplexity of Google AI jouw bedrijf later kunnen noemen. Blokkeren is vooral zinvol als je iets te beschermen hebt dat geld waard is, zoals een unieke database of betaalde content. Heb je een gewone bedrijfswebsite die klanten moet opleveren, dan laat je ze gewoon binnen.
Wat een AI-bot op je site komt doen
Een bot is een programma dat automatisch pagina's van je website ophaalt en leest. Google doet dat al twintig jaar om zijn zoekresultaten te vullen. De laatste jaren zijn daar bots van AI-bedrijven bij gekomen, met namen als GPTBot, ClaudeBot, PerplexityBot en Google-Extended. Ze bezoeken je site, lezen je teksten en slaan op wat er staat.
Die bots doen ruwweg twee dingen, en dat verschil is belangrijk. Sommige halen tekst op om een AI-model mee te trainen: jouw woorden verdwijnen dan in een grote berg leermateriaal, zonder dat iemand later een link naar jou ziet. Andere halen je pagina op op het moment dat een gebruiker een vraag stelt, om het antwoord te onderbouwen. Dat tweede type is degene die jouw bedrijfsnaam en site in het antwoord kan noemen.
Blokkeren gebeurt in een tekstbestandje
Toelaten of weigeren regel je in robots.txt, een klein bestand op je website waarin staat welke bots waar mogen komen. Zet je daar een bot op de weigerlijst, dan houden de nette partijen zich daaraan. Kwaadwillende scrapers trekken zich er niets van aan, dus als bescherming tegen kopieergedrag is het een hek van gaas: het houdt de beleefde bezoekers tegen, niet de rest.
Waarom ondernemers erover twijfelen
De aarzeling is begrijpelijk. Je hebt tijd gestoken in je teksten en het voelt scheef dat een AI-bedrijf daar gratis een model mee slimmer maakt. Ook hoor je verhalen over bots die zoveel pagina's tegelijk opvragen dat een server er traag van wordt.
Beide bezwaren zijn echt, maar ze wegen voor een gemiddeld mkb-bedrijf licht. Je dienstenpagina en je over-onspagina zijn geen unieke kennis die je kunt verkopen. Het zijn verkoopteksten, en die wil je juist zo breed mogelijk verspreid hebben. En de serverlast valt bij een normale site van een paar tientallen pagina's op fatsoenlijke hosting nauwelijks op.
Je teksten afschermen voor AI is hetzelfde als je etalage afplakken omdat er mensen naar binnen kijken.
Wat blokkeren je kost
Steeds meer mensen stellen hun vraag niet meer aan een zoekbalk maar aan een AI. Wie een hovenier zoekt, vraagt: welke hovenier in mijn omgeving doet ook onderhoud? Het antwoord komt uit sites die de AI mocht lezen. Sluit jij de deur, dan noemt het antwoord de concurrent die dat niet deed.
Bij het bot-type dat pas ophaalt als iemand een vraag stelt, is blokkeren zelfs ronduit tegen je eigen belang. Je zet dan precies de route dicht waarlangs klanten bij je terechtkomen, met een verwijzing erbij. Dat is geen bescherming, dat is jezelf onzichtbaar maken.
Samengevat
- Gewone bedrijfswebsite? Laat AI-bots toe, ze zorgen dat je genoemd kunt worden.
- Er is verschil tussen bots die trainen en bots die live een vraag beantwoorden. Die laatste wil je zeker binnenlaten.
- Blokkeren doe je in robots.txt en werkt alleen bij nette partijen.
- Bescherm gericht wat echt waarde heeft, niet je hele site.
- Zet nooit per ongeluk ook de gewone zoekmachines buiten.
Wanneer blokkeren wel logisch is
Er zijn situaties waarin je terecht een grens trekt. Verkoop je toegang tot kennis, bijvoorbeeld een online cursus, een uitgebreide database of artikelen achter een inlog, dan hoort dat deel niet vrij toegankelijk te zijn. Datzelfde geldt voor klantportalen, offertes en alles wat achter een wachtwoord staat. Dat blokkeer je dan trouwens niet met robots.txt maar met een echte inlog, want een weigerregel is geen slot.
Ook kun je kiezen voor een tussenweg: trainingsbots weren en de bots die antwoorden onderbouwen toelaten. Dat vraagt wel dat iemand die lijst bijhoudt, want er komen geregeld nieuwe namen bij.
Let op deze valkuil
De grootste schade ontstaat niet door een bewuste keuze maar door een fout. Een te ruime weigerregel in robots.txt sluit soms ook Google buiten, en dan verdwijn je uit de gewone zoekresultaten zonder dat je het doorhebt. Laat iemand die regels dus controleren, of laat het gewoon staan zoals het hoort. Bij een site die van dag één is gebouwd om gevonden te worden, is dit standaard goed ingesteld en hoef je er niet naar om te kijken.