AI crawler je robot, kterým provozovatel AI nástroje načítá obsah webů. Některé sbírají data pro trénink modelů, jiné stránky indexují pro vyhledávání a další je načítají jednorázově, když se uživatel zeptá. V souboru robots.txt je můžete povolit nebo zakázat každého zvlášť.
Tabulka robotů
| Provozovatel | User-agent | K čemu slouží |
|---|---|---|
| OpenAI | GPTBot | Sběr dat pro trénink modelů |
| OpenAI | OAI-SearchBot | Indexování pro vyhledávání v ChatGPT |
| OpenAI | ChatGPT-User | Načtení stránky na žádost uživatele |
| Anthropic | ClaudeBot | Sběr dat pro trénink modelů |
| Anthropic | Claude-SearchBot | Indexování pro vyhledávání v Claude |
| Anthropic | Claude-User | Načtení stránky na žádost uživatele |
| Perplexity | PerplexityBot | Indexování pro vyhledávání v Perplexity |
| Perplexity | Perplexity-User | Načtení stránky na žádost uživatele |
Googlebot | Vyhledávání Google včetně AI Overviews | |
Google-Extended | Pravidlo v robots.txt pro využití obsahu v Gemini. Není to samostatný robot a na vyhledávání nemá vliv. | |
| Microsoft | Bingbot | Vyhledávání Bing a Copilot |
| Apple | Applebot-Extended | Pravidlo pro využití obsahu při tréninku modelů Apple |
| Meta | Meta-ExternalAgent | Sběr dat pro AI produkty společnosti Meta |
| Common Crawl | CCBot | Veřejný archiv webu, který využívá řada AI projektů |
Názvy a účel robotů se mění. Před úpravou robots.txt si aktuální stav ověřte v dokumentaci provozovatele.
Tři účely, tři rozhodnutí
- Trénink. Obsah se použije k učení modelu. Na viditelnost v odpovědích má vliv jen dlouhodobě.
- Vyhledávání. Stránka se zařadí do indexu, ze kterého AI čerpá při odpovídání. Pro GEO je to nejdůležitější skupina.
- Načtení na žádost. Robot přijde ve chvíli, kdy uživatel pošle odkaz nebo se zeptá na konkrétní web.
Ukázka robots.txt
Povolení robotů pro vyhledávání a načítání na žádost:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
Soubor robots.txt je jen doporučení. Přístup může robotům zablokovat i ochrana serveru nebo síť pro doručování obsahu, proto zkontrolujte i tam.
Časté otázky
Mám AI roboty povolit, nebo zakázat?
Pokud chcete být v odpovědích AI vidět, povolte aspoň roboty pro vyhledávání a pro načítání na žádost uživatele. Roboty pro trénink modelů můžete posoudit zvlášť.
Zabrání zákaz v robots.txt tomu, aby o mně AI mluvila?
Ne. AI může čerpat z jiných webů, které o vás píší. Zákaz jen omezí použití obsahu z vašeho vlastního webu.