Přehled AI crawlerů a jejich user-agentů

Autor: Jan Rychlý · Aktualizováno

AI crawler je robot, kterým provozovatel AI nástroje načítá obsah webů. Některé sbírají data pro trénink modelů, jiné stránky indexují pro vyhledávání a další je načítají jednorázově, když se uživatel zeptá. V souboru robots.txt je můžete povolit nebo zakázat každého zvlášť.

Tabulka robotů

ProvozovatelUser-agentK čemu slouží
OpenAIGPTBotSběr dat pro trénink modelů
OpenAIOAI-SearchBotIndexování pro vyhledávání v ChatGPT
OpenAIChatGPT-UserNačtení stránky na žádost uživatele
AnthropicClaudeBotSběr dat pro trénink modelů
AnthropicClaude-SearchBotIndexování pro vyhledávání v Claude
AnthropicClaude-UserNačtení stránky na žádost uživatele
PerplexityPerplexityBotIndexování pro vyhledávání v Perplexity
PerplexityPerplexity-UserNačtení stránky na žádost uživatele
GoogleGooglebotVyhledávání Google včetně AI Overviews
GoogleGoogle-ExtendedPravidlo v robots.txt pro využití obsahu v Gemini. Není to samostatný robot a na vyhledávání nemá vliv.
MicrosoftBingbotVyhledávání Bing a Copilot
AppleApplebot-ExtendedPravidlo pro využití obsahu při tréninku modelů Apple
MetaMeta-ExternalAgentSběr dat pro AI produkty společnosti Meta
Common CrawlCCBotVeřejný archiv webu, který využívá řada AI projektů

Názvy a účel robotů se mění. Před úpravou robots.txt si aktuální stav ověřte v dokumentaci provozovatele.

Tři účely, tři rozhodnutí

  • Trénink. Obsah se použije k učení modelu. Na viditelnost v odpovědích má vliv jen dlouhodobě.
  • Vyhledávání. Stránka se zařadí do indexu, ze kterého AI čerpá při odpovídání. Pro GEO je to nejdůležitější skupina.
  • Načtení na žádost. Robot přijde ve chvíli, kdy uživatel pošle odkaz nebo se zeptá na konkrétní web.

Ukázka robots.txt

Povolení robotů pro vyhledávání a načítání na žádost:

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Soubor robots.txt je jen doporučení. Přístup může robotům zablokovat i ochrana serveru nebo síť pro doručování obsahu, proto zkontrolujte i tam.

Časté otázky

Mám AI roboty povolit, nebo zakázat?

Pokud chcete být v odpovědích AI vidět, povolte aspoň roboty pro vyhledávání a pro načítání na žádost uživatele. Roboty pro trénink modelů můžete posoudit zvlášť.

Zabrání zákaz v robots.txt tomu, aby o mně AI mluvila?

Ne. AI může čerpat z jiných webů, které o vás píší. Zákaz jen omezí použití obsahu z vašeho vlastního webu.

Lidé také hledají