Robot AI nástroje
Definice
AI crawler je robot, kterým provozovatel AI nástroje načítá obsah webových stránek: pro trénink modelů, pro vyhledávání nebo jednorázově na žádost uživatele.
Příklad
GPTBot sbírá data pro trénink modelů OpenAI, OAI-SearchBot indexuje stránky pro vyhledávání v ChatGPT.
Proč na tom záleží
Pokud robotům zakážete přístup, AI nemůže obsah vašeho webu použít. Nastavení se řídí souborem robots.txt a ochranou serveru.