Co je AI crawler

Autor: Jan Rychlý · Aktualizováno

Robot AI nástroje

Definice

AI crawler je robot, kterým provozovatel AI nástroje načítá obsah webových stránek: pro trénink modelů, pro vyhledávání nebo jednorázově na žádost uživatele.

Příklad

GPTBot sbírá data pro trénink modelů OpenAI, OAI-SearchBot indexuje stránky pro vyhledávání v ChatGPT.

Proč na tom záleží

Pokud robotům zakážete přístup, AI nemůže obsah vašeho webu použít. Nastavení se řídí souborem robots.txt a ochranou serveru.

Související pojmy