Crawler

Crawler je robotický program, který využívají vyhledávače k procházení webového obsahu a jeho indexaci. Indexace rozhoduje o zařazení stránek do výsledků vyhledávání.