slovník pojmů

Robots.txt

Robots.txt

Jedná se o textový soubor umístěný na serveru, který vyhledávacím robotům (crawlerům) říká, které části webu mají nebo nemají prohledávat.