Robots.txt
Jedná se o textový soubor umístěný na serveru, který vyhledávacím robotům (crawlerům) říká, které části webu mají nebo nemají prohledávat.
Jedná se o textový soubor umístěný na serveru, který vyhledávacím robotům (crawlerům) říká, které části webu mají nebo nemají prohledávat.