| |
Следующий пример файла "/robots.txt" определяет, что ни один робот не должен посещать любой URL начинающийся с "/cyberworld/map/" или с "/tmp/":
# robots.txt для http://www.site.com/ User-agent: * Disallow: /cyberworld/map/ # Это бесконечное виртуальное URL пространство Disallow: /tmp/ # это скоро исчезнет
Данный пример файла "/robots.txt" определяет, что ни один робот не должен посещать любые URL начинающиеся с "/cyberworld/map/", за исключением робота именующегося "cybermapper":
# robots.txt для http://www.site.com/ User-agent: * Disallow: /cyberworld/map/ # Это бесконечное виртуальное URL пространство # Cybermapper знает где можно ходить. User-agent: cybermapper Disallow:
Этот пример индицирует, что ни один робот не должен посещать данный сайт вообще:
# уходите User-agent: * Disallow: /
Закладки на сайте Проследить за страницей |
Created 1996-2024 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |