Robots.txt. Назначение.

Robots.txt – очень важный файл, в который запрещает поисковику индексировать те или иные страницы. С помощью robots.txt можно полностью закрыть сайт в случае его создания или реконструкции.

robot
Это может понадобиться, если вам нужно какие-либо разделы вашего ресурса скрыть от пользователей и поисковых систем.
Такими страницами могут быть:
• Несколько версий одной и той же страницы, которые могут склеить поисковики.
• Страницы с паролями и секретной информацией
• Страница поиска по сайту
• Служебные страницы
• Разделы только для определенных лиц
Сам по себе robots.txt – это файл, созданный в текстовом редакторе, под соответствующим именем и прописанными инструкциями для поисковых роботов, или директивами. Чтобы он работал, нужно совершить следующий алгоритм действий:
1. Проверить файл в сервисе Яндекс.Вебмастер или Google Webmaster Tools (GWT)
2. Загрузить файл в корневую директиву сайта.
Поисковики по-разному относятся к этому файлу – если Яндекс точно следует инструкции, то Google лишь принимает во внимание. Кроме того, с помощью файла можно указать, какие именно поисковики могут индексировать сайт.
В этом файле можно указать путь к карте сайта или к зеркалу вашего ресурса, а также дать рекомендацию относительного того, как часто индексировать сайт. Однако, не стоит в robots.txt указывать путь к административным ресурсам. Также robots.txt защищает сайт от спам-роботов, которые могут собирать электронные адреса и выполнять на них спам-рассылку.
Robots.txt можно использовать и для других целей. Например, там можно помещать рекламу, размещать вакансии, оставить контакты самого веб-мастера, создавшего этот файл, либо предупреждения для других веб-мастеров.
Стоит помнить, что robots.txt –это первое, на что обращает внимание поисковик.