Файл robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Этот файл автоматически генерируется системой. В файл можно вносить любые требуемые изменения. Если потребуется, вы всегда сможете восстановить стандартный вариант, нажав соответствующую кнопку.
Проверить, корректен ли ваш robots.txt для Яндекса, и протестировать внесенные изменения можно в «Вебмастер Yandex»
Проверить robots.txt для Google и Bing можно соответственно в "Google Webmaster Tools" и "Bing Webmaster", но для этого требуется авторизация в аккаунтах соответствующих поисковых систем.
Подробнее о файле robots.txt вы можете узнать из следующих статей:
- Яндекс — Использование robots.txt
- Google — Robots.txt Specifications (на английском)
