ШаблоныТарифыПартнерамНовостиБлогПомощьПосмотреть сайты

Управление robots.txt

Файл robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Этот файл автоматически генерируется системой. В файл можно вносить любые требуемые изменения. Если потребуется, вы всегда сможете восстановить стандартный вариант, нажав соответствующую кнопку.

Проверить, корректен ли ваш robots.txt для Яндекса, и протестировать внесенные изменения можно в «Вебмастер Yandex»

Проверить robots.txt для Google и Bing можно соответственно в "Google Webmaster Tools" и "Bing Webmaster", но для этого требуется авторизация в аккаунтах соответствующих поисковых систем.

Подробнее о файле robots.txt вы можете узнать из следующих статей: