Подпишитесь на уведомления и узнайте первыми об акциях.

Создать сайт бесплатно на сервисе готовых сайтов UMI

Управление robots.txt

Файл robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Этот файл автоматически генерируется системой. В файл можно вносить любые требуемые изменения. Если потребуется, вы всегда сможете восстановить стандартный вариант, нажав соответствующую кнопку.

Проверить, корректен ли ваш robots.txt для Яндекса, и протестировать внесенные изменения можно в «Вебмастер Yandex»

Проверить robots.txt для Google и Bing можно соответственно в "Google Webmaster Tools" и "Bing Webmaster", но для этого требуется авторизация в аккаунтах соответствующих поисковых систем.

Подробнее о файле robots.txt вы можете узнать из следующих статей:

8-800-5555-864

Бесплатно по РФ

+7 (495) 662-87-59

Для звонков из Москвы

+7 (812) 309-68-23

Для звонков из Санкт-Петербурга