Close

robot.txt

Если на сайте все страницы должны быть доступны для поисковиков, то нужно ли создавать robot.txt?
Если для этого случая нужен robot.txt, то будет ли этих строк достаточно?
User-agent: *
Disallow:

Сообщение в Yandex Webmaster:
Не найден файл robots.txt
Робот не смог получить доступ к файлу robots.txt при последнем обращении. Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.
Добавьте файл robots.txt.

Сообщение в Google Console:
На сайте не обнаружен файл robots.txt. Робот будет сканировать весь контент без ограничений.

Источник

Добавить комментарий