Подскажите такой вопрос, есть роботс на данный момент который вот так выглядит
Код
User-agent: *
Disallow: /profile
Disallow: /registr
Disallow: /profile
Disallow: /registr
Host: https://site.ru/
Sitemap: https://site.ru/sitemap.xml
User-Agent: Yandex
Sitemap: https://site.ru/sitemap.xml
User-Agent: Googlebot
Sitemap: https://site.ru/sitemap.xml
Нужно ли дублировать директивы Disallow: для каждого бота, или достаточно в общем?
Нужно ли ссылку на карту сайта каждому боту отдельно прописывать
Хоста достаточно в общем (под звездочкой)