Всем привет, задаюсь вопросом, есть ли какие-то преимущества файла robots.txt перед тегом роботс ? Обычно для того что бы скрыть страницы от индексации использую тег роботс так как он надежнее, а файл robots.txt у меня примерно такой.
User-agent: * Disallow: Sitemap: https://domain.com/sitemap.xml
Когда открываю файл роботс у конкурентов – вижу что почти все его используют, отсюда возникает вопрос, есть ли какие-то преимущества robots.txt перед мета роботс и в каких случаях его лучше использовать ?