Close

Странный robots.txt, что с этим делать?

Доброго времени суток, форумчане.
Сегодня, на одном сайте, увидел такие строчки в robots.txt:
User-agent: *
Disallow: /
Allow: /$
Allow: /ua/$
Allow: /en/$

На сколько я понимаю "User-agent: * | Disallow: /" запрещает сайт для индексации как Гуглу так и Яндексу, но строчки "Allow: /$ | Allow: /ua/$ | Allow: /en/$" разрешают индексировать главную страницу на 3 языках. На сколько это профессиональное решение или это больше на чушь похоже?
Просто для меня такие строки являются непонятными, если кто-то может помочь и объяснить, буду благодарен.

Источник

Добавить комментарий