Close

Допустим ли критический минимализм файла robots.txt

Коллеги, посмотрел robots.txt известного метеоресурса gismeteo у которого ИКС на текущую дату – 69000 и увидел там всего две строки следующего содержания:
User-agent: *
Disallow: /
сразу-же возникло много вопросов:
1. почему?
2. зачем?
3. а так можно?
4. а как можно?
5. а как же всё-таки нужно?
6. откуда тогда не маленький ИКС? Источник

Добавить комментарий