Close

файл robots.txt в dle — Интернет-маркетинг, SEO

Я правильно заполнил robots.txt?
вместо site.ru мой домен

User-agent: *
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: site.ru

User-agent: Yandex
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: site.ru

User-agent: Googlebot
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Источник

Добавить комментарий