Нужно открыть доступ для поддиректория при закрытом каталоге верхнего уровня.
Ставил так
:
Disallow: /search/
Allow: /search/online/
и наоборот
:
Allow: /search/online/
Disallow: /search/
Google не может проиндексировать
:
Получение страницы - Не удалось. Заблокировано в файле robots.txt
Возможно ли это обеспечить в robots?