Close

Парсинг каталога без бана

Хочу парсить каталог айтемов (тайтл, теги, категория, картинки, но без полного копирования описания), насколько реально получить бан от гугла? Мне не нужен прямой трафик из поисковиков на этот каталог, трафик на каталог будет перенаправляться ссылкой с главной страницы. Возможен ли такой вариант? Может хватит обычного robots.txt?

Спасибо

Источник

Добавить комментарий