На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.
Сегодня в индексе куча страниц, которые были скрыты в роботсе 🙁
В их числе и дубли и технические страницы типа оформлений заказов 🙁
Piligrim4x4
Ничего удивительного! Это же Яша 🙂
Xubart
META NOINDEX для него указ?
Х.З.
Xubart: На днях прилетело сообщение, что нет РОБОТС TXT На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.
Сегодня в индексе куча страниц, которые были скрыты в роботсе 🙁 В их числе и дубли и технические страницы типа оформлений заказов 🙁
Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения – блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.
Had
Уже 2-3 недели мне приходит по многим сайтам и по роботс тхт, что их нет и прочие бредни. Забил, не обращаю внимание.
awasome
Xubart: На днях прилетело сообщение, что нет РОБОТС TXT На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.
А прочитать сообщение слабо? Так написано про привязку счетчика к ВЕБМАСТЕРУ.
Xubart:
Сегодня в индексе куча страниц, которые были скрыты в роботсе 🙁 В их числе и дубли и технические страницы типа оформлений заказов 🙁
Яндекс давно игнорит роботс с каноникал, пора привыкнуть.
Jet D.
Х.З.: Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения – блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.
Вот это ужасный совет. Даже не говоря о том, что под разными UA парсит (в. т.ч. данные с реальных браузеров), так еще и клоакинг будет со всеми вытекающими.
Xubart
На днях прилетело сообщение, что нет РОБОТС TXT
На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.
Сегодня в индексе куча страниц, которые были скрыты в роботсе 🙁
В их числе и дубли и технические страницы типа оформлений заказов 🙁
Piligrim4x4
Ничего удивительного! Это же Яша 🙂
Xubart
META NOINDEX для него указ?
Х.З.
На днях прилетело сообщение, что нет РОБОТС TXT
На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.
Сегодня в индексе куча страниц, которые были скрыты в роботсе 🙁
В их числе и дубли и технические страницы типа оформлений заказов 🙁
Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения – блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.
Had
Уже 2-3 недели мне приходит по многим сайтам и по роботс тхт, что их нет и прочие бредни. Забил, не обращаю внимание.
awasome
На днях прилетело сообщение, что нет РОБОТС TXT
На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.
А прочитать сообщение слабо? Так написано про привязку счетчика к ВЕБМАСТЕРУ.
Сегодня в индексе куча страниц, которые были скрыты в роботсе 🙁
В их числе и дубли и технические страницы типа оформлений заказов 🙁
Яндекс давно игнорит роботс с каноникал, пора привыкнуть.
Jet D.
Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения – блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.
Вот это ужасный совет. Даже не говоря о том, что под разными UA парсит (в. т.ч. данные с реальных браузеров), так еще и клоакинг будет со всеми вытекающими.