Всем привет.
Вопрос знатокам. Настраивал сайт ,и по глупому совету, в момент разработки сайта открыл robot.txt.
На то время, в нем не были прописаны запреты на фильтры
В итоге в ПС Google попало около 4 тис страниц, хотя по факту их 135.
Потом разобрался, прописал правильно robot.txt ,ввел в запрет все служебные папки и все фильтры
В ручном режиме, через Google Search Console удалил порядка 2,5 тис страниц.
Индексированные страницы почистились.
Щас прошла новая индексация, и на одном, ненужном каталоге (производители) опять появилось 200 проиндексированных страниц, с фильтрами , которые запрещены в robot.txt
Вопрос:
Это Гугл игнорирует запреты робот.тхт и индексирует эти страницы или это возможно он их где-то с кеша достает. Т.к. после ручного удаления, в данном каталоге не было ниодной проиндексированной страницы, а щас опять 200 страниц, при этом URL такие, которых я раньше не удалял. (проверял командом site:http://сайт.com.ua/brands/
Откуда они взялись, если в robot.txt они закрыты.