Собственно сабж.
В последнии две недели наблюдается бешеный рост проиндексированных страниц запрещенных в robots.txt, и это не 10-20 стр.
Казалось бы типичная ситуация – на страницу появилась внешняя ссылка либо на данную страницу достаточное количество внутренних ссылок и гоша кушает ее.
Но, загвоздка в том что ни внешних, ни коем образом кучи внутренних нет. На каждую такую страницу есть всего одна такая ссылка на самом сайте.
Ну для примера, у нас адаптив и мы для моб версии выводим ссылку на полную версию /?version=full
Либо у нас постраничный вывод ?page=2… Тут ситуация такая же и даже каноникл есть, но в индексе.
В последнии две недели наблюдается бешеный рост проиндексированных страниц запрещенных в robots.txt, и это не 10-20 стр.
Казалось бы типичная ситуация – на страницу появилась внешняя ссылка либо на данную страницу достаточное количество внутренних ссылок и гоша кушает ее.
Но, загвоздка в том что ни внешних, ни коем образом кучи внутренних нет. На каждую такую страницу есть всего одна такая ссылка на самом сайте.
Ну для примера, у нас адаптив и мы для моб версии выводим ссылку на полную версию /?version=full
Либо у нас постраничный вывод ?page=2… Тут ситуация такая же и даже каноникл есть, но в индексе.
А теперь о парадоксах – удаляю страницы в ГСК. Пара дней и – Здравствуйте, мы снова в индексе.
Вообще первый раз с подобным сталкиваюсь, перепроверил на 4-5 сайтах, нет таких проблем ни у оного.
сейчас уже убрал такие конструкции и на подобные ссылки поставил 301, но это уже скорее отчаянные меры.