Начиная с апреля поисковый бот Яндекса перестал ходить по существующим html страницам с 200 ответом. На несуществующие страницы: 301, 404 и на pdf документы он почему-то заходит.
Отправка урлов на переобход через вебмастер не дает результатов, проверка новых страниц в вебмастере пишет, что новая страница неизвестна роботу, даже спустя неделю/две/месяц после ее отправки на переобход.
Саппорт яндекса подтвердил, что со стороны сайта проблем с индексацией нет (страницы доступны для индексации, не закрыты в роботс, нет мета noindex и т.д.), проблема с их стороны и они ее "решают". Но решать они могут ее месяц или год (пока что прошел месяц с момента обращения), а правки на сайте до сих пор не индексируются. Поэтому доверия к яндексу в этом вопросе не много.
Вопрос: кто сталкивался с подобным, в чем может быть проблема и как ее решили?