странные вещи наблюдаю с новым сайтом
некоторые разделы сайта (например форум) закрыты от индексации в роботсе, но ПС (особенно яндекс) упорно индексируют новый контент
при этом если в вебмастере проверить ссылку – то она якобы закрыта для индексации в роботсе
но на деле прекрасно индексируется
и инструмент удаления этой ссылки в яндексе не работает (пишет что удалено, но в поиске она есть).
мистика какая-то
что делать? что проверить?