В гугл вебмастере высветилась такая ошибка. С каким урлом это произошло не написано. Есть варианты решения проблемы? Может кто сталкивался.
Ответы:
- Зайдите в новую консоль. Там в отчете можно найти проблемный урл.
- Ругается что url заблокированы в robots.txt . Ну понятное дело, не все страницы я хочу что бы были проиндексированы
Ошибка возникает из-за того что страница сначала была проиндексирована, а потом закрыта в роботсе от индексации, и гугл об этом говорит что мол ошибка. Отправил на повторную проверку. - Проиндексировано, несмотря на блокировку в файле robots.txt >> файл роботс не совсем гарантия от запрета индексирования, его предназначение–> запрет сканирования, запрет на индексирование это пароль, ноиндекс.