Коллеги,
Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии. Понимаем, что дубли это плохо, нужно определиться и что-то закрыть от индекса. И в search console большое количество разных ошибок, связанных с индексацией страниц, 404, дублями и прочее
Решили поработать с robots.txt и максимально его снабдить запрещающими директивами.
Решили прописать вот такую директиву Disallow: /*.html . подумали, что проблема таким образом устранится. Затем посмотрели выдачу гугла с запросом site:нашсайт.ком/*/*/*.html нашли десятки тысяч страниц в выдаче, при наведении на тайтл гугл отображает ссылку с html при переходе срабатывает редирект на без html.
Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи? Сможет ли гугл их заново переиндексировать? Или просто уберет из выдачи? Не хотелось бы терять большой массив страниц с весом. При наличии небольшого корпоративного сайта не сомневался бы, здесь десятки и сотни тысяч, которые точно не будут обновляться, но висят в выдаче
Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии. Понимаем, что дубли это плохо, нужно определиться и что-то закрыть от индекса. И в search console большое количество разных ошибок, связанных с индексацией страниц, 404, дублями и прочее
Решили поработать с robots.txt и максимально его снабдить запрещающими директивами.
Решили прописать вот такую директиву Disallow: /*.html . подумали, что проблема таким образом устранится. Затем посмотрели выдачу гугла с запросом site:нашсайт.ком/*/*/*.html нашли десятки тысяч страниц в выдаче, при наведении на тайтл гугл отображает ссылку с html при переходе срабатывает редирект на без html.
Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи? Сможет ли гугл их заново переиндексировать? Или просто уберет из выдачи? Не хотелось бы терять большой массив страниц с весом. При наличии небольшого корпоративного сайта не сомневался бы, здесь десятки и сотни тысяч, которые точно не будут обновляться, но висят в выдаче