Похожие темы:
- Страницы выпадают из индекса Google, из-за закрытия в robots.txt, хотя они там открыты
- Search Console – откуда страницы с переадресацией?
- правильно сделан ли роботс тхт в опенкарте?
- правильно сделан ли роботс тхт в опенкарте? – Раскрутка сайтов, SEO
- robots.txt 2020: для рукописного сайта Codeinteger – Интернет-маркетинг, SEO
KeicH2O
Конеш я не спорю, что нужно читать рекомендации яндекса и гугла, что нужно читать и разбираться. Я не спорю может с тем, что вопрос задал не корректно, если бы разбирался во всем этом и вопрос был бы поставлен как нужно. Дело в том что к примеру я знаю какие разделы или категории нужно закрыть на сайте, но я не знаю всех системных вещей. К примеру раньше закрывали wp-content, теперь рекомендуют этого не делать. Я не совсем понимаю к примеру, какие скрипты для загрузки нужны поисковикам с системных папок cgi-bin. Я хочу чтобы в ПИ небыло мусора как feed, который есть в скрытых результатах гугла, но нету в яше. Хочу чтобы ПИ правильно подгружали скрипты и картинки. Не знаю правильно ли щас изложил мысли). Может вообще уже ничего закрывать ненужно от роботов, может гуглойд и яша научились не парсить в индекс всякий мусор
————————-
Примечание модератора
Предыдущая тема: /ru/forum/828288
Zegeberg
Что-то запутался, надо закрыть от индекса пагинацию меток типа
Оставить только
Сейчас стоит
и
Как последнюю директиву подкорректировать, чтобы были открыты только метки с html окончанием. то есть основные страницы?
На ум пришло
Но ум слаб – не работает.
Решил, может кому пригодится
а
Убрать.
Павел Горбунов
Добрый день помогите кто чем может настроить более менее правильно файл роботс для ПИ гугла и яндекса
Пациент значит mywebpc.ru
Так у вас нормально все.
phex
Новый сайт, статей уникальных почти 50, гугл за 4 дня проиндексировал от силы 10 статей и 10 других страниц, а теперь все выплюнул и в индексе 6 страниц. Виной возраст сайта или проблема скорее в другом? Роботс (вордпресс) выглядит так:
Disallow: /wp-admin/
Disallow: /?p=
Disallow: /?s=
Disallow: /search
Disallow: */page/
Disallow: */feed
Disallow: /tag/*/page/
Allow: /wp-admin/admin-ajax.php
Host: https://мой урл
Sitemap: https://мой урл/sitemap.xml
infotime
Всем привет!
Правильный ли запрет на индексацию постраничной навигации в битрикс?
Страницы идут такого типа /?PAGEN_1=2 /?PAGEN_1=3 и тд.
В robots.txt
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGEN_7=
Станислав Романенко
Правильно так:
Disallow: /*?PAGEN_*=
Disallow: /*&PAGEN_*=
infotime
Правильно так:
Disallow: /*?PAGEN_*=
Disallow: /*&PAGEN_*=
Спасибо!….
[Удален]
Виной возраст сайта или проблема скорее в другом?
Зайти в вебмастер и посмотреть религия не позволяет?
Radrigo
Всем привет.
Подскажите, как правильно закрыть для индексации все страницы для печати в движке DLE в robots.txt?
Страницы для печати имеют примерно такие ссылки
Какой вариант будет правильнее?
Disallow: *print:*
Disallow: /*print:
Disallow: /*print:*
Или может как то по другому?
manic
Какой вариант будет правильнее?
Или может как то по другому?
Именно для этих двух страниц сработает такая директива:
А проверить, стали ли они запрещены в роботсе можно в Вебмастере Яндекса https://webmaster.yandex.ru/site/tools/robotstxt/ (выберите нужный сайт) и потом в это поле http://take.ms/VqJuN вставьте те страницы, которые хотите запретить и увидете результат.
nik_kent
Именно для этих двух страниц сработает такая директива:
Дабы не запретить случайно страницы формата sait.ru/news/obshestvo/tut-sprinter-probezhal лучше делать маску как можно больше, а при наличии “:” в урлах, которые нужно запретить грех этим не воспользоваться.
В общем, так безопаснее:
P.S. Что удивительно, проверка роботса в вебмастере Яндекса правильно реагирует на двоеточие в конце.