Вставляю сайт, жму Старт и парсится только первая страница. Ставлю игнор robots.txt – без толку. Все остальные сайты нормально собираются.
Подскажите в чем проблема?
Подскажите в чем проблема?
Комментарии:
- 1. У вас в мета-тегах на главной стоит NOINDEX, NOFOLLOW и, скорее всего, включено в настройках лягухи не сканировать такие страницы.
- 2. Да, спасибо! В настройках нужно было поставить чекбоксы напротив двух пунктов: Follow Internal “nofollow” и Follow External “nofollow”. Скриншот:
- 3. Еще был случай, что хостер заблокировал их пауков (Screaming frog spider), пришлось в саппорт писать.
- 4. Если блокирует хостинг, то можно было в настройках программы сменить заголовки у паука – User-agent: Googlebot (как пример) и далее убедиться что в HTTP Header прописан поисковый бот, а не лягушкин 🙂 а вообще бежать от такого “хостера” нужно… 🙂