Привет.
Есть сайт, средне-большой)
Яндекс по запросу site:конкурент.ру показывает 110 тысяч результатов
гугл – 95 тысяч
Как собрать все его категории и подразделы?
Карты сайта у него нет. sitemap.xml указанный в роботсе – не работает?
Чем можно собрать? Подскажите пожалуйста
Я думал Screaming Frogом сделать – но мне кажется это будет очень долго.