Close

Как спарсить все сайты из выдачи по запросу

Есть задача:
1) получить список всех доменов из выдачи Гугла\Яндекса по определенному запросу. Интересует получение максимально большого списка.
2) пробить все домены из полученного списка по основным параметрам (возраст, страниц в индексе, кол-во входящих\исходящих, трафик по возможности)

Подскажите, чем можно это сделать?


Ответы:

1. Попробуйте https://seolib.ru/tools/keywords/top/
Если нужно регулярно, то есть ТОПОЛОВ, ежедневно/по расписанию собирает топ:
https://seolib.ru/info/monitoring_top

2. ТОП-50 – мало. А если нужно ТОП-1000, например?

3. Просто именно для Анализа редко кто больше 50 смотрит…
По факту анализ проводят по топ 10-20, а 500-1000 для других целей.

4. Я бы посоветовал Вам использовать https://a-parser.com/, а также XEvil для обхода капч при парсинге http://xevil.net
Лучшей связки на данный момент еще не встречал.

5. Для вашей задачи подойдет программа Datacol. С помощью нее делайте парсер (это проще простого, примеры на сайте разработчика есть). А потом для разгадывания капчи используйте XEvil, чтобы не тратиться на ******у. Даже если Вы будете парсить выдачу через прокси, то капча все-равно начнет вылазить постоянно с учетом того, что вы хотите максимально углубиться в ТОП.

6. Если одноразово, то:
– с помощью плагина для хрома скрапим выдачу (предварительно в настройках поиска указываем показывать максимальное количество результатов за раз)
– с помощью rds api пробиваем полученные домены по желаемым показателям.

7. Список доменов из Топа Яндекса и Гугла можно вытянуть через сервис ПиксельТулс https://tools.pixelplus.ru/tools/top-10, но до Топ-50.
По поводу проверки параметров у вытянутых доменов, то поможет анализ сайтов https://tools.pixelplus.ru/tools/analiz-saitov, но он уже платный…

Добавить комментарий