Есть задача:
1) получить список всех доменов из выдачи Гугла\Яндекса по определенному запросу. Интересует получение максимально большого списка.
2) пробить все домены из полученного списка по основным параметрам (возраст, страниц в индексе, кол-во входящих\исходящих, трафик по возможности)
Подскажите, чем можно это сделать?
Ответы:
1. Попробуйте
Если нужно регулярно, то есть ТОПОЛОВ, ежедневно/по расписанию собирает топ:
2. ТОП-50 – мало. А если нужно ТОП-1000, например?
3. Просто именно для Анализа редко кто больше 50 смотрит…
По факту анализ проводят по топ 10-20, а 500-1000 для других целей.
4. Я бы посоветовал Вам использовать , а также XEvil для обхода капч при парсинге
Лучшей связки на данный момент еще не встречал.
5. Для вашей задачи подойдет программа Datacol. С помощью нее делайте парсер (это проще простого, примеры на сайте разработчика есть). А потом для разгадывания капчи используйте XEvil, чтобы не тратиться на ******у. Даже если Вы будете парсить выдачу через прокси, то капча все-равно начнет вылазить постоянно с учетом того, что вы хотите максимально углубиться в ТОП.
6. Если одноразово, то:
– с помощью для хрома скрапим выдачу (предварительно в настройках поиска указываем показывать максимальное количество результатов за раз)
– с помощью rds api пробиваем полученные домены по желаемым показателям.
7. Список доменов из Топа Яндекса и Гугла можно вытянуть через сервис ПиксельТулс , но до Топ-50.
По поводу проверки параметров у вытянутых доменов, то поможет анализ сайтов , но он уже платный…