Всем привет.
Хочется парсить очень много выдачи гугла (топ 100, разные локации) достаточно длительный период на linux-сервере.
Какие сейчас наиболее эффективные способы по затратам? Вот такие вопросы появились:
- Какие нужны ip-адреса? ipv4 или ipv6?
- Нужно иметь свои сервера с большим количеством ip-адресов или лучше использовать прокси с большим пулом адресов?
- Эффективны ли мобильные (4G/LTE) ip-адреса для этих задач?
- Есть ли библиотеки или сервисы для ocr разгадывания recaptcha2 (не human-based вроде антигейта), насколько они эффективны?
- Стоит ли вообще разгадывать капчу или лучше менять айпишники постоянно?
- Есть ли ускорение за счет того что, запрашивать можно 1 страницей по 100 результатов (или лучше просить 10 по 10)
- Есть ли какие-то рекомендации по эмуляции браузера (нужна ли она вообще или лучше в много потоков запрашивать игнорируя эмуляцию)?