В последнее время массово идут запросы от google proxy из их подсети c юзерагентом:
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Используется сервис так:
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Используется сервис так:
Не понимаю, или это реально индусы используют этот сервис для ускорения загрузки страниц или кто-то сайт целиком парсит.
Как понять?
Хочется заблочить эту дыру для парсинга сайта от имени гугла.