В последнее время массово идут запросы от google proxy из их подсети c юзерагентом: Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 Используется сервис так: https://googleweblight.com/?lite_url…//www.site.com
Не понимаю, или это реально индусы используют этот сервис для ускорения загрузки страниц или кто-то сайт целиком парсит. Как понять?
Хочется заблочить эту дыру для парсинга сайта от имени гугла.