Close

Что с этим ботом googleweblight делать?

В последнее время массово идут запросы от google proxy из их подсети c юзерагентом:
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Используется сервис так: https://googleweblight.com/?lite_url…//www.site.com

Не понимаю, или это реально индусы используют этот сервис для ускорения загрузки страниц или кто-то сайт целиком парсит.
Как понять?

Хочется заблочить эту дыру для парсинга сайта от имени гугла.

Источник

Добавить комментарий