Добрый день!
Поступил вопрос от клиента – как закрыть сайт от роботов-краулеров Similarweb, что бы не видна была посещаемость?
Собственно, я догадываюсь, что инфу они берут из разных источников, но все же как закрыть доступ к сайту именно их краулерам?
Как зовут их user-agent?
Поступил вопрос от клиента – как закрыть сайт от роботов-краулеров Similarweb, что бы не видна была посещаемость?
Собственно, я догадываюсь, что инфу они берут из разных источников, но все же как закрыть доступ к сайту именно их краулерам?
Как зовут их user-agent?