Решил я объявить войну ботам, и вот с чего начал.
Десяток ботов-индексаторов всякого барахла типа Ahfrefs забанил в роботс.тхт – не помогло. И тут я перешел к бане по IP-адресам и User-агентам, а этот процесс затягивает как воронка.
Самый действенный способ для честных ботов – это глушить их по User-Agent, благо они всегда пишут на своих сайтах, как их опознать и отличить. Инструкций в инете тьма тьмущая, так что повторять не буду. Хуже с роботами, которые косят под людей и ходят с человеческими User-agent-ами. Их я вылавливал по поведению: частота запроса страниц, время захода, подряд страниц на сессию и главное – IP адрес (кто, откуда, чего брал). В общем, стоило войти во вкус и за месяц насобирал 220 адресов, включая целые подсети, содержащие тысячи IP. Начал где-то в 20-х числах Февраля, и сегодня решил посмотреть итог.
Чего изменилось?
1. Очень лихо разгрузился канал. Я думал, что честные 50 мегабит – это космос, и забить его невозможно, ан нет.
2. Нагрузка на сервер, как ни странно, почти не изменилась, но у нас выделенный сервак, там не особо заметно.
3. Скорость загрузки страниц снизилась где-то в 2-3 раза. (по данным Google Analytics).
4. Невнятных дублей в Яндексе почти не появляется. (кстати, помогло отключение автоматической отправки URL на индексацию в Метрике).
Что не изменилось?
1. Не изменилась посещаемость с поисковиков и позиции – вообще никак.
2. Не изменилась скорость индексирования новых страниц.
Что интересно?
Самый большой интерес – пресловутые честные ПФ. Вот тут я заметил, что Google Analytics очень многих роботов считает за людей и учитывает их поведение, в Метрике это тоже есть, но не так ярко выражено. И я не могу понять, почему посещаемость не меняется, но меняются ПФ. То есть, ушла бы посещаемость на 1000 вниз и ПФ вверх – оно было бы логично, а так динамика визитов на нуле, а ПФ меняются.
Различия в ПФ
1. Время на сайте для одной сессии выросло где-то на 20-30%. (метрика)
2. Страниц на сессию – выросло на те же 20-30%. (Метрика, GA)
3. Отказы по Метрике – снизились где-то на 5-10%.
Сдаются ли роботы?
Нет, не сдаются. Вчера снял одну подсеть из бани, и уже сегодня снова занес обратно.