Недавно в Яндекс вебмастере появилась возможность самому задавать скорость сканирования сайта, выставил 10 запросов в сек. для пробы, вот график запросов к мускулю.
Приход роботов теперь виден сразу – появились явные свечки до 500 запросов в сек и выше. В логах смотрю, реально с разных айпи (иного с одного) поступает до 10 запросов на разные страницы в 1 сек.
Есть кто максимум выставил в 30 запросов в сек?