У меня запросы поисковых ботов пишутся в отдельый лог (чтоб плохих ботов отсеивать) и сейчас от нечего делать сделал статистику за день по одному из сайтов.
Может кому-то будет интересно. Формат – часть юзерагента и кол-во запросов за сутки
YandexBot/3.0 – 50013
Mail.RU_Bot/2.0 – 17593
bingbot/2.0 – 11268
Mediapartners-Google – 9083
YandexMobileBot/3.0 – 2824
Googlebot/2.1 – 2774
YandexImages/3.0 – 2710
YandexDirect/3.0 – 1781
Yahoo! Slurp – 751
GoogleImageProxy – 678
Mail.RU_Bot/Fast/2.0 – 660
Mail.RU_Bot/Img/2.0 – 177
YandexImageResizer/2.0 – 138
YandexAccessibilityBot/3.0 – 70
Googlebot-Image/1.0 – 69
googleweblight – 56
YandexVerticals/1.0 – 16
AdsBot-Google-Mobile – 2