часто гуглбот заходит на главную страницу и robots.txt (~2k per day), но больше никуда не идет, ни на .xml карты, ни на .html карты, ни на другие страницы.
с robots.txt вроде все нормально, проверял тестером роботс.тхт на
в чем может быть проблема?
всем спасибо