Работаю над одним проектом с новым разработчиком. Проект почти закончен, когда делала анализ, обнаружила, что нет файлов robots.txt и sitemap. Веб-мастер сказал, что он их никогда не делает. sitemap не проблема сгенерировать и обновлять, а вот robots.txt пока не совсем ясно, как корректно создать. В связи с чем вопрос: создание этих файлов – обычно задача сеошника или разраба?