В авторитетном SEO блоге пишут об этом – https://yoast.com/wordpress-robots-txt-example/
В серч консоле ругается на закрытие includes, themes. Но в Яндексе замечаю (если убрать роботс) в статистике обхода wp-json, feed и т.п. дребедень, склоняюсь к тому что надо под Яндекс отдельно настраивать. А как вы поступаете?