Как быть с 404 ошибкой в данном случае?

Добрый день, подскажите как поступать с такими каталогами? Он отдает 404 ошибку. Правильно ли я понимаю, что его нужно закрыть от индексации. И сделать это нужно через robots… Источник