Сегодня в новостях вышла статья под названием: "В Яндекс.Поиск снова попали конфиденциальные данные"
Это очередная, уже ставшая нам привычным, статья о том, что в поиск попали личный данные. На этот раз с сайтов: Сбербанка и ВТБ, департамента транспорта Москвы и билетной кассы Trip.com.
Заинтересовала цитата приведенная в статье:
Владельцы сайтов просто не понимают сам процесс индексирования и поэтому неправильно расставляют эти файлики robots.txt, которые должны лежать в определенных директориях. Владельцы сайтов, естественно, не могут правильно их настроить, чтобы ненужные конфиденциальные файлы не регистрировались в этих поисковых машинах. |
Что имеется в виду под этими словами: "лежать в определенных директориях"?
Что за директории и где лежать – на юзерский язык переведите – заранее багодарен