Было в моей жизни такое время, когда не знал абсолютно ничего про сайтостроение и уж тем более не догадывался про существование файла robots.txt. По мере изучения данной сферы, наконец-то подошел и к этому вопросу. Зачем он нужен и почему на форумах много тем, связанных с этим файлом? А если возникают вопросы, значит на них обязательно найдутся ответы.

Robots.txt – это текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего интернет-ресурса, которые нужно скрыть от индексации и как следствие от посторонних глаз.

Зачем скрывать определенное содержимое сайта?

Ответ прост. Вряд ли Вы обрадуетесь, если поисковый робот проиндексирует файлы администрирования сайта, в которых могут храниться пароли или другая секретная информация. Robots направляет поисковых ботов на путь истинный , указывая что можно, а что нельзя индексировать, но также может содержать в себе и информативную составляющую. К примеру, можно указать путь к карте сайта, что поможет роботам быстрее найти все странички, или указать главное зеркало сайта (прописать директиву host), чтобы склеить два домена с www и без www (только для Яндекса).

Всегда нужно помнить о безопасности. Этот файл может посмотреть любой желающий, поэтому не нужно указывать в нем явный путь к административным ресурсам (панелям управления и т.д.). Как говориться меньше знаешь, крепче спишь. Поэтому если на страницу нет никаких ссылок и Вы не хотите ее индексировать, то не нужно ее прописывать в роботсе, ее и так никто не найдет, даже роботы-пауки.

Наличие файла обязательно! Первое что делает поисковый робот, придя на сайт – это проверяет как раз этот файл, если он его не обнаружит, то может уйти ни с чем…

Сразу же хочу сказать, что поисковые системы по разному относятся к этому файлу. Например, Яндекс безоговорочно следует его правилам и исключает запрещенные страницы из индексирования, в то время как Google воспринимает этот файл как рекомендацию и не более . Т.е. гугл может успешно поместить в индекс запрещенные страницы не смотря на все ограничения. Его основной аргумент – если на страницу ссылаются, значит она может появится в поисковой выдаче. Самое верное решение – не ссылаться на такие страницы, но позвольте, файл robots.txt как раз и предназначен для того, чтобы выкинуть из выдачи такие страницы, а если они там появились, значит на них есть ссылки…