http://cs-monik.ucoz.net/ Форум Tue, 09 Oct 2012 05:30:25 GMT uCoz Web-Service https://cs-monik.ucoz.net/forum/11-7-1 Tue, 09 Oct 2012 05:30:25 GMT Форум: <a href="https://cs-monik.ucoz.net/forum/11">Правильный robots.txt для uCoz и быстрая индексация сайта</a><br />Автор темы: cs-monik<br />Автор последнего сообщения: cs-monik<br />Количество ответов: 0 <div align="center">Файл Sitemap - это файл с информацией о страницах сайта. С помощью файла Sitemap вы можете сообщить поисковой системе, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексация каких страниц наиболее важна. <br /> Здесь вы можете сформировать необходимый Google и Yandex XML-код для сайта. А также создать визуальную карту сайта онлайн, которую сможете разместить на одной из ваших страниц. <br /> Подробнее о XML-формате файла Sitemap можно прочитать на sitemaps.org</div> Правильный robots.txt для uCoz и быстрая индексация сайта cs-monik https://cs-monik.ucoz.net/forum/11-7-1 https://cs-monik.ucoz.net/forum/11-6-1 Mon, 08 Oct 2012 16:02:22 GMT Форум: <a href="https://cs-monik.ucoz.net/forum/11">Правильный robots.txt для uCoz и быстрая индексация сайта</a><br />Описание темы: Зачем нужен файл robots.txt<br />Автор темы: cs-monik<br />Автор последнего сообщения: cs-monik<br />Количество ответов: 0 <span style="color:red"><span style="font-size:13pt;"><div align="center">Здравствуйте!</div></span></span> <div align="center">Было в моей жизни такое время, когда не знал абсолютно ничего про сайтостроение и уж тем более не догадывался про существование файла robots.txt. По мере изучения данной сферы, наконец-то подошел и к этому вопросу. Зачем он нужен и почему на форумах много тем, связанных с этим файлом? А если возникают вопросы, значит на них обязательно найдутся ответы. <br /><br /> Robots.txt – это текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего интернет-ресурса, которые нужно скрыть от индексации и как следствие от посторонних глаз. <br /><br /> <span style="color:red">Зачем скрывать определенное содержимое сайта?</span> <br /><br /> Ответ прост. Вряд ли Вы обрадуетесь, если поисковый робот проиндексирует файлы администрирования сайта, в которых могут храниться пароли или другая секретная информация. Robots направляет поисковых ботов на путь истинный , указывая что можно, а что нельзя индексировать, но также может содержать в себе и информативную составляющую. К примеру, можно указать путь к карте сайта, что поможет роботам быстрее найти все странички, или указать главное зеркало сайта (прописать директиву host), чтобы склеить два домена с www и без www (только для Яндекса). <br /><br /> Всегда нужно помнить о безопасности. Этот файл может посмотреть любой желающий, поэтому не нужно указывать в нем явный путь к административным ресурсам (панелям управления и т.д.). Как говориться меньше знаешь, крепче спишь. Поэтому если на страницу нет никаких ссылок и Вы не хотите ее индексировать, то не нужно ее прописывать в роботсе, ее и так никто не найдет, даже роботы-пауки. <br /><br /> <span style="color:red">Наличие файла обязательно!</span> <span style="color:purple">Первое что делает поисковый робот, придя на сайт – это проверяет как раз этот файл, если он его не обнаружит, то может уйти ни с чем…</span> <br /><br /> Сразу же хочу сказать, что поисковые системы по разному относятся к этому файлу. Например, <span style="color:red">Яндекс безоговорочно следует его правилам и исключает запрещенные страницы из индексирования</span>, в то время как Google воспринимает этот файл как рекомендацию и не более . Т.е. <span style="color:green">гугл может успешно поместить в индекс запрещенные страницы не смотря на все ограничения.</span> Его основной аргумент – если на страницу ссылаются, значит она может появится в поисковой выдаче. Самое верное решение – не ссылаться на такие страницы, но позвольте, файл robots.txt как раз и предназначен для того, чтобы выкинуть из выдачи такие страницы, а если они там появились, значит на них есть ссылки… <br /> </div> <br /><br /> <span style="font-size:15pt;"><div align="center"><span style="color:blue">Удачи</span> <span style="color:red">в</span> <span style="color:purple">раскрутке</span> <span style="color:yellow">сайта</span> <span style="color:gray">!</span><span style="color:green">!</span><span style="color:orange">!</span></div></span> <br /><br /> <div align="center"><a class="link" href="http://cs-monik.ucoz.net/index/pravilnyj_robots_txt_dlja_ucoz_i_bystraja_indeksacija_sajta/0-26" rel="nofollow" target="_blank"><span style="font-size:15pt;"><span style="color:red"><--- обратно в тему</span></span></a></div> <br /><br /> <div align="center"><span style="color:red"><span style="font-size:15pt;">Если статья ВАМ помогла, поставьте на своем сайте ссылку на наш сайт и мы в дальнейшем будет помогать вам дальше, такими статьями.</span></span></div> Правильный robots.txt для uCoz и быстрая индексация сайта cs-monik https://cs-monik.ucoz.net/forum/11-6-1