Как сделать правильный Robots.txt для продвижения сайта

Как сделать правильный Robots.txt для продвижения сайта

риветствую всех своих посетителей сайта. Сегодняшняя статья будет посвящена такому прекрасному файлу, как robots.txt. Хотелось бы поделится тем, как правильно сгенерировать данный файл, а так же рассказать, как данный файл влияет на продвижение сайта в целом.

На сегодняшний день, многие начинающие специалисты интересуются данным файлом. Даже более, не только интересуются, но и стараются его самостоятельно настроить. Почему такое пристальное внимание к роботсу? Бытует мнение, что от правильности настройки зависит то, как в дальнейшем сайт будет двигаться в выдаче. Если честно, данное утверждение, на мой взгляд, не имеет ничего общего с правдой, хотя файл действительно важен, но не так, как это расписывают «гуру».

Какого тогда роль роботса вообще? По сути robots.txt служит для скрытия страниц от поисковых глаз. Это основная его задача. Особенно актуально это, когда Вы пользуетесь CMS. Именно движки создают тонну дублей, которые можно спокойно закрыть в файле robots.txt. Кстати, хотел бы Вам порекомендовать статью: «Влияет ли CMS сайта на продвижение и на позиции в целом«. Актуальная информация, да и упомянул я в этой статье о CMS.

Вернемся к robots.txt. Далее я покажу, что означает каждая запись в файле и дам Вам идеальную структуру роботса под Яндекс и Google. Но перед тем, как переходить к подробному изучению параметров, давайте узнаем все таки, что же такое роботс.

Robots.txt — это текстовый файл, который находится в папке с сайтов (на хостинге). В данном файле указывают инструкции, которые нужно сделать на сайте. Как правило, почти все инструкции связаны с индексацией страниц и сайта в целом.

Основные команды в robots.txt

Disallow: / — блокирует доступ ко всему сайту
Disallow: /admin — блокирует доступ к страницам начинающимся с admin

Allow: / — разрешает доступ ко всему сайту
Allow: /admin — разрешает доступ к страницам начинающимся с admin

«*» — спецсимвол, который обозначает любой набор символов. Обычно применяется при использовании директив Allow и Disallow.

Sitemap: — директива показывающая поисковому роботу, где находится карта сайта. Запомнив один раз адрес карты сайта, в дальнейшем поисковый робот обращается по данному адресу. Пример использования: Sitemap: http:// site.ua/sitemap.xml

Host: — директива указывающая какое зеркало у ваших сайтов является Главным. Разумеется используется если у вашего сайта есть зеркала.

Это основные параметры, которые можно встретить в файле robots.txt. Ниже, идеально составленный robots.txt для яндекса, а затем и для гугла.

Пример роботса для Яндекса:

User-agent: Yandex

Disallow: /admin

Host: ivansotsenko.com.ua
Sitemap: http://ivansotsenko.com.ua/sitemap.xml

Пример роботса для Google:

User-agent: Googlebot

Disallow: /admin

Host: ivansotsenko.com.ua
Sitemap: http://ivansotsenko.com.ua/sitemap.xml

Есть еще один вариант, который чаще всего встречается. Этот вариант, как правило, не написан под разные поисковые системы, напротив, он все их объединяет.

Пример:
User-agent: *

Disallow: /admin

Host: ivansotsenko.com.ua
Sitemap: http://ivansotsenko.com.ua/sitemap.xml

Заключение: я пользуюсь последним вариантом. Мне он как — то больше приглянулся. Вы же, можете выбрать тот robots, который именно Вам нравится. Все они правильные и помогут Вам в продвижении сайта.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

©2016-2020 Ivan Sotsenko. Все права защищены.