Як зробити правильний Robots.txt

robots txt

Вітаю всіх відвідувачів сайту. Сьогоднішня стаття буде присвячена такому чудовому файлу, як robots.txt. Хотілося б поділитися тим, як правильно згенерувати цей файл, а також розповісти, як цей файл впливає на просування сайту в цілому.

На сьогоднішній день, багато фахівців-початківців цікавляться даним файлом. Навіть більше, не лише цікавляться, а й намагаються його самостійно налаштувати. Чому така пильна увага до роботса? Існує думка, що від правильності налаштування залежить те, як надалі сайт рухатиметься у видачі. Якщо чесно, це твердження, на мій погляд, не має нічого спільного з правдою, хоча файл справді важливий, але не так, як це розписують «гуру».

Яка роль роботса взагалі? Насправді robots.txt служить для приховування сторінок від пошукових очей. Це його основне завдання. Особливо це актуально, коли Ви користуєтеся CMS. Саме CMS створюють тонну дублів, які можна спокійно закрити у файлі robots.txt. До речі, хотів би Вам порекомендувати статтю: «Чи впливає CMS сайту на просування та позиції в цілому». Актуальна інформація, та й згадав я у цій статті про CMS.

Повернемося до robots.txt. Далі я покажу, що означає кожен запис у файлі та дам Вам ідеальну структуру роботса під Google. Але перед тим, як переходити до детального вивчення параметрів, давайте дізнаємося все-таки, що ж таке роботс.

Robots.txt – це текстовий файл, який знаходиться у папці із сайтів (на хостингу). У цьому файлі вказують інструкції, які потрібно зробити на веб-сайті. Як правило, майже всі інструкції пов’язані з індексацією сторінок та сайту загалом.

Основні команди у robots.txt

Disallow: / – блокує доступ до всього сайту
Disallow: /admin – блокує доступ до сторінок, що починаються з admin

Allow: / – дозволяє доступ до всього сайту
Allow: /admin – дозволяє доступ до сторінок, що починаються з admin

“*” – спецсимвол, який позначає будь-який набір символів. Зазвичай застосовується при використанні директив Allow та Disallow.

Sitemap: – директива, яка показує пошуковому роботу, де знаходиться карта сайту. Запам’ятавши один раз адресу карти сайту, надалі пошуковий робот звертається за цією адресою. Приклад використання: Sitemap: http:// site.ua/sitemap.xml

Host: – директива, яка вказує, яке дзеркало у ваших сайтів є Головним. Звичайно використовується якщо у вашого сайту є дзеркала.

Це основні параметри, які можна зустріти у файлі robots.txt. Нижче ідеально складений robots.txt для гугла.

 

Приклад роботса для Google:

User-agent: Googlebot

Disallow: /admin

Host: ivansotsenko.com.ua
Sitemap: http://ivansotsenko.com.ua/sitemap.xml

Є ще один варіант, який найчастіше трапляється. Цей варіант, як правило, не написаний під різні пошукові системи, навпаки, він їх об’єднує.

 

Приклад:

User-agent: *

Disallow: /admin

Host: ivansotsenko.com.ua
Sitemap: http://ivansotsenko.com.ua/sitemap.xml

Висновок: я користуюсь останнім варіантом. Мені він якось більше сподобався. Ви ж можете обрати той robots, який саме Вам подобається. Всі вони правильні та допоможуть Вам у просуванні сайту.

Про мене:

Спеціаліст із SEO та PPC з досвідом роботи понад 10 років. Засновник школи SEOpractic.

Контакти:

Соціальні мережи:

Адреса: