Домой / WordPress / Как сделать robots.txt для WordPress
Как сделать robots.txt для WordPress

Как сделать robots.txt для WordPress

Приветствую, друзья! В этом уроке мы поговорим о создании файла robots.txt, который показывает роботам поисковых систем, какие разделы Вашего сайта нужно посещать, а какие нет.

Фактически, с помощью этого служебного файла можно указать, какие разделы будут индексироваться в поисковых системах, а какие нет.

Создание файла robots.txt

1. Создайте обычный текстовый файл с названием robots в формате .txt.

2. Добавьте в него следующую информацию :

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: /tmp/
Disallow: *?s=

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: /tmp/
Disallow: *?s=

Host: site.com
Sitemap: http://site.com/sitemap.xml

3. Замените в в текстовом файле строчку site.com на адрес Вашего сайта.

4. Сохраните изменения и загрузите файл robots.txt (с помощью FTP) в корневую папку Вашего сайта.

5. Готово.

Для просмотра и скачки примера, нажмите кнопку ниже и сохраните файл (Ctrl + S на клавиатуре).

Скачать пример файла robots.txt

Разбираемся в файле robots.txt (директивы)

Давайте теперь более детально разберем, что именно и зачем мы добавили в файл robots.txt.

User-agent — директива, которая используется для указания названия поискового робота. С помощью этой директивы можно запретить или разрешить поисковым роботам посещать Ваш сайт. Примеры:

Запрещаем роботу Яндекса просматривать папку с кэшем:

User-agent: Yandex
Disallow: /wp-content/cache

Разрешаем роботу Bing просматривать папку themes (с темами сайта):

User-agent: bingbot
Allow: /wp-content/themes

Allow и Disallow — разрешающая и запрещающая директива. Примеры:

Разрешим боту Яндекса просматривать папку wp-admin:

User-agent: Yandex
Allow: /wp-admin

Запретим всем ботам просматривать папку wp-content:

User-agent: *
Disallow: /wp-content

В нашем robots.txt мы не используем директиву Allow, так как всё, что не запрещено боту с помощью Disallow — по умолчанию будет разрешено.

Host — директива, с помощью которой нужно указать главное зеркало сайта, которое и будет индексироваться роботом.

Sitemap — используя эту директиву, нужно указать путь к карте сайта. Напомню, что карта сайта является очень важным инструментом при продвижении сайта! Обязательно указывайте её в этой директиве!

Если остались какие-то вопросы — задавайте их в комментарий. Если же информации в этом уроке для Вас оказалось недостаточно, рекомендую почитать подробнее о всех директивах и способах их использования перейдя по этой ссылке.


Приветствую, друзья! В этом уроке мы поговорим о создании файла robots.txt, который показывает роботам поисковых систем, какие разделы Вашего сайта нужно посещать, а какие нет. Фактически, с помощью этого служебного файла можно указать, какие разделы будут индексироваться в поисковых системах, а какие нет. Создание файла robots.txt 1. Создайте обычный текстовый файл с названием robots в формате .txt. 2. Добавьте в него следующую информацию : User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes…

Обзор

Создание и настройка robots.txt

Рейтинг: 4.62 ( 22 голосов )
100

18 комментариев

  1. Дмитрий

    Александр, добрый день! Есть пару вопросов на тему robots.txt, отпишите мне на почту пожалуйста! Спасибо!=)

  2. Можете посмотреть мой robots.txt rezmaster.ru

  3. Дмитрий

    petrovich.org.ua/robots.txt проверьте мой и скажите все ли там правильно. Спасибо.

    • Если все что вы открыли/закрыли от ботов вас устраивает, то в остальном все хорошо. Конечно, я немного сомневаюсь в необходимости добавлять Allow: /wp-content/uploads/ и вот такого Allow: /*/*/*.js*, но тут уже все индивидуально.

  4. Дмитрий

    Если честно то я не очень разбираюсь во всем этом, вы бы не могли мне помочь написать правильный роботс?

  5. Дмитрий

    Спаибо!

  6. Забрел на ваш сайт, спасибо

  7. Добрый! скажите, возможно ли сгенерировать роботс тхт автоматически?
    к примеру, нашла несколько бесплатных плагинов в самой системе WP

  8. подскажите пожалуйста нормальный ли роботс у меня , сайт fortunastom.ru Заранее благодарю

  9. Надежда

    Александр, подскажите, пожалуйста, что может означать строчка внизу файла robots.txt такого написания Sitemap: http://mamaimarusya.ru/sitemap.xml.gz (что обозначает gz ?)
    Заранее спасибо.

  10. На кой прописывать User-agent: Yandex если у вас уже прописаны те же правила для всех роботов? User-agent: *

  11. Александр

    Вставил Ваш robots повылетали все страницы. Контент в товаре пропал вместе с картинками. Почему так произошло? Как исправить?

Оставить комментарий

Ваш email не будет опубликован.

*