Robots.txt для WordPress

Robots.txt для WordPress

Доброго времени суток, уважаемые читатели блога Moi-tarakany.ru !

Сегодня я хочу рассказать о такой важной вещи как файл robots.txt для блога на WordPress.
Для тех, кто не знает robots.txt это текстовый документ, размещенный в корне сайта, в котором заключается информация, предназначенная для поисковых роботов, которые приходят проиндексировать ваш блог.

В нём указывается, каким поисковикам, какие страницы или разделы запрещено индексировать, какие же разрешено.

Казалось бы, зачем прятать информацию о контенте от поисковиков?

Этот вопрос был бы актуален, если бы ваш сайт состоял из простых HTML страниц, что сейчас бывает довольно редко.

При использовании различных CMS,часто возникает дублирования контента, что не есть гуд. К примеру, эта статья попадёт на главную страницу, в разделы категории, тэги, архив, комментарии и т.д... При этом её «вес» рассеивается. Что бы статья имела больший «вес» в глазах поисковиков мне нужно запретить индексирование разделов category, tag, archive, comments — соответственно. Если вы используете SEO все-в-одном индексацию категорий, тэгов и архива можно запретить в настройках этого плагина.

Robots.txt можно создать в стандартном блокноте или использовать Notepad++ (более удобный вариант — не нужна дополнительная программа для загрузки файла на сервер) используя такие параметры:

User-agent — Имя робота (например Yandex или Googlebot) для которого предназначены следующие инструкции.
Allow — директории которые разрешено индексировать.
Disallow — директории которые запрещено индексировать
Host — основной домен.
Sitemap — путь к файлу sitemap.xml

Ниже пример готового robots.txt для блога на WordPress.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: moi-tarakany.ru
Sitemap: http://moi-tarakany.ru/sitemap.xml


Укажите свои параметры Host и Sitemap (если у Вас есть такой файл), и пользуйтесь на здоровье.
Разным поисковым роботам можно дать разные инструкции.
Для этого используется параметр User-agent
Подробнее о файле robots.txt для Яндекс можно узнать из первоисточника.
Если Вы всё таки решили создать его сами, проверить правильность составления можно воспользовавшись анализатором файла robots.txt

Чтобы узнавать о новых статьях, предлагаю Вам подписаться на обновления по RSS или по почте! Также Вы можете следить за моим щебетом в Твиттере.

С уважением, Мышак Пётр.

Похожие записи:

Понравилась статья? Расскажи друзьям, автор очень старался:
5 комментариев на:
“Инструкции для роботов в файле robots.txt”
  • Ирина говорит:

    Пётр, спасибо за статью. У меня вопрос: в какую папку в корне надо уложить этого «зверя»? )))

    • Пётр говорит:

      В папку Public_html или WWW (у разных хостеров она может называться по разному).

  • Виталий говорит:

    Пётр, не подскажите, в последнее время очень часто в поиске начал обнаруживать дубли страниц в которых в адресе на окончании стоит /feed, хотя у меня деректива Disallow: */feed прописана, не знаете в чем может быть дело? Кстати, такое наблюдается только в поиске google в яндексе нет.

  • name nika говорит:

    Петр, у меня к вам такой вопрос.Если я удаляла не нужные теги(так получилось) и они сейчас висят у меня в вебмастере гугл как ошибки не найдено. В роботсе у меня теги закрыты. Для того, чтобы они ушли нужно их открыть в роботсе?

Добавить комментарий

Перед комментированием ознакомтесь с правилами комментирования
  • Все комментарии проходят ручнуюю модерацию, поэтому большая прозьба - НЕ СПАМИТЬ!!!
  • Подписывайтесь нормальными именами, а не "регистрация в Москве" или "Кондиционеры не дорого".
  • Ссылки на коммерческие сайты будут удалятся.
  • Оставляйте ссылку на главную страницу.
  • Оставляйте комментарии длинной не менее 100 символов. Исключения - диалоги и ответы на заданные вопросы.
Внимание! Один раз в неделю блог прходит проверку на наличие битых ссылок. Если ваш сайт в это время не был доступен, ссылка на него будет удалена!
За собой оставляю право редактировать и удалять комментарии, даже если они удовлетворяют вышепреведённый свод правил.