Robots.txt

Загрузка Robots.txt на сервер.

Приветствую читателей блога «Мои тараканы»!

Недавно убедился в необходимости делать более подробные статьи. Что я имею в виду? Помню, как не так давно самому приходилось прыгать с одного блога на другой, собирая информацию по крупинкам. Ведь то, что одним может показаться само собой разумеющимся, другим может создать кучу головной боли, возможно даже не на один день. Например, я как-то писал о такой фишке для блога, как robots.txt. Это была, скорее, общая информация, так сказать, для общего развития, имеющая не очень большую практическую ценность, потому что блоггер поопытней, в принципе, мало чего нового из неё узнал бы, а у новичка, только что создавшего свой первый блог, после прочтения возникнет масса новых вопросов (кто был новичком — меня поймёт).

Попытаюсь исправить ситуацию. Сегодняшний пост написан по просьбе одной моей читательницы, подробный мануал по загрузке файла на сервер и устранению возможных неполадок. И так приступим...

Устанавливаем правильный редактор для создания и загрузки robots.txt на сервер по FTP

Первым делом нужно установить «правильный» редактор. Я настаиваю на использовании Notepad++. Почему именно Notepad++?

1. Notepad++ пытается сократить мировые выбросы углекислого газа. Благодаря оптимизации, насколько это возможно без потери удобства пользователей, процессор использует меньше ресурсов, компьютер снижает энергопотребление, в результате сохраняется окружающая среда 🙂 .

2. О преимуществах Notepad++ можно говорить много, но для нас сейчас актуальна его бесплатность и возможность загрузки редактируемых файлов сразу на сервер.

Установить данный блокнот не составит труда. Для этого переходим на официальный сайт http://notepad-plus-plus.org. В принципе, все программы желательно скачивать с официальных сайтов, таким образом можно немного обезопасить свой компьютер от вирусов и других неприятных вещей. Зачем рисковать, скачивая программу, скажем, с торрента, когда её же можно скачать с официального сайта и не опасаться, что под её видом может маскироваться троян.

Слева мы видим такую менюшку. Нас интересует пункт Download.
Установка Notepad++
Выбираем первый пункт для загрузки установщика. После его загрузки появляется окно выбора языка.

Установка Notepad++.

Жмём «OK». Для корректной установки желательно закрыть все работающие программы.

Установшик программы

Дальнейшая установка, думаю, не составит проблем. Жмём «Далее», выбираем папку для установки, выбираем нужные компоненты (если вы не специалисты, лучше оставить как есть), после этого можно поставить галочку для создания иконки на рабочем столе.

Настраиваем FTP соединение для загрузки файла robots.txt на сервер.

Запускаем блокнот.
Теперь нам нужно настроить соединение по FTP. Для этого нажимаем на иконку со звеньями, чтобы появилось окошко соединения с сервером. В открывшемся окне жмем на шестерёночку, и в выпадающем списке выбираем «Profile settings».

Настройка FTP

Придумываем название для нашего соединения.

Имя профиля.

Заполняем поля Hostname — IP-адрес сервера (узнаём у хостера), Username — имя пользователя и пароль (создаётся в учётной записи на хостинге). Больше ничего трогать не нужно.

Натройка соеденения

Нажимаем «Close». Теперь, чтобы соединится жмём иконку «Connect» и выбираем нужный профиль (если у вас их несколько).

Выбираем нужный профиль

Древовидное вложение файлов.Если соединение произошло успешно, в окошке слева мы увидим все папки и файлы сайта в древовидном виде.

Если у вас несколько сайтов, выбираем нужный, и в корневой директории сайта (это папка в которой находятся все файлы вашего сайта, в моем случае это public_html, но у вас она может носить другое имя, например www), создаём новый файл. Для этого двойным кликом ЛКМ (левой клавишей мыши) или просто нажав на плюсик, открываем папку public_html и где-нибудь внутри кликаем ПКМ (правой клавишей мыши), выбираем «Create new file».

Создать новый файл

Называем наш файл «robots.txt».

Настраиваем robots.txt

Открываем файл для редактирования, два раза кликнув по нему ЛКМ или выбрав «Download file» ПКМ. Сейчас он совершенно пустой. Теперь в него нужно вставить следующий код:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: moi-tarakany.ru
Sitemap: http://moi-tarakany.ru/sitemap.xml.gz
Sitemap: http://moi-tarakany.ru/sitemap.xml

Замените значения Host и Sitemap на свои.

ОБРАТИТЕ ВНИМАНИЕ: чтобы не было ошибок в директории Host, URL блога указывается без стандартного протокола соединения (http://), а Sitemap нужно указывать с ним.

В директории Host вы должны указать, в каком виде предпочитаете видеть адрес блога, с префиксом www или без него. Это нужно для того, чтобы поисковики знали, по какому адресу нужно индексировать сайт. Хотя адреса www.site.com иsite.com и указывают на файлы одного и того же сайта, но для ПС это два совершенно разных домена.

По большому счёту, не имеет разницы, какой вариант выбрать — с www или без него, лично я предпочел без префикса — moi-tarakany.ru. Но учтите, что, если вы выбрали какое то значение, то точно такое же значение нужно указать в настойках WordPress.

Общие настройки

Не забываем указать главное зеркало и в панели веб-мастера Яндекс и Гугл.

Пару слов о сайтмап — файл Sitemap.xml сообщает поисковикам о доступных для сканирования страницах сайта. Если у вас ещё нет этого файла, его обязательно нужно создать. Для генерирования Sitemap существует масса различных плагинов.
Если ваш сайт имеет большое количество страниц, имеет смысл сгенерировать сжатую копию файла — sitemap.xml.gz (поисковики прекрасно понимают сжатую версию).

Вернёмся к нашим баранам. Сейчас вкладка с именем файла подсвечивается красным, это значит, что он после редактирования ещё не сохранён. Чтобы изменения вступили в силу, файл нужно сохранить (комбинация Ctrl+S). Файл сохраняется и сразу же перезаписывается на сервере.

Давайте проверим результаты нашего труда. Чтобы посмотреть на содержимое robots.txt любого сайта, нужно к его адресу добавить /robots.txt. Например роботс моего блога можно увидеть по адресу http://moi-tarakany.ru/robots.txt.

Вот в принципе всё. Что бы подытожить хочу сказать, что с помощью Notepad++ мы можем создать не только роботс.txt , но и отредактировать практически любой имеющийся на сервере файл. Предлагаю просмотреть видео в котором можно подробнее ознакомиться с воможностями Notepad++:

Если я что-то забыл упомянуть или у вас возникли вопросы, отпишитесь в комментариях.

Чуть было не забыл...

Список Dofollow блогов:

http://bymosk.net
http://kyoks.ru
http://netbloga.ru
http://seogad.ru — после нескольких.
http://seo73.ru
http://zlob.in
http://ecofriendly.ru
http://blog.sjinks.pro
http://xstroy.com
http://www.seo-konkret.ru
http://www.tu-tu-tu.com
http://nikopo.blogspot.com
http://illustrator.org.ua

Чтобы узнавать о новых статьях, предлагаю Вам подписаться на обновления по RSS или по почте! Также Вы можете следить за моим щебетом в Твиттере.

P.S.Отдельное спасибо Ирине, за вклад внесённый в создание этого поста.

С уважением, Мышак Пётр.

Похожие записи:

Понравилась статья? Расскажи друзьям, автор очень старался:
16 комментариев на:
“Как загрузить robots.txt для WordPress на сервер по FTP (подробный мануал)”
  • Ирина говорит:

    Пётр,спасибо за статью. Я всё сделала. Всё получилось. Ура. Но теперь у меня вопрос по другому поводу: как создать файл index.html. , что в нём должно быть записано и в какую папку или папки его помещать. Назначение этого файла мне известно, хотелось бы побольше информации. Ещё раз мерси )))

    • Пётр говорит:

      Интересно, с какой целью интересуетесь? К блогу на WordPress index.html имеет лишь косвенное отношение. Так положенно чтобы главная страница сайта называлась index.html, но это относится к сайтам написанным на HTML. Современные сайты написанны с использованием серверных языков програмирования, например PHP. В них страницы формируются из нескольких файлов. Для вашего блога index.html не нужен. Там уже всё есть.

      При использовании других CMS главная страница может быть доступна по нескольким адресам: site.com, site.com/index.html, site.com/index.php — в следствии чего возникает каноническое дублирование контента. WordPress же автоматически перенаправляет на нужний URL.

      Так что не заморачивайтесь.

  • oknaseller говорит:

    Петр, раз уж вы решили писать подробные статьи, напишите, пожалуйста, как вы выбрали содержание файла robots.txt и считаете ли его оптимальным? Я просто помню, что когда я изучал этот вопрос для Jooml`ы, разные авторы предлагали разные варианты этого файла (с небольшими отличиями)

    • Пётр говорит:

      Содержание моего robots.txt отличается от приведенного в примере. Можете проверить. В примере приведён набор основных инструкций.

  • denis говорит:

    Откуда берется Ип адрес моего Фтп если у меня бесплатный хостинг Вордпресс?

    • Пётр говорит:

      Это нужно узнавать у хостера или переходить на профессиональный (естественно платный) хостинг. Кстати, хотелось бы взглянуть на пациента.

  • Дмитрий говорит:

    Спасибо за полезную статью!

  • Igor говорит:

    всем приветик отпишитесь кто может это сделать обещаю поместить к себе на страницу разные ссылки тока на общих правах адрес моего сайта bus-arenda.com.ua

    robots.txt выглядит вот так

    User-agent: *

    Disallow: /cgi-bin

    Disallow: /wp-

    Disallow: *?s=

    Disallow: *?attachment_id=

    Disallow: */feed

    Disallow: /xmlrpc.php

    Sitemap: bus-arenda.com.ua/sitemap.xml

    Host: bus-arenda.com.ua

  • lucasbertone говорит:

    Спасибо, Пётр, статья оказалась, в очередной раз, очень полезной!

  • ина говорит:

    спасибо за информацию

    • Пётр говорит:

      И Вам спасибо за очень развернутый комментарий.

  • Ирина говорит:

    А вы можете проанализировать мой robots, у меня такое чувство что что-то не так, потому что когда отчеты смотрю загружено для индексации много файлов а проиндексировано в 3 раза меньше?

  • Игорь говорит:

    А у меня почему-то «категории» проиндексировались 🙁 установил плагин WordPress SEO — правда не везде в нем проставил ноиндекс, так час назад смотрю в гугле все повылазило. Вот сейчас в плагине корректировку провел, посмотрю чего будет.

Добавить комментарий

Перед комментированием ознакомтесь с правилами комментирования
  • Все комментарии проходят ручнуюю модерацию, поэтому большая прозьба - НЕ СПАМИТЬ!!!
  • Подписывайтесь нормальными именами, а не "регистрация в Москве" или "Кондиционеры не дорого".
  • Ссылки на коммерческие сайты будут удалятся.
  • Оставляйте ссылку на главную страницу.
  • Оставляйте комментарии длинной не менее 100 символов. Исключения - диалоги и ответы на заданные вопросы.
Внимание! Один раз в неделю блог прходит проверку на наличие битых ссылок. Если ваш сайт в это время не был доступен, ссылка на него будет удалена!
За собой оставляю право редактировать и удалять комментарии, даже если они удовлетворяют вышепреведённый свод правил.