SEO-продвижение        10 июля 2016        340         0

Создаем файл Robots.txt

robot_big

Всем привет! Сегодня мы с вами будем разбираться как составить файл robots.txt. Описание и предназначение его было в этой статье. Здесь же мы будем говорить о составлении robots.txt.

Для начала нужно создать в Блокноте Windows файл с названием robots, и расширение у него должно быть txt.

Далее разберемся с командами для поисковых роботов:

— User-agent – эту команду должны выполнять все роботы;

— Disallow – это «запрещающая» команда для поисковых роботов, показывает, где запрещено проводить индексацию;

— Allow – это «разрешающая» команда, которая, в отличии от предыдущей, показывает роботам где нужно проводить индексацию;

— Host – эта команда показывает поисковым роботам главное зеркало нашего сайта;

— Sitemap – это файл с информацией о страницах нашего сайта (карта нашего сайта), которые поисковые роботы должны индексировать. Расширение у этого файла должно быть xml.

А теперь рассмотрим примеры:

— User-agent: Mediapartners-Google

Disallow: — как теперь видно, это «запрет» на проверку роботом-поисковиком от Google;

— User-agent: Googlebot-Image

Allow: /wp-content/uploads/: — а здесь наоборот роботу Google разрешено индексировать эту папку. Здесь проверяться изображения. Так же эту папку нужно открыть для поискового робота от Яндекса — User-agent: YandexImages.

55208801

Запрещаем поисковикам индексировать следующие папки:

— wp-includes – папка со служебными файлами;

 — wp-feed – здесь содержатся служебные файлы;

 — wp-content/plugins – папка с плагинами;

 — wp-content/cache – здесь хранятся кэшированные страницы;

 — wp-content/themes – это папка с темами WordPress.

Вот хорошо зарекомендовавший себя файл robots.txt. Он установлен на моем блоге. Сам файл взят из замечательного бесплатного курса «Как сделать сайт легко и просто» авторства Евгения Вергус. (Кстати, данный блог создан именно по этому курсу).

User-agent: Mediapartners-Google

Disallow:

 

User-agent: *

Disallow: /wp-includes

Disallow: /wp-feed

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Host: new-webmaster-ok.ru

Sitemap: http://new-webmaster-ok.ru/sitemap.xml

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: YandexImages

Allow: /wp-content/uploads/

Так же этот файл можно создать с помощью плагина PC-Robots.txt. Но, мне кажется, применение плагина приведет к излишней нагрузке. Поэтому лучше его создать вручную.

Размещаем наш файл robots.txt на хостинге, только в корневой папке сайта.

Вот в принципе и все.

Пока.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *