SEO-продвижение        10 июля 2016        397         2

О файле robots.txt

kak_ne_popast_pod_filtr_ags-3

Всем привет! Сегодня я хотел бы поговорить с вами о таком интересном файле, как robots.txt. Но, давайте начнем немного издалека.

Что такое ваш сайт? Это определенный набор файлов и папок. И здесь есть один нюанс. Некоторые файлы и папки мы бы не хотели показывать другим. Верно?

Так вот, что делает поисковый робот, когда приходит к нам на сайт. Сначала он ищет определенную инструкцию, по которой должен совершить проверку сайта. И эта инструкция (файл) называется — robots.txt.

В этом файле прописывается «маршрут» этого самого поискового робота. Где ему дозволено смотреть, а где нет. Так вот, он двигается согласно «разрешенному маршруту» (папки и файлы) и ищет там уникальную информацию т.е. ваши статьи (контент). Затем робот заносит это все в свою базу данных.

А что будет делать поисковый робот, когда не найдет файла robots.txt? Он будет действовать «напролом», т.е. просматривать все файлы и папки, которые есть в корневой директории. В итоге это уйдет много времени, и робот может пропустить какие-то важные для продвижения статьи. Но там ведь еще есть файлы настроек, созданные для наших личных целей. И мы бы не хотели, чтобы все это было открыто другим.

Вот специально для этого и создается файл robots.txt. Правильно создав свой robots.txt, вы будете уверены в том, что робот просмотрит только нужные ему файлы. А те, которые не хотели бы ему показывать – он не увидит, вернее не будет их просматривать.

mini_8

Но, о составлении файла robots.txt, будет отдельная статья.

А пока что все. Пока.

Обсуждение: 2 комментария
  1. Никогда не вникала в то, как его правильно составлять))а для своих проектов, всегда сеошников прошу)) Однако, при переносе клиентских сайтов (ну или иных крупномасштабных доработках, при которых нужно разворачивать копию сайта на тестовом домене) всегда при помощи роботса закрываю сайт от индексации.

    Ответить
  2. Сергей:

    роботс — это рекомендации, а не инструкции. В индекс спокойно могут попадать страницы скрытые в роботсе

    Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *