SEO-оптимизация сайта

Робот txt | Robots.txt

Робот txt  Robots Exclusion Protocol (файл Robots.txt) — еще один способ указать поисковым машинам, какие страницы индексировать и какие не следует индексировать.

  Рекомендую применять его только в данном виде:
User-agent: *
Disallow:
Host: www.домен вашего сайта.ru

  Если же у вас возникла необходимость скрыть какие-то страницы от поисковых машин вы можете прописать это при помощи файла robots.txt.

  Это не только увеличит ресурсы поисковых машин, потраченные на ваши важные страницы, но также поможет защитить ваш сайт от хакеров, которые могут в своих целях использовать результаты поисковой машины или заполучить важную информацию о вашем сайте. Спайдеры поисковых машин очень часто индексируют не только содержимое ваших страниц, но и то что они могут найти в сети, включая файлы, где хранятся пароли.

  Файл Robots.txt служит для того, чтобы помочь спайдерам поисковых машин в поиске страниц, а также указать им какие страницы индексировать не нужно.

  Незнание принципов создания и применения robots.txt зачастую приводит к проблемам. Очень многие вебмастера при ошибочном указании информации, находящейся в файлах robots.txt препятствуют спайдерам поисковых машин нормально их индексировать.

  Нужно помнить, что при заходе на ваш сайт поисковый робот первым делом проверяет наличие файла robots.txt. Если таковой имеется, то робот анализирует его и руководствуется полученным содержанием.

  Для того, чтобы поисковые машины никогда не зашли на ваш сайт достаточно прописать в файле robots.txt следующее:
User-agent: *
Disallow: ⁄

  И все! Эти строки запрещают определенным роботам просматривать заданные каталоги и страницы сайта. Звездочка означает, что указания распространяются на всех роботов, но если вы хотите, чтобы запрет действовал на какого-то отдельного робота, напишите вместо звездочки его имя.

  В строке Disallow следует указать файлы и каталоги, которые вы не хотите индексировать. В этом случае в файл Robots.txt будет выглядеть следующим образом:
User-agent: *
Disallow: ⁄название папки, которую вы прячете от поисковых роботов⁄

  Еще раз хочу обратить ваше внимание, на то, что прятать страницы и папки я не рекомендую.



Текстовые ссылки         SEO-оптимизация сайта         Карта сайта

Заказать поисковую оптимизацию сайта

  Для любого владельца сайта важно, чтоб его ресурс был качественным и привлекал как можно больше посетителей. Неважно, для чего вы создали свой сайт (обмен информацией, интернет-магазин, оказание услуг) – цель у вас одна:

ПРИВЛЕЧЬ КАК МОЖНО БОЛЬШЕ ПОСЕТИТЕЛЕЙ И СДЕЛАТЬ САЙТ ПРИБЫЛЬНЫМ

  Поисковая оптимизация как раз и предназначена для выведения вашего сайта на первые страницы поисковой выдачи, и привлечения на ваш сайт целевой аудитории.

ЗАКАЗАТЬ ПОИСКОВУЮ ОПТИМИЗАЦИЮ САЙТА

Полезная информация

Что нужно знать о

робот txt,
Robots.txt,
как сделать Robots.txt

Контакты
Полезные сервисы

Seo анализ сайтов

Регистрация сайта в каталогах, раскрутка и оптимизация сайта, контекстная реклама