Все наверняка знают, что такое robots.txt, для чего он нужен и с чем
его едят. Если кто же все-таки не в курсе, robots.txt – это текстовый
файл, в котором содержатся инструкции для роботов поисковых систем.
В нем можно запрещать индексацию страниц или разделов на сайте,
указывать правильное зеркало домена, указывать наличие sitemap.xml.
Есть еще много различных функций команд, но мы поговорим о самых
основных, озвученных мною. И рассмотрим это на примере самого
популярного на сегодняшний момент движка WordPress.
Составление этого файла должно быть одним из первых действий при
создании сайта или его продвижении (если этого файла еще нет).
Естественно, главное именно правильное его составление, т.к. при
каких-либо недочетах могут возникнуть определенные проблемы с
индексацией. Бытует мнение, которое несколько раз доказано на практике,
что ПС иногда плюют на robots.txt и индексируют все подряд, но это
очень большая редкость и уже совсем другая история  Итак, какие команды потребуются нам для создания правильного роботса: Источник blog.dimok.ru
При копировании информациии ссылка на источник обязательна:
|
