Иногда бывают случаи, когда требуется скрыть некоторые страницы от "глаз" поисковых роботов: скрыть дубли страниц, незаполненные каталоги, и даже полностью скрыть сайт. Как это сделать мы с Вами узнаем в этой статье.
За нахождение страниц и каталогов сайта в индексе поисковых систем отвечает файл Robots.txt, находящийся в корневом каталоге Вашего сайта. По определению, robots.txt - это свод правил исключений для поисковых роботов. Данный файл состоит из набора правил и функций, которые разрешают или запрещают индексацию страниц, файлов или каталогов на сайте.
Для разрешения индексации используется директива Allow, для запрещения - Disallow. Весь список правил можно прописывать как для всех типов поисковых роботов, так и для каждого по отдельности. Тип поисковых роботов указывается в директиве UserAgent. Наиболее распространенные типы:
- User-agent: * - для всех роботов одновременно
- User-agent: Yandex - для всех роботов Яндекса
- User-agent: YandexBot - только для индексирующего робота Яндекса
- User-agent: Googlebot - для всех роботов Google
Для оптимизации сайта использовать файл Robots.txt просто необходимо. В индекс может попасть дублирующийся контент, страницы пагинации (разбитие большого ассортимента продукции на страницы). Также, при использовании систем управления контентом (CMS), необходимо закрыть от индексации страницы административной панели управления сайтом.
С данным инструментом можно как помочь сайту избавиться от ненужных страниц в индексе, так и навредить, по неопытности оптимизаторов. Внося определенные правила к запрету индексации необходимо проверять на доступность основных страниц для поисковых роботов. Будьте внимательней, и следите за тем, чтобы не запретить индексацию как важных страниц сайта, так и веб-ресурса целиком.
