Индексация сайта - это процесс внесения сведений о страницах сайта роботами поисковой системы в базу данных. Полный набор сведений обо всех сайтах, находящихся в базе данных поисковой машины, называется индексом поисковой системы. Так как довольно часто происходят обновления информации на различных сайтах, а также постоянно создаются новые сайты - индекс периодически обновляется поисковой системой. Такое обновление называется Апдейтом.
В индекс поисковых систем попадают практически любые типы данных: текст, ссылки, изображения, аудио, видео, метаданные, различного рода документы, презентации и многое другое. Исключением являются лишь тексты, выводимые при помощи различных сценариев JavaScript, PHP, графический текст, а также Flash-объекты. Поэтому, если Вы хотите донести максимально полную информацию, расположенную на сайте, до поисковых машин - стоит избегать использования вышеперечисленных объектов. Также не рекомендуется создавать сайты целиком на Flash. Может по своей красоте и изящности они и превосходят свои аналоги, но чтобы попасть в индекс поисковых систем, придется изрядно постараться, но об этом мы подробней расскажем в одной из следующих статей.
Если же Вы хотите скрыть какую-либо информацию на страницах сайта от поисковых систем - необходимо составить правила в специальном файле Robots.txt, расположенном в корневом каталоге Вашего сайта, либо использовать мета-тег "Robots" с содержимым "noindex, nofollow". Более подробно о составлении правил Robots.txt и использование соответствующего мета-тега мы расскажем в одной из следующих статей.
Однако если даже все настройки индексирования корректно прописаны и установлены, процесс индексирования сайта зависит еще от других факторов: возраст домена, уровень посещаемости, объем и качество ссылочной массы, структура сайта, уровень вложенности страниц. Бывают и случаи, когда новые или обновленные страницы довольно длительное время не попадают в индекс поисковых систем. Первое, что необходимо предпринять - проверить корректность правил в файле Robots.txt. Если же Вы создали свой сайт не так давно - необходимо сообщить поисковым системам о появлении нового сайта. Сделать это можно с помощью специализированных сайтов - инструментов Вебмастера: для Яндекс - https://webmaster.yandex.ru, для Google - https://www.google.com/webmasters/tools/. На этих порталах существует специальные инструменты, для отправки робота на страницы сайта, которые необходимо проиндексировать, т.е. совершить "переобход страницы". Это самый быстрый и оптимальный способ проиндексировать страницу.
Также, есть и другие варианты: размещение ссылок на популярных ресурсах с большой посещаемостью, размещение ссылок на страницы сайта в социальных сетях, ну и, конечно же - грамотная оптимизация сайта. Стоит заметить, что индексация и оптимизация сайта тесно связаны между собой: без индексации сайта не может быть проведена грамотная и эффективная оптимизация, а без правильной оптимизации процесс индексации сайта может затянуться, или вовсе не произойти.
