Индексация сайта
Индексация сайта — процесс, при котором поисковый робот (краулер) обходит страницы сайта, скачивает их содержимое и добавляет в базу данных поисковой системы — индекс. Только проиндексированные страницы могут появляться в результатах поиска: если страница не попала в индекс, для Яндекса и Google её не существует. Когда говорят, что «сайт не индексируется», имеют в виду именно это — страницы есть, но поисковик их не знает и не показывает пользователям.
Краулер Яндекса — Яндекс-бот — непрерывно обходит интернет по ссылкам. Когда он впервые встречает адрес нового сайта, визит не означает немедленного попадания страниц в выдачу: после обхода они проходят анализ качества, и только затем поисковик решает, добавлять их в индекс или нет. Для нового сайта этот цикл занимает от нескольких дней до нескольких недель. Ускорить его можно: добавить сайт в Яндекс Вебмастер, загрузить туда sitemap.xml и запросить переобход страниц вручную через соответствующий инструмент.
Чаще всего новый сайт не появляется в поиске по одной из трёх причин. Первая — страницы намеренно закрыты от индексации: в файле robots.txt прописан запрет или в коде стоит тег <meta name="robots" content="noindex">. Вторая — sitemap.xml не настроен, и краулер просто не знает о существовании внутренних страниц. Третья — сайт слишком молодой, и робот ещё не успел его обойти. Реже причина кроется в технических ошибках сервера: коды 4xx и 5xx мешают краулеру загрузить страницу, и та остаётся вне индекса.
Проверить статус индексации легко: в поисковой строке Яндекса набрать site:ваш-домен.ru. Если страниц нет — сайт не проиндексирован. Подробную картину даёт Яндекс Вебмастер: в разделе «Индексирование → Страницы в поиске» видно, сколько страниц принято, сколько отклонено и по какой причине. Там же находится инструмент «Переобход страниц», позволяющий поставить конкретный URL в приоритетную очередь к роботу.
Пример: кафе запустило сайт с 10 страницами. Через три недели хозяин замечает, что в выдаче Яндекса находится только главная. В Яндекс Вебмастере выясняется: sitemap не загружен, а в robots.txt по ошибке стоит запрет на обход всего сайта. После исправления robots.txt и добавления карты сайта остальные страницы попадают в индекс в течение недели — и трафик из поиска начинает расти.