Noindex
Noindex — это указание поисковому роботу, которое прописывается в мета-теге страницы: <meta name="robots" content="noindex">. Получив такую инструкцию, Яндекс и Google заходят на страницу, читают её содержимое и следуют по внутренним ссылкам — но не добавляют её в поисковый индекс. Результат: страница недостижима в выдаче ни по одному запросу, зато остаётся полностью доступной по прямой ссылке. Именно в этом смысл noindex: страница не исчезает для людей, она просто скрыта от поиска.
Ставят noindex там, где страница нужна пользователям, но не нужна в поисковой выдаче. Стандартные случаи: корзина, страница оформления заказа, личный кабинет — живые рабочие страницы, которые не должны ранжироваться по запросам. Дубли каталога с параметрами сортировки и фильтрации тоже закрывают через noindex: адреса /catalog?sort=price и /catalog?sort=name содержат один и тот же контент, и без noindex поисковик индексирует их как самостоятельные страницы, размывая ссылочный вес по дублям. Черновики и тестовые страницы на боевом URL — ещё один типичный кандидат.
Noindex часто путают с директивой Disallow в файле robots.txt, хотя они работают по-разному. Disallow запрещает роботу вообще заходить на страницу: он не читает её содержимое, не видит мета-теги внутри, не следует по ссылкам. Noindex разрешает роботу зайти и прочитать страницу — но запрещает добавлять её в индекс. Поэтому ставить Disallow и noindex на одну и ту же страницу одновременно бессмысленно: робот, заблокированный на входе через Disallow, никогда не добирается до тега noindex внутри кода. Из этих двух способов нужно выбрать один.
Самая распространённая ошибка — случайно оставить noindex на боевых страницах после переноса с тест-сервера. На тестовом домене noindex обычно ставят на весь сайт или на шаблон целиком, чтобы черновик не попал в поиск раньше времени. При запуске забывают убрать — и через несколько дней главная, посадочные и товарные страницы выпадают из индекса. Сайт открывается исправно, поэтому проблему обнаруживают только когда трафик уже упал. Найти закрытые noindex страницы можно в Яндекс.Вебмастере в разделе «Индексирование» или через отчёт об индексации в Google Search Console.