Технический аудит сайта: что мешает Яндексу вас проиндексировать

Почему технические ошибки важнее, чем кажется

Поисковый робот — не читатель. Он не оценивает, полезна ли ваша статья, насколько живой язык и есть ли в тексте реальный опыт. Робот сначала обходит сайт по ссылкам, скачивает страницы и разбирает их структуру. Только то, что он смог обойти и скачать, попадает в индекс. Всё остальное для поисковика не существует.

Если robots.txt запрещает обход раздела — робот туда не пойдёт. Если страница отвечает кодом 404 — она не проиндексируется. Если на сайте десятки страниц с одинаковым содержимым — Яндекс выберет одну «главную», остальные проигнорирует или понизит. Контент на этих страницах может быть образцовым, но он работать не будет.

Вот почему технический аудит делается до работы над контентом, а не после. Писать новые статьи на сайт с техническими ошибками — всё равно что красить стены в комнате с протекающей крышей.

Шаг первый: robots.txt и Яндекс.Вебмастер

Начните с самого простого: проверьте, не запретили ли вы роботу обходить ваш сайт.

Файл robots.txt

Откройте адрес вашего сайта и добавьте в конце /robots.txt. Вы увидите текстовый файл с инструкциями для роботов. Найдите строку User-agent: Yandex или User-agent: * и посмотрите, что за ней следует.

Строка Disallow: / означает, что весь сайт закрыт от индексации. Это частая случайная ошибка: разработчик закрывает сайт при разработке, а при выпуске забывает убрать запрет.

Строки вида Disallow: /blog/ или Disallow: /catalog/ закрывают конкретные разделы. Убедитесь, что закрыто только то, что действительно не должно индексироваться: административные панели, страницы корзины, дубли с параметрами фильтров.

Типичные разделы, которые нужно закрыть в robots.txt:

• административная панель (/admin/, /wp-admin/);
• страницы авторизации и личного кабинета;
• технические страницы: корзина, оформление заказа, результаты поиска по сайту;
• страницы с параметрами сортировки и фильтрации, если они дублируют основные страницы.

Яндекс.Вебмастер

Добавьте сайт в Яндекс.Вебмастер (webmaster.yandex.ru), если ещё не сделали. После подтверждения прав зайдите в раздел «Индексирование» и посмотрите три ключевых показателя.

Первый: сколько страниц в индексе. Если у вас сто страниц, а в индексе пять — значит, большинство страниц не добрались до поисковика. Второй: раздел «Исключённые страницы» покажет, что именно Яндекс видел, но отказался индексировать и почему. Третий: «Ошибки сканирования» фиксируют, к каким страницам робот не смог получить доступ.

Раздел «Sitemap» покажет, загружен ли файл со списком страниц. Если sitemap не загружен, отправьте его: большинство CMS генерируют его автоматически по адресу /sitemap.xml. Sitemap подсказывает Яндексу, какие страницы существуют и когда они обновлялись.

Шаг второй: коды ответа сервера

Каждая страница при запросе возвращает числовой код. Поисковик интерпретирует эти коды и решает, что делать со страницей.

• 200 OK. Страница существует и отдаётся корректно. Всё в порядке.
• 301 Moved Permanently. Страница переехала на другой адрес навсегда. Робот переходит по новому адресу и индексирует его. Ссылочный вес передаётся.
• 302 Found. Временный редирект. Поисковик продолжает считать исходный адрес основным и не передаёт ссылочный вес. Если редирект постоянный — меняйте на 301.
• 404 Not Found. Страница не найдена. Робот видит ошибку и не индексирует. Если на 404-страницу ведут внутренние ссылки — это двойная потеря: и страница недоступна, и ссылочный вес уходит в никуда.
• 500 Internal Server Error. Ошибка на стороне сервера. Страница не открывается вовсе. Если это происходит часто, Яндекс снижает частоту обхода сайта.

Как проверить коды ответа: воспользуйтесь бесплатным инструментом Яндекс.Вебмастер, разделом «Ошибки сканирования». Он покажет страницы, которые вернули коды 4xx и 5xx. Дополнительно можно воспользоваться расширением для браузера, которое показывает код ответа прямо в адресной строке при просмотре страницы.

Цепочки редиректов

Отдельный случай — длинные цепочки редиректов: страница А редиректит на Б, Б редиректит на В. Поисковик проходит через них, но каждый дополнительный редирект замедляет обход и снижает передаваемый ссылочный вес. Идеальная схема: один редирект от старого адреса к новому. Три и больше переходов — повод разобраться и сократить цепочку.

Шаг третий: дубли страниц

Дублирование — одна из самых распространённых технических проблем, и часто владелец сайта об этом не подозревает. Дубль возникает, когда одно и то же содержимое доступно по двум и более адресам.

Как появляются дубли

• С www и без. Сайт открывается по адресу site.ru и одновременно по www.site.ru. Для поисковика это два разных сайта с одинаковым содержимым.
• С https и без. Страницы доступны по http:// и https://. Аналогичная ситуация.
• С финальным слешем и без. Адрес site.ru/catalog/ и site.ru/catalog без слеша — потенциальные дубли.
• Страницы с параметрами. Интернет-магазины с фильтрами часто создают сотни адресов: site.ru/catalog/?sort=price&color=red. Содержимое одинаковое, адреса разные.
• Версии для печати. Отдельные страницы вида site.ru/article/?print=1 — это дубли основной статьи.

Как решить проблему дублей

Основной инструмент — тег canonical. Добавьте в раздел <head> каждой страницы строку, которая указывает Яндексу, какой адрес считать основным:

<link rel="canonical" href="https://site.ru/catalog/" />

На дублирующих страницах canonical должен указывать на основную. Так поисковик понимает: вот главная версия, индексируй её, а остальные игнорируй.

Для www/https-проблемы достаточно настроить редиректы: все версии сайта должны перенаправлять на одну «главную» — обычно это https://site.ru без www или наоборот, в зависимости от того, что вы выбрали основным.

Для страниц с параметрами фильтров в robots.txt закрывайте параметры, которые не создают уникального контента. Если фильтр по цвету не меняет содержимое страницы — закройте его от индексации.

Шаг четвёртый: битые ссылки

Битая ссылка — это ссылка, которая ведёт на несуществующую страницу (получает ответ 404 или другой код ошибки). Они портят опыт пользователя и создают проблемы для индексации.

Когда поисковой робот переходит по внутренней ссылке и получает 404, страница не индексируется. Кроме того, ссылочный вес, который мог бы перейти к этой странице, исчезает. Если таких ссылок много, Яндекс начинает считать сайт некачественным.

Как найти битые ссылки

Раздел «Ошибки сканирования» в Яндекс.Вебмастере покажет адреса, которые робот не смог открыть. Это отправная точка: список адресов с ошибками, на которые Яндекс заходил по вашим внутренним ссылкам.

Для более полной картины воспользуйтесь краулером: программой, которая обходит сайт как поисковый робот и фиксирует коды ответа каждой страницы. Бесплатный вариант — Screaming Frog SEO Spider (до 500 страниц без оплаты). Он показывает все страницы сайта, их коды ответа, откуда ведут ссылки на каждую и есть ли цепочки редиректов.

Что делать с найденными ошибками

• Страница удалена навсегда: настройте 301-редирект на наиболее подходящую существующую страницу или на главную раздела.
• Страница переехала: замените старый адрес ссылки на новый в тех местах, где она встречается.
• Опечатка в ссылке: исправьте адрес.

Приоритет — внутренние ссылки из важных страниц: главной, разделов, статей с хорошим трафиком. Битые ссылки из колонтитулов или навигации особенно критичны: они присутствуют на всех страницах сайта и передают проблему везде.

Шаг пятый: мета-теги

Title и description — не только про SEO. Именно их Яндекс показывает в результатах поиска: title как заголовок ссылки, description как краткое описание под ней. Это первое, что видит пользователь, и именно это влияет на то, кликнет он или пойдёт к конкуренту.

Ошибки в title

• Одинаковый title на нескольких страницах. Яндекс не понимает, какую из них показывать по запросу. Страницы конкурируют сами с собой.
• Пустой title. Поисковик заменит его текстом по своему усмотрению — обычно это H1 или название ссылки.
• Слишком длинный title. Яндекс обрезает title в выдаче примерно на 60–65 знаках. Если главный запрос стоит в конце, он просто не покажется.
• Title без ключевого запроса. Например, «Страница 1» или «О компании» без уточнений. Поисковик сложнее понимает тему страницы.

Рабочая формула для title: главный запрос страницы ближе к началу, затем уточнение (город, аудитория, услуга), затем название компании. Всё уместить в 60 знаков — считайте буквы, не на глаз.

Ошибки в description

Description не влияет напрямую на ранжирование, но влияет на кликабельность. Пустой или автоматически сгенерированный description часто выглядит как бессвязный обрывок текста из начала страницы. Это снижает доверие.

Хороший description — это живое предложение, объясняющее, что человек найдёт на странице и почему это стоит открыть. Объём — 150–160 знаков: меньше не раскрывает, больше обрежется.

Как проверить

Яндекс.Вебмастер в разделе «Страницы» показывает страницы с дублирующимися или пустыми title. Для полной картины краулер (Screaming Frog) покажет длину и содержимое мета-тегов по всем страницам сразу в виде таблицы.

Шаг шестой: структура заголовков

Поисковик читает страницу через иерархию заголовков: H1, H2, H3. Они помогают роботу понять структуру и главную тему страницы.

Ошибки в структуре H1–H3

• Несколько H1 на странице. H1 — это название темы страницы, оно должно быть одно. Несколько H1 говорят роботу, что страница «про всё сразу».
• Отсутствующий H1. Без H1 поисковик не понимает главную тему страницы.
• Пропуск уровней. Например, H1 сразу переходит в H3 без промежуточного H2. Иерархия нарушена, структура непонятна.
• H1 совпадает с title. Это не ошибка сама по себе, но упущенная возможность: title видит пользователь в выдаче, H1 — на странице. Можно охватить разные формулировки одного запроса.

Проверить заголовки можно прямо в браузере: откройте страницу, вызовите инструменты разработчика (F12) и в консоли введите команду для поиска всех H1-элементов. Или воспользуйтесь расширением для браузера, которое визуализирует структуру заголовков.

Шаг седьмой: скорость загрузки и мобильная версия

Яндекс учитывает скорость загрузки страниц при ранжировании. Медленный сайт не только раздражает пользователей (и они уходят), но и замедляет краулинг: поисковый робот ограничен по времени обхода каждого сайта, и если страницы грузятся долго, он успевает обойти меньше.

Как проверить скорость

Откройте Google PageSpeed Insights (pagespeed.web.dev) и введите адрес вашего сайта. Инструмент покажет оценку по мобильной и десктопной версии и даст конкретный список проблем с объяснением.

Ориентир для мобильной версии: выше 70 баллов. Мобильная важнее, потому что Яндекс индексирует сайты прежде всего с позиции мобильного пользователя.

Самые распространённые причины низкой скорости:

• Тяжёлые изображения. Фотографии, загруженные с телефона без сжатия, могут весить несколько мегабайт. Сжимайте через TinyPNG или конвертируйте в формат WebP — он занимает в несколько раз меньше при том же качестве.
• Отсутствие кэширования. Каждый раз при визите браузер заново скачивает одни и те же файлы: логотип, шрифты, стили. Включите кэширование в настройках хостинга — повторные визиты станут мгновенными.
• Внешние шрифты. Подключение шрифтов через Google Fonts или другой внешний сервис добавляет дополнительный сетевой запрос при загрузке страницы. Размещайте шрифты на своём сервере.
• Лишние скрипты. Каждый подключённый плагин или виджет добавляет код, который нужно загрузить и выполнить. Отключайте неиспользуемые плагины и виджеты.

Мобильная адаптация

Откройте сайт на реальном смартфоне. Проверьте: текст читается без горизонтального скролла, кнопки нажимаются с первого раза, форма заполняется с мобильной клавиатуры. Яндекс.Вебмастер в разделе «Технические проблемы» тоже укажет страницы с проблемами адаптации.

Шаг восьмой: внутренняя перелинковка

Внутренние ссылки — это не только навигация для пользователя. Они показывают поисковику структуру сайта и помогают распределять ссылочный вес между страницами. Страницы, на которые не ведут внутренние ссылки, поисковик находит труднее и ранжирует хуже.

Что проверить

• Страницы без входящих ссылок. Краулер покажет «осиротевшие» страницы — те, на которые не ведёт ни одна ссылка со всего сайта. Поисковик найдёт их только из sitemap, но ранжировать будет хуже.
• Слишком мало ссылок на важные страницы. Если главная страница услуг не упоминается нигде, кроме меню, — добавьте ссылки на неё из тематических статей.
• Анкоры ссылок. Текст ссылки (анкор) подсказывает поисковику, о чём страница, на которую ведёт ссылка. «Здесь» и «нажмите» — плохие анкоры. «Технический аудит сайта» или «настройка Яндекс.Метрики» — хорошие.

Практическое правило: каждая новая статья должна содержать 2–3 ссылки на другие статьи блога или страницы услуг по смежным темам. И на неё саму должны ссылаться другие страницы. Это не формальность, а реальная помощь поисковику в понимании структуры сайта.

О том, как правильно настроить Яндекс.Метрику, чтобы видеть, с каких именно страниц приходят заявки, читайте в статье «Яндекс.Метрика до запуска рекламы: счётчик, цели и связь с Директом».

Инструменты для технического аудита

Бесплатные

• Яндекс.Вебмастер (webmaster.yandex.ru). Главный инструмент для работы с Яндексом: ошибки сканирования, страницы в индексе, поисковые запросы, проблемы с мобильной версией. Обязателен для каждого сайта.
• Google Search Console (search.google.com/search-console). Аналог от Google. Данные о запросах, по которым видит сайт, ошибки индексации, проблемы usability.
• Google PageSpeed Insights (pagespeed.web.dev). Скорость загрузки и список конкретных проблем с объяснениями.
• Screaming Frog SEO Spider (бесплатная версия до 500 страниц). Краулер, который обходит сайт как поисковый робот: коды ответа, мета-теги, заголовки, ссылки, дубли. Для небольшого сайта бесплатной версии хватит полностью.

Платные

• Netpeak Spider. Российский краулер с русскоязычным интерфейсом и поддержкой. Хорошо подходит тем, кто не хочет разбираться с английским интерфейсом Screaming Frog.
• SerpStat, Ahrefs, SEMrush. Комплексные SEO-платформы с функцией технического аудита. Сканируют сайт и выдают приоритизированный список проблем. Оправданы для больших сайтов с сотнями и тысячами страниц.

Для сайта малого бизнеса с несколькими десятками страниц бесплатных инструментов достаточно, чтобы найти и исправить большинство критических ошибок.

Как расставить приоритеты

После аудита у вас будет список проблем. Разного масштаба, разной сложности, с разным влиянием на индексацию. Делать всё одновременно не получится — нужно расставить приоритеты.

Ошибки первого приоритета — те, которые полностью блокируют индексацию:

• robots.txt, закрывающий весь сайт или ключевые разделы;
• отсутствие сайта в Яндекс.Вебмастере — поисковик не получает sitemap;
• страницы отвечают кодом 5xx (ошибки сервера);
• принципиально нет HTTPS.

Ошибки второго приоритета — те, которые снижают качество индексации:

• массовые дубли страниц без canonical;
• битые внутренние ссылки на важных страницах;
• дублирующиеся или пустые title на страницах с трафиком.

Третий приоритет — оптимизация и улучшения:

• скорость загрузки (если выше 70 баллов — не срочно);
• улучшение description на страницах с показами, но низким CTR;
• улучшение анкоров внутренних ссылок;
• «осиротевшие» страницы второго плана.

Исправляйте последовательно, начиная с первого приоритета. После каждого исправления проверяйте в Яндекс.Вебмастере: прошла ли переиндексация, пропали ли ошибки.