Битые ссылки и 404: что чинить, а что оставить как есть

Почему аудиторы выдают «горы» ошибок — и что реально влияет на позиции

Краулер работает просто: берёт каждую ссылку на сайте, переходит по ней и записывает HTTP-статус ответа. Если страница вернула 404 — в отчёте появляется запись. Инструмент не оценивает, насколько важна эта страница и есть ли на неё хоть одна реальная ссылка с внешнего ресурса. Он фиксирует факт.

Яндекс устроен иначе. Поисковик не штрафует за само существование 404-страниц: это нормальное состояние сайта, особенно если он работает несколько лет и контент менялся. Реальный вред возникает в двух случаях.

• Потеря ссылочного веса. Внешние ресурсы ссылаются на удалённую страницу, но вес уходит в никуда. Поисковик перестаёт учитывать такие ссылки при ранжировании.
• Потеря пользователя. Посетитель переходит по ссылке и попадает в тупик. Если страница 404 не помогает ему продолжить путь по сайту, он уходит. Поведенческий сигнал становится хуже.

Всё остальное в отчёте краулера — чаще всего шум. Ссылки на страницы, которых никогда не существовало, адреса из старых sitemap без единого посетителя, ссылки с мусорных страниц — это 404, которые можно игнорировать без вреда для SEO.

Три типа 404, которые встречаются в аудите

Прежде чем расставлять приоритеты, важно понять природу каждой находки. В типичном отчёте встречается три разновидности 404-ошибок с разной логикой работы.

Тип 1. Внутренние битые ссылки

Ссылки внутри сайта ведут на несуществующий адрес. Типичная ситуация: удалили старый раздел или переименовали страницу, но в нескольких текстах остались ссылки на старый URL. Такие находки мешают краулеру Яндекса обходить сайт и прерывают передачу ссылочного веса между страницами. Исправлять стоит, если страница-источник получает реальный трафик.

Тип 2. Внешние входящие ссылки на несуществующую страницу

Внешний сайт ссылается на страницу вашего домена, а страница удалена или переехала. Это самый критичный сценарий: весь ссылочный вес от донора уходит в никуда. Чем авторитетнее источник, тем больше потеря. Обнаружить такие 404 через краулер не всегда получится — он сканирует ваши ссылки, а не чужие. Для этого нужен раздел «Внешние ссылки» в Яндекс.Вебмастере или специализированные инструменты. Именно эти 404 требуют приоритетного внимания.

Тип 3. URL, которых на сайте никогда не существовало

Сканеры и боты регулярно перебирают типовые адреса в поисках уязвимостей: /wp-admin, /robots.php, /old-page-12345 и тысячи других. Краулер фиксирует все эти обращения как 404 и отчёт пухнет от находок, большинство из которых не имеют отношения к реальным проблемам сайта.

Такие 404 исправлять не нужно. Ставить редирект с несуществовавшего URL некуда: нет смысловой целевой страницы. Правильный ответ сервера в этой ситуации — именно 404.

Четыре критерия приоритизации: как оценить каждую находку

Получив отчёт краулера, прогоните каждую 404-страницу через четыре вопроса. Ответы определяют, что делать дальше.

Если по всем четырём пунктам ответ «нет» — страница существовала без ссылок, без трафика, без связей с трафиковыми страницами, — оставьте 404 как есть. Это не ошибка, которую надо чинить. Это нормальный ответ сервера на запрос несуществующей страницы.

Где взять данные для оценки

Два источника данных закрывают большинство вопросов.

• Яндекс.Вебмастер, раздел «Внешние ссылки». Показывает, на какие страницы вашего сайта ссылаются извне. Если 404-страница есть в этом списке — срочный случай.
• Яндекс.Метрика, отчёт по страницам входа. Если страница с текущим статусом 404 раньше приносила органический трафик, это видно в истории. Такие страницы стоит восстановить или перенаправить.

Что точно исправить: как правильно поставить 301-редирект

Страницы, которые нужно восстанавливать или перенаправлять, объединяет одно: у них было реальное значение до удаления. Есть три сценария.

Сценарий 1. Восстановить страницу на прежнем URL

Если страница удалена по ошибке, а контент был ценным и уникальным, проще всего вернуть её на прежний адрес. Тогда все входящие ссылки снова начнут работать без дополнительных настроек.

Сценарий 2. Поставить 301-редирект на актуальную страницу

301 — постоянный редирект. Поисковик воспринимает его как сигнал: страница переехала навсегда, используй новый адрес. Ссылочный вес передаётся на целевую страницу. Этот вариант нужен, когда страница существовала и на неё вели внешние ссылки, но теперь содержимое перенесено по новому URL.

Три правила корректного 301-редиректа:

• Целевая страница должна быть близкой по теме. Редирект с удалённого раздела «Услуги» на главную страницу хуже, чем редирект на смежный раздел. Поисковик оценивает релевантность перехода.
• Избегать цепочек редиректов. Если страница A ведёт на B, а B — на C, поисковик проходит всю цепочку — но длинные цепочки могут создавать проблемы с краулингом и замедлять передачу сигналов; Google рекомендует использовать прямой редирект: A сразу на C.
• Не делать редирект на главную «для порядка». Если подходящей целевой страницы нет, 404 лучше, чем бессмысленный редирект. Поисковики умеют распознавать «мягкие 404» и со временем перестают засчитывать такие редиректы.

Сценарий 3. Оставить 404, но обновить внутренние ссылки

Если на страницу нет внешних ссылок и трафика, но на неё ссылаются другие страницы сайта, достаточно найти все внутренние ссылки на несуществующий URL и исправить или удалить их. Краулер и пользователи перестанут натыкаться на тупик без настройки редиректов.

Подробнее о том, как выстраивать редиректы при переезде всего сайта, читайте в  статье о переезде без потери позиций.

Что оставить как есть: когда 404 не проблема

Понимание того, чего делать не нужно, экономит не меньше времени, чем правильная расстановка приоритетов. Вот случаи, когда 404 в отчёте — это норма.

Страницы без внешних ссылок и трафика

Старый пресс-релиз, акционная страница прошлого года, тестовая публикация. Если ни один внешний сайт никогда на неё не ссылался и поиск не присылал посетителей — её исчезновение незаметно для SEO. Пусть возвращает 404.

URL, которые генерируют боты и сканеры

Сканеры перебирают сотни типовых адресов в поисках уязвимостей: /admin, /wp-login.php, /phpmyadmin, /config.php и подобные. Если вы никогда не работали на WordPress, страницы /wp-login.php не существовало и создавать редирект с неё не имеет никакого смысла. Это нормальный 404.

Ссылки со спамных ресурсов на удалённую страницу

Допустим, на старую страницу сайта ссылается один спамный агрегатор ссылок. Восстанавливать или перенаправлять ради такого источника не стоит: ссылочный вес от плохих доноров либо нулевой, либо вредный. Ориентируйтесь на авторитетность источника, а не только на наличие входящей ссылки.

Устаревший файл sitemap

Краулер может пройти по sitemap.xml, который не обновлялся после реструктуризации сайта. Правильное решение — обновить sitemap, убрать несуществующие адреса и отправить его в Яндекс.Вебмастер. Сами 404-страницы при этом исправлять не обязательно, если к ним нет реального трафика.

Как настроить корректную страницу 404

Даже когда 404 — правильный ответ, пользователь, который туда попал, реальный. Хорошая страница 404 не теряет его, а помогает найти нужное.

Что должно быть на странице 404

• Ясный заголовок. Пользователь сразу понимает, что страница не найдена: «Страница не найдена» или «Такой страницы нет». Без этого человек думает, что сайт сломан.
• Строка поиска по сайту. Если посетитель искал конкретную информацию, он может переформулировать запрос прямо на месте. Поиск на странице 404 значительно снижает немедленные уходы.
• Ссылки на главную и основные разделы. Короткое меню позволяет пользователю продолжить навигацию, не возвращаясь в поиск и не нажимая кнопку «Назад».

Технический момент: статус ответа

Страница 404 должна возвращать именно HTTP-статус 404, а не 200. Если сервер отдаёт несуществующую страницу со статусом 200 — это «мягкая 404». Поисковик постепенно перестаёт индексировать такие страницы, но продолжает тратить краулинговый бюджет впустую. Проверить статус ответа можно в разделе «Проверка URL» Яндекс.Вебмастера.

Автоматический редирект с 404 на главную страницу тоже создаёт мягкую 404: пользователь попадает на главную и не понимает, почему. Поисковик через какое-то время перестаёт воспринимать такой редирект как сигнал о переезде страницы.

Мониторинг: как не допустить нового накопления

Одноразовый аудит решает накопленные проблемы, но не защищает от новых. Битые ссылки появляются постоянно: удаляют разделы, переименовывают страницы, меняют URL при переходе на новую CMS. Для регулярного контроля используют два инструмента.

Яндекс.Вебмастер: два раздела для еженедельной проверки

• «Оптимизация сайта» → «Диагностика сайта» → вкладка «Ошибки». Здесь Яндекс сообщает о страницах, которые его краулер не смог открыть — в том числе о новых 404. Это прямой сигнал от поисковика, а не от стороннего инструмента.
• «Индексирование» → «Страницы в поиске». Резкое падение числа проиндексированных страниц сигнализирует о массовом появлении 404 или о технических проблемах.

Достаточно проверять эти разделы раз в неделю. Маршрут по Вебмастеру подробно описан в  отдельной статье о еженедельном мониторинге.

Краулинг после технических изменений

Полный краулинг сайта запускают не каждый месяц, а после значимых изменений: добавили новые разделы, удалили старые, переехали на новый шаблон или обновили sitemap. После краулинга сразу применяйте матрицу приоритизации из этой статьи: смотрите на 404-страницы с внешними ссылками или трафиком. Остальное — в сторону.

Самая частая причина массового появления 404 — технические работы. Переезд сайта с одной CMS на другую, смена структуры адресов, новый домен — в этих ситуациях нужен обязательный аудит в первые дни. Именно тогда редиректы чаще всего настроены неверно или вообще отсутствуют.

Частные случаи

Интернет-магазин: товары, снятые с продажи

Если товар временно отсутствует — оставьте страницу с пометкой «нет в наличии» и блоком похожих товаров. Удалять страницу не стоит: она могла набрать ссылочный вес и органический трафик. Если товар снят с продажи навсегда и аналога нет — поставьте 301 на ближайшую категорию. Если аналог есть — редирект на его страницу.

Сотни 404 после перехода на HTTPS или нового домена

Первым делом проверьте редиректы с HTTP на HTTPS и со старого домена на новый. Чаще всего проблема в том, что редиректы настроены не для всех вариантов адреса или образовалась цепочка. Это решается один раз и закрывает сразу большую часть ошибок.

Блог: удалённые статьи

Прежде чем удалять любую статью из блога, проверьте наличие внешних ссылок и органического трафика. Если есть хотя бы одно — замените содержимое на актуальное или перенаправьте на смежный материал. Удалять статью с реальным трафиком означает добровольно отдавать позиции конкурентам.

Итог: матрица решений

Для работы с любым отчётом по 404-ошибкам сохраните эту матрицу.

Битые ссылки — часть жизни любого активного сайта. Пытаться свести их к нулю в отчёте краулера — неправильная цель. Правильная цель: не терять ссылочный вес и не отправлять живых пользователей в тупик. Всё остальное аудитор покажет, но чинить не обязательно.