Что проверяет аудит сайта под нейросети
Нейросеть добирается до сайта двумя путями.
- Через поисковый индекс. По справке Яндекса, Алиса AI обращается к Поиску и строит ответ на страницах, которые высоко ранжируются. Google про свои ИИ-обзоры пишет, что особых требований сверх обычных для поиска нет. Значит, страница должна быть в индексе и допускать показ сниппета, а для Алисы AI ещё и стоять высоко.
- Через собственных роботов. У ChatGPT и Claude есть поисковые роботы, которые обходят сайты сами, и агенты, которые открывают страницу, когда об этом просит пользователь. Сбер имя робота GigaChat и правила для него публично не описывает, по крайней мере на официальных страницах мы их не нашли.
Поэтому аудит идёт по пяти слоям, от техники к смыслу:
- Доступ: пускает ли сайт нужных роботов.
- Чтение: виден ли текст без JavaScript, отвечает ли сервер без ошибок.
- Структура: можно ли вынуть из страницы отдельный ответ.
- Факты: есть ли конкретика, на которую можно сослаться.
- Доверие: понятно ли, кто стоит за сайтом.
Как писать тексты, которые нейросети охотно цитируют, мы разбирали в статье «Оптимизация под ИИ-поиск». Здесь речь о проверке: что смотреть, чем и в каком порядке.
Технический аудит сайта для ИИ: доступ ботов и robots.txt
Первым делом проверяем, не закрыт ли сайт от роботов нейросетей. Закрыть его можно и случайно: шаблоном robots.txt, плагином или настройкой хостинга. Ниже роботы, которых владельцы описывают официально.
| Робот | Чей | Для чего | Если закрыть в robots.txt |
|---|---|---|---|
| YandexBot | Яндекс | Основной робот поиска | Страницы выпадут из поиска, а значит, и из ответов Алисы AI |
| YandexAdditional, YandexAdditionalBot | Яндекс | Сам на сайт не ходит, его правила применяются к уже скачанным страницам | Контент не будет показываться в ответах Алисы AI |
| Googlebot | Поиск Google, включая ИИ-обзоры | Google не сможет сканировать страницы для поиска и ИИ-ответов | |
| Google-Extended | Не робот, а метка: можно ли брать контент для обучения Gemini и для ответов приложения Gemini | На Поиск Google, включая ИИ-обзоры, не влияет. Ссылки на сайт в ответах приложения Gemini можно потерять | |
| OAI-SearchBot | OpenAI | Поиск в ChatGPT | Сайт не попадёт в ответы поиска ChatGPT, хотя адрес может появиться как простая ссылка |
| GPTBot | OpenAI | Сбор данных для обучения моделей | Контент не пойдёт в обучение |
| ChatGPT-User | OpenAI | Открывает страницу по просьбе пользователя | OpenAI пишет, что правила robots.txt к нему могут не применяться |
| Claude-SearchBot | Anthropic | Индексирует страницы для поиска в Claude | Сайт может реже появляться в ответах Claude |
| ClaudeBot | Anthropic | Сбор данных для обучения моделей | Новые материалы сайта не пойдут в обучение |
| Claude-User | Anthropic | Открывает страницу по просьбе пользователя | Claude не сможет прочитать страницу, когда его об этом попросят |
Правило простое: поисковых роботов (YandexBot, Googlebot, OAI-SearchBot, Claude-SearchBot) не закрываем. Роботов и метки для обучения (GPTBot, ClaudeBot, Google-Extended) можно закрыть, если не хотите отдавать тексты в обучение моделей.
Что смотреть в robots.txt
- Общий запрет. Строка
Disallow: /в секцииUser-agent: *закрывает сайт для роботов, которые соблюдают общие правила. Часто остаётся после переноса сайта с тестового адреса. - Секции для ИИ-роботов. Найдите в файле имена из таблицы. Их нередко добавляет SEO-плагин без ведома владельца.
- Логика секций Яндекса. Если в файле есть секция для конкретного робота Яндекса, общие секции
User-agent: YandexиUser-agent: *он не читает. Поэтому смотрите каждую секцию, а не только общую. - Проверка адресов. «Анализ robots.txt» в Вебмастере показывает, открыт ли адрес роботам Яндекса. Остальные секции он проверяет только на синтаксис, их читайте глазами. Для Google есть отчёт robots.txt в Search Console.
Блокировка ботов на сервере и в CDN
Бывает, что в robots.txt всё открыто, а робота не пускает сервер: защита от DDoS, фаервол хостинга или CDN отдают ему ошибку или капчу. У Cloudflare, например, доступ ИИ-роботов настраивается отдельно для поиска, агентов и обучения. С 15 сентября 2026 года новым доменам с рекламой он по умолчанию предлагает запретить обучение и не пускать агентов на страницы с рекламой, а сайтам без рекламы всё разрешено. Если для обучения выбрать «Block», Cloudflare заблокирует и Googlebot с Bingbot, а значит, и обычный поиск. Чтобы закрыть только обучение, нужна настройка «Disallow AI Training».
Блокировать роботов по IP тоже ненадёжно. Anthropic предупреждает, что такой отказ может не сработать: робот не сможет прочитать robots.txt.
Проверяется это по логам сервера за последние недели: ищите имена роботов и коды ответа. 200 значит, что робот получил страницу, 403 и 429 означают отказ. Подлинность робота проверяют по адресу: OpenAI и Anthropic публикуют списки IP своих роботов, Яндекс описывает проверку по обратному DNS. YandexAdditional в логах искать бесполезно: по справке Яндекса, он сам запросов не делает.
Скорость и рендер без JavaScript
Второй слой: может ли робот прочитать полученную страницу. Если текст подгружается скриптами, робот может получить почти пустой HTML. Так бывает с одностраничными приложениями на React или Vue без серверной отрисовки.
Яндекс пишет, что такие страницы могут индексироваться не полностью. Выполнять ли JavaScript, его робот по умолчанию решает сам, а управление рендерингом в Вебмастере пока в бета-версии. Google пишет, что обрабатывает JavaScript, если он не заблокирован. OpenAI и Anthropic не сообщают, выполняют ли их роботы JavaScript. Поэтому надёжная схема одна: основной текст, цены и ответы на вопросы должны быть в HTML, который сервер отдаёт сразу. Это даёт серверная отрисовка (SSR) или пререндеринг.
Как проверить рендер страницы
- Отключите JavaScript в настройках браузера и обновите страницу. То, что исчезло, робот без рендера не увидит.
- Откройте исходный код страницы (на компьютере Ctrl+U) и найдите в нём фразу из текста или цену.
- В Вебмастере откройте «Индексирование → Проверка страницы» и посмотрите версию страницы в базе. Раздел «Индексирование → Рендеринг страниц JavaScript» показывает, какой контент доступен с JavaScript и без него.
- Проверьте вкладки и раскрывающиеся блоки: если текст приходит с сервера только по клику, в HTML его нет.
Скорость и ответ сервера
Для нейросетей скорость важна через поиск: Яндекс называет её одним из показателей качества сайта. Минимум проверок: ключевые страницы отвечают кодом 200, без цепочек редиректов, а сервер выдерживает обход роботов. Код ответа покажет инструмент Вебмастера «Проверка ответа сервера». Яндекс предупреждает: если код не 200, страница не может участвовать в поиске. Что делать с медленным сайтом, разбирали в статье «Скорость загрузки сайта».
Структура и разметка страниц
По справке Яндекса, Алиса AI делит ответ на смысловые блоки и для каждого может взять свой источник, в том числе разные страницы одного сайта. Значит, проверяем, есть ли на странице такие готовые блоки.
- Заголовки. Один h1, а по подзаголовкам понятно, о чём каждый раздел, без чтения текста.
- Ответ в начале раздела. Суть в первых одном-двух предложениях, подробности после.
- Таблицы и списки текстом. Прайс картинкой нейросеть может не прочитать, а PDF читается хуже, чем HTML-таблица. Цены, тарифы и характеристики лучше держать таблицей на странице.
- Title и description. Яндекс советует заполнять их на каждой странице, чтобы роботу было понятнее, о чём она.
- Микроразметка Schema.org. Organization или LocalBusiness для компании, Product и Offer для товаров, FAQPage для вопросов. Яндекс советует применять её, чтобы передать поиску больше сведений о сайте. Google пишет, что особая разметка для ИИ-ответов не нужна, но существующая должна совпадать с видимым текстом. Ошибки покажет «Валидатор микроразметки» в Вебмастере.
Дробить текст на мелкие кусочки специально для нейросетей не нужно: Google прямо пишет, что такого требования нет. Важнее, чтобы каждый раздел отвечал на один понятный вопрос.
Факты и цифры на странице
Нейросети нужна опора. В справке Вебмастера среди причин, почему сайт не виден в ответах Алисы AI, прямо названо: на страницах мало текста, на который алгоритмы могут опереться. Фразы вроде «индивидуальный подход» и «качественно и в срок» опорой не станут, в них нечего пересказать.
- Конкретика. Цены или их диапазон, сроки, состав работ, условия гарантии, адреса, часы работы, характеристики.
- Одинаковые факты везде. Если на главной «от 3 000 ₽», а в прайсе «от 3 500 ₽», непонятно, какую цифру брать. Сверьте сайт, прайс и карточки компании на картах.
- Даты. Когда материал опубликован и когда обновлён. Устаревший контент Яндекс называет одной из возможных причин, почему доля упоминаний сайта в ответах падает.
- Своё. Данные, примеры и расчёты, которых нет у других. Оригинальность входит в четыре главных аспекта, по которым Яндекс отбирает источники для Алисы AI.
Аудит коммерческого сайта для ИИ
У сайтов услуг и магазинов своя типичная беда: информации много у менеджера в голове и мало на странице. Вот что чаще всего находится при проверке.
- Цена только «по запросу». На вопрос «сколько стоит» нейросети нечего взять с вашего сайта, и ответ соберётся по сайтам, где цена указана.
- Все услуги на одной странице. Яндекс приводит пример: страница, где запросу отвечает только часть предложений, менее релевантна, чем точный список. Отдельная страница на каждую услугу даёт отдельный источник.
- Нет условий. Регионы, доставка, наличие. По справке Яндекса, товар без наличия или без доставки в регион пользователя проигрывает по релевантности.
- Нет ответов на частые вопросы. Что входит в цену, сколько длится работа, чем вариант дороже отличается от дешёвого. Эти вопросы клиенты задают менеджерам и, скорее всего, нейросетям.
Заодно проверьте, готов ли сайт принимать людей из любого источника: работают ли формы, видны ли контакты, приходят ли заявки. Короткий список таких проверок есть в статье «Комплексный аудит сайта».
Авторитетность: понятно ли, кто стоит за сайтом
Экспертность стоит первой в списке аспектов, по которым Яндекс отбирает источники для Алисы AI. В справке перечислено, что для этого должно быть на сайте:
- реальный адрес компании, реквизиты и все нужные контакты;
- сведения об авторах материалов: специализация, подтверждённый опыт, сертификаты;
- портфолио, отзывы клиентов и другие признаки репутации на рынке.
Отдельно смотрим, как компания представлена вне сайта. Яндекс советует зарегистрировать организацию в Яндекс Бизнесе и публиковать материалы там, где есть ваша аудитория: в соцсетях, каналах, отраслевых медиа. Для аудита это значит проверить, что карточки на картах заполнены.
llms.txt: что это и работает ли
llms.txt — текстовый файл в формате Markdown, обычно в корне сайта: название, короткое описание и список ссылок на главные страницы с пояснениями. Его в сентябре 2024 года предложил Джереми Говард, описание лежит на llmstxt.org. Идея в том, чтобы дать ИИ-агенту короткую карту сайта и избавить его от разбора всех страниц подряд.
Что известно на октябрь 2026 года:
- Это предложенный стандарт: авторы сами называют его предложением.
- Google прямо пишет, что его Поиск llms.txt не использует: файл не вредит и не помогает.
- Яндекс в описании того, как Алиса AI выбирает источники, llms.txt не упоминает. При этом справка Вебмастера сама публикует такой файл как указатель по документации. Так же делают OpenAI, Anthropic и Google в документации для разработчиков.
- В экспериментальном разделе Lighthouse «Agentic Browsing» (нужен Chrome 150 и новее) есть проверка llms.txt. Если файла нет, она помечается как неприменимая (N/A). Это проверка для агентов в браузере, а не фактор поиска.
Вывод для аудита: отсутствие llms.txt ошибкой не считаем. Файл может пригодиться ИИ-агентам, но роста упоминаний в поиске от него ждать не стоит.
Как проверить, видят ли сайт нейросети
- «Видимость сайта в Алисе AI» в Вебмастере. Доля упоминаний сайта в ответах (Share of Voice), примеры запросов и сайты, которые упоминаются рядом с вами. Данные за три месяца обновляются раз в неделю и считаются только по запросам, где сайт уже стоит достаточно высоко. Как читать этот отчёт, разобрано в статье «Как попасть в ответ нейросети».
- Отчёт по ИИ-ответам в Search Console. Показы ссылок на сайт в AI Overviews и AI Mode по страницам, странам и устройствам. С 31 августа 2026 года он есть у всех сайтов. В английском интерфейсе называется Generative AI performance, в русском название может отличаться.
- Ручная проверка. Задайте Алисе AI, ChatGPT с поиском, Claude и GigaChat 10–20 вопросов, которые задают ваши клиенты, и запишите, на кого они ссылаются. Яндекс предупреждает, что ответ на один и тот же запрос меняется в разные дни и даже часы, а ещё влияет персонализация. Поэтому одна проверка ничего не доказывает, смотрите, повторяется ли результат.
- Метрика. Переходы с chatgpt.com и других ИИ-сервисов ищите в отчёте «Сайты». OpenAI пишет, что ChatGPT добавляет к ссылкам из поиска метку
utm_source=chatgpt.com, её видно в отчёте «Метки UTM». - Логи сервера. Ходят ли роботы нейросетей, какие страницы берут и с каким кодом ответа.
Чек-лист аудита сайта для ИИ
Все проверки в одной таблице. Инструменты в ней бесплатные.
| Что проверить | Как | Чем |
|---|---|---|
| Сайт есть в индексе | Сколько страниц в поиске, какие исключены и почему | Яндекс Вебмастер, Google Search Console |
| robots.txt не закрывает поисковых роботов | Найти секции YandexBot, Googlebot, OAI-SearchBot, Claude-SearchBot и общий Disallow | Вебмастер → «Анализ robots.txt» (для роботов Яндекса), остальные секции глазами; для Google отчёт robots.txt в Search Console |
| Нет случайного запрета для ответов Алисы AI | Найти секции YandexAdditional и YandexAdditionalBot | Файл robots.txt |
| Сервер пускает роботов | Коды ответа на запросы роботов, нет ли 403 и 429 | Логи сервера, настройки CDN и защиты от ботов |
| Страницы отвечают кодом 200 | Проверить ключевые адреса и редиректы | Вебмастер → «Проверка ответа сервера» |
| Текст виден без JavaScript | Отключить скрипты, найти текст в исходном коде | Браузер, Вебмастер → «Рендеринг страниц JavaScript» |
| На нужных страницах нет noindex и nosnippet | Метатег robots и заголовок X-Robots-Tag | Исходный код, Search Console |
| Сайт не исключён из ИИ-ответов Google | По умолчанию включён. Исключение убирает его из AI Overviews, AI Mode и ИИ-блоков Discover, обычный поиск не трогает | Search Console → Настройки → Search generative AI (в русском интерфейсе название может отличаться) |
| Скорость | Загрузка ключевых страниц на телефоне | Метрика, PageSpeed Insights |
| Структура страниц | Прочитать только заголовки, найти ответ в начале раздела | Глазами, по ключевым страницам |
| Цены и условия текстом | Нет прайса картинкой и «цены по запросу» | Глазами, по страницам услуг и товаров |
| Факты совпадают везде | Сверить сайт, прайс и карточки на картах | Таблица сверки |
| Микроразметка без ошибок | Проверить шаблоны ключевых страниц | Вебмастер → «Валидатор микроразметки» |
| Сведения о компании и авторах | Адрес, реквизиты, контакты, авторы, отзывы | Глазами, Яндекс Бизнес |
| Видимость в ответах | Доля упоминаний, примеры запросов, соседи по ответам | Вебмастер → «Видимость сайта в Алисе AI», отчёт по ИИ-ответам в Search Console |
| llms.txt (по желанию) | Есть ли файл и открывается ли без ошибки | Браузер, Lighthouse |
Как сделать аудит сайта под ИИ самому
- Соберите вопросы и страницы. Выпишите 10–20 вопросов, которые клиенты задают менеджерам, и страницы, которые на них отвечают или должны отвечать.
- Проверьте индекс и технику. Если сайт давно не проверяли, начните с обычного технического аудита: коды ответа, дубли, битые ссылки. Порядок разобран в статье «Технический аудит сайта».
- Пройдите чек-лист сверху вниз. Роботы, рендер, структура, факты, сведения о компании. Страницы читайте глазами клиента: есть ли ответ на его вопрос.
- Задайте вопросы нейросетям и запишите, на кого они ссылаются. Повторите через несколько недель.
- Расставьте правки по важности. Сначала всё, что закрывает доступ, потом рендер, потом содержание страниц.
Сложнее всего с правками: исправить рендер или настройки сервера обычно может только разработчик.
Аудит сайта через ИИ: что нейросеть может проверить, а что нет
Вторая трактовка запроса: проверить сайт с помощью нейросети. Сервисы «анализа сайта нейросетью» и обычный чат с ИИ действительно помогают, но в узких рамках.
Нейросеть может:
- прочитать текст страницы и показать, где ответ спрятан, где вода, каких фактов не хватает;
- предложить подзаголовки и вопросы для блока FAQ;
- разобрать robots.txt, который вы вставили в чат, и объяснить, что он запрещает;
- проверить синтаксис микроразметки и набросать черновик llms.txt.
Нейросеть не может:
- увидеть данные Вебмастера и Search Console: индекс, ошибки, долю в ответах Алисы AI;
- посмотреть логи сервера и понять, пускает ли сервер роботов;
- измерить реальную скорость сайта у посетителей;
И главное: нейросети уверенно выдумывают. Вывод вроде «на сайте 47 ошибок» без ссылок на конкретные страницы нужно перепроверять. Если сервис пишет, что «проанализировал сайт», уточните, открывал ли он страницу на самом деле: когда доступ закрыт, модель может отвечать по памяти.
Стоимость аудита сайта для ИИ и когда его заказывать
Единой цены нет. Стоимость зависит от того, что входит в работу:
- сколько на сайте страниц и разных шаблонов;
- на чём сделан сайт: одностраничное приложение на JavaScript проверять сложнее, чем конструктор;
- есть ли доступ к логам сервера, настройкам CDN и Вебмастеру;
- нужен ли разбор текстов ключевых страниц и сравнение с сайтами, которые Алиса AI называет рядом с вами;
- нужен только список проблем или ещё и исправление.
Заказывать аудит имеет смысл, если:
- сайт сделан на JavaScript-фреймворке и непонятно, что видит робот;
- сайт большой: каталог, сотни страниц, несколько регионов;
- упала доля упоминаний в Алисе AI или поисковый трафик, а причина неясна;
- нет доступа к серверу или некому разбирать логи;
- нужно не только найти проблемы, но и исправить их.
Частые вопросы про аудит сайта для ИИ
Чем аудит сайта под ИИ отличается от обычного SEO-аудита?
Основа та же. Яндекс пишет, что для ответов Алисы AI принципиально новых требований не возникает, а Google называет оптимизацию под генеративный поиск тем же SEO. Добавляются роботы нейросетей, настройки ИИ-ответов и вопрос к каждой странице: есть ли здесь что процитировать.
Если закрыть GPTBot, сайт пропадёт из ChatGPT?
Нет. GPTBot собирает данные для обучения моделей. За поиск в ChatGPT отвечает OAI-SearchBot, и OpenAI советует его не закрывать, если вы хотите появляться в ответах. Правку robots.txt OpenAI учитывает примерно за сутки.
Можно ли гарантированно попасть в ответы Алисы AI?
Нет. Яндекс пишет, что инструмент «Видимость сайта в Алисе AI» показывает картину, но управлять попаданием в ответы не позволяет. Аудит повышает шансы: убирает технические преграды и показывает, чего не хватает страницам.
Как запретить показ сайта в ответах Алисы AI?
Добавить в robots.txt запрет для робота YandexAdditional или YandexAdditionalBot. В обычном поиске страницы останутся, а изменение Яндекс учтёт за 2–14 дней.
Как часто повторять аудит сайта для ИИ?
После переезда, смены движка или дизайна, подключения CDN и защиты от ботов. Без таких событий достаточно раз в месяц заглядывать в «Видимость сайта в Алисе AI» и следить, не падает ли доля упоминаний.
Итог
Начинайте с доступа роботов и текста без скриптов, потом переходите к структуре, фактам и доверию.
Если удобнее отдать проверку специалистам, ADVantage делает технический и SEO-аудит сайта.
