Что такое A/B-тест и чем он отличается от «давайте попробуем»
A/B-тест, или сплит-тест, — это метод, при котором аудитория случайным образом делится на два потока. Одна часть посетителей видит вариант А (текущая версия, контроль), другая — вариант B (версия с одним изменением). Оба варианта работают одновременно, и в конце вы сравниваете результаты и принимаете решение на основе данных, а не голосования на планёрке.
Ключевое слово — «одновременно». Именно это отличает A/B-тест от последовательного сравнения, когда поставили новый заголовок, подождали месяц и сравнили с прошлым. Последовательный тест врёт: в разные периоды разный спрос, разные рекламные кампании, другая аудитория, может, сезонный спад. Вы меняете один элемент, но не контролируете всё остальное. Контролируемый тест убирает эту погрешность: обе группы посетителей формируются из одного и того же потока, в одно и то же время.
Почему это важно для бизнеса? Потому что решения о дизайне и текстах, даже у опытных команд, чаще всего принимаются на основе вкуса. «Синяя кнопка работает», «длинные тексты убеждают лучше», «таймер создаёт срочность» — всё это может быть правдой в одной нише и ложью в другой. На конкретном сайте, для конкретной аудитории, с конкретным продуктом нужно проверять, а не угадывать.
Хорошо поставленная система A/B-тестов позволяет постепенно накапливать знания о своей аудитории. Каждый успешный тест — это одно доказанное утверждение о том, что на ваших посетителей влияет. Со временем из этих утверждений складывается понимание, которое ни один конкурент не сможет скопировать по чужим кейсам.
Чем A/B-тест не является
A/B-тест — не способ придать уже готовому решению вид научного. Если вы приходите к тесту с установкой «мы уже знаем, что вариант В лучше, просто подтвердим», такой тест ничего не даст. Он покажет то, что вы хотите увидеть, а не то, что есть на самом деле.
A/B-тест также не решает стратегических проблем. Если трафик нецелевой, продукт не соответствует ожиданиям аудитории или оффер принципиально слабее конкурентов — никакой тест заголовка это не исправит. Методология тестирования работает поверх рабочей базы: трафик есть, страница в целом понятна, и вы хотите системно улучшать конверсию, а не искать фундаментальную проблему. Для диагностики читайте отдельно, почему посадочная страница не продаёт.
Как сформулировать гипотезу — и зачем это делать до теста
Самая частая ошибка в A/B-тестировании — запускать тест без гипотезы. «Давайте попробуем другой цвет кнопки»: это случайный эксперимент, а не гипотеза. Даже если он покажет положительный результат, вы не будете знать, почему это сработало. Знание не накапливается, следующее изменение снова делается вслепую.
Правильная гипотеза строится по трёхчастной структуре: наблюдение → причина → прогноз.
Три части правильной гипотезы
Наблюдение — что именно происходит сейчас и почему это проблема. Описание должно быть конкретным, желательно с данными. Пример: «Карта кликов показывает: кнопка „Оставить заявку“ в шапке получает почти нулевой трафик, хотя именно там человек видит её первой».
Причина — ваша версия, почему так происходит. Это предположение о механике, которое потом либо подтвердится, либо нет: «Кнопка написана пассивно: „Оставить заявку“ не говорит, что человек получит. Посетитель не понимает, зачем нажимать».
Прогноз — что вы меняете и какой результат ожидаете: «Если переписать текст кнопки с „Оставить заявку“ на „Получить расчёт бесплатно“, больше посетителей нажмут её, и конверсия страницы вырастет».
Такая структура делает тест управляемым. Если он подтвердился, вы поняли механику: конкретика в призыве к действию снижает тревогу перед первым шагом для вашей аудитории. Если нет — понимаете, что ваш диагноз был неточным, и ищете другое объяснение. Это не провал, это знание.
Как выбрать, какую гипотезу тестировать первой
Когда гипотез накапливается несколько, нужно расставить приоритеты. Один из рабочих способов — оценивать каждую идею по трём критериям: потенциал (насколько большого эффекта можно ждать), охват (какая доля аудитории затронута) и уверенность (насколько хорошо обоснована гипотеза).
Тест заголовка первого экрана: высокий потенциал (влияет на всех) и высокий охват (видит каждый). Тест цвета рамки поля ввода: низкий потенциал и минимальный охват. Начинайте с того, что может дать ощутимый результат, а не с деталей, которые заметны только при увеличении.
Также важно тестировать только одну переменную за раз. Если одновременно изменить заголовок, кнопку и блок с отзывами, вы не узнаете, что именно сработало. Следующее изменение снова будет принято вслепую. Исключение из этого правила — многовариантное тестирование (MVT), но оно требует значительно большего трафика и более сложной настройки.
Что тестировать: от элементов с максимальным влиянием к деталям
Не всё одинаково влияет на конверсию. Начинать нужно с того, что потенциально затрагивает наибольшую долю посетителей и непосредственно влияет на принятие решения об оставлении заявки.
Заголовок первого экрана
Это первое, что видит человек. Именно здесь большинство принимают решение, стоит ли читать дальше. Заголовок, который описывает компанию («Мы профессиональная команда с 10-летним опытом»), работает принципиально иначе, чем заголовок, который описывает выгоду клиента («Ремонт офисов в Москве — сдаём точно в срок или возвращаем 20% стоимости»).
Типичные гипотезы для заголовка: конкретная выгода против абстрактного описания; формулировка от «проблемы читателя» против формулировки от «достижений компании»; короткий заголовок с подзаголовком против длинного заголовка без уточнения.
Оффер и текст вокруг формы
Что именно человек получит, когда нажмёт кнопку? «Мы перезвоним» и «Получите точный расчёт стоимости за 24 часа»: это принципиально разные офферы, хотя технически оба ведут к звонку. Первый ничего не обещает и не снимает тревогу. Второй даёт конкретику: что произойдёт (расчёт), как быстро (24 часа) и что человек не рискует деньгами (просто расчёт, без обязательств покупать).
Текст рядом с формой — один из наиболее часто игнорируемых элементов. Прямо перед тем, как человек решает нажать кнопку, у него максимальная тревога: «Позвонят ли сразу? Буду ли я что-то должен? Не получу ли я спам?» Одна-две строчки, которые снимают эти страхи («Без предоплаты. Ответим в течение часа в рабочее время»), заметно влияют на конверсию. Это хорошая гипотеза для теста.
Призыв к действию (текст кнопки)
Формулировка кнопки — один из наиболее часто тестируемых элементов в CRO (оптимизации конверсии). «Отправить» говорит о действии пользователя. «Получить расчёт» говорит о том, что он получит. Разница в перспективе: первая про процесс, вторая про результат.
Что можно тестировать: конкретику против общего («Получить расчёт стоимости» против «Узнать подробнее»); формулировку от первого лица («Хочу расчёт» против «Получить расчёт»); срочность или её отсутствие; длину — короткий призыв против развёрнутого.
Количество и порядок полей в форме
Каждое дополнительное поле — это дополнительный барьер. Человек, который готов оставить телефон, может уйти, когда видит, что нужно ещё указать email, имя, город и удобное время для звонка. Иногда убрать одно необязательное поле даёт заметный прирост конверсии, заметнее, чем любые изменения в дизайне.
Гипотезы: форма с одним полем (телефон) против формы с тремя полями; обязательный email против необязательного; форма с объяснением каждого поля против формы без подсказок.
Расположение и видимость формы
Карта скролла часто показывает, что большинство посетителей не доходит до формы, которая стоит в конце длинной страницы. Или что форма видна, но «не читается» как форма: человек не понимает, что это место для действия. Гипотезы здесь: дублировать форму в середине страницы, сделать её «липкой» (видимой при прокрутке), сделать более визуально выраженной.
Блоки доверия: где и в каком виде
Отзывы, кейсы, логотипы клиентов, цифры — всё это работает по-разному в зависимости от расположения. Доказательства убеждают только тех, кто уже понял, зачем им это нужно. Если отзывы стоят до объяснения услуги, человек не понимает, чему вообще доверяет. Если после — он уже мотивирован, и доказательства помогают принять решение.
Тестировать можно: расположение блока доверия (до или после описания выгод), формат отзывов (с именем и фото против анонимных), конкретику в отзывах (результат с цифрами против общего «всё понравилось»).
Сколько трафика нужно для надёжного теста
Это главный практический вопрос, который определяет, можно ли вообще запускать A/B-тест прямо сейчас. Если трафика слишком мало, любой результат — шум, а не сигнал.
Важно понять: надёжность теста определяется не количеством визитов само по себе, а количеством конверсий. Тесту нужно достаточно конверсий на каждом из вариантов, чтобы разница между А и В не объяснялась случайностью.
Как работает логика статистики — без формул
Представьте, что вы бросаете монету 10 раз и получаете 7 орлов. Это нечестная монета? Необязательно: такое случается и с честной. Но если бросить 1000 раз и получить 700 орлов — это уже значимо, случайностью не объяснишь.
С конверсией та же логика. Если вариант В дал 3 конверсии из 50 визитов, а вариант А — 2 из 50, это разница в одну заявку. Она вполне могла возникнуть случайно. Но если каждый вариант получил 500 визитов и при той же пропорции результатов разница устойчива — это уже аргумент.
Инструменты для A/B-тестирования считают так называемую статистическую значимость: вероятность того, что наблюдаемая разница не случайна. Общепринятый стандарт — 95%: это означает, что вероятность случайного результата не превышает 5%. Если ваш инструмент показывает уверенность 70–80%, данных недостаточно, нужно больше визитов.
Зависимость от исходной конверсии
Чем ниже текущая конверсия, тем больше трафика нужно для надёжного теста. Если страница конвертирует 1% и вы хотите увидеть рост до 1,3%, это малый абсолютный прирост, и чтобы он «проявился» на фоне случайного шума, понадобятся десятки тысяч визитов. Если конверсия 5% и вы ждёте рост до 7%, объём потребуется значительно меньший.
Есть бесплатные калькуляторы размера выборки (по-английски: sample size calculator). Вводите текущую конверсию и ожидаемый минимальный эффект, получаете, сколько визитов нужно на каждый вариант. Такие калькуляторы есть у Optimizely и у Эвана Миллера (Evan Miller's Sample Size Calculator, ищется по имени напрямую). Пользуйтесь до запуска теста, а не после: только так вы заранее будете знать, когда его останавливать.
Практическое правило для оценки ситуации
Если у вас менее 300–400 визитов в день, серьёзный A/B-тест большинства гипотез займёт очень много времени. При 100 визитах в день и конверсии 2% вы получаете около 60 конверсий в месяц — по 30 на каждый вариант. Это мало для надёжного вывода. Тест придётся держать 2–3 месяца, а за это время сезонность, рекламные изменения и другие внешние факторы уже исказят результат.
Не означает ли это, что при малом трафике нельзя тестировать вообще? Нет. Но инструментарий меняется, об этом в разделе ниже.
Как найти идеи для гипотез: Вебвизор и аналитика
Хорошая гипотеза основана на наблюдении за реальным поведением реальных людей. Гипотезы, взятые «из воздуха» или скопированные из чужих кейсов, тестируются вслепую и часто не дают результата — не потому что идея плохая, а потому что не соответствует поведению конкретной аудитории.
Вебвизор Яндекс.Метрики
Вебвизор записывает видео сессий посетителей. Вы буквально видите, как конкретный человек ведёт себя на странице: куда смотрит, где останавливается, что перечитывает, на что пытается нажать, где уходит.
Оптимальная стратегия: смотрите сессии людей, которые провели на странице достаточно времени (не отказы с первых секунд), но не оставили заявку. Это ваша «тёплая» аудитория, которая почти дошла, и что-то остановило. Ищите повторяющиеся паттерны:
- Остановка на определённом блоке. Человек читает до конкретного места и уходит. Что-то в этом месте его останавливает: непонятный текст, отталкивающий элемент, исчерпание интереса. Это сигнал для гипотезы об этом блоке.
- Поиск формы. Пользователь несколько раз прокручивает страницу вверх-вниз. Скорее всего, хочет оставить заявку, но не находит форму или кнопку. Это сигнал о видимости и расположении CTA.
- Клики по некликабельному. Человек нажимает на изображение, заголовок, иконку — на то, что выглядит как кнопка или ссылка, но ею не является. Прямая подсказка: сделайте целевое действие именно там, где люди уже кликают.
- Быстрое сворачивание. Пользователь открывает страницу, смотрит секунд десять и закрывает. Первый экран не удержал. Гипотеза: в заголовке, подзаголовке или изображении.
Десять-пятнадцать записей сессий тех, кто пришёл и не конвертировал, дадут хорошую стартовую базу. Ищите паттерны: если три человека из пяти сделали одно и то же, это сигнал, а не случайность. Один паттерн — одна гипотеза.
Карта кликов и карта скролла
Карта кликов показывает, на что кликает аудитория, и тем самым подсказывает, что считается важным или интерактивным. Если люди кликают на декоративный элемент, они хотят там получить действие. Если кнопка практически не собирает кликов, значит её либо плохо видно, либо призыв неубедительный.
Карта скролла показывает, как далеко посетители прокручивают страницу. Если ваш сильный блок с отзывами или выгодами находится ниже точки, до которой доходит половина аудитории, это структурная проблема. Перемещение такого контента выше — хорошая гипотеза для отдельного теста.
Данные из CRM и разговоры с клиентами
Посмотрите, какие вопросы клиенты задают при первом звонке после заявки. Если большинство спрашивают «а сколько это стоит?» или «а как долго занимает?» — значит, страница не ответила на эти вопросы достаточно ясно. Это прямые подсказки для гипотез: добавьте ответы на эти вопросы раньше в структуре страницы и проверьте, повлияет ли это на конверсию.
Разговоры с клиентами, которые уже купили, дают не менее ценное сырьё. Что убедило их оставить заявку? Что вызывало сомнение до покупки? Что они искали и не сразу нашли на странице? Включите в страницу то, что убедило реального покупателя, и проверьте тестом, убедит ли это следующего.
Анализ конкурентов
Посмотрите на страницы конкурентов, особенно те, что долго не меняются: обычно не трогают то, что работает. Это не призыв копировать, а способ увидеть паттерны, к которым привыкла ваша аудитория. Если все сильные игроки в нише ставят цену сразу на первом экране — это сигнал, что аудитория этого ожидает. Ваша гипотеза: а что будет, если убрать или добавить цену раньше?
Инструменты для A/B-тестирования
Для запуска теста нужен инструмент, который случайным образом распределит посетителей между вариантами, сохранит, какой вариант видел каждый пользователь, и посчитает конверсии по каждому.
Яндекс.Метрика
Встроенные возможности Яндекс.Метрики позволяют сравнивать сегменты трафика и анализировать поведение разных групп. Для простых тестов можно использовать сегментацию: настроить показ разных версий страницы через CMS или разработку, а результаты отслеживать через события и цели в Метрике. Это бесплатный подход, который работает на большинстве сайтов при наличии базовой технической поддержки.
VWO (Visual Website Optimizer)
Один из наиболее популярных специализированных инструментов. Позволяет создавать и тестировать варианты страниц через визуальный редактор прямо на сайте, без правки кода. Есть как A/B, так и многовариантное тестирование, тепловые карты и записи сессий в одном интерфейсе. Полностью платный: с конца 2025 года бесплатного тарифа нет, доступен только пробный период. Подходит для команд, которые тестируют регулярно и хотят всё в одном месте.
Optimizely
Профессиональный инструмент с мощным статистическим ядром и поддержкой персонализации. Позволяет тестировать не только страницы, но и элементы приложений. Стоимость существенная: это решение для среднего и крупного бизнеса с выделенной командой роста. Для малого бизнеса нецелесообразен.
AB Tasty
Позиционируется как более доступный инструмент с визуальным редактором. Подходит для маркетинговых команд без сильной технической поддержки. Хорошая альтернатива VWO по функциональности при схожей ценовой категории. Примечание: в январе 2026 года VWO и AB Tasty объявили о слиянии в единую платформу. На момент публикации оба продукта продолжают работать независимо.
Собственная реализация
Иногда проще сделать A/B-тест программно: генерировать ключ сессии, записывать его в куки, присваивать вариант детерминированно и отслеживать конверсии через события в аналитике. Это требует разработчика, но даёт полный контроль и не зависит от сторонних сервисов. При нормальном трафике и нескольких тестах в месяц это нередко самый разумный выбор.
Важная оговорка: Google Optimize прекратил работу в сентябре 2023 года. Если встречаете его упоминание в статьях, материал устарел.
Выбор инструмента зависит от объёма трафика, технических возможностей команды и частоты тестирования. Для первых тестов при небольшом объёме подойдут встроенные средства аналитики и собственная реализация через разработчика. Для систематической работы нужен специализированный инструмент.
Как правильно запустить тест: пошагово
- Сформулируйте гипотезу по трёхчастной структуре. Наблюдение → причина → прогноз. Запишите её перед началом: это не формальность, а якорь, который не даст переинтерпретировать результат постфактум.
- Рассчитайте нужный объём выборки до запуска, а не после. Введите в калькулятор размера выборки текущую конверсию и минимальный эффект, который вы хотите увидеть. Вы должны знать заранее, сколько визитов нужно на каждый вариант и сколько времени займёт тест при текущем трафике.
- Подготовьте один вариант с одним изменением. Вариант А: текущая версия без изменений. Вариант B: та же страница с одним изменённым элементом. Если хочется поменять ещё и кнопку, занесите это в бэклог: это следующий тест.
- Настройте случайное распределение. Пользователи должны попадать в варианты случайным образом — не «нечётные часы в А, чётные в В». Важно также, чтобы один и тот же пользователь всегда видел один и тот же вариант: если человек получит В в первый визит и А во второй, он запутается, а данные испортятся.
- Определите метрику успеха. Как правило, это конверсия страницы (заявки / визиты). Но иногда полезно смотреть шире: глубина скролла, время на странице, процент добравшихся до формы. Уточните заранее, какая цифра будет решающей.
- Зафиксируйте дату начала и запустите оба варианта одновременно. Не запускайте В в пятницу, когда реклама идёт слабее, а А оцениваете за прошлую рабочую неделю.
- Дождитесь планового объёма. Не смотрите на промежуточные результаты через три дня: это главный соблазн и главная ловушка. Подробнее об этом в разделе про типичные ошибки.
- Запишите всё внешнее, что произошло во время теста. Запуск новой рекламной кампании, смена источников трафика, акция — всё это влияет на результат. Не обязательно останавливать тест, но при интерпретации нужно это учесть.
Как читать результаты теста
Тест завершился. Вы видите: вариант В дал конверсию 3,2%, вариант А — 2,8%. Это победа? Зависит от статистической значимости и от того, насколько велика выборка.
Статистическая значимость на практике
Большинство инструментов показывают уровень уверенности (confidence level): вероятность того, что разница не случайна. Общепринятый стандарт — 95%. Если ваш инструмент показывает 68% или 80%, данных недостаточно, нужно продолжать тест или признать, что на вашем трафике такой эффект невозможно надёжно измерить.
Достижение 95% уверенности при плановом объёме выборки: вот условие для вывода. Если уверенность достигла 95% раньше планового объёма, не торопитесь останавливать: это может быть случайный всплеск. Дождитесь объёма, рассчитанного до теста.
Практическая значимость: не только статистика
Тест может показать статистически значимый результат, который не имеет практического смысла. Например, конверсия выросла с 2,00% до 2,04%. Значимо ли это практически? Нужно считать: даёт ли такой прирост ощутимый прирост выручки при вашем объёме трафика? При 500 визитах в месяц это одна дополнительная заявка — стоило ли менять элемент ради этого?
Обратная ситуация: разница 3,0% против 2,5% при 200 визитах на вариант практически значима (если это реально больше заявок), но статистически ненадёжна. Не внедряйте вариант В как победителя, лучше продолжите тест до планового объёма.
Анализ по сегментам
После завершения теста полезно посмотреть, нет ли сегментов, где результаты расходятся. Вариант В может хорошо работать на мобильном трафике и хуже на десктопе. Или наоборот. Или разные результаты по каналам: платный трафик реагирует иначе, чем органика.
Это не повод считать тест провальным. Это знание о поведении разных сегментов аудитории. Следующий вопрос: почему вариант В работает хуже на десктопе? И новый тест.
Качество конверсий
Смотрите не только на количество заявок, но и на их качество. Иногда вариант В даёт больше заявок, но они «холоднее»: меньше закрытых сделок, ниже средний чек, больше «просто интересовались». Если у вас есть данные из CRM, сравните не только заявки, но и сделки. Рост заявок при падении выручки — это не победа.
Типичные ошибки в A/B-тестировании
Досрочная остановка
Это самый распространённый сбой. Через три-четыре дня вариант В уверенно лидирует с результатом 4,1% против 2,3% — кажется, всё очевидно. Но на маленьких выборках случайные колебания огромны. Реальное распределение конверсий имеет разброс, и в начале теста разброс доминирует над сигналом. Через неделю лидер может смениться.
Правило одно: планируйте объём до старта и дождитесь его. Если вы заранее не рассчитали, сколько визитов нужно на каждый вариант, вы обязательно остановите тест слишком рано.
Тест без гипотезы
«Давайте попробуем зелёную кнопку» — не гипотеза. Если зелёная кнопка выиграет, вы не будете знать, почему. Если проиграет — тоже. Следующий тест снова будет случайным. Знания не накапливаются.
Множественные изменения в одном варианте
Вариант B: новый заголовок плюс другой цвет кнопки плюс изменённый блок с отзывами. Вариант B выиграл. Что именно сработало? Непонятно. Следующий тест снова вслепую.
Параллельные тесты с пересекающейся аудиторией
Одновременно запущены два теста на одной странице для одной аудитории. Их результаты взаимовлияют: человек из теста А одновременно находится в тесте B, и вы не можете разделить эффекты. При параллельных тестах убедитесь, что аудитории не пересекаются, например тест на мобильном трафике и тест на десктопе могут идти одновременно без взаимовлияния.
Игнорирование внешних факторов
Во время теста вы запустили новую рекламную кампанию, которая привела другой сегмент аудитории. Или началась акция. Или упал крупный конкурент, и к вам пошли его клиенты. Результат теста в этот момент отражает не только ваше изменение, но и все эти факторы. Фиксируйте всё, что происходит рядом с тестом.
Отсутствие документации
Провели десять тестов за год, не записали гипотезы, результаты и выводы. Через полгода команда снова тестирует то же самое — потому что никто не помнит, что уже пробовали. Каждый тест должен оставлять карточку: что тестировали, какая была гипотеза, что получили, что внедрили, что положили в бэклог.
Что делать, если трафика мало
При 200–300 визитах в день полноценный A/B-тест большинства гипотез займёт много времени и всё равно даст ненадёжный результат. Это не значит, что нельзя ничего делать, но инструментарий другой.
Метод «думай вслух» (think-aloud protocol)
Попросите 5–8 человек из вашей целевой аудитории пройтись по странице вслух, комментируя каждое действие: «Смотрю на заголовок, немного непонятно, что они имеют в виду под „комплексным решением”… ищу цену… не вижу… буду ли я что-то должен после заявки?»
Пять таких сессий выявляют большинство критических проблем с восприятием страницы. Это не статистика, а качественное понимание. Не отвечает на вопрос «что лучше, А или В?», но очень точно указывает, где человек теряется и почему. На основе этих наблюдений формулируйте гипотезы для будущих тестов.
Опросы прямо на странице
Простой опрос: «Вы нашли то, что искали?» с вариантами «Да» и «Не совсем» плюс поле для свободного ответа. Показывается людям, которые провели на странице больше 30–60 секунд. Даже 15–20 развёрнутых ответов часто указывают на конкретную проблему точнее, чем неделя работы с аналитикой.
Тестирование гипотез в рекламных объявлениях
Объявления в Яндекс.Директе видят тысячи людей, даже если кликает небольшая часть. Вы можете тестировать гипотезы о формулировках прямо в объявлениях: заголовок с конкретной выгодой против абстрактного, оффер с ограничением по времени против без него. При достаточных показах результат будет статистически надёжным.
Если вариант B объявления работает лучше, это сигнал: данная формулировка резонирует с аудиторией. Попробуйте перенести её на лендинг. Это не полноценный A/B-тест страницы, но рабочий способ проверить гипотезы о коммуникации при низком трафике на сайте.
Последовательный тест с одним изменением
Меняете один элемент и смотрите на конверсию в течение 3–4 недель — сравнивая с аналогичным периодом до изменения. Это не строгий A/B-тест: сезонность и внешние факторы влияют. Но грубый сигнал — «помогло заметно» или «ничего» — получить можно, если изменение достаточно выражено. Правила: меняйте одно за раз, фиксируйте исходные данные, давайте достаточно времени, учитывайте внешние события.
Читайте также о том, как правильно настроить Яндекс.Метрику и цели — без корректной аналитики любой тест бессмысленен вне зависимости от трафика.
Как строить систему тестирования, а не делать тесты «время от времени»
Один тест ничего не решает. Десять тестов в год с документацией — это актив: понимание своей аудитории, которое накапливается в документах, а не в головах у двух-трёх людей, которые помнят, что пробовали.
Бэклог гипотез
Список всех идей для тестов с приоритетом. Куда попадает всё: наблюдение из вебвизора, вопрос клиента, идея из анализа конкурентов, предложение из команды. Не запускайте гипотезу сразу, добавьте в бэклог и расставьте приоритеты. Это позволяет знать, что тестируется следующим, и не терять идеи.
Простой формат для бэклога: таблица со столбцами «гипотеза», «элемент», «ожидаемый эффект», «приоритет», «статус» (в очереди / в тесте / завершён).
Карточка теста
До запуска фиксируете гипотезу, элемент, метрику успеха, плановый объём, дату начала. После завершения — фактические результаты, вывод, решение (внедрить / не внедрить / продолжить), что положили в бэклог из наблюдений. Карточка занимает 10–15 минут, но через год превращается в базу знаний о вашей аудитории.
Регулярный разбор накопленного
Раз в квартал: обзор всех закрытых тестов. Какие гипотезы подтвердились? Какие нет? Что общего у успешных тестов, какой тип изменений даёт результат для вашей аудитории? Это позволяет видеть паттерны и формулировать следующие гипотезы умнее, а не наугад.
Связь с данными дальше по воронке
Тест на странице: не вакуум. Рост заявок при падении выручки — это не победа, а проблема в сегментации или в оффере. Хорошая система тестирования учитывает метрики за пределами страницы: качество лидов, конверсию в сделки, средний чек. Смотрите на то, как изменение влияет не только на верхний уровень воронки, но и на конечный результат.
Про то, как читать показатели эффективности рекламной кампании в целом, читайте в разборе как понять, что реклама в Директе работает.
Что A/B-тест не делает — и чего от него ждать не стоит
A/B-тест отвечает на один конкретный вопрос: «Какой из двух вариантов даёт лучший результат на этой аудитории прямо сейчас?» На вопрос «почему» он не отвечает — это следующий шаг, который требует отдельных наблюдений.
Если вариант В выиграл, вы знаете: с этим изменением конверсия выше. Но вы не знаете наверняка, что именно сработало в этом изменении. Может, дело в конкретике формулировки. Может, в другом эмоциональном тоне. Может, в длине текста. Именно поэтому структурированная гипотеза важна с самого начала: если она сформулирована правильно, подтверждённый результат даёт не только факт «В лучше», но и понимание механики. А это знание можно переносить на другие элементы и страницы.
A/B-тест также не решает фундаментальных проблем. Если трафик нецелевой, никакой тест заголовка не поднимет конверсию. Если оффер принципиально слабее конкурентов, тестирование CTA это не исправит. Если страница в целом не выполняет свою задачу, найдите сначала причину, а потом проверяйте гипотезы.
Наконец, A/B-тест работает только при достаточном трафике. Запускать тест на 50 визитах в день значит планировать тест на несколько месяцев с ненадёжным результатом. В этом случае начните с качественных методов: вебвизор, интервью, опросы. Они дадут гипотезы, которые вы сможете проверить тестом, когда трафик вырастет.
Список фактов и утверждений для проверки
В соответствии с редакционными правилами блога ниже перечислены все конкретные утверждения, которые требуют верификации перед публикацией.
- Google Optimize прекратил работу в сентябре 2023 года.
- Калькуляторы размера выборки есть у Optimizely и у Evan Miller (Evan Miller's Sample Size Calculator) — в открытом доступе.
- VWO (Visual Website Optimizer), Optimizely и AB Tasty — действующие специализированные инструменты для A/B-тестирования с теми возможностями, которые описаны в статье.
- Общепринятый стандарт статистической значимости в CRO — 95% уровень уверенности.
Итого
A/B-тест — это методология, а не кнопка «поднять конверсию». Он работает, когда за ним стоит чёткая гипотеза, правильно рассчитанный объём и дисциплина не останавливаться раньше времени.
Начните с наблюдения: вебвизор, карта кликов, разговоры с клиентами. Сформулируйте гипотезу по трёхчастной структуре. Рассчитайте нужный объём через калькулятор выборки до запуска. Запустите оба варианта одновременно и дождитесь планового объёма. Задокументируйте выводы, даже если результат отрицательный.
Если трафика мало, начните с качественных методов: вебвизор, интервью, опросы на странице. Они дадут гипотезы, которые позже можно проверить тестом. Тестировать формулировки можно и на уровне рекламных объявлений — там трафика больше, и результат будет надёжнее.
A/B-тестирование: не разовая история. Это система, которая с каждым тестом делает следующий умнее. Именно это отличает бизнесы, которые стабильно растут в конверсии, от тех, кто каждый раз начинает заново.