A/B тест
A/B тест — это метод сравнения двух вариантов одного элемента, чтобы выбрать тот, который работает лучше. Аудитория случайным образом делится на две группы: группа A видит исходный вариант (контроль), группа B — изменённый (эксперимент). Затем смотрят на ключевую метрику — конверсию, CTR, выручку. Тот вариант, у которого метрика выше и разница статистически значима, объявляется победителем. A/B тестирование применяют в интернет-рекламе, на лендингах, в email-рассылках и мобильных приложениях — везде, где есть измеримое целевое действие.
Статистическая значимость — ключевое условие для любого A/B теста. Недостаточно увидеть, что вариант B конвертирует лучше: разница могла возникнуть случайно из-за малой выборки или короткого срока. Статистическая значимость (обычно p-value < 0,05) означает, что с 95% вероятностью разница между вариантами реальная, а не случайная флуктуация. Чем больше аудитория и чем дольше длится тест — как правило, не менее одной-двух недель — тем надёжнее вывод. Запускать тест на сотне визитов и принимать решение через день — одна из самых частых и дорогостоящих ошибок.
Второе фундаментальное правило — тестировать одну переменную за раз. Если одновременно изменить заголовок, цвет кнопки и расположение формы, невозможно понять, что именно повлияло на результат. В классическом A/B тесте вариант B отличается от контроля ровно одним элементом. Если нужно проверить несколько изменений сразу, используют многовариантное тестирование (MVT) — но оно требует значительно большего трафика для достижения статистической значимости.
Пример: интернет-магазин тестирует кнопку «Добавить в корзину» — вариант A синяя, вариант B красная. Трафик делится поровну. Через две недели и 12 000 посетителей результат: у B конверсия 4,9%, у A — 4,2%. P-value < 0,05 — разница значима. Магазин внедряет красную кнопку как основную и получает устойчивый прирост продаж. Без теста любое изменение дизайна — это угадывание с 50% шансом навредить. С тестом — управляемое решение, основанное на реальном поведении покупателей.