A/B-тест страницы онлайн-курса: как подготовить проверку гипотезы

Сформулируйте одно предполагаемое изменение

Начните с наблюдаемого затруднения посетителей. Например, из разговоров с потенциальными учениками видно, что непонятно, какая работа получится после курса. Гипотеза: конкретный пример результата на первом экране поможет подходящим людям принять решение о заявке.

Вариант A сохраняет текущую подачу. Вариант B добавляет пример результата и краткое объяснение условий. Остальные существенные элементы предложения остаются согласованными. Если одновременно поменять цену, программу, форму и рекламный источник, будет трудно понять, с чем связано различие.

Microsoft Research описывает A/B-тестирование как случайное распределение пользователей между вариантами с последующим анализом различий в показателях. Публикация одного заголовка в понедельник и другого в пятницу не обеспечивает такого распределения: могли измениться аудитория, реклама и внешние обстоятельства.

Выберите результат, который нужен школе

Основной показатель должен соответствовать гипотезе. Если вы проверяете понимание предложения, число кликов по яркой кнопке может оказаться недостаточным. Более полезным событием станет завершённая заявка от человека, которому подходит программа. Заранее определите, как фиксируется заявка и по каким правилам оценивается её соответствие.

Запишите также показатель, за которым нужно следить, чтобы не пропустить ухудшение. Например, увеличение числа заявок может сопровождаться ростом обращений с неверными ожиданиями. Тогда изменение усилило интерес, но создало другую проблему.

Согласуйте определения с человеком, который обрабатывает обращения. Одна и та же заявка не должна считаться подходящей в одном варианте и неподходящей в другом из-за разных правил менеджера. Основу событий можно взять из схемы связи статей, заявок и участия.

Проверьте, хватит ли данных

До запуска оцените обычный объём подходящих посетителей и базовую конверсию. Затем определите, какое изменение имеет практический смысл обнаружить. Практическое руководство Рона Кохави и соавторов рассматривает статистическую мощность, размер выборки и случайное распределение пользователей. Универсального числа «сто посетителей на вариант» для всех задач нет.

Если исходных данных мало, попросите аналитика рассчитать требуемый объём для выбранной метрики и условий. Не подменяйте расчёт обещанием дождаться первого красивого различия. У небольшой школы набор нужной выборки может занять больше времени, чем существует актуальное предложение курса.

В такой ситуации полезно сначала проверить понимание страницы в нескольких предметных беседах: что человек считает результатом, кому подходит программа и что произойдёт после заявки. Это качественная проверка, и её не следует представлять как статистическое доказательство роста конверсии.

Опишите технический протокол

Заранее укажите, кто попадает в эксперимент, как посетитель закрепляется за вариантом и какие события записываются. Один человек не должен постоянно видеть меняющуюся версию из-за каждого обновления страницы. При этом выбранный идентификатор может иметь ограничения, например при переходе между устройствами.

До открытия реального трафика пройдите оба маршрута тестовыми действиями. Проверьте загрузку страницы, форму, запись варианта и событие успешной отправки. Отметьте тестовые обращения, чтобы они не смешались с рабочими данными.

Если размер групп неожиданно отличается от предусмотренного распределения, сначала исследуйте причину. Возможны ошибки показа или регистрации событий. Не удаляйте неудобные наблюдения задним числом ради красивого результата. Правила обработки технических сбоев и остановки эксперимента нужно описать до анализа.

Рассмотрите результат вместе с неопределённостью

Условный пример: в одном варианте получено сорок заявок от восьмисот посетителей, в другом — пятьдесят от восьмисот двадцати. Доли составляют пять процентов и примерно 6,1 процента. Из этих двух чисел без анализа нельзя объявить подтверждённую победу второго варианта.

Проверьте качество данных, исходные предположения и выбранный статистический метод. Неопределённость оценки должна оставаться видимой в отчёте. Если эксперимент не позволил обнаружить различие, это не означает, что варианты абсолютно одинаковы или что гипотеза никогда не сработает.

Отдельно разберите качество обращений и сопоставимость аудитории. Решение о странице опирается на несколько согласованных свидетельств, а не только на самый удачный процент. Полезно вернуться к структуре страницы курса, если тест выявил проблему самого предложения.

Сохраните карточку решения

Запишите гипотезу, варианты, период, условия распределения, метрики, ограничения и принятое решение. Приложите исходные количества. Такая карточка помогает не запускать через месяц тот же эксперимент под новым названием и не терять причины сохранения текущей версии.

Инструмент A/B-тестирования и настройку событий выбирают отдельно; наличие курса в Umhub не означает встроенного распределения трафика между лендингами. Сначала подготовьте измеримый вопрос и проверьте сбор данных. Затем запускайте эксперимент только там, где его результат действительно поможет принять решение о продвижении курса.