Перейти к содержанию

Калькулятор A/B-теста и размера выборки

Сравните конверсии двух вариантов: точный тест Фишера или z-тест, p-value и доверительные интервалы. Рассчитайте выборку и срок будущего A/B-теста.

  • Бесплатно
  • Без регистрации
  • Работает в браузере, данные не уходят
Загружаем инструмент…

Что показывает калькулятор A/B-теста

Введите размер двух групп и число конверсий в каждой. Для посадочной страницы наблюдениями могут быть уникальные посетители, а конверсией: хотя бы одна заявка от посетителя. Для CTR сравнивайте независимые наблюдения показа и факт клика. Один человек, многократно попавший в обе группы, нарушает предположение о независимости.

Проценты сами по себе недостаточны. У вариантов A и B может быть конверсия 2% и 2,4%, но при 10 000 наблюдений в каждой группе двусторонний тест ещё не даёт основания объявить победителя на уровне 5%. Нужны и величина различия, и неопределённость результата.

Почему есть два статистических критерия

Когда ожидаемое число событий или неуспехов в одной из ячеек таблицы меньше пяти, включается точный двусторонний тест Фишера. В остальных случаях используется z-тест двух долей с объединённой оценкой вероятности, без поправки Йейтса. Выбор определяется ожидаемыми частотами, а не общим количеством кликов.

Например, ноль конверсий из миллиона наблюдений против четырёх из миллиона выглядит убедительно в обычном z-тесте. Точный тест Фишера даёт p-value около 0,125. При пороге 0,05 оснований объявить значимое различие здесь нет.

p-value не является вероятностью, что вариант лучше или хуже. Это характеристика совместимости данных с гипотезой об одинаковой конверсии при выбранной модели теста. Интервалы отдельных конверсий рассчитаны методом Уилсона. Интервал разницы для z-режима: приближённый метод Ньюкомба на основе интервалов Уилсона. При точном тесте интервал разницы скрыт, чтобы не смешивать неэквивалентные выводы разных методов.

Как заранее рассчитать размер выборки

Во втором блоке задайте обычную конверсию и относительный эффект, который имеет смысл обнаружить. При базовой CR 2% относительный MDE 20% означает целевую CR 2,4%, то есть прирост на 0,4 процентного пункта. Не путайте относительный рост с процентными пунктами.

Планировщик использует нормальное приближение для двух долей: распределение трафика 50/50, двусторонний уровень значимости 5%, мощность 80%, фиксированная выборка. Срок считается по общему дневному трафику двух вариантов. Для примера 2% и 20% MDE получается примерно 21,1 тысячи наблюдений на вариант. Это оценка для планирования, а не точный расчёт мощности теста Фишера.

Когда результат нельзя переносить на кампанию

  • Распределяйте наблюдения случайно и не меняйте аудиторию, атрибуцию и единицу учёта посреди теста.
  • Дождитесь заранее выбранной выборки и созревания конверсий. Остановка при первом p-value ниже 0,05 увеличивает риск ложного вывода.
  • Для трёх и более вариантов или множества метрик нужна поправка на множественные сравнения. Этот калькулятор её не выполняет.
  • Более высокая CR не гарантирует более высокую прибыль: сравните EPC, апрув, затраты и ROI, а источники различайте через UTM-метки.

Формулы и проверка

Математика сверяется с независимыми эталонами: двусторонний Fisher exact в SciPy, z-тест двух долей и интервалы разницы долей. Сравнение и планирование выполняются в этой вкладке, без отправки введённых чисел в сервер расчётов. Информация о проекте и границах проверок: редакция BoostClicks.

Частые вопросы

Что вводить: клики или посетителей?

Одинаковую независимую единицу наблюдения в обеих группах. Для лендинга обычно используют уникальных посетителей и факт хотя бы одной конверсии. Повторные конверсии одного посетителя не считаются отдельными успехами в этой модели.

Почему при большом трафике включается тест Фишера?

Важен не только общий трафик, но и ожидаемые частоты событий и неуспехов. Если минимальная ожидаемая частота меньше пяти, нормальное приближение может быть неточным.

Означает ли p-value 0,03 вероятность победы 97%?

Нет. p-value не является вероятностью победы варианта. Решение относится к гипотезе об одинаковых конверсиях и зависит от предположений теста.

Можно ли проверять результат каждый день и остановиться при значимости?

Промежуточно смотреть можно, но остановка по первому значимому результату нарушает фиксированный план. Этот инструмент не реализует последовательный тест или поправку на многократные проверки.

Сохраняются ли введённые числа?

Сам калькулятор не отправляет числа на сервер расчётов и не сохраняет их в браузере. Поля и результаты помечены для исключения их содержимого из записи Вебвизора; общий счётчик посещений сайта продолжает работать.