Симулятор A/B-тестов

О симуляторе

Александр Давыдов и школа karpov.courses подготовили практический тренажёр по полному циклу A/B-тестирования для оптимизации сайтов, приложений и маркетинговых кампаний. Обучение построено на решении прикладных задач, позволяющих сравнивать варианты дизайна, контента или функционала и принимать продуктовые решения на основе собранных данных.

В программе разбираются ситуации, когда стандартные тесты не срабатывают: от искажений сводных метрик и сетевых эффектов до работы со сложными ratio-показателями. Практика на тренажёре охватывает весь цикл эксперимента — от предварительного расчёта размера выборки и формулирования гипотез до статистической проверки, снижения дисперсии и аргументированного обоснования запуска изменений в продукте.

Что разбирается на занятиях

Программа охватывает этапы и методологии проведения продуктовых экспериментов:

• Формулирование нулевой и альтернативной гипотез, выбор единиц рандомизации, выявление spillover- и сетевых эффектов, разграничение корреляционных и причинно-следственных связей.
• Расчёт минимального детектируемого эффекта (MDE), необходимого объёма выборки и длительности тестов с защитой от подглядывания с помощью sequential-подхода.
• Подбор статистических критериев под тип метрики и распределение данных: t-test, тест Уэлча, z-test, критерий хи-квадрат, критерий Манна — Уитни и bootstrap.
• Работа со сложными показателями: расчёт дисперсии для ratio-метрик через delta-метод и применение линеаризации для CTR.
• Предварительный аудит эксперимента: проверка SRM и баланса групп, оценка смещений распределения, диагностика через распределение p-value в A/A-тестах.
• Повышение чувствительности тестов: применение стратификации и пост-стратификации, реализация метода CUPED с историческими ковариатами и очистка данных от выбросов.
• Параллельные эксперименты и масштабирование: выбор поправок Бонферрони или Бенджамини — Хохберга на множественные сравнения, проведение switchback- и геоэкспериментов, контроль ортогональности слотов.
• Байесовский подход и многорукие бандиты (Thompson sampling, UCB), а также квазиэксперименты (Diff-in-Diff, Causal Impact, PSM), когда классический A/B-тест неприменим.
• Проектирование автоматизированных систем оценки A/B-тестов и генерация аналитического пайплайна с использованием инструментов искусственного интеллекта.

В качестве финального проекта выполняется полный сквозной пайплайн A/B-теста в Jupyter Notebook с проверкой SRM, выбором критериев, расчётом доверительных интервалов и защитой решения о выкате перед бизнесом.

Об авторе

Александр Давыдов — лид аналитики с опытом более 9 лет в продуктовой аналитике и управлении командами в таких компаниях, как Дзен (VK), inDrive, Ситидрайв, Самокат и Мегамаркет. Специализируется на A/B-тестировании, монетизации рекламы, проектировании операционных аналитических систем и принятии управленческих решений на основе данных.