Сегодня поговорим о том, как понять, работает ли ваша новая фича или это просто случайный всплеск. Разберемся, что такое статистические критерии, доверительные интервалы, и как их использовать, чтобы принимать обоснованные решения.
Немного теории
Статистические критерии
Каждый раз, когда вы выкатываете новую фичу, перед вами встаёт вопрос: действительно ли она улучшила метрики или всё это просто случайность? Статистический критерий — это инструмент, который помогает ответить на этот вопрос.
Критерий основывается на двух гипотезах:
Нулевая гипотеза (
): никакой разницы между контрольной и тестовой группой нет. Фича не работает.Альтернативная гипотеза (
): разница есть, и тестовая группа лучше.
Цель статистического критерия — помочь вам принять решение: отвергнуть 
(в пользу 
) или оставить её в покое. Это делается на основании уровня значимости 
, который чаще всего равен 0.05. Если вероятность того, что данные соответствуют 
, меньше 5%, гипотеза считается отклонённой.
Доверительный интервал
Доверительный интервал (в дальн. DI) — это диапазон значений, в котором, с заданной вероятностью, находится истинное значение вашей метрики. Например, если DI для конверсии равен [0.48, 0.52], то вы с 95% уверенностью можете сказать, что истинная конверсия где-то в этом диапазоне.
DI позволяет не просто принять решение о том, работает ли фича, но и понять, насколько устойчивы результаты.
Допустим, вы добавили огромную зелёную кнопку «Купить», потому что дизайн-команда уверена: зелёный цвет вызывает у пользователей желание тратить деньги (ну, почти). Вопрос: стала ли конверсия лучше?
Контрольная группа: старый дизайн. Конверсия, предположим, 20%.
Тестовая группа: новый дизайн. Кажется, что стало 22%.
Но так ли всё радужно? Могли ли эти 2% быть просто результатом случайности? Тут и могут помочь статистические критерии.
Пример A/B-теста на котиках
Теперь поговорим о действительно важном: котиках. Представим, что вы управляете сайтом с фотографиями милых котов. Вы решили провести эксперимент, чтобы понять, какая версия карточки котика привлекает больше лайков:
Контрольная версия: стандартная карточка.
Тестовая версия: добавили анимацию «котик машет лапкой».
Мы хотим узнать: действительно ли анимация увеличивает вероятность, что посетители лайкают котика, или это просто случайный шум?
Генерируем данные
Предположим, что контрольная версия карточки получает лайки в 40% случаев, а тестовая версия — в 46%. Смоделируем это с помощью биномиального распределения.
import numpy as np
# Параметры
n_users = 1000 # количество посетителей
p_control = 0.4 # вероятность лайка в контрольной группе
p_test = 0.46 # вероятность лайка в тестовой группе
# Генерируем данные
np.random.seed(42) # чтобы результаты были воспроизводимыми
control_group = np.random.binomial(1, p_control, size=n_users)
test_group = np.random.binomial(1, p_test, size=n_users)
# Рассчитываем конверсии
cr_control = control_group.mean()
cr_test = test_group.mean()
print(f"Конверсия контрольной группы: {cr_control:.4f}")
print(f"Конверсия тестовой группы: {cr_test:.4f}")Конверсия контрольной группы: 0.3870
Конверсия тестовой группы: 0.4810Проверяем гипотезу
Теперь применим t-тест, чтобы понять, есть ли значимая разница между двумя группами.
from scipy.stats import ttest_ind
# T-тест
stat, p_value = ttest_ind(control_group, test_group, alternative='less')
print(f"T-статистика: {stat:.4f}")
print(f"P-value: {p_value:.4f}")
if p_value < 0.05:
print("Отклоняем H₀: анимация увеличивает вероятность лайков.")
else:
print("Не отклоняем H₀: значимых изменений нет.")T-статистика: -4.2580
P-value: 0.0000
Отклоняем H₀: анимация увеличивает вероятность лайков.Доверительные интервалы
Чтобы быть уверенными в результатах, строим доверительные интервалы для обеих групп.
from statsmodels.stats.proportion import proportion_confint
# Доверительные интервалы
ci_control = proportion_confint(control_group.sum(), nobs=n_users, alpha=0.05)
ci_test = proportion_confint(test_group.sum(), nobs=n_users, alpha=0.05)
print(f"Доверительный интервал для контрольной группы: {ci_control}")
print(f"Доверительный интервал для тестовой группы: {ci_test}")Доверительный интервал для контрольной группы: (0.35681203687738955, 0.4171879631226105)
Доверительный интервал для тестовой группы: (0.45003263106850594, 0.511967368931494)Визуализация
Чтобы данные были не только понятными, но и красивыми, создадим график. На нём отобразим распределения данных, средние значения и доверительные интервалы.
import seaborn as sns
import matplotlib.pyplot as plt
# Создаём массивы для распределений
control_dist = np.random.binomial(n=1, p=p_control, size=10000).mean(axis=0)
test_dist = np.random.binomial(n=1, p=p_test, size=10000).mean(axis=0)
# Визуализация
plt.figure(figsize=(12, 8))
sns.histplot(control_group, bins=20, kde=True, color="blue", label="Контрольная группа", stat="density", alpha=0.6)
sns.histplot(test_group, bins=20, kde=True, color="green", label="Тестовая группа", stat="density", alpha=0.6)
# Добавляем вертикальные линии для средних значений
plt.axvline(cr_control, color="blue", linestyle="--", label=f"Средняя конверсия (контроль): {cr_control:.2f}")
plt.axvline(cr_test, color="green", linestyle="--", label=f"Средняя конверсия (тест): {cr_test:.2f}")
# Доверительные интервалы
plt.axvline(ci_control[0], color="blue", linestyle=":", label=f"ДИ контроль: {ci_control[0]:.2f} - {ci_control[1]:.2f}")
plt.axvline(ci_control[1], color="blue", linestyle=":")
plt.axvline(ci_test[0], color="green", linestyle=":", label=f"ДИ тест: {ci_test[0]:.2f} - {ci_test[1]:.2f}")
plt.axvline(ci_test[1], color="green", linestyle=":")
# Оформление графика
plt.title("Лайки котиков: контрольная vs тестовая группа", fontsize=16)
plt.xlabel("Значение конверсии", fontsize=12)
plt.ylabel("Плотность", fontsize=12)
plt.legend(loc="upper left", fontsize=10)
plt.grid(alpha=0.3)
plt.tight_layout()
plt.show()
График показывает, что тестовая группа с анимацией котиков имеет значимо более высокую конверсию (48% против 39% у контрольной), а непересекающиеся доверительные интервалы подтверждают статистическую значимость результата. Это значит, что анимация действительно увеличила вовлечённость пользователей!
В заключение спешу напомнить об открытых уроках по аналитике, которые совсем скоро пройдут в рамках онлайн-курсов от Otus:
21 ноября: «Кому в корпоративном мире нужна BI-аналитика?». Узнать подробнее
26 ноября: «Основы визуализации данных в работе аналитика». Узнать подробнее
