Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Как-то я проходил собес и мне задали вопрос:
- Доводилось ли тебе иметь дело с парадоксом Симпсона?
Я немного подумал и вспомнил пример из теста в моей практике.
О чём там был тест уже не вспомню, но это и не так важно. В этом тесте мы получили хорошие результаты и тестовый вариант выиграл по ключевой метрике.
Всё бы хорошо, но заказчик решил посмотреть его в разрезе платформ. Проблема была в том, что аудитории платформ (iOS vs Android) у нас были неравномерные, одной группы было сильно меньше.
Мы сгруппировали юзеров по платформам и пересчитали тест для каждой в отдельности. В обоих случая тестовый вариант не оправдался.
Этот явление и есть парадокс Симпсона.
По смыслу он немного похож на "Эффект чирлидерш" от Барни Стинсона из HIMYM (if you know — you know).
Я не очень часто с ним сталкивался, во многом потому, что сегментация по итогам теста не самое популярное развлечение.
Как его обойти?
Интересные статьи
Интересные статьи
