🧠 Задача для дата-сайентистов: "Невидимая переменная"

У вас есть датафрейм с результатами тестирования модели A/B:

| user_id | group | conversion_rate |
|---------|--------|-----------------|
| 1001    | A      | 0               |
| 1002    | A      | 1               |
| 1003    | B      | 0               |
| 1004    | B      | 1               |
| ...     | ...    | ...             |

По результатам A/B теста кажется, что разницы между группами нет. Вы проверили chi-squared test и Mann-Whitney — тоже ничего.

🧩 Однако ваш коллега утверждает, что в данных явно зарыта сильная зависимость, которую можно выявить, если «включить голову».

---

🔍 Вопрос:
Какой скрытый фактор мог полностью «маскировать» эффект от теста и как его можно вычислить, даже если он отсутствует в таблице напрямую?

💡 Подсказка: данные собирались в течение 30 дней, но колонка с датой/временем была потеряна при сохранении. Однако user_id — это не случайное число.

🎯 Что нужно сделать:

1. 🧠 Предположить, что user_id содержит зашумлённую информацию о времени регистрации (например, ID выдаются монотонно)
2. 🧮 Смоделировать зависимость результата от user_id и проверить, не является ли тест несбалансированным по времени
3. 📈 Построить метрику на основе сгруппированных окон по user_id и визуализировать смещение между группами A и B

🎯 Ключевая идея решения:

Хотя колонка с датой была потеряна, можно сделать разумное предположение:
🔸 `user_id` назначается **монотонно**, т.е. пользователи с меньшими ID пришли раньше.

Если эксперимент длился 30 дней, а пользователи приходили неравномерно, то:
- группа A могла доминировать в начале
- группа B — в конце

📉 А что, если в эти периоды поведение пользователей менялось? Например, была акция, баг, праздник?

🔍 **Решение: как восстановить эффект**

1. 🟤 Добавим к данным колонку `bucket = user_id // 100`, чтобы разбить пользователей на условные "временные окна"
2. 🟤 Для каждого `bucket` считаем среднюю `conversion_rate` отдельно по группам A и B
3. 🟤 Строим график `conversion_A - conversion_B` по bucket

Если кривая скачет — тест **несбалансирован по времени** и глобальное сравнение групп вводит в заблуждение.