exp-tools – обновления и новости

exp-tools – обновления и новости

Public

Просмотреть канал

Не можете присоединиться? @exp_tools_ru

0

63 Участники

Обновлено: May 25, 2026 at 2:04 AM

exp-tools – обновления и новости

Канал инструмента exp-tools.ru

@exp_tools_ru offers specialized information about exptoolsru for subscribers interested in Инструменты хакинга

Рейтинг

Глобальный рейтинг

#456

+2

Рейтинг по языку

#45

+1

Рейтинг по категории

#23

-1

Рост участников (Сегодня)

Всего: 63

Loading...

Рейтинг

Требуется вход

Loading...

Loading recommended channels...

Последние посты

exp-tools – обновления и новости

25 мая 2026 г., 02:05

Планирование времени на эксперимент – очень фундаментальная и часто игнорируемая задача. В рамках exp-tools собрали новый симулятор – https://exp-tools.ru/sample-size

Что в нем есть:
два режима под разные типы метрик:
⁃ Доли / Конверсия – задаёшь базовый CR и MDE, считает через z-test (есть выбор между точной формулой CPS и упрощённой)
⁃ Непрерывная метрика – задаёшь μ и σ, считает через t-test

MDE можно задать двумя способами – абсолютный (п.п.) или относительный (% от базового значения).
параметры теста:
⁃ α (уровень значимости)
⁃ Мощность – двусторонний / односторонний критерий
плюс секция трафика: DAU и доля аудитории под эксперимент –  сразу считает сколько дней займёт набор выборки

Что в итоге:
⁃ n на группу и total N – длительность в днях

⁃ What-if таблица: "что если подвинуть MDE": −50%, −25%, +50%, +100% сразу видишь n и дни для каждого сценария.
Это самое полезное: не нужно крутить параметры вручную, trade-off между чувствительностью и временем виден сразу

⁃ График N vs MDE (в режиме непрерывной метрики) – Помогает почувствовать, как резко растёт выборка при малых эффектах

Канал

49

3

0

exp-tools – обновления и новости

25 мая 2026 г., 02:05

📷 Photo

Множественное тестирование – когда α перестаёт работать.


Сделали еще один симулятор – https://exp-tools.ru/multiple-testing

Каждый статистический тест допускает ошибку первого рода с вероятностью α. При одной гипотезе это удобный контракт: не более 5% ложных сигналов. Но когда тест проверяет 10, 20 или 50 метрик одновременно, контракт нарушается.
И очевидно, что в экспериментах не обойтись без необходимости коррекции.
В симулятор можно посмотреть и сравнить разные методы наглядно.

Какие методы можно сравнить между собой:

• Поправка Бонферрони
• Метод Холма (1979, пошаговый)
• BH: контроль FDR (Benjamini & Hochberg, 1995)
• BY: FDR при произвольной зависимости (Benjamini & Yekutieli, 2001)

https://exp-tools.ru/multiple-testing

291

exp-tools – обновления и новости

25 мая 2026 г., 02:05

📷 Photo

Новый симулятор: последовательное тестирование

Классический A/B-тест требует зафиксировать размер выборки заранее. Запустил – жди до конца. Посмотришь раньше –  контроль ошибок ломается.
Но в жизни так не бывает. Хочется остановить тест, если эффект уже очевиден. Или продлить, если трафика не хватило.
Для этого и существует последовательное тестирование.

В симуляторе два метода:
1. Fixed Horizon Test –  классика с фиксированным горизонтом
2. mSPRT –  последовательный тест, который можно смотреть в любой момент без штрафа за множественные проверки
На выходе – сравнение мощности обоих методов и подробный теоретический обзор.

Ссылка на симулятор – https://exp-tools.ru/sequential

Канал

142

exp-tools – обновления и новости

25 мая 2026 г., 02:05

📷 Photo

У exp-tools – https://exp-tools.ru/vwe-cuped. Появился новый симулятор: VWE vs CUPED vs отсутствие трансформаций.

Про CUPED многие и так знают, а про VWE напишем чуть подробнее.

В чём суть Обычный t-тест считает всех пользователей одинаково. Но 10 нестабильных power-users “съедаю”» точность 990 стабильных. VWE (Variance-Weighted Estimator) даёт меньший вес нестабильным пользователям.
Аналогия. 10 человек оценивают стоимость квартиры – девять говорят уверенно «12–13 млн», один говорит “5–30 млн”. Умный агрегатор меньше доверяет неуверенному.

Два характерных случая из практики. Маркетплейс, метрика “сумма заказов”: 90% покупателей делают 1–3 заказа/мес с отклонением 1–2 тыс. ₽, а 10% power buyers – 10–50 заказов с отклонением 20–100 тыс. ₽. CV дисперсий ≈ 2.5–3.0, и эти 10% вносят около 60% суммарной дисперсии группы. Стриминг, метрика “время в приложении”: большинство – 15–30 мин/день, power users – 3–6 часов, CV ≈ 2–4. В обоих случаях обычный t-тест де-факто проверяет поведение единиц, а не всей аудитории.

https://exp-tools.ru/vwe-cuped В симуляторе можно посмотреть, как работает данный метод и как он влияет на метрики относительно привычного CUPED и метрики без трансформации.
___________

exp-tools – обновления и новости

25 мая 2026 г., 02:05

📷 Photo

Какие симуляторы появятся в ближайшее время!

139

5

exp-tools – обновления и новости

25 мая 2026 г., 02:05

Channel created

0

0

0

exp-tools – обновления и новости

25 мая 2026 г., 02:05

Всем привет!
Совсем скоро тут появятся обновления http://exp-tools.ru/

126

1

0

Showing 7 of 7 posts

No more posts