Достоверность 52%
А вот и ответ рекомендательной системы:
вероятность того, что вариант №4 реально лучше варианта №2 — всего 52,71%
То есть лидер вроде бы есть,
но по факту это подбрасывание монетки, на текущей выборке данных:
— показы
— клики
— корзины
система считает, что у варианта №4 слишком слабый отрыв, чтобы ему уже можно было доверять.
Да, сейчас у №4 метрика % из показа в корзину выше, чем у №2.
Но проблема в том, что при такой выборке это преимущество пока не выглядит достаточно надёжным. Уверен что некоторые из вас могли бы завершить тест в пользу 4-го варианта и поставили его.
Именно для этого и нужна рекомендательная система:
и точная цифра вероятности в 52,71% на победу №4 - отрезвляет, не правда ли? 😅
То есть если добрать данные до достаточного объёма, в данном случае примерно до 21 608 показов на вариант, то текущий лидер ещё вполне может не удержать первое место, и у №2 всё ещё сохраняется заметный увесистый шанс.
И это как раз тот момент, где без трезвого % вероятности очень легко принять неверное решение.
Потому что если смотреть просто глазами, можно сказать:
“ну всё, №4 же выше, значит победил”.
Но мы не часто смотрим на достаточность выборки, мы смотрим на финальный % и думаем что №4 победил.
Но по факту — нет, не победил.
Пока это только слабый сигнал, а не надёжный вывод.
Что ещё важно:
варианты №1 и №3 система уже исключила из расчёта, потому что на текущем объёме данных вероятность их выхода в лидеры уже практически отсутствует.
То есть они достоверно слабее и дальше только мешают быстрее добрать данные между реальными финалистами.
И что делать дальше?
Система не просто показывает вероятность, но и подсказывает следующий шаг.
Если тест ещё идёт — можно продолжить его уже без слабых вариантов, чтобы быстрее добрать достоверность.
Если тест завершён — можно либо продлить его, отключив слабых (да, уже можно отключать слабые варианты пока тест идет), либо перезапустить новую, более чистую финальную дуэль.
В этом случае я как раз перезапустил тест.
И финальный результат уже оказался другим, более уверенным.
Вот именно за это мне и нравится рекомендательная система.
Она не просто показывает цифры.
Она помогает не влюбляться в случайный отрыв и не принимать шум за победу.
Как вам такой кейс?
Без точного % вероятности в 52,71% на лидере — так легко было бы поверить в победу, да?
PS: уже приступили к реализации, скоро будет подсказывать, в том числе и на старых тестах и можно будет проверить правильное ли решение вы принимали в прошлом
PS2: в комментах выложил расчет РС, кто в итоге победил во втором туре и с каким % вероятности ⬇️
