Комментарии 7
Прошу прощения, если не вдаваться во все подробности, почему получив одинаковые результаты старой и новой страниц геопозиционирования вы решили оставить старую? Вы же заплатили за новую страницу деньги и теперь не взяв её в продакшен, стоимость её разработки пойдёт на убытки компании, а если заменить старую страницу новой, стоимость разработки пойдёт в стоимость приложения.
Додо же не продаёт своё приложение как отдельный продукт. Так что расходы на создание новой страницы, имхо, в любом случае окажутся в себестоимости, принята она в продакшен или нет.
Спасибо большое за такой хороший вопрос и интерес к статье! Из моей практики, на принятие того или иного продуктового решения чаще всего влияет целый ряд факторов. К примеру, в данном конкретном кейсе, разработка этого варианта экрана стоила нам относительно дешево: мы уже имели шаблон этой страницы, который слегка перекрасили и изменили смысловое содержание. Цель этого аб-теста была скорее исследовательской и мы искали ответы на вопросы: "каким образом нарастить долю людей с геолокацией". В итоге, увидев неэффективность этого решения, мы пришли к решению не катить этот экран, Также у нас в планх было вынести карту в приложении в самое начало пути юзера, вне зависимости от результатов теста (во время этого теста во всех вариантах первым шел экран саджестов, и лишь после него можно было выйти на карту). Таким образом, после завершения теста, мы решили измерить, не принесет ли вынос карты нам желаемый прирост в доле людей с геолокацией, раз уж мы все равно это выкатываем (в итоге от вынесения карты вперед долю людей с геолокаций действительно выросла).Что касательно затрат на разработку, то если считать затраты на разработку этого решения, то они оказались даже меньше затрат на работу аналитика на анализ данного аб-теста. Также для выпила старого варианта и поддержку нового было бы все-равно необходимо совершить некие затраты. И так как новый вариант прибыли не приносит, и в этом случае мы как будто бы в убытке. Я как аналитик хочу верить, что стоимость разработки пошла в накопленный аналитический опыт, мы смогли лучше понять наших пользователей, в дальнейшем не проводить подобных исследований, мы получили возможность принимать более выгодные и правильные решения с бОльшим количеством информации, что в итоге дало нам нарастить конверсию не в моменте, но в более долгом периоде. Надеюсь, мне удалось ответить на ваш вопрос, но если я что-то упустила, пожалуйста пишите!
Подскажите, пожалуйста, а как вы проверяли свою гипотезу по гипотезам, что увеличение частоты дискретизации ради искусственного повышения мощности теста даст тот же результат, что и накопление данных с исходной частотой, но за более длительный период? И если да, то какой был результат? Пробовали ли вы дополнить исследование качественными методами?
Спасибо большое за методологический вопрос и интерес к статье! Если под "тем же самым результатом" имеется в виду то, что тест не отловит значимых отличий, если мы его дольше подержим, то данный вопрос будет достаточно накладно проверить в жизни. Чтобы догнать по количеству наблюдений тест с исходными интервалами, нам понадобится минимум 230 дней (10 у нас было, а еще 230 для того чтобы получить 240 наблюдений в сумме). Это получается, что нам бы пришлось держать тест больше полугода. В комментарии ранее я рассказывала, что сейчас целевое решение вообще видоизменилось: карта вышла вперед, то есть мы физически не может продолжать этот эксперимент столь долго, да и боюсь к тому времени актуальность этого теста явно упала бы. К слову сказать, мы действительно подержали тест еще немного, и выводы остались все теми же. Про качественные методы, подскажите пожалуйста, какие на ваш взгляд методы могли бы это быть? Надеюсь, мне удалось ответить на ваш вопрос!
Спасибо, да, получилось ответить. По поводу увеличения времени вопрос был даже не про конкретное исследование, а про оценку, скажем так, на будущее: запустить некий долгоиграющий тест, который позволит оценить, насколько могут результаты по интервалам, разнящимися на порядок. Понятно, что бизнесу часто надо "..., ... и в продакшен здесь и сейчас", но, как мне кажется, такую гипотезу стоит проверить - в длительной перспективе может выясниться, что условные ночные пользователи сильно отличаются от дневных.
Под качественными методами я, в первую очередь, подразумевал анкетирование и интервью, в первую очередь. Возможно, пользователи согласятся ответить на один-два вопроса за небольшой бонус. Не знаю, как дело обстоит сейчас, но во времена моего обучения в университете такие доп.проверки оказывались финансово выгоднее, чем сбор массовой статистики при схожей точности.
Как увеличить мощность A/B-теста, если мало данных и время поджимает