Переезжаю с FastSpring на PPG. Пока запустил тестово на немецко- и русско-язычной странице. Половине пользователей показывается FastSpring, другой — PPG. Для русско-язычных пользователей результат +- одинаковый: 3 против 2, а для немецких сильно разный: 7 у FS против 2 у PPG.
Я понимаю, что моих конверсий пока ещё слишком мало для того, чтобы результат был статистически значимым. У меня есть предположение почему PPG показывает результат хуже, чем FS: PPG не умеет принимать платежи в Евро через PayPal и то, что оплата по безналу стоит 10 евро. Но я не ожидал настолько большого влияния.
Но может кто-то уже сравнивал этих двух регистраторов и может поделиться наблюдениями?
Здравствуйте, chebum, Вы писали:
C>Я понимаю, что моих конверсий пока ещё слишком мало для того, чтобы результат был статистически значимым. У меня есть предположение почему PPG показывает результат хуже
По собственному опыту АБ тестов могу сказать, что бессмысленно тратить свое время на рассуждения на такой маленькой выборке, когда через вас пройдет хотя бы 100 платежей, тогда и можно делать выводы. И скорее всего, конечный результат будет отличаться на проценты, но никак не в разы.
C> оплата по безналу стоит 10 евро.
Что вы имеете в виду? При оплате картой или пэйпалом Пейпро снимает с клиента дополнительные 10 евро?
Здравствуйте, mauzer_tim, Вы писали:
_>По собственному опыту АБ тестов могу сказать, что бессмысленно тратить свое время на рассуждения на такой маленькой выборке, когда через вас пройдет хотя бы 100 платежей, тогда и можно делать выводы. И скорее всего, конечный результат будет отличаться на проценты, но никак не в разы.
Меня устроит если не будет разницы в конверсиях или она будет очень мала. Я понимаю, что чем меньше разница между вариантами, тем больше нужна выборка. Если разница несколько процентов, то для статистически значимого результата и 100 конверсий не хватит.
C>> оплата по безналу стоит 10 евро.
_>Что вы имеете в виду? При оплате картой или пэйпалом Пейпро снимает с клиента дополнительные 10 евро?
При оплате банковским переводом (wire transfer) к счёту добавляется 10 евро.
Здравствуйте, chebum, Вы писали:
C>Переезжаю с FastSpring на PPG. Пока запустил тестово на немецко- и русско-язычной странице. Половине пользователей показывается FastSpring, другой — PPG. Для русско-язычных пользователей результат +- одинаковый: 3 против 2, а для немецких сильно разный: 7 у FS против 2 у PPG.
Заметили тоже самое. Решили что у ППГ борьба с фродами заворачивает слишком много ордеров. Но оставили только ППГ на время.
Спустя какое-то время сделали еще один тест, число ордеров почти одинаковое.
Так и не поняли в чем было дело.
Здравствуйте, chebum, Вы писали: C>Я понимаю, что чем меньше разница между вариантами, тем больше нужна выборка.
Чем меньше выборка тем выше т.н. вероятность ошибки нулевой гипотезы (то есть утверждения, что А лучше Б). Вот, к примеру случайная последовательность из ста 0 и 1 сгенеренная PHP функцией rand:
Первые 9 цифр в точности ваш вариант — 7 нулей и две единицы (случайно так получилось, это правда скрипт нагенерил). Есть ли смысл, взяв первые 9 цифр утверждать, что rand генерирует больше нулей чем единиц?
Здравствуйте, mauzer_tim, Вы писали: _>Первые 9 цифр в точности ваш вариант — 7 нулей и две единицы (случайно так получилось, это правда скрипт нагенерил). Есть ли смысл, взяв первые 9 цифр утверждать, что rand генерирует больше нулей чем единиц?
Нет, конечно. Я поэтому и спросил совета сообщества в первом сообщении: C>Я понимаю, что моих конверсий пока ещё слишком мало для того, чтобы результат был статистически значимым. ... Но может кто-то уже сравнивал этих двух регистраторов и может поделиться наблюдениями?
Здравствуйте, nen777w, Вы писали: N>Мы наоборот переехали недавно с PPG на FastSpring. N>Можно поинтересоваться почему Вы сделали такой move ?
Что-то случилось с их суппортом.
Два раза с начала года было падение — деньги списывались с карты, но заказы не завершались: счета не высылались, нотификации о лицензиях тоже. Пришлось в ручную мониторить новые заказы и ручками генерировать и рассылать лицензии.
Тикет я открыл 9 октября. FastSpring на него среагировал 15 октября.
15 октября сломалась интеграция с GA. Решение от поддержки получена 20 октября.
Пользователям в Испании Contextual Commerce показывает цены в рублях. Тикет заведён 7 августа. Первый ответ от суппорта — 14 августа.
В добавок они блокируют карту пользователя на двое суток если пользователь неправильно ввёл дату или CVC. Снять лимит отказываются с ответом "we don't do micromanagement".
Google Optimize сегодня прислал уведомление, что один из экспериментов закончился. На немецкоязычной версии сайта с преимуществом 14 к 4 победил FastSpring. Вероятность, что он лучше — 99%.
На русской версии сайта эксперимент продолжается. Там пока лидирует PPG.
