A-B тестирование всего сайта
От: ArcticLine2 http://www.IconDesignLAB.com
Дата: 27.11.11 10:33
Оценка:
Привет,

Есть сайт. Для него сделали новый дизайн.

Как теперь ДЛЯ САЙТА определить, какой дизайн работает лучше?

Из того, что нашел в Google Website Optimizer, все требует адрес
страницы для сравнения. Как проводить тестирование, если страниц
несколько?

--
С уважением, Роман
www.icons4swrus.comдизайн иконок для шароварщиков
www.IconDesignLAB.comIcon Design
www.jetScreenshot.com — быстрый обмен скриншотами. Must have для всех удаленщиков, программистов и QA тестеров!
Re: A-B тестирование всего сайта
От: sembel Fast Version Control System
Дата: 27.11.11 11:06
Оценка:
Здравствуйте, ArcticLine2, Вы писали:
AL> Как теперь ДЛЯ САЙТА определить, какой дизайн работает лучше?


помню в одной фирме делали так: в течении например 2 недель, половину посетителей направляли на новый дизайн,
а других на оставляли на старом. Собирали статистику и анализировали, сколько времени ушло до покупки, сколько
кликов и т.д. По том это сравнивали со статистикой старого дизайна.

А также был опрос как вам новый дизайн, пожелания присылайте.
Re[2]: A-B тестирование всего сайта
От: ArcticLine2 http://www.IconDesignLAB.com
Дата: 27.11.11 12:16
Оценка:
Здравствуйте, sembel, Вы писали:

S>помню в одной фирме делали так: в течении например 2 недель, половину посетителей направляли на новый дизайн,

S>а других на оставляли на старом. Собирали статистику и анализировали, сколько времени ушло до покупки, сколько
S>кликов и т.д. По том это сравнивали со статистикой старого дизайна.

А ИНСТРУМЕНТАРИЙ для этого какой использовали?

--
С уважением, Роман
www.icons4swrus.comдизайн иконок для шароварщиков
www.IconDesignLAB.comIcon Design
www.jetScreenshot.com — быстрый обмен скриншотами. Must have для всех удаленщиков, программистов и QA тестеров!
Re[3]: A-B тестирование всего сайта
От: sembel Fast Version Control System
Дата: 27.11.11 12:22
Оценка:
Здравствуйте, ArcticLine2, Вы писали:

AL>А ИНСТРУМЕНТАРИЙ для этого какой использовали?


к сожалению не знаю, эту задачу нашего клиента выполняла другая фирма.
Re[3]: A-B тестирование всего сайта
От: icezone  
Дата: 27.11.11 13:24
Оценка:
Здравствуйте, ArcticLine2, Вы писали:

AL>А ИНСТРУМЕНТАРИЙ для этого какой использовали?


mod_rewrite + GA
Re[4]: A-B тестирование всего сайта
От: ArcticLine2 http://www.IconDesignLAB.com
Дата: 27.11.11 13:27
Оценка:
Здравствуйте, icezone, Вы писали:

AL>>А ИНСТРУМЕНТАРИЙ для этого какой использовали?


I>mod_rewrite + GA

= фишинг и проблемы с гуглем.

+ неудобно и сложно.

--
С уважением, Роман
www.icons4swrus.comдизайн иконок для шароварщиков
www.IconDesignLAB.comIcon Design
www.jetScreenshot.com — быстрый обмен скриншотами. Must have для всех удаленщиков, программистов и QA тестеров!
Re[5]: A-B тестирование всего сайта
От: veroni  
Дата: 27.11.11 13:40
Оценка:
Здравствуйте, ArcticLine2, Вы писали:

AL>Здравствуйте, icezone, Вы писали:


AL>>>А ИНСТРУМЕНТАРИЙ для этого какой использовали?


I>>mod_rewrite + GA

AL>= фишинг и проблемы с гуглем.

AL>+ неудобно и сложно.


2 недели меряем показания на старом дезайне.
потом 2 недели — на новом.
Сравниваем.
Re[6]: A-B тестирование всего сайта
От: Denis Россия http://blogs.gotdotnet.ru/personal/Denis
Дата: 28.11.11 23:18
Оценка:
Здравствуйте, veroni, Вы писали:
V>2 недели меряем показания на старом дезайне.
V>потом 2 недели — на новом.
V>Сравниваем.

это неправильный подход. гугловский клиентский редирект тоже, кстати, вносить сильный bias в результаты. по платформе трудно сказать, знаю что у Omniture весьма зрелая (но там ценник чудовищный). еще есть Visual Web Site Optimizer и Sitespect, которые ничего. Мы писали свой, команда 12+ человек , хорощий A/B требует много усилий, что бы правильно интерпретировать результаты.

кстати, процент результатов: 58% никакой разнцицы, 21% и 21% лучше/хуже новый (это не догма, а просто наблюдение за большим кол-вом экспериментов)
... << RSDN@Home 1.2.0 alpha 4 rev. 1237>>
Re[7]: A-B тестирование всего сайта
От: veroni  
Дата: 28.11.11 23:38
Оценка:
Здравствуйте, Denis, Вы писали:

D>Здравствуйте, veroni, Вы писали:

V>>2 недели меряем показания на старом дезайне.
V>>потом 2 недели — на новом.
V>>Сравниваем.

D>это неправильный подход. гугловский клиентский редирект тоже, кстати, вносить сильный bias в результаты. по платформе трудно сказать, знаю что у Omniture весьма зрелая (но там ценник чудовищный). еще есть Visual Web Site Optimizer и Sitespect, которые ничего. Мы писали свой, команда 12+ человек :) , хорощий A/B требует много усилий, что бы правильно интерпретировать результаты.



Чем же это неправильный подход, у него огромный плюс — не нужно ничего писать 12-ю человеками!

D>кстати, процент результатов: 58% никакой разнцицы, 21% и 21% лучше/хуже новый :) (это не догма, а просто наблюдение за большим кол-вом экспериментов)


Тем более.
Re[7]: A-B тестирование всего сайта
От: AnonThisTime  
Дата: 29.11.11 09:38
Оценка:
D>это неправильный подход. гугловский клиентский редирект тоже, кстати, вносить сильный bias в результаты. по платформе трудно сказать, знаю что у Omniture весьма зрелая (но там ценник чудовищный). еще есть Visual Web Site Optimizer и Sitespect, которые ничего. Мы писали свой, команда 12+ человек , хорощий A/B требует много усилий, что бы правильно интерпретировать результаты.

D>кстати, процент результатов: 58% никакой разнцицы, 21% и 21% лучше/хуже новый (это не догма, а просто наблюдение за большим кол-вом экспериментов)


кстати да, почему не верный? потому что вы писали 12ю человеками, а тут способ проще и быстрее?
Re[5]: A-B тестирование всего сайта
От: icezone  
Дата: 29.11.11 13:57
Оценка:
Здравствуйте, ArcticLine2, Вы писали:

AL>= фишинг и проблемы с гуглем.


AL>+ неудобно и сложно.


Зачем сразу матом ругаться? У тебя есть сайт с установленной GA, есть статистика по нему.
Заливаем новый сайт в подкаталог и делаем редирект всей структуры сайта в этот подкаталог.
Ждем месяц, потом в GA делаем сравнение с предыдущим месяцем. Все элементарно и ничего не нарушает.

У меня было еще проще, потому как весь дизайн в шаблонах лежит, никаких папок и редиректов не понадобилось.
Re[6]: A-B тестирование всего сайта
От: grosborn  
Дата: 29.11.11 14:15
Оценка:
> У меня было еще проще, потому как весь дизайн в шаблонах лежит, никаких папок и редиректов не понадобилось.

При смене дизайна структура сайта не менялась? А какой движок используешь?
Posted via RSDN NNTP Server 2.1 beta
Забанен на рсдн за применение слова "Маргинал"
Re[6]: A-B тестирование всего сайта
От: ArcticLine2 http://www.IconDesignLAB.com
Дата: 29.11.11 16:00
Оценка:
Здравствуйте, veroni, Вы писали:

V>2 недели меряем показания на старом дезайне.

V>потом 2 недели — на новом.
V>Сравниваем.

...и получаем заведомо неверные данные. Думаю, я не единственный у кого доходы от шаровары скачат +-30% без видимых на то причин.

--
С уважением, Роман
www.icons4swrus.comдизайн иконок для шароварщиков
www.IconDesignLAB.comIcon Design
www.jetScreenshot.com — быстрый обмен скриншотами. Must have для всех удаленщиков, программистов и QA тестеров!
Re[7]: A-B тестирование всего сайта
От: ArcticLine2 http://www.IconDesignLAB.com
Дата: 29.11.11 16:02
Оценка:
Здравствуйте, Denis, Вы писали:

D>это неправильный подход. гугловский клиентский редирект тоже, кстати, вносить сильный bias в результаты. по платформе трудно сказать, знаю что у Omniture весьма зрелая (но там ценник чудовищный). еще есть Visual Web Site Optimizer и Sitespect, которые ничего. Мы писали свой, команда 12+ человек , хорощий A/B требует много усилий, что бы правильно интерпретировать результаты.


D>кстати, процент результатов: 58% никакой разнцицы, 21% и 21% лучше/хуже новый (это не догма, а просто наблюдение за большим кол-вом экспериментов)


А что за свой продукт? Оно продается?

--
С уважением, Роман
www.icons4swrus.comдизайн иконок для шароварщиков
www.IconDesignLAB.comIcon Design
www.jetScreenshot.com — быстрый обмен скриншотами. Must have для всех удаленщиков, программистов и QA тестеров!
Re[7]: A-B тестирование всего сайта
От: grosborn  
Дата: 29.11.11 16:10
Оценка:
> ...и получаем заведомо неверные данные. Думаю, я не единственный у кого доходы от шаровары скачат +-30% без видимых на то причин.

Ну скачут продажи, да. Но ты ведь и сам можешь сильные скачки понять и учесть при принятии решения. Сезонность знаешь. В общем все-равно решение будет статистически достоверным.
Posted via RSDN NNTP Server 2.1 beta
Забанен на рсдн за применение слова "Маргинал"
Re[7]: A-B тестирование всего сайта
От: icezone  
Дата: 29.11.11 16:35
Оценка:
Здравствуйте, grosborn, Вы писали:

G>При смене дизайна структура сайта не менялась? А какой движок используешь?


Конечно не менялась, нафига мне проблемы с поисковиками?
Движка нет, раньше просто были SSI, сейчас PHP include.
В отдельной папке лежат header.php, navigation.php, sidebar.php, footer.php
Знаю, что не самое лучшее решение, но пока нагрузку держит хорошо.
Re[7]: A-B тестирование всего сайта
От: icezone  
Дата: 29.11.11 16:37
Оценка:
Здравствуйте, ArcticLine2, Вы писали:

AL>...и получаем заведомо неверные данные. Думаю, я не единственный у кого доходы от шаровары скачат +-30% без видимых на то причин.


Я тебя успокою если скажу, что от смены дизайна эффект будет таким же? +-30% без видимых причин.
Re[7]: A-B тестирование всего сайта
От: veroni  
Дата: 29.11.11 16:47
Оценка:
Здравствуйте, ArcticLine2, Вы писали:

AL>Здравствуйте, veroni, Вы писали:


V>>2 недели меряем показания на старом дезайне.

V>>потом 2 недели — на новом.
V>>Сравниваем.

AL>...и получаем заведомо неверные данные. Думаю, я не единственный у кого доходы от шаровары скачат +-30% без видимых на то причин.


Скачут.

Какое количество продаж в месяц нужно, чтобы A/B тестирование работало хотя бы с 5% погрешностью?
Re[8]: A-B тестирование всего сайта
От: grosborn  
Дата: 29.11.11 17:44
Оценка:
> Какое количество продаж в месяц нужно, чтобы A/B тестирование работало хотя бы с 5% погрешностью?

Такая точность невозможна.
Posted via RSDN NNTP Server 2.1 beta
Забанен на рсдн за применение слова "Маргинал"
Re[8]: A-B тестирование всего сайта
От: Denis Россия http://blogs.gotdotnet.ru/personal/Denis
Дата: 30.11.11 19:50
Оценка:
Здравствуйте, AnonThisTime, Вы писали:
ATT>кстати да, почему не верный? потому что вы писали 12ю человеками, а тут способ проще и быстрее?

тем что нужно сравнивать паралельно, а не разнесенно по времени. разнесенно по времени это будет разный результат (выходные, предверие праздников и прочее).

вообще если вам главное просто провести А/Б то делайте как хотите , просто для того что бы более менее заниматься А/Б мне прищлось почти год заниматься по разлинчным учебниками и смотреть в датамайнинг и искать ошибки. как я уже говорил даже гугловский подход вносит 2-3% ошибки. поэтому его надо делать А-А`-Б , а не простоа А-Б
... << RSDN@Home 1.2.0 alpha 4 rev. 1237>>
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.