Печальный опыт с бета-тестерами
От: e.t.003 Россия  
Дата: 02.12.06 21:45
Оценка: -1
Здравствуйте, коллеги.
Хочу вот рассказать Вам о опыте формирования и использования группы бета-тестеров. Опыт вышел довольно печальный. И вот почему.
Некоторое время назад родилась идея создать группу, которая быстро реагировала на выход бета-версий и предостовляла грамотные баг-репорты, тем самым приближая бету к релизу. Чтобы не ждать по сто лет, короче.
Группа нужна была для того чтобы объять много разных pda и smartphone, которых на руках нет.
На русской версии сайта было дано объявление о наборе бета-тестеров. Заинтересовавшимся был предъявлен ряд мелких требований (порядочность, пунктуальность, несколько фришных прог установленных на их PC, и пр. мелочь). Отозвалось около 20 человек, отобрано было 10 человек. По правилам мы выдаем им ключ от программы которую они должны тестировать + еще один ключ от другой проги, вообщем на 30$. И это до первого баг-репорта. Да, и через несколько баг-репортов они становились зарегаными пользователями. Это тоже оговаривалось в правилах.
Им был предоставлен план тестирования, кривой конечно, но все же.
И вот итог.
Первый запрос.
Из 10 отозвалось 6 человек. Всмысле присалали баг-репорты. 3-е умолкли (видимо захапали ключи, кинули, с*ки), один (это четвертый, который ничего не прислал) чудозвон превзошел в наглости даже тех трех. У него было два устройства, я ему один ключ выслал, а со вторым проблема вышла технческая, и я ему сказал чтобы он маленько подождал. Так вот этот хмырь пишет: "Я получил только один ключ. Вы меня разводите, я оставляю за собой маралное право не присылать Вам ничего. Прощайте" Так и пишет. Ну я шоке, конечно.
Те шесть человек, которые прислали-таки баг-репорты хорошо потрудились, за что им респект.
Второй запрос.
Тут все просто: Не ответил НИОДИН. Происходил через 3 недели после первого.

Подводя итог скажу что мне понравилось с ними работать т.к. они реально (и быстро)помогают в решении проблем. Но почему они все разбежались?.. Видимо что-то я упустил. Вот собираюсь запустить "вторую волну". Может выйдет удачней
Re: Печальный опыт с бета-тестерами
От: Аноним  
Дата: 02.12.06 22:00
Оценка: 1 (1) +1 -1
Здравствуйте, e.t.003, Вы писали:

Деньгами надо работу оплачивать, и после того, как она сделана. Вот и весь секрет.
Re[2]: Печальный опыт с бета-тестерами
От: e.t.003 Россия  
Дата: 03.12.06 08:10
Оценка:
Здравствуйте, Аноним, Вы писали:

А>Здравствуйте, e.t.003, Вы писали:


А>Деньгами надо работу оплачивать, и после того, как она сделана. Вот и весь секрет.


Да, наверное Вы правы. Но зачем было соглашаться на работу если изначально деньгами там и не пахло? Тем более ключи это своеобразная валюта в нашем бизнесе. Кстати не подскажите такой сервис тестирования где есть много устройств, уважаемый Аноним, таких компаний как HTC (торговые марки Qtek, Mda, T-mobile, Dopod, I-mate), Hp, Asus, Benq, Mitac? И чтобы цены были не заоблочные.
Re: Печальный опыт с бета-тестерами
От: pavel_turbin  
Дата: 03.12.06 08:21
Оценка: 2 (1)
действовать надо как Microsoft:

1. Beta доступна всем, даром. Без регистрации. Можно скачать неограниченное число раз. Чем больше скачавших тем лучше.
2. Beta имеет expiration date, 90-180 дней.
3. Любой может послать feedback через форму в самой проге или через сайт.
Re[2]: Печальный опыт с бета-тестерами
От: e.t.003 Россия  
Дата: 03.12.06 08:52
Оценка:
Здравствуйте, pavel_turbin, Вы писали:

_>действовать надо как Microsoft:


_>1. Beta доступна всем, даром. Без регистрации. Можно скачать неограниченное число раз. Чем больше скачавших тем лучше.


В нашем случае бета имеет такую же защиту.

_>2. Beta имеет expiration date, 90-180 дней.


Ограничения такие же как в релизе. Качают ее ровно в два раза чаще чем релиз. Прчем ровно. Это полугодовой замер.

_>3. Любой может послать feedback через форму в самой проге или через сайт.


Да, так это и делается, но для какого-либо устройства требуется долго ждать (не позволительно долго). Хотелось гибкости и скорости.
Может wiki под это дело завести? Есть, в принципе, форум (помимо формы) постят все туда.
Re[3]: Печальный опыт с бета-тестерами
От: MikePetrichenko Беларусь www.btframework.com
Дата: 03.12.06 09:09
Оценка:
Здравствуйте, e.t.003, Вы писали:


Доброго времени суток!

У нас похоже ниша "тестовых" устройств одна и таже. Снукни в аську, есть у меня один бета-тестер. Занимается ремонтов сотовых, так что набор сиих девайсов весьма велик у него. Ну и еще пару человек есть. Может они заинтересуются.
За бугром есть несколько человек (тоже выбор устройств весьма широк). Забугорщики гораздо более обязательные люди, да и помогут бесплатно
В общем если интересно — стучи в аську и ли мыло.
Bluetooth, IrDA, WiFi and Serial Ports SDK for .NET, ActiveX, C++ and VCL
Spektrum Telemetry Log File Viewer
Re[3]: Печальный опыт с бета-тестерами
От: Mad Cat Украина https://www.testlab2.com
Дата: 03.12.06 09:11
Оценка:
Здравствуйте, e.t.003, Вы писали:

ET0>Хотелось гибкости и скорости.

ET0>И чтобы цены были не заоблочные.

Не бывает так.

Найдите базу людей с нужными вам железяками и платите им побагово, это наиболее дешевый из нормальных вариантов.
_______________________
Quality without compromise
Re[4]: Печальный опыт с бета-тестерами
От: e.t.003 Россия  
Дата: 03.12.06 09:37
Оценка:
Здравствуйте, Mad Cat, Вы писали:

MC>Здравствуйте, e.t.003, Вы писали:


ET0>>Хотелось гибкости и скорости.

ET0>>И чтобы цены были не заоблочные.

MC>Не бывает так.


MC>Найдите базу людей с нужными вам железяками и платите им побагово, это наиболее дешевый из нормальных вариантов.


Может быть. Но я чувствую что из ситуациии можно выйти проще. Чтобы и волки сыты (тестеры) и овцы целы (деньги).
Всем спасибо за внимание.
MikePetrichenko я свяжусь с Вами. Сейчас аськи нет под рукой
Re[3]: Печальный опыт с бета-тестерами
От: Kubyshev Andrey  
Дата: 03.12.06 09:59
Оценка:
>>бизнесе. Кстати не подскажите такой сервис тестирования где есть много устройств, уважаемый Аноним, таких компаний как HTC (торговые марки Qtek, Mda, >>T-mobile, Dopod, I-mate), Hp, Asus, Benq, Mitac? И чтобы цены были не заоблочные.

Мож эмуляторы какие есть ?
Re[4]: Печальный опыт с бета-тестерами
От: e.t.003 Россия  
Дата: 03.12.06 10:42
Оценка:
Здравствуйте, Kubyshev Andrey, Вы писали:

>>>бизнесе. Кстати не подскажите такой сервис тестирования где есть много устройств, уважаемый Аноним, таких компаний как HTC (торговые марки Qtek, Mda, >>T-mobile, Dopod, I-mate), Hp, Asus, Benq, Mitac? И чтобы цены были не заоблочные.


KA>Мож эмуляторы какие есть ?



приложени использут железо (камера), а оно везде разное.
Re: Печальный опыт с бета-тестерами
От: Аноним  
Дата: 03.12.06 13:00
Оценка:
ET0>Здравствуйте, коллеги.
ET0>Хочу вот рассказать Вам о опыте формирования и использования группы бета-тестеров. Опыт вышел довольно печальный. И вот почему.
Я тоже из КПК-шаровары.

Исходя из своего опыта скажу: рунетовские форумы идеально подходят для широкого охвата устройств и небольшого тестирования, т.е. если у вас прога протестирована хорошо на 2-3 КПК и вы хотите лишь узнать, "запустится, затормозит, загрузит ли файл на куче других устройств" и т.д. — то тогда на форумы рунета.
Если предполагается что-то серьезное тестировать (ну, будет около 10 итераций и проверять нужно серьезно), то тут с рунетом вряд ли (у нас не получалось).
Так как вы покетный шароварщик, посоветовать много не могу, но гляньте на следующие ресурсы:
www.getjar.com (там для разработчиков есть услуга бета-теста, и вроде есть много с покетами)
aximsite.com
brighthand.com — просто хорошие форумы. Найдите там фанатов вашей программы, и с ними уже работайте. Но опять же, имейте в виду — процесс не быстрый, возможны задержки, бета-тестеры где-то работают, уезжают в командировки и т.д.

Выводы:
1) На рунет обижаться бессмысленно
2) Основные устройства у вас должны быть свои (штук 5)
3) при бета-тесте запастись терпением, только фанаты бросают свои дела и начинают внимательно тестировать вашу программу
4) за тестирование можно отдавать не только тестируемую программу, но и любой понравившийся им ваш продукт
Re[2]: Печальный опыт с бета-тестерами
От: e.t.003 Россия  
Дата: 03.12.06 13:17
Оценка:
Здравствуйте, Аноним, Вы писали:

ET0>>Здравствуйте, коллеги.

ET0>>Хочу вот рассказать Вам о опыте формирования и использования группы бета-тестеров. Опыт вышел довольно печальный. И вот почему.
А>Я тоже из КПК-шаровары.

А>Исходя из своего опыта скажу: рунетовские форумы идеально подходят для широкого охвата устройств и небольшого тестирования, т.е. если у вас прога протестирована хорошо на 2-3 КПК и вы хотите лишь узнать, "запустится, затормозит, загрузит ли файл на куче других устройств" и т.д. — то тогда на форумы рунета.


Да это и нужно. Но, повидимому, каши в рунете не сварить. На форумах мы есть (4pda.ru, pocketz.ru и пр.) получаем фидбек и от туда в ом числе.


А>Если предполагается что-то серьезное тестировать (ну, будет около 10 итераций и проверять нужно серьезно), то тут с рунетом вряд ли (у нас не получалось).

А>Так как вы покетный шароварщик, посоветовать много не могу, но гляньте на следующие ресурсы:
А>www.getjar.com (там для разработчиков есть услуга бета-теста, и вроде есть много с покетами)
А>aximsite.com
А>brighthand.com — просто хорошие форумы. Найдите там фанатов вашей программы, и с ними уже работайте. Но опять же, имейте в виду — процесс не быстрый, возможны задержки, бета-тестеры где-то работают, уезжают в командировки и т.д.

Тут (последние два) мы тоже есть, но как сторнние наблюдатели, сами ничего не постим.


А>Выводы:

А>1) На рунет обижаться бессмысленно
А>2) Основные устройства у вас должны быть свои (штук 5)

Ага, есть 4 штуки, смартфоны и коммуникаторы.

А>3) при бета-тесте запастись терпением, только фанаты бросают свои дела и начинают внимательно тестировать вашу программу


Ясно, спасибо.

А>4) за тестирование можно отдавать не только тестируемую программу, но и любой понравившийся им ваш продукт


А у нас два продукта, ключи отдавал от обеих.

Спасибо, за дельные советы.
Re[3]: Печальный опыт с бета-тестерами
От: Аноним  
Дата: 03.12.06 14:09
Оценка:
ET0>Да это и нужно. Но, повидимому, каши в рунете не сварить. На форумах мы есть (4pda.ru, pocketz.ru и пр.) получаем фидбек и от туда в ом числе.

Тю, это ж явный варезник. И аудитория там соответствующая. Вы посмотрите, там есть темы "бета-тест такой-то игры или программы", а через полгода, когда автор забудет про этот бета-тест, там крякнутую выложат ;(

Лучше на hpc.ru форуме поищите.
Re[4]: Печальный опыт с бета-тестерами
От: e.t.003 Россия  
Дата: 03.12.06 14:13
Оценка:
Здравствуйте, Аноним, Вы писали:

ET0>>Да это и нужно. Но, повидимому, каши в рунете не сварить. На форумах мы есть (4pda.ru, pocketz.ru и пр.) получаем фидбек и от туда в ом числе.


А>Тю, это ж явный варезник. И аудитория там соответствующая. Вы посмотрите, там есть темы "бета-тест такой-то игры или программы", а через полгода, когда автор забудет про этот бета-тест, там крякнутую выложат ;(


А>Лучше на hpc.ru форуме поищите.



Кряки нас не заботят. Тем более на 4pda можно, например, договориться с админмстрацией по этому поводу. только это не поможет, в другом месте выложат.
hpc — вариант, но там есть.
Re[5]: Печальный опыт с бета-тестерами
От: Аноним  
Дата: 03.12.06 14:30
Оценка:
ET0>Кряки нас не заботят.
Это я к тому, что бета-тестеров не стоит искать на тех форумах, где варез разрешен официально. Аудитория, мягко говоря, не та для бета-тестов ;(
Ищите тестеров только там, где (по крайней мере) в явном виде вареза нет.
Re[6]: Печальный опыт с бета-тестерами
От: Аноним  
Дата: 03.12.06 14:36
Оценка: 1 (1)
Я еще добавить хотел, хотя может et003 это и неважно, но:
нельзя на рунетовских форумах проверять популярность той или иной фичи, той или иной утилиты. КПК-шные форумы рунета (видимо, испорченные халявой) совершенно не отражают ситуацию на рынке КПК-софта (ну рынок, это где продают и покупают
Поэтому с такими целями (проверить популярность) — однозначно на зарубежные ресурсы.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.