Тестирование десктопного приложения на нескольких платформах
От: ika Беларусь  
Дата: 26.10.08 09:47
Оценка: 12 (1)
На входе:
1.) десктопное клиентское приложение, написанное под win, работающее с ms outlook и синхронизирующее данные между outlook и внешней crm системой через http/syncml. продукт, к сожалению, не коробочный.
2.) клиентское приложение должно без проблем устанавливаться и работать на следующих конфигурациях:
— windows: 2000, xp, vista (home, business)
— ms office: 2000, xp (он же 2002), 2003, 2007
— железо: x86, x64
3.) человеческий qa тестер есть в количестве 1. максимум 2.

Вопрос: как обеспечить надежное тестирование приложения на всех сочетаниях указанного хотя бы софта (для начала, железо — потом)? ведь получаются минимум 16 конфигураций:

x86 — win 2000 — office 2000
x86 — win 2000 — office 2002
x86 — win 2000 — office 2003
x86 — win 2000 — office 2007

x86 — win xp — office 2000
x86 — win xp — office 2002
x86 — win xp — office 2003
x86 — win xp — office 2007

x86 — win vista home — office 2000
x86 — win vista home — office 2002
x86 — win vista home — office 2003
x86 — win vista home — office 2007

x86 — win vista business — office 2000
x86 — win vista business — office 2002
x86 — win vista business — office 2003
x86 — win vista business — office 2007

Часть из них, например vista business + office 2000 или win2000 + office2007, кажутся менее вероятными, но тем не менее список конфигураций все равно велик.

Нужны идеи ответа на вопрос выше.

Сам вижу, пожалуй следующее, пока не радует:
1.) бета-тестирование широкой аудиторией (это наверное был бы самый лучший способ, тестируются параллельно все конфигурации, но он хорошо работает только с коробочными продуктами), но у заказчика просить такую аудиторию не кажется логичным, а внутренними ресурами обойтись врядли удастся (т.к. qa = 1 чел).
2.) заготовить набор виртуалок под каждую конфигурацию и заставить внутреннего qa периодически переключаться между ними и вручную гонять смоук тест (частичная автоматизация тестирования есть, но не покрыта как минимум инсталляция, а это важно). Минусы: ограниченным кол-вом людей тестить на виртуалках кажется неэффективно. Нужно добавлять тестеров и менять виртуалки хотя бы частично на реальные железные компы с идентичной конфигурацией, первое позволяет распараллелить, а второе экономит время на закачку/запуск виртуальных образов.

Буду благодарен за любые советы, а также за ссылки на ресурсы, которые освещают подобную тему.
ч86
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.