Здравствуйте, Maxim S. Shatskih, Вы писали:
MSS>Самый главный источник багов при наличии более или менее адекватного тестирования — интеропы и редко возникающие хитро пограничные случаи (т.е. условия воспроизведения бага — 5 фраз, соединенных оператором AND).
MSS>Покомпонентное тестирование вообще не увеличивает шансы отлова вот этих радостей. Тут нужно тестировать "вширь" (по количеству сценариев), а не "вглубь" (по архитектуре).
Согласен. Наш единственный ручной тестер в команде из ~10 пишущих человек примерно этим и занимается. И его вполне хватает. Потому что решена проблема того, что состояние системы определено только во время между окончанием тестирования и внесением первого фикса в билд. Состояние зафиксировано тестами. ОК, пусть на 80-90 % а не на 100, "все равно хорошо" (С).
К слову, если тут кто есть из МС и Гугла, просветите : Много ли у вас тестируют руками ? Я вот думаю что нет.
MSS>К счастью, именно эти баги имеют обычно низкий приоритет из-за небольших значений метрик reproduceability и affected users.
+1
Опыт — это такая вещь, которая появляется сразу после того, как была нужна...