Здравствуйте, netch80, Вы писали:

P>>Это нынче эпидемия практически везде — автоматическое тестирование вытесняет ручное и вместе с этим выбрасывается exploratory тестирование. И как результат видим баги то тут, то там, зато happy path обычно работает.

N>В случае MS начиная с 8ки — нет признаков того, что именно автоматическое тестирование вытеснило ручное. Скорее ручное вообще сократили без замены ;(

Так оно и выглядит, когда exploratory убрали оставив автоматическое. То есть новые баги продолжают появляться с некоторой скоростью, их количество растет, но автоматические тесты их не обнаруживают. Ручной смоук тест тоже мало чего находит.

Автоматическое тестирование по своей сути принципиально дырявое — обнаруживается исключительно фиксированый набор багов по фиксированым путям. Есть варианты с рандомизацией поведения, скриншоты, итд — это пока что работает так себе. Возможно AI поможет — научится делать exploratory.