Ищу средство (недорогое или бесплатное) для автоматического тестирования программ. Чтобы можно было написать скрипт типа: запустить такую-то программу, имитировать такую-то команду меню, дождаться такого-то экрана, имитировать нажатие клавиш / мыши и т.д. что б можно один раз описать сценарий тестирования и потом автоматом новые версии через него прогонять. Поискал в гугле, нашел что-то глючное и тупое... что посоветуете?
C0x>Test Complete
C0x>пользуем уже два года, полет нормальный.
Не отвечает требованию бесплатности А так да, вполне достойный инструмент. Только автоматизированные тесты надо поддерживать. Редко получается так, что написал один раз и пользуйся потом. Обычно требуются доработки по мере развития программы.
Здравствуйте, CaptainX, Вы писали:
CX>Здравствуйте, C0x, Вы писали:
C0x>>Test Complete
C0x>>пользуем уже два года, полет нормальный.
CX>Не отвечает требованию бесплатности А так да, вполне достойный инструмент. Только автоматизированные тесты надо поддерживать. Редко получается так, что написал один раз и пользуйся потом. Обычно требуются доработки по мере развития программы.
Это обязательно. Мало того, тесты приходится переписывать полностью, если интерфейс меняется. Еще у тесткомплита есть заметный недостаток — почемуто у меня на виртуальной машине генерит не совсем коректный тест, поэтому, почти всегда приходится править вручную. К примеру вводимый текст не соответствует тому что я вводил. Но в целом я доволен. + На базе движка тест комплита делаю систему тестирования которая, например засылает автоматические репорты в Jira (результаты прогонки теста). Саму систему пишу на Python.
C0x>Test Complete
C0x>пользуем уже два года, полет нормальный.
Я использовал TestComplete вместе с TestRecorder. Средства конечно хорошие, но ограниченные. У меня были глюки с различными типами окон, которые он никак не хотел воспринимать, не отрабатывали некоторые элементы интерфейса. А если интерфейс далек от стандартного — лучше не начинать пользоваться им.
Еще пробовал TestDirector + WinRunner. Штуки поинтереснее первых, но тоже упираются в интерфейс тестируемой проги.
Для себя сделал вывод — тесты лучше писать самому, как часть проги — либа, например. В том числе интерфейсные. Для этого есть, например, boost::uts.
Здравствуйте, vitasr, Вы писали:
V>Ищу средство (недорогое или бесплатное) для автоматического тестирования программ. Чтобы можно было написать скрипт типа: запустить такую-то программу, имитировать такую-то команду меню, дождаться такого-то экрана, имитировать нажатие клавиш / мыши и т.д. что б можно один раз описать сценарий тестирования и потом автоматом новые версии через него прогонять. Поискал в гугле, нашел что-то глючное и тупое... что посоветуете?
Какой GUI (стандартный Win32, Web, Java, .NET) ? Если ГУИ только одного вида ( например, только веб ), то возможно найти бесплатные варианты, как правило заточки на тот или иной тип ГУИ.
Есть ли предпочтения к используемым языкам программирования? Если да, то какие языки предпочтительнее?
Но если в целом, то более-менее универсальные средства автотестирования на уровне ГУИ (QTP, SilkTest, RFT, TestComplete, Squish) более-менее небесплатные ( от 2500 у.е. за лицензию, причем не факт, что полную ).
DP>Для себя сделал вывод — тесты лучше писать самому, как часть проги — либа, например. В том числе интерфейсные. Для этого есть, например, boost::uts.
Ну либа либой, а тестирование интерфейса это дело полезное. В конечном итоге пользователи с ним и работают
Здравствуйте, Marduk, Вы писали:
M>Но если в целом, то более-менее универсальные средства автотестирования на уровне ГУИ (QTP, SilkTest, RFT, TestComplete, Squish) более-менее небесплатные ( от 2500 у.е. за лицензию, причем не факт, что полную ).
Здравствуйте, C0x, Вы писали:
C0x>Здравствуйте, DenProg, Вы писали:
DP>>Для себя сделал вывод — тесты лучше писать самому, как часть проги — либа, например. В том числе интерфейсные. Для этого есть, например, boost::uts.
C0x>Ну либа либой, а тестирование интерфейса это дело полезное. В конечном итоге пользователи с ним и работают
Согласен. Вот если бы еще была бы возможность у тестирующей проги смотреть и изменять переменные в тестируемой программе, вызывать функции... У ТестКомплит что-то такое было вроде, но у меня не пошло.
C0x>А что такое boost::uts?
Здравствуйте, C0x, Вы писали:
C0x>Здравствуйте, Marduk, Вы писали:
M>>Но если в целом, то более-менее универсальные средства автотестирования на уровне ГУИ (QTP, SilkTest, RFT, TestComplete, Squish) более-менее небесплатные ( от 2500 у.е. за лицензию, причем не факт, что полную ).
C0x>За тесткомплит 500 у.е. отдавали 1.5 года назад.
А вы посмотрите на текущие цены. За floating Enterprize уже 4500 у.е. Named license — 2500 у.е. И я еще уточню. Такая цена, которую вы назвали, была не полтора, а 2 года назад, а то и больше. Это стоимость лицензии на 4-ю версию. А сейчас уже давно 6-я, готовится выход 7-й.
В-общем, времена меняются и цены вместе с ними.
Хотя при всем при этом, из платных средств TestComplete охватывает больше технологий + у него ряд интеграционных возможностей лучше, чем у аналогичных средств.
Здравствуйте, DenProg, Вы писали:
DP>Здравствуйте, C0x, Вы писали:
C0x>>Test Complete
C0x>>пользуем уже два года, полет нормальный.
DP>Еще пробовал TestDirector + WinRunner. Штуки поинтереснее первых, но тоже упираются в интерфейс тестируемой проги.
Неслабые у вас расходы на тестирование... Если не ошибаюсь, лицензия от десятков тысяч баксов начинается
Здравствуйте, Ravlyk, Вы писали:
R>Здравствуйте, vitasr, Вы писали:
V>>Ищу средство (недорогое или бесплатное) для автоматического тестирования программ.
R>Юнит тесты. Прекрасно подходят для тестирования ГУИ. Бесплатно.
нифига они не подходят.. потестируйте MFC приложение юнит тестами, и выявите некорректное расположение текста в таблице, которую будет лицезреть пользователь. А самый прикол начинается когда к стадии тестирования приходят уже после 5 лет разработки, речи о юнит тестах только в курилке, а релизы каждые пол года
Здравствуйте, C0x, Вы писали:
R>>Юнит тесты. Прекрасно подходят для тестирования ГУИ. Бесплатно. C0x>нифига они не подходят.. потестируйте MFC приложение юнит тестами, и выявите некорректное расположение текста в таблице, которую будет лицезреть пользователь. А самый прикол начинается когда к стадии тестирования приходят уже после 5 лет разработки, речи о юнит тестах только в курилке, а релизы каждые пол года
Незнаю насчет MFC, а для WinForms.NET все прекрасно тестируется — то что текст отображаентся там где надо, что контролы друг на друга не налазят, что нажатие на кнопку/пункт меню выполняет определенное действие и т.д. и т.п. и др.
А то что текст вообще выглядит корректно — кроме человека никакое автоматическое средство не проверит.
Ну в моем случае по другому — продукт на .NET с 2002 года, и к стадии тестирования пришли именно в 2002 — так что сейчас с поддержкой юнит-тестов никаких проблем нет
Ravlyk пишет:
> А то что текст вообще выглядит корректно — кроме человека никакое > автоматическое средство не проверит.
когда-то давно пролетало средство автотестирования со встроенным OCR,
оно вроде могло расположение текста распознавать.
клевая задумка, но реализация как всегда
Как звали — не помню... никто не подскажет?
Здравствуйте, Роман Дубров, Вы писали:
РД>Ravlyk пишет:
>> А то что текст вообще выглядит корректно — кроме человека никакое >> автоматическое средство не проверит.
РД>когда-то давно пролетало средство автотестирования со встроенным OCR, РД>оно вроде могло расположение текста распознавать. РД>клевая задумка, но реализация как всегда РД>Как звали — не помню... никто не подскажет?
А так да, вполне достойный инструмент. Только автоматизированные тесты надо поддерживать. Редко получается так, что написал один раз и пользуйся потом. Обычно требуются доработки по мере развития программы.
