Господа, доброго времени суток.

Подскажите пожалуйста те, кто имел опыт работы с продуктами Mercury и TestComplete для тестирования своих приложений.
Сравните их пожалуйста между собой, опираясь на опыт. Дело в том, что я уже не в первый раз встречаю и в прессе и в интернете утверждения, что Меркури находится рангом выше, чем ТестКомплит. Однако, основываясь на своем опыте могу сказать, что у меня впечатление совсем наоборот и начинает складывается впечатление на самом деле у Меркури более кваливицированные специалисты по раскрутке бренда и т.п. А если сравнивать именно продукты, то ТестКомплит стоит рангом выше. Но дело в том, что с ТестКомплитом я знаком гораздо ближе, нежели с Меркури, поэтому могу сильно ошибаться.

Господа, поделитесь опытом (и аргументами)?
Спасибо.

ЩЕ>Господа, поделитесь опытом (и аргументами)?

Что-то не густо у нас с Меркури и ТестКомплитом?

Здравствуйте, Щербатов Евгений, Вы писали:

ЩЕ>Подскажите пожалуйста те, кто имел опыт работы с продуктами Mercury и TestComplete для тестирования своих приложений.
ЩЕ>Сравните их пожалуйста между собой, опираясь на опыт. Дело в том, что я уже не в первый раз встречаю и в прессе и в интернете утверждения, что Меркури находится рангом выше, чем ТестКомплит. Однако, основываясь на своем опыте могу сказать, что у меня впечатление совсем наоборот и начинает складывается впечатление на самом деле у Меркури более кваливицированные специалисты по раскрутке бренда и т.п. А если сравнивать именно продукты, то ТестКомплит стоит рангом выше. Но дело в том, что с ТестКомплитом я знаком гораздо ближе, нежели с Меркури, поэтому могу сильно ошибаться.

Давайте поймём, действительно, что сравнивается -- компании Mercury Interactive против AutomatedQA, или продукты Mercury QuckTestPro против AutomatedQA TestComplete.

Начнём с компаний. Да, компания Mercury -- это мировой лидер, в ряд с которым можно поставить IBM Rational или Compuware, но не AutomatedQA, у которой операции сосредоточены главным образом на территории США. Mercury имеет центры продаж, поддержки и обучения по всему миру, в том числе в России. И наличие хороших специалистов по продвижению и раскрутке -- разве это плохо, разве это не свидетельствует тоже о высоком уровне компании? Кроме того, линейка инструментов Mercury существенно больше, и это тоже нужно принимать во внимание при выборе вендора.

Теперь про инструменты. Вопрос "что лучше" постоянно возникает, не только QTP против TC, но и в разных других комбинациях. И ответить на него крайне непросто, потому что они разные. Что лучше, Мерседес или КамАЗ? Смотря что делать, девочек катать или грузы возить. Вот так и с инструментами тестирования. Нельзя сказать, что какой-то из них однозначно лучше. У каждого есть свои достоинства. И в результате можно в крайнем случае рассчитываь на весьма осторожный и субъективный ответ типа "мне нравится TC потому что..." или "я предпочитаю QTP потому что...".

Вообще, это сродни идеологическим противостояниям "Java против .Net" или "Perl против Python потив PHP". Никто не даст однозначно правильного ответа на вопрос "что лучше", потому что его просто нет!

Как было бы правильнее поставить вопрос, чтобы получить на него конструктивный ответ? Нужно ставить конкретный вопрос: мне нужно решить вот такую задачу, какой инструмент лучше подходит для её решения? И при этом нужно приготовиться получить ответ, что "оба хуже", а подходит какой-то совсем другой инструмент. Начинайте танцевать от задач, а не от средств их решения!

Здравствуйте, Щербатов Евгений, Вы писали:

ЩЕ>Господа, поделитесь опытом (и аргументами)?
ЩЕ>Спасибо.

QuickTest Pro / Win Runner отличаются большей функциональностью и юзабельностью, поддержкой большего числа контролов сторонних библиотек, наилучшей чистотой эмуляции действий пользователя.

Здравствуйте, Щербатов Евгений, Вы писали:

ЩЕ>Господа, доброго времени суток.

ЩЕ>Подскажите пожалуйста те, кто имел опыт работы с продуктами Mercury и TestComplete для тестирования своих приложений.
ЩЕ>Сравните их пожалуйста между собой, опираясь на опыт. Дело в том, что я уже не в первый раз встречаю и в прессе и в интернете утверждения, что Меркури находится рангом выше, чем ТестКомплит. Однако, основываясь на своем опыте могу сказать, что у меня впечатление совсем наоборот и начинает складывается впечатление на самом деле у Меркури более кваливицированные специалисты по раскрутке бренда и т.п. А если сравнивать именно продукты, то ТестКомплит стоит рангом выше. Но дело в том, что с ТестКомплитом я знаком гораздо ближе, нежели с Меркури, поэтому могу сильно ошибаться.

ЩЕ>Господа, поделитесь опытом (и аргументами)?
ЩЕ>Спасибо.

В своё время перед нашим проектом встал вопрос о выборе тула для проведения GUI тестирования, до это мы работали c Rational Visual Test, но Rational прекратила поддержку оного и мы стали исследовать рынок тулов для тестирования GUI. Мы выбирали из следюущих тулов:
— RationalRobot
— WinRunner
— TestComplete
Перед началом сравнивания этих тулов были написаны требования который необходимы для тестирования GUI, конечно, что многие требования (основные) покрывались всеми тулами, но по итогам исследования получилось, что WinRunner = TestComplete.

Прошло уже около двух лет иcпользования TestCompete и никаких нареканий не было. Очень удобный и гибкий иструмент для тестирования, который не накладывает никаких ограничений (за исключением OS). RECOMMEND !!!

--Alexey A.

Здравствуйте, Щербатов Евгений, Вы писали:
ЩЕ>Но дело в том, что с ТестКомплитом я знаком гораздо ближе, нежели с Меркури, поэтому могу сильно ошибаться.

Действительно сильно ошибаетесь. Алексей Баранцев очень хорошо ответил вам. Так, как вы сформулировали вопрос, ответа на него не существует. Инструменты Mercury (WR/QTP) могут делать все то же самое, что может делать TestComplete, могут работать с теми же средами, с которыми работает TestComplete. Обратное утверждение неверно. Поэтому если вы работаете с такими приложениями, с которыми могут работать и TestComplete и WR/QTP, то ваш выбор вполне может базироваться на чисто субъективных оценках типа нравится/не нравится, потому что одна и та же функциональность в разных продуктах реализуется по-разному, например, используемые скриптовые языки разные. Кроме цены лично я не вижу никаких других объективных причин в пользу TestComplete. Обучение/консалтинг/саппорт — здесь AQA пока далеко до Mercury.

Здравствуйте, Dmitry_NJ, Вы писали:

D_N>Здравствуйте, Щербатов Евгений, Вы писали:
ЩЕ>>Но дело в том, что с ТестКомплитом я знаком гораздо ближе, нежели с Меркури, поэтому могу сильно ошибаться.

D_N>Действительно сильно ошибаетесь. Алексей Баранцев очень хорошо ответил вам. Так, как вы сформулировали вопрос, ответа на него не существует. Инструменты Mercury (WR/QTP) могут делать все то же самое, что может делать TestComplete, могут работать с теми же средами, с которыми работает TestComplete. Обратное утверждение неверно. Поэтому если вы работаете с такими приложениями, с которыми могут работать и TestComplete и WR/QTP, то ваш выбор вполне может базироваться на чисто субъективных оценках типа нравится/не нравится, потому что одна и та же функциональность в разных продуктах реализуется по-разному, например, используемые скриптовые языки разные. Кроме цены лично я не вижу никаких других объективных причин в пользу TestComplete. Обучение/консалтинг/саппорт — здесь AQA пока далеко до Mercury.



У меркури очень убогий интерфейс, кстати.

А>У меркури очень убогий интерфейс, кстати.
Mercury Interactive — это название компании. У нее нет интерфейса.

Здравствуйте, Dmitry_NJ, Вы писали:

ЩЕ>>Но дело в том, что с ТестКомплитом я знаком гораздо ближе, нежели с Меркури, поэтому могу сильно ошибаться.

D_N> Кроме цены лично я не вижу никаких других объективных причин в пользу TestComplete. Обучение/консалтинг/саппорт — здесь AQA пока далеко до Mercury.


Вы таки пользуетесь обучением или консалтингом на территории России?
Я нашел только вот это: http://www.mercury.lanit.ru/studies/study.html

Или Вы пользуетесь саппортом и Mercury и AQA, и можете их адекватно сравнивать, что бы делать такие утверждения?

Здравствуйте, Dmitry_NJ, Вы писали:
Господа, а кто-нибудь сталкивался с такой проблемой при использовании ТС: тестируется Active Document, который работает в своем процессе. Главная форма приложения работает в своем процессе, а мой документ — в своем. Так вот проблема при нахождении окон в документе. Там все окна (кнопки, ComboBox'ы, ListBox'ы...) находятся на одном уровне в ObjectBrowser. Иерерхия окон нарушается

Здравствуйте, <Аноним>, Вы писали:

А>Здравствуйте, Dmitry_NJ, Вы писали:
А> Господа, а кто-нибудь сталкивался с такой проблемой при использовании ТС: тестируется Active Document, который работает в своем процессе. Главная форма приложения работает в своем процессе, а мой документ — в своем. Так вот проблема при нахождении окон в документе. Там все окна (кнопки, ComboBox'ы, ListBox'ы...) находятся на одном уровне в ObjectBrowser. Иерерхия окон нарушается

Мне кажется там иерархия окон специально нарушена, чтобы сократить длину строчек типа:
Sys.Process(...).Window(...).Window(...).Window(...)
Удобно ли это — отдельный вопрос.

Здравствуйте, kolam, Вы писали:

K>Удобно ли это — отдельный вопрос.

М-да,... При том, что эффективность тестов сводится на 0. Когда каждая кнопочка на самой последней закладке в PropertySheet приданлежит процессу, нельзя определить, что именно надо нажимать. Как обойти эту проблему я пока не придумал.
Но это касается только случая Active Document. На обычных приложениях все нормально

А>Вы таки пользуетесь обучением или консалтингом на территории России?
А>Я нашел только вот это: http://www.mercury.lanit.ru/studies/study.html

А>Или Вы пользуетесь саппортом и Mercury и AQA, и можете их адекватно сравнивать, что бы делать такие утверждения?

ЛАНИТ не единственный официальный дистрибьютор Mercury Interactive в России. Есть еще 3 компании (S&T, Amphora, I-Teco), которые также являются официальными дистрибьюторами и могут помочь и в плане обучения и в плане консалтинга и саппорта. Не говоря уже о том, что в Москве есть люди, работающие непосредствено на Mercury. У AQA нет вообще никаких представителей в России.

Про саппорт. Ближайший к России Mercury саппорт находится в UK с разницей во времени 3 часа (с Москвой). AQA никакого европейского саппорта не имеет. Разница с Лас-Вегасом — 11 часов. Как говорится, почувствуйте разницу. При этом вы даже не можете позвонить, потому что телефонного саппорта у AQA просто нет. Нет даже собственного Customer Support web site, где была бы обширная knowledge base, возможность создавать новые service requests и отслеживать уже существующие. Естественно, что у AQA нет и никакого 24x7 саппорта. Можно еще упомянуть, что Mercury Support 6 лет подряд получает награду от Service & Support Professionals Association за качество своей работы.

Я ничего не имею против AQA. В техническом плане продукты AQA вполне грамотны. И в тех средах, в которых они умеют работать, могут конкурировать и с Mercury и с Rational и с другими производителями подобных инструментов. И в России очень даже успешно конкурируют (правда, в основном за счет цены). Но AQA и Мercury это компании из разных весовых категорий, поэтому по инфраструктуре (консалтинг/обучение/сертификация/саппорт) AQA не может пока серьезно конкурировать ни с Mercury, ни с Rational.

DN> Я ничего не имею против AQA. В техническом плане продукты AQA вполне
DN> грамотны. И в тех средах, в которых они умеют работать, могут
DN> конкурировать и с Mercury и с Rational и с другими производителями
DN> подобных инструментов. И в России очень даже успешно конкурируют
DN> (правда, в основном за счет цены).

1) Тут на съэкономленные деньги из-за разницы в цене можно спокойно держать свой штат саппорта, которых отправить для обучения прям к разработчикам.
2) У AQA есть саппорт на русском. Вы знаете где они все работают? Неужели все в штатах?

С уважением
Кочмин Александр

Здравствуйте, Dmitry_NJ, Вы писали:

А>>У меркури очень убогий интерфейс, кстати.
D_N>Mercury Interactive — это название компании. У нее нет интерфейса.

Уважаемый Дмитрий, вы прекрасно поняли о чём я говорил
Хорошо. Пример.
Пробовал WinRunner и убогость его интерфейса не выдерживает никакой критики.(с тем же самым ТС, который не попадает в десятки лучших и не рассмотрен в "магическом квадрате").
Хотя есть и плюсы. К примеру, хранилище данных.

_>1) Тут на съэкономленные деньги из-за разницы в цене можно спокойно держать свой штат саппорта, которых отправить для обучения прям к разработчикам.
_>2) У AQA есть саппорт на русском. Вы знаете где они все работают? Неужели все в штатах?

1. Так я и говорю, что единственный реальный козырь по сравнению с продуктами больших компаний типа Mercury/IBM Rational — цена. Ход не новый и хорошо известный. Собственно как еще маленькая компания с 30 full-time employees может конкурировать с транснациональными корпорациями? Вам, естественно, виднее как своими деньгами рапоряжаться.

2. В самом деле? А ссылочку на эту информацию не дадите? А то на сайте у них ничего такого не написано. Вряд ли они стали бы умалчивать о таком примечательном факте. Вы ведь имеете в виду официальный саппорт, а не различные newsgroups?Я понятия не имею где кто в AQA работает. E-mail, как вы понимаете, можно отправить и из Антарктиды. Но открыть свой саппорт центр в стране, где нет ни то что своего представительства, а даже своих дистрибьюторов — это очень круто.

А>Уважаемый Дмитрий, вы прекрасно поняли о чём я говорил
А>Хорошо. Пример.
А>Пробовал WinRunner и убогость его интерфейса не выдерживает никакой критики.(с тем же самым ТС, который не попадает в десятки лучших и не рассмотрен в "магическом квадрате").
А>Хотя есть и плюсы. К примеру, хранилище данных.

Я так понимаю мы с вами на форуме тестировщиков пересекались?
"Интерфейс Mercury" — фраза непонятная была, поэтому я так и ответил. Mercury делает много разных инструментов и какой именно вы имели в виду я не мог догадаться ибо читать чужие мысли на расстоянии не могу. Вам не понравился интерфейс WinRunner'a? Ну что поделать? Бывает. Мне вот тоже что-то нравится, что-то нет. Это дело вкуса. Спорить о том, у какого инструмента лучше интерфейс — все равно что спорить какая женщина красивее. У всех разные представления об этом. У WinRunner'a очень большая клиентская база (могу пожелать TC когда-нибудь иметь такую же), значит не так уж мало людей, которые не считают его интерфейс убогим. Кесарю — кесарево, слесарю — слесарево.

DN> 2. В самом деле? А ссылочку на эту информацию не дадите? А то на сайте
DN> у них ничего такого не написано. Вряд ли они стали бы умалчивать о
DN> таком примечательном факте. Вы ведь имеете в виду официальный саппорт,
DN> а не различные newsgroups?Я

напиши на официальный саппорт по-русски support@ или как там.
И убедись. Заодно спросишь где он живет

С уважением
Кочмин Александр

_>напиши на официальный саппорт по-русски support@ или как там.
_>И убедись. Заодно спросишь где он живет

Напиши сам если тебе надо. Не надо путать божий дар с яичницей. Официальный саппорт на русском языке это одно. А русскоязычный человек, работающий в AQA где-нибудь в Лас-Вегасе это другое. Никакой официальной информации на их сайте нет. Никаких гарантий на поддержку пользователей на русском языке нет. Уволится он и что дальше? Специально будут искать еще одного человека, говорящего по-русски что ли? Самодеятельность это все.

DN> Официальный саппорт на русском языке это одно. А русскоязычный человек,
DN> работающий в AQA где-нибудь в Лас-Вегасе это другое. Никакой
DN> официальной информации на их сайте нет. Никаких гарантий на поддержку
DN> пользователей на русском языке нет. Уволится он и что дальше?
DN> Специально будут искать еще одного человека, говорящего по-русски что
DN> ли? Самодеятельность это все.

вот мы и подошли к сути.
С такими амбициями и запросами, имея чемодан денег люди обращаются к Mercury
А менее требовательные обращаются к AQA.
Это просто разные сегменты рынка.
Они НЕ конкуренты. Их даже сравнивать некорректно.

С уважением
Кочмин Александр