Тестовое задания для автоматизатора тестирования
От: C0x  
Дата: 29.10.20 16:47
Оценка:
Подскажите какую тестовую задачу (имеется ввиду задачу на дом) можно выдать кандидату на должность Инженера по автоматизации тестирования?

Основные требования умения писать скрипты, тестировать API сервисов, автоматизация тестирования UI как десктопа так и вэба.

Пока как вариант: дать чуваку простой вэбный калькулятор на вход и попросить автоматизировать тестирование UI. Для этого он сам должен сделать докерконтейнер, установить нужные фрэймворки и написать тестовые скрипты. Потом выслать как результат этот Докер контейнер на проверку.

Вроде как это даст понимание что чувак 1) может разбираться в технологиях и пользоваться гуглом, 2) чувак умеет составлять и писать функциональные тесты.

Или может как-то по другому проверять способность кандидата в этой области?

Спасибо.
Re: Тестовое задания для автоматизатора тестирования
От: a7d3  
Дата: 29.10.20 17:02
Оценка: 4 (2)
Здравствуйте, C0x, Вы писали:

C0x>Или может как-то по другому проверять способность кандидата в этой области?


Вообще, это отвратительный подход, в том случае, если тестировщики у вас не работают по уже готовым, сверху спущенным тестпланам (чек листам).

Потому что автотестер должен в первую очередь понимать то, что из себя представляет тестирование чёрного ящика. Т.е. он должен находить проблемы и после этого уже думать об автоматизации тех проверок, которыми эти проблемы можно выявить/найти. Проверять надо понимание тестирования и способность проектировать автотестирование. А не навыки стучания по клавишам клавиатуры.
Re[2]: Тестовое задания для автоматизатора тестирования
От: C0x  
Дата: 29.10.20 17:11
Оценка:
Здравствуйте, a7d3, Вы писали:

A>Здравствуйте, C0x, Вы писали:


C0x>>Или может как-то по другому проверять способность кандидата в этой области?


A>Вообще, это отвратительный подход, в том случае, если тестировщики у вас не работают по уже готовым, сверху спущенным тестпланам (чек листам).


A>Потому что автотестер должен в первую очередь понимать то, что из себя представляет тестирование чёрного ящика. Т.е. он должен находить проблемы и после этого уже думать об автоматизации тех проверок, которыми эти проблемы можно выявить/найти.


Так разве тестовое задание вида: обложить заданный продукт тестами это не то о чем ты написал? Он ведь и придумать их должен и реализовать.
Re: Тестовое задания для автоматизатора тестирования
От: zubactik  
Дата: 29.10.20 17:17
Оценка:
сейчас чаще проще спросить алгоритмическую задачку

зп у нас очень неплохие, спрос на нас большой.

когда мне предлагают тестовое задание на более чем 4 часа — общение заканчивается.
Re[3]: Тестовое задания для автоматизатора тестирования
От: a7d3  
Дата: 29.10.20 17:28
Оценка: +1
Здравствуйте, C0x, Вы писали:

C0x>Так разве тестовое задание вида: обложить заданный продукт тестами это не то о чем ты написал? Он ведь и придумать их должен и реализовать.


И сколько времени у него на это всё уйдёт?
Надо быть сильно ушибленным на голову, чтобы давать человеку некое тестовое задание более чем на один-два часа.
Потому что оно для тебя один-два часа, а для человека со стороны, у которого на домашнем компьютере может и не быть линукса с докером — это в разы больше времени выкинутого в трубу.
Re[2]: Тестовое задания для автоматизатора тестирования
От: C0x  
Дата: 29.10.20 17:30
Оценка:
Здравствуйте, zubactik, Вы писали:

Z>сейчас чаще проще спросить алгоритмическую задачку


Z>зп у нас очень неплохие, спрос на нас большой.


Z>когда мне предлагают тестовое задание на более чем 4 часа — общение заканчивается.


Ну а как понять по алгоритмичной задачке что чувак тестировать умеет? Мы не Гугл и не можем позволить себе просто брать умного но не опытного чувака. А как показывают собезы опыт нифига не соответствует тому что в резюме он написал. С другой стороны если чувак не помнит алгоритмы но умеет работать руками уже хорошо.


Ты реально будешь больше 4х часов автотесты к калькулятору писать ? При условии что ты уже в теме.
Re[4]: Тестовое задания для автоматизатора тестирования
От: C0x  
Дата: 29.10.20 17:36
Оценка:
Здравствуйте, a7d3, Вы писали:

A>Здравствуйте, C0x, Вы писали:


C0x>>Так разве тестовое задание вида: обложить заданный продукт тестами это не то о чем ты написал? Он ведь и придумать их должен и реализовать.


A> и не быть линукса с докером — это в разы больше времени выкинутого в трубу.


Может и компа вовсе и не быть у него дома, предлагаешь не давать заданий?

Я не настаиваю на своей правоте.
Какие твои предложения? Есть вакансия автомаьизатора. Как и сколько провести собезов? Какие задания?
Re[5]: Тестовое задания для автоматизатора тестирования
От: a7d3  
Дата: 29.10.20 18:08
Оценка:
Здравствуйте, C0x, Вы писали:

C0x>Здравствуйте, a7d3, Вы писали:


A>>Здравствуйте, C0x, Вы писали:


C0x>>>Так разве тестовое задание вида: обложить заданный продукт тестами это не то о чем ты написал? Он ведь и придумать их должен и реализовать.


A>> и не быть линукса с докером — это в разы больше времени выкинутого в трубу.


C0x>Может и компа вовсе и не быть у него дома, предлагаешь не давать заданий?


Да, возможно что прямо сейчас у человека действительно нету своего компа, а пользуется взятым с текущего места работы. Не факт, что он может там сильно что-то менять, дабы развернуть некую тестовую лабу ради вашего тестового задания. После того как заакцептит ваш оффер, то к моменту «выхода на работу» купит себе что-нибудь для организации рабочего места на удалёнке.

Или сейчас у него может быть какой-то очень дохленький ПК используемый им в роли RDP/VNC/NoMachine/X2Go для работы с инстанцами в амазон клауде.

Высправшивать всё это у кандидата — отвратительно и унизительно, по этому выдача тестового задания и выглядит мерзко, особенно в современных реалиях.

C0x>Я не настаиваю на своей правоте.

C0x>Какие твои предложения? Есть вакансия автомаьизатора. Как и сколько провести собезов? Какие задания?

А тестировщиков, то раньше нанимать доводилось? Есть понимание как собеседовать людей в QC и чем это отличается от QA?
Речь не про крайние варианты — тестирование карандаша/авторучки, а вообще в целом. Автотестер от обычного тестеровщика почти ничем не отличается, просто больше времени занимается автоматизацией рутины и только. Оперировать/жанглировать контейнерами не представляет собой ничего нового для тех людей, кто в прошлом жанглировал лабами на десятки виртуальных машин.
Не редкость, когда у автотестеров с компьютер сайенсом ну совсем никак, зато прекрасно соображают в system design, за счёт чего хорошо проектируют автоматизацию своей деятельности — acceptance|regression|integration|smoke. Соответственно, проверить может ли в system design гораздо полезнее попроектировав вместе с человеком во время интервью, а не выдачей задания.
Re[6]: Тестовое задания для автоматизатора тестирования
От: LS9 США  
Дата: 29.10.20 18:14
Оценка:
Я бы ему дал ТЗ по автоматизации тестирования какого-нибудь модуля и посмотрел как бы он его сделал. Но что именно тестировать, имхо, должен сказать тот, кто ставит задачу.

Имхо тут задачу надо разделить на две части:

1. Поговорить о том как он это видит, понимает ли в целом.
2. Дать задачу чисто на техническую часть.
Коплю на ланцер
Re[7]: Тестовое задания для автоматизатора тестирования
От: a7d3  
Дата: 29.10.20 18:34
Оценка:
Здравствуйте, LS9, Вы писали:

LS9>Я бы ему дал ТЗ по автоматизации тестирования какого-нибудь модуля и посмотрел как бы он его сделал. Но что именно тестировать, имхо, должен сказать тот, кто ставит задачу.


LS9>Имхо тут задачу надо разделить на две части:


LS9>1. Поговорить о том как он это видит, понимает ли в целом.

LS9>2. Дать задачу чисто на техническую часть.

Типа что обсудить сперва с человеком то, что именно и зачем он стал бы проверять, в контексте вот такой-то задачb (таких-то user story & use cases).
После чего попросить часть этого реализовать технически в виде скриптов и т.п.?

Да, это реально, но лишь в малом количестве случаев, когда никакой инфраструктуры разворачивать не потребуется. Например, у человека есть компьютер с Windows и тестируемый модуль предоставляет Automation API через какие-нибудь СОМ-интерфейсы, соответственно вся работа сведётся к возне со скриптами JScript/VBscript и регистрации СОМ-сервера в ОС, чтобы они его видели.
Re[3]: Тестовое задания для автоматизатора тестирования
От: zubactik  
Дата: 29.10.20 18:35
Оценка:
тогда неправильно понял изначально пост. просто первоначальная настройка окружения занимает время.

если из моей практики прям брать то я даю что-то совсем простое — здесь писать не хочу.

стуканись в почту или можем созвониться за 20 минут расскажу что да как
Re[3]: Тестовое задания для автоматизатора тестирования
От: Dym On Россия  
Дата: 30.10.20 07:43
Оценка: -2
Здравствуйте, C0x, Вы писали:

C0x>Ну а как понять по алгоритмичной задачке что чувак тестировать умеет? Мы не Гугл и не можем позволить себе просто брать умного но не опытного чувака. А как показывают собезы опыт нифига не соответствует тому что в резюме он написал. С другой стороны если чувак не помнит алгоритмы но умеет работать руками уже хорошо.

Идете в ближайший вуз, на факультет ИТ. Договариваетесь с деканом/завкафедрой, ведете там курс автоматизированного тестирования, присматриваете себе толковых студентов, даете им дипломную тему, а после защиты берете к себе.
Поскольку, через два-три года они от вас свалят, пастись в вузе нужно перманентно. Там, кстати, не только тестировщиков можно подыскивать.
Счастье — это Glück!
Re[4]: Тестовое задания для автоматизатора тестирования
От: C0x  
Дата: 30.10.20 08:02
Оценка:
Здравствуйте, Dym On, Вы писали:

DO>Здравствуйте, C0x, Вы писали:


Спасибо, но мне это нафиг не надо.
Re[6]: Тестовое задания для автоматизатора тестирования
От: C0x  
Дата: 30.10.20 08:12
Оценка:
Здравствуйте, a7d3, Вы писали:

A>Здравствуйте, C0x, Вы писали:


C0x>>Здравствуйте, a7d3, Вы писали:


A>>>Здравствуйте, C0x, Вы писали:


C0x>>>>Так разве тестовое задание вида: обложить заданный продукт тестами это не то о чем ты написал? Он ведь и придумать их должен и реализовать.


A>>> и не быть линукса с докером — это в разы больше времени выкинутого в трубу.


C0x>>Может и компа вовсе и не быть у него дома, предлагаешь не давать заданий?


A>Да, возможно что прямо сейчас у человека действительно нету своего компа,


Мне нужен не студент, а человек с опытом работы. Врядли такой себе на комп еще не заработал. Да и на одного без компа придут 10 с компами. Так что не аргумент.

A>Высправшивать всё это у кандидата — отвратительно и унизительно, по этому выдача тестового задания и выглядит мерзко, особенно в современных реалиях.


Собеседование это вообще унизительный процесс. Но что поделать. Еще более унизительно и печально увольнять людей за проф. непригодность.

A>А тестировщиков, то раньше нанимать доводилось? Есть понимание как собеседовать людей в QC и чем это отличается от QA?


Нет, поэтому и спрашиваю.

A>Речь не про крайние варианты — тестирование карандаша/авторучки, а вообще в целом. Автотестер от обычного тестеровщика почти ничем не отличается, просто больше времени занимается автоматизацией рутины и только.


У нас в конторе есть большой отдел именно тестеровщиков-ручных. Они нахер нас посылают с предложениями хотябы UI тесты автоматизировать. В скриптах они полные 0. Но баги ищут замечательно.


A>Не редкость, когда у автотестеров с компьютер сайенсом ну совсем никак, зато прекрасно соображают в system design, за счёт чего хорошо проектируют автоматизацию своей деятельности — acceptance|regression|integration|smoke.


Ну вот вчера пришел человек ко мне, у которого по резюме куча опыта в автоматизации. Спрашиваю что такое Functional Testing? Говорит "ну хз, я так то невникал, просто фигачу и всё что просят...". Пишет что крут в Питоне. Поспрашивал немного, ответ точно такой же. Но я вижу что чувак вроде не тупой (хоть и в детали не вникает), любознательный в целом, готов учиться. Кстати комп у него есть дома (интервью было по Teams). И вот что ты предложишь в такой ситуации?

A>Соответственно, проверить может ли в system design гораздо полезнее попроектировав вместе с человеком во время интервью, а не выдачей задания.


Мне тяжело проектировать или давать задачи и проверять их когда интервью идет удаленно. До очного собеседования даем задание обычно, потом уже на очном обсуждаем его решение.
Re[8]: Тестовое задания для автоматизатора тестирования
От: C0x  
Дата: 30.10.20 08:15
Оценка:
Здравствуйте, a7d3, Вы писали:

A>Да, это реально, но лишь в малом количестве случаев, когда никакой инфраструктуры разворачивать не потребуется. Например, у человека есть компьютер с Windows и тестируемый модуль предоставляет Automation API через какие-нибудь СОМ-интерфейсы, соответственно вся работа сведётся к возне со скриптами JScript/VBscript и регистрации СОМ-сервера в ОС, чтобы они его видели.


Спасибо за идею. Возможно так и сделаю. Может напишу какую нибудь прогу аля Калькулятора консольного и попрошу хоть в Винде хоть в Линухе (как удобно) обложить это тестами.
Re[9]: Тестовое задания для автоматизатора тестирования
От: a7d3  
Дата: 30.10.20 08:56
Оценка:
Здравствуйте, C0x, Вы писали:

C0x>Здравствуйте, a7d3, Вы писали:


A>>Да, это реально, но лишь в малом количестве случаев, когда никакой инфраструктуры разворачивать не потребуется. Например, у человека есть компьютер с Windows и тестируемый модуль предоставляет Automation API через какие-нибудь СОМ-интерфейсы, соответственно вся работа сведётся к возне со скриптами JScript/VBscript и регистрации СОМ-сервера в ОС, чтобы они его видели.


C0x>Спасибо за идею. Возможно так и сделаю. Может напишу какую нибудь прогу аля Калькулятора консольного и попрошу хоть в Винде хоть в Линухе (как удобно) обложить это тестами.


Сейчас технологии несколько поменялись, в случаей с Windows именно такое было актуально лет 10 назад — когда Windows Script Host и реализация Automation API посредством dual-интерфейсов COM (спецом добавленный IDispatch).
Нынче, даже в энтерпрайзах замшелых, из продуктов оттопыриваются PowerShell-ные коммандлеты.

Хотя принцип остался тот же — всё что можно сделать через GUI, то можно сделать и через этот самый Automation API. Что позволяет выполнять и функциональное, и модульное тестирование (отдельных подсистем/микросервисов в отрыве от остальных). Потому техника актуальная почти для всех ниш софтостроения — как в продуктовых компаний, так и в интернет-компаниях.
Re[7]: Тестовое задания для автоматизатора тестирования
От: a7d3  
Дата: 30.10.20 09:20
Оценка: 3 (1)
Здравствуйте, C0x, Вы писали:

C0x>Мне нужен не студент, а человек с опытом работы. Врядли такой себе на комп еще не заработал. Да и на одного без компа придут 10 с компами. Так что не аргумент.


Наблюдал и весной и осенью толпы сотрудников, кто домой оттаскивали компы с офиса. Потому что имеющийся дома компьютер, в условиях локдауна — это или рабочее или учебное место кого-то из членов семьи.
Если детей двое и жена типа работающая, и всем надо примерно в одно и тоже время быть онлайн, то приходится организовывать несколько рабочих мест.
Поэтому речь не про того, кто не может себе заработать на компьютер, а того, кому для работы в режиме rdp/vnc/nomachine/x2go-клиента хватало чего-то одного, а тут придётся скаать и рыскать между компами изыскивая время и возможность поделать чьё-то тестовое задание. Это реальный напряг.

C0x>Собеседование это вообще унизительный процесс. Но что поделать. Еще более унизительно и печально увольнять людей за проф. непригодность.


Очень печально, если с таким подходом и настроем приходится людей собеседовать.
Собеседование является процессом диалога и общения людей между собой. Сегодня собеседуешь человека из какой-то компании, а завтра сам идёшь собеседоваться в эту же компанию. Задача собеседующего — общаться с кандидатами, узнавая что у них и как по части управления проекта, технических подходов и стэка. Таким образом расширяется собственный профессиональный кругозор и происходит обмен опытом с людьми. После десятка таких вот интервью появляется понимание что из подходов сейчас действительно является state-of-the-art, каким образом и почему прижилось в отдельных нишах, а что представляет из себя просто хайп надутый.

Людей во время испытательного срока увольняют не столько за профнепрегодность, сколько потому что они не вписались в конкретную команду, а в других командой этой компании они сейчас не пригодились бы. Это ни разу не унизительно, если подходить к вопросу с таким вот позицинированием — объяснить человеку, что не получается работать вместе и лучше ему поискать что-то другое. Сообщив ему об этом во время испытательного срока, не позднее чем за пару-тройку недель до его окончания или предполагаемой даты увольнения. Т.е. не за три дня до увольнения, как того требует ТК РФ описывая правила игры в течении испытательного срока.

C0x>У нас в конторе есть большой отдел именно тестеровщиков-ручных. Они нахер нас посылают с предложениями хотябы UI тесты автоматизировать. В скриптах они полные 0. Но баги ищут замечательно.


Тут два момента:
  1. Автоматизация UI-тестов это чуть ли не самая геморойная вещь во всём автотестировании вместо взятом, так было и 15 лет назад, и 10 и 5 лет.
  2. Если в компании нет культуры автотестирования, то надо искать автотестера не столько с техническими навыками, сколько с определённой системой ценностей, идущей изнутри, а не снаружи. Способного принять вызов и добиться чего-то, о чём будет не стыдно поведать в резюме и на последующих интервью.

C0x>Ну вот вчера пришел человек ко мне, у которого по резюме куча опыта в автоматизации. Спрашиваю что такое Functional Testing? Говорит "ну хз, я так то невникал, просто фигачу и всё что просят...". Пишет что крут в Питоне. Поспрашивал немного, ответ точно такой же. Но я вижу что чувак вроде не тупой (хоть и в детали не вникает), любознательный в целом, готов учиться. Кстати комп у него есть дома (интервью было по Teams). И вот что ты предложишь в такой ситуации?


Смотри чуть выше, т.е. оценивать через то, а годится ли именно этот персонаж на роль первопроходца автоматизации тестирования в вашем болоте. Ведь ему придётся много работать с остальными тестерами, а они к нему будут относиться исходя из того, как он себя поставит и будет держать с ними.

C0x>Мне тяжело проектировать или давать задачи и проверять их когда интервью идет удаленно. До очного собеседования даем задание обычно, потом уже на очном обсуждаем его решение.


Выдача тестового задания до начала какого либо диалога — это такой позор и зашквар, что даже хуже чем написание кода на собеседовании.
Обсуждение задач на проектирование в ходе телефонного или скайп интервью (аудио) — это хорошая и полезная вещь. Позволяет оценить не только уровень софт скилзов кандидата, но и насколько он способен образно мыслить, донося собственную мысль до собеседника словами.
Re: Тестовое задания для автоматизатора тестирования
От: c3p0  
Дата: 30.10.20 10:14
Оценка:
По-мне, так нормальное тестовое задание. При необходимости, человеку можно дать доступ к серверу, если нет своей машины подходящей.
На одного нежного, который не делает тестовые задания, найдется десяток желающих таки сделать. Понятно, что тестовое задание должно быть последним этапом.
Т.е. все предварительные собеседования прошли, все устраивает. Закрепить тестовым заданием. Оплатить рабочее время при необходимости.
В качестве альтернативы, можно попросить код скриптов посмотреть и его обсудить. Но как правило ссылаются на NDA. => тестовое задание
Если вы параноик — это еще не значит, что за вами никто не следит
Re: Тестовое задания для автоматизатора тестирования
От: scf  
Дата: 30.10.20 12:20
Оценка:
Здравствуйте, C0x, Вы писали:

C0x>Подскажите какую тестовую задачу (имеется ввиду задачу на дом) можно выдать кандидату на должность Инженера по автоматизации тестирования?


Протестировать логику восстановления пароля на RSDN. В комплекте — несколько разных веб-страниц, интеграция с email, решение вопроса с тестовыми данными.
Re[4]: Тестовое задания для автоматизатора тестирования
От: Skorodum Россия  
Дата: 30.10.20 13:16
Оценка:
Здравствуйте, a7d3, Вы писали:

A>Потому что оно для тебя один-два часа, а для человека со стороны, у которого на домашнем компьютере может и не быть линукса с докером — это в разы больше времени выкинутого в трубу.

Докер в 10-ке нормально работает уже пару лет как.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.