Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Имхо для манки-тестинга нужны глупые, но инициативные и внимательные тестировщики. И не надо никакого теста на сообразительность. Предложите им заполнить анкету о себе на 20 листах — и засеките время. А если уж кто в анкете ошибки найдёт...
Курица — это инструмент, с помощью которого одно яйцо производит другие.
Re[6]: предварительный отборочный тест для тестировщика
Здравствуйте, Ulitka, Вы писали:
U>>> Не могли бы Вы привети пример того, что не поддается? AB>>Человеческий фактор. Последние слова профессионального пилота: "Смотри как я умею" U>Оттестировать человеческий фактор, конечно, не получится, но его ведь и запрограммировать не удастся. Проект AI провален
Проблема автоматических тестов, создаваемых разработчиком, в том, что автоматическим тестом разработчик не может найти ошибку, которую он не считал ошибкой. Или не учел какой-то вариант использования
То есть все люди ошибаются и разработчик при продумывании автоматических тестов — тоже.
Еще больше люди склюнны не замечать что-либо в стороне того, на чем сосредоточились. Это назвается "замыливание глаза".
Это я ни в коем случае не против автоматического тестирования, но наилучшие результаты получаются при комбинации — и автоматические тесты от разработчика, отлавливающие большинство багов при разработке, и ручное тестирование другим человеком, позволяющие найти проблемы, про которые начисто забыл, или вообще не ожидал — разработчик.
(подобные найденные проблемы опять же фиксируются в автоматических тестах и дальше гоняются автоматом)
Плюс автоматическое тестирование, например, пользовательского интерфейса хотя и возможно, во многих случаях может оказаться просто нерентабельным — дешевле иметь тестера с планом тестирования, где по пунктам написано куда надо прокликать и что должно быть получено.
... << RSDN@Home 1.2.0 alpha 4 rev. 1237>>
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Для манкитестинга надо брать не сообразительных, а тех у кого руки мускулистые, что бы быстро обкликивать приложения и очень исполнительных, что бы не блевать от механической работы.
итого — органолептический осмотр и психологический тест на исполнительность, работоспособность и тд
и уже на втором месте будет компьютерная грамотность.
Re[8]: предварительный отборочный тест для тестировщика
Ulitka написав(ла): > Совершенно согласен со всем. Но это не отменяет того факта, что в > конечном итоге любую вещь можно оттестировать автоматически. Нет ничего, > что не поддается автоматическому тестированию — это и было моей мыслью
Автоматическому тестированию много чего не поддается, например,
нереализованный функционал.
Даже если бы 100% тестовое покрытие было бы возможно, оно не годилось бы
на роль критерия достаточности тестирования. Примерно 35% дефектов ПО
вызвано пропущенными логическими путями и еще 40% связаны с выполнением
уникальной комбинации логических путей. Их не выявить при 100% покрытии
тестами.
(c) Robert L. Glass, "Facts and Fallacies of Software Engineering"
Posted via RSDN NNTP Server 2.1 beta
Всё, что нас не убивает, ещё горько об этом пожалеет.
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Найдите какую-нибудь не очень популярную программу средней глюкавости, которую можно скачать из интернета, попросите оттестировать и прислать вам список найденых ошибок.
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>нужно набрать 2-3 тестировщиков для манки тестинга...
Для тестирования лучше подходят манки с повышенной юзверской любознательностью.
Пусть манки расскажет как можно больше способов выполнить стандартное действие.
Например: Открыть существующий документ
— Из программы --> Меню-->Файл-->Открыть
— Из программы --> Панель инструментов-->иконка с папкой
— Из программы --> Ctrl+O
— Из программы --> Меню-->Файл-->Последние используемые файлы
— Enter на файле в Explorer
— r-click на файле в Explorer --> открыть
— context-menu-key на файле в Explorer --> открыть
— drag&drop из Explorer в окно программы
— из коммандной строки наконец
QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Есть функция от трех чисел для определения:
Являются ли три числа сторонами треугольника?
Равностороннего треугольника?
Равнобедренного треугольника?
Пусть манки напишет набор test-case-ов для проверки этой функции.
Re[2]: предварительный отборочный тест для тестировщика
Здравствуйте, EM, Вы писали:
EM>Тестеров очень полезно попросить нарисовать юзкейсы для чего-нить простого типа электронного магазина, банкомата и т.д.
это работа не тестера.
топикстартеру: надо что-то типа конструктора. инструкция, детали, попросить собрать.
главное, что среди деталей одной должно не хватать, или одна должна быть другая.
по результатам кто как пожалуется — делайте выводы, кого вы хотите иметь в команде.
ну вот например, если уже понятно, что деталь не та, но человек все еще пытается ее приладить — то это скорее разработчик, чем тестировщик. во
Re[4]: предварительный отборочный тест для тестировщика
может кто сталкивался и может помочь?
нужно набрать 2-3 тестировщиков для манки тестинга...
но кандидатов больно много
хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли.
может у кого есть какой тест на сообразительность, желательно с ит уклоном
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Тестеров очень полезно попросить нарисовать юзкейсы для чего-нить простого типа электронного магазина, банкомата и т.д.
Опыт — это такая вещь, которая появляется сразу после того, как была нужна...
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Просто мысли вслух. Без отношения к Вашей конкретной задаче. Если вот вместо трех тестировщиков для манки тестинга нанять очень хорошего программиста (я так понимаю, что бюджета на зп в таких случаях должно хватить) для тестирования и написания автоматических тестов параллельно, то как быстро качество тестирования догонит мануальное, и как быстро оставит его позади...
Я понимаю, что в от трех мануальных тестеров эффект будет сразу же, а от автоматизатора только через какое-то время. С другой стороны в долгосрочной перспективе качество во втором случае должно быть лучше. Просто интересно в каких случаях имеет смысл идти по одному или второму пути...
Re[2]: предварительный отборочный тест для тестировщика
Z>Я понимаю, что в от трех мануальных тестеров эффект будет сразу же, а от автоматизатора только через какое-то время. С другой стороны в долгосрочной перспективе качество во втором случае должно быть лучше. Просто интересно в каких случаях имеет смысл идти по одному или второму пути...
Далеко не все, что нужно тестировать, поддается автоматизации.
Re[3]: предварительный отборочный тест для тестировщика
Здравствуйте, Eudjinn, Вы писали:
Z>>Я понимаю, что в от трех мануальных тестеров эффект будет сразу же, а от автоматизатора только через какое-то время. С другой стороны в долгосрочной перспективе качество во втором случае должно быть лучше. Просто интересно в каких случаях имеет смысл идти по одному или второму пути...
E>Далеко не все, что нужно тестировать, поддается автоматизации.
Не могли бы Вы привети пример того, что не поддается?
Re: предварительный отборочный тест для тестировщика
Здравствуйте, Anton Batenev, Вы писали:
AB>Здравствуйте, Ulitka, Вы писали:
U>> Не могли бы Вы привети пример того, что не поддается?
AB>Человеческий фактор. Последние слова профессионального пилота: "Смотри как я умею"
Оттестировать человеческий фактор, конечно, не получится, но его ведь и запрограммировать не удастся. Проект AI провален
Re[4]: предварительный отборочный тест для тестировщика
Здравствуйте, Ulitka, Вы писали:
E>>Далеко не все, что нужно тестировать, поддается автоматизации.
U>Не могли бы Вы привети пример того, что не поддается?
Сложный UI. как только что то выходит за стандартные кнопочки. То автоматизированое тестирование становиться накладнее чем разработка.
А в качестве самого примитивного примера, попробуйте написать хоть пару тестов для Paint. Что то кроме сохранили, загрузили — работает.
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
можно задать логические задачки,
можно спросить про теорию тестирования,
и вообще лучше спрашивать про тестирование на форуме — it4business.ru/forum, там тестировщиков намного больше.
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Взять что угодно, хоть микроволновку, хоть калькулятор, хоть какую-нидь программу известную, и попросить написать максимальное количество тесткейсов (сходу, устно). То есть спросить что он собирается тестировать и как искать баги. Потом спросить что он из этого сможет автоматизировать, какими средствами он будет автоматизировать, имеет ли смысл это автоматизировать (может вы думаете, что автоматизировать нельзя, а тестер скажет что можно). И далее, даже для ручного тестинга часто требуются базовые знания, про кодировки, про ограничения чисел и т.д — не мешает это тоже поспрашивать. Если тестируем веб приложение — поспрашивать как работает браузер.
Еще часто на практике стараются на ручное тестирование наоборот взять того, у кого полностью отсутствует инициатива, и который точно не найдет другую работу . То есть сразу пугаете, что день за днем будете нажимать одни и теже кнопки, не пугает ли вас это и т.д, если скажет, что я все автоматизирую — не брать, ибо будет зарплату скоро просить . Судя по всему так поступает очень многие, бурут какую-нидь смазливую девочку с гуманитарным образованием, и она потом ложные баги постит .
Re[4]: предварительный отборочный тест для тестировщика
E>>Далеко не все, что нужно тестировать, поддается автоматизации.
U>Не могли бы Вы привети пример того, что не поддается?
Легко. Например, удобство использования GUI. Влезают ли надписи контроллов в отведенное место, нормально ли проигрываются сообщения (артефакты, шумы) и многое другое. Теоретически, кое-что даже получится автоматизировать, но это настолько несопоставимые временные затраты по сравнению с тем чтобы манки-тестер пару раз проверил вручную, что говорить называть это "поддающимся автоматизации" язык тоже не поворачивается.
Re[4]: предварительный отборочный тест для тестировщика
Здравствуйте, Ulitka, Вы писали:
E>>Далеко не все, что нужно тестировать, поддается автоматизации.
U>Не могли бы Вы привети пример того, что не поддается?
Банальные "вёрстка поехала", "перепутаны местами лейблы с пояснениями" и "контрол не влезает в свой регион"(хотя это можно автоматизировать, но застрелишься как долго и много).
Re[7]: предварительный отборочный тест для тестировщика
Здравствуйте, fmiracle, Вы писали:
F>Здравствуйте, Ulitka, Вы писали:
U>>>> Не могли бы Вы привети пример того, что не поддается? AB>>>Человеческий фактор. Последние слова профессионального пилота: "Смотри как я умею" U>>Оттестировать человеческий фактор, конечно, не получится, но его ведь и запрограммировать не удастся. Проект AI провален
F>Проблема автоматических тестов, создаваемых разработчиком, в том, что автоматическим тестом разработчик не может найти ошибку, которую он не считал ошибкой. Или не учел какой-то вариант использования F>То есть все люди ошибаются и разработчик при продумывании автоматических тестов — тоже. F>Еще больше люди склюнны не замечать что-либо в стороне того, на чем сосредоточились. Это назвается "замыливание глаза".
F>Это я ни в коем случае не против автоматического тестирования, но наилучшие результаты получаются при комбинации — и автоматические тесты от разработчика, отлавливающие большинство багов при разработке, и ручное тестирование другим человеком, позволяющие найти проблемы, про которые начисто забыл, или вообще не ожидал — разработчик. F>(подобные найденные проблемы опять же фиксируются в автоматических тестах и дальше гоняются автоматом)
Совершенно согласен со всем. Но это не отменяет того факта, что в конечном итоге любую вещь можно оттестировать автоматически. Нет ничего, что не поддается автоматическому тестированию — это и было моей мыслью
F>Плюс автоматическое тестирование, например, пользовательского интерфейса хотя и возможно, во многих случаях может оказаться просто нерентабельным — дешевле иметь тестера с планом тестирования, где по пунктам написано куда надо прокликать и что должно быть получено.
В некоторых случаях. В достаточно больших проектах может случиться, что monkey-tester'у не хватит жизни, чтобы несколько раз в день прогнать все кейсы в ручную
Re[2]: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном
Я не эту тему как-то взял и сделал программку на Delphi со специально встроенными багами — UI кривоват, одни и теже меню по разному называются. Плюс оно падало на некоторых действиях. Иногда ресурсы жрало, если вдруг куда-то что-то... Ну и т.д. А еще был очень сложный баг, который не сразу и воспроизведешь — это для мастеров. Ну и давали тестировать -кто сколько найдет и куда будет смотреть.
Re: предварительный отборочный тест для тестировщика
Здравствуйте, QwerTun, Вы писали:
QT>может кто сталкивался и может помочь? QT>нужно набрать 2-3 тестировщиков для манки тестинга... QT>но кандидатов больно много QT>хотелось бы провести некий небольшой предварительный отборчик, на сообразительность чтоли. QT>может у кого есть какой тест на сообразительность, желательно с ит уклоном