Форум 'Тестирование приложений' на RSDN

чем отличается harness test ot unit test

Fri, 03 Apr 2026 12:59:07 GMT

меня просят написать harness test
который
открывает доступ к видеокарте
очищает буфер в видеокарте
формирует/копирует изображение в буфере
закрывает доступ к видеокарте
вызывает show

причем нормальных методов посмотреть что в буфере самой видеокарте нет

все вышеперечисленное нормально для harness test ?

Как тестировать многопоточные штуки?

Mon, 10 Feb 2025 07:00:50 GMT

К примеру, такой кейс — восстановление сессии.

interface ISessionProvider {
  Task<SessionResult> RetrieveSession();
  Task ResetSession();
}

Нужно чтобы:

1. Если сессия устарела (а этого ISessionProvider не знает — узнаем когда сделаем запрос) — то вызвать resetSession.
2. Может быть два одновременных запроса и каждый вызовет resetSession.
3. resetSession может быть вызван в момент, когда первый запрос уже начал восстановление сессии (а так же когда начал, почти начал, закончил, почти закончил).
4. Нельзя восстанавливать сессию повторно, если уже раз восстановили.

Допустим вы сделали решение. Как вы его будете тестировать?

17.02.25 05:14: Перенесено из 'Тестирование приложений'

Помогите, plz, сделать короткий тест.

Wed, 06 Nov 2024 12:35:54 GMT

Я подключился к S3 облаку, которое у меня дома.
Если вас не затруднит, то зайдите в тему "Инструкции"-->"Ошибки форума"
Там есть куча плееров. Мне интересно будет ли казать видео сначала с одного,
а потом со всех одновременно.
Видно ли что-нибудь со смартфона. Интересно, что произойдёт, если пару человек с разных
устройств одновременно запустят видео. Настанет ли полный кирдык?
Адрес http://185.195.27.8:4567/

Telegram Desktop Add Test Server

Wed, 28 Feb 2024 13:35:09 GMT

AUTH_TOKEN_INVALID2 при попытке авторизовать телефоном по qr-коду когда пытаюсь добавить тестовый аккаунт.
5-значный код не присылает. Интернет ответа не дает. Может кто-то сталкивался?
делаю по этой инструкции https://docs.telegram-mini-apps.com/platform/test-environment

Тестирование в продакшене или в девелоп- какое лучше?

Fri, 23 Feb 2024 04:58:40 GMT

Какая структура тестирования лучше-

1) "как бы прод" максимально приближенное к реальному. Потом релиз в реальный прод, который отличается. Ошибка может произойти на шаге релиза в прод (например, файл не скопировался) и у клиента упало.
1.1) как защититься от "исправлений" сторонних утилит AWS, которые неявные и внезапно ломают поведение в тот момент, когда меньше всего ожидаешь подвох?

2) релизить сразу в реальный прод (в ньчные часы, например) и там тестировать реально то, что попадает к клиенту.

2.1) Какие способы отдавать разным клиентам разную версию веб интерфейса так, чтобы закладки не ломались?

[fyi] Интересная схема-гифка для типов тесов.

Mon, 23 Oct 2023 17:41:03 GMT

Здравствуйте.

Прикольная гифка с типами тестов и соотв. решениями от вендоров:

	большая картинка

Как измерить пиковую нагрузку на API?

Wed, 30 Aug 2023 05:44:52 GMT

Изначальная проблема которую я пытаюсь решить: переезжаем на новый сервис. Хотим проверить, что новый сервис держит пиковую нагрузку, которую держал старый.

В данный момент я пытаюсь измерить пиковую нагрузку, что бы описать её. Метрика нужна что бы
1. передать её в команду поддержки API, возможно они сразу скажут что она слишком высока и сервис не выдержит
2. попытатся повторить её (например jmeter-ом)

Есть логи в которых логируется окончание запроса и его длительность.
Пытаюсь вычислить rpm (requests per minute), но не получается. Чем меньше интервал я беру в регионе спайка, тем выше получаются значения RPM.

Приведу пример, чтоб было понятнее. Пусть у нас есть 1 запрос в течении часа. Какая нагрузка? RPM = 1/60 = 0.0167
Ок, начинаем проверять интервалы размером в 1ms. Все будут с RPM=0 кроме одного, у которого RPM=1*60*1000 = 60000.

Как выбрать интервал? Может нужна какая-то другая метрика?

Z-нотация и её применение

Tue, 20 Jun 2023 01:54:05 GMT

Вот существует структура "красно-чёрное дерево". Говорят, что её надо программировать аккуратно, чтобы не допустить ошибок.
Было бы логично описать требования к ней в виде Z-нотации и уметь формально доказывать корректность реализации, логично?
Ну я пошел в phind.com и спросил у черного моря — есть ли такая спецификация. Долго кричал, ничего не ответила мне золотая рыбка...

Оно сваяло мне такой код:

[RBTree]
  parent: RBNode
  child: RBNode * 2
  color: {Red, Black}
  key: int
  root: RBNode

[RBNode]
  parent: RBNode
  child: RBNode * 2
  color: {Red, Black}
  key: int

[RBTreeOperations]
  insert: RBNode * int -> RBTree
  delete: RBNode * RBTree -> RBTree
  search: RBNode * RBTree -> bool

[RBTreeConstraints]
  - Every node is either red or black.
  - The root node is always black.
  - All leaves (NIL) are black.
  - If a node is red, both its children are black.
  - Every path from a node to its descendant leaves contains the same number of black nodes.

[insert]
  - Inserts a new RBNode with the given key into the RBTree.
  - Maintains the Red-Black Tree properties by performing necessary rotations and color adjustments.
  - Returns the updated RBTree.

[delete]
  - Removes the specified RBNode from the RBTree.
  - Ensures that the Red-Black Tree properties are preserved after the deletion operation.
  - Performs rotations and color adjustments as needed.
  - Returns the updated RBTree.

[search]
  - Checks if the RBTree contains a node with the given key.
  - Traverses the RBTree, comparing the key with the keys of the nodes.
  - Returns true if a node with the key is found, false otherwise.

[RBTreeConstraints]
  - Specifies the constraints that must be satisfied by the RBTree.
  - Ensures that the tree remains balanced and maintains the desired properties.
  - Specifies the color of the nodes, the root node, and the relationship between parent and child nodes.

1) чем это в принципе отличается от какого-либо другого кода, записанного в другом синтаксисе?
2) что теперь с ним дальше делать?

Как тестировать серверные сервисные приложения?

Mon, 12 Dec 2022 02:09:57 GMT

Имеется приложение. При старте запускает веб-сервер. Для работы использует СУБД. Принимает некие HTTP запросы с JSON телами и отвечает так же. Также само запрашивает некоторые другие сервисы по HTTP. Также в будущем будет работать с Rabbit MQ.

Хочется понять, как такое приложение тестировать на верхнем уровне.

Сейчас это делается юнит-тестами. Запускается несколько мок-серверов, запускается при старте теста БД, в эту БД код кладёт начальные данные, вызывает нужные эндпоинты, в конце проверяет, вызывались ли нужные эндпоинты у мок-серверов, проверяет, изменились ли данные в БД.

Проблема в том, что эти тесты очень муторно писать. Разработчики их писать ленятся, не-разработчики таким скиллом не обладают по-большому счёту.

Задача мне кажется типовой и достаточно универсальной. Но не очень понимаю, как гуглить.

По сути нужен инструмент, в котором во-первых будет хороший UI для тестера для редактирования тестовых сценариев. Тестовый сценарий включает в себя подготовку окружения (данные для БД, настройка мок-серверов), вызов нужного эндпоинта в тестируемом сервисе и, собственно, проверку предположений (база поменялась, мок-серверы вызывались). Во-вторых сохранение этих сценариев в файлах и вызов какого-то консольного приложения для их запуска (чтобы настроить автоматический прогон этих тестов).

Пока вижу два подхода:

1. Собрать свой велосипед из полу-готовых инструментов. К примеру реализовать вставку в БД/верификацию по XLSX и готовить данные в экселе. Для мока использовать что-то вроде wiremock, у него там есть свои конфиги. В итоге тестировщик будет в кучке файлов возиться.

2. Сделать всё через Postman. Я им сам не пользовался, могу ошибаться, но вроде там есть возможность написания тестовых сценариев. При этом для работы с БД параллельно запустить второй сервис, который даёт универсальный HTTP-интерфейс для базы и подготавливать/проверять данные в Postman вызывая этот сервис.

Книжка по юнит-тестированию 2021 года

Tue, 01 Nov 2022 09:23:24 GMT

Издательство Питер.
Владимир Хориков. Принципы юнит- тестирования.
А издательстве осталась только электронная версия: https://www.piter.com/product_by_id/212580594
Там есть оглавление.

В лабиринте: https://www.labirint.ru/books/777259/
Аннотация
Юнит-тестирование — это процесс проверки отдельных модулей программы на корректность работы. Правильный подход к тестированию позволит максимизировать качество и скорость разработки проекта. Некачественные тесты, наоборот, могут нанести вред: нарушить работоспособность кода, увеличить количество ошибок, растянуть сроки и затраты. Грамотное внедрение юнит-тестирования — хорошее решение для развития проекта.Научитесь разрабатывать тесты профессионального уровня, без ошибок автоматизировать процессы тестирования, а также интегрировать тестирование в жизненный цикл приложения. Со временем вы овладеете особым чутьем, присущим специалистам по тестированию. Как ни удивительно, практика написания хороших тестов способствует созданию более качественного кода.В этой книге:- Универсальные рекомендации по оценке тестов.- Тестирование для выявления и исключения антипаттернов.- Рефакторинг тестов вместе с рабочим кодом.- Использование интеграционных тестов для проверки всей системы.

Это к вопросу об отсутствии книг по юнит-тестированию

От себя добавлю, что книга хорошая.
Там азы особо не разжевываются, а рассматриваются вопросы более высокого уровня.
Например, я узнал, что существует две школы юнит-тестироования: классическая и лондонская.
Описано 3 стиля юнит-тестирования. Есть и о покрытии кода тестами.
Про рефакторинг тестов и антипаттерны юнит-тестирования.
И еще про интеграционное тестирование тоже прилично написано.
В общем, книжка мне понравилась.

Новые книги по тестированию от из-ва Питер

Tue, 01 Nov 2022 04:56:05 GMT

1. Тестирование javascript
https://www.piter.com/collection/kompyutery-i-internet/product/testirovanie-javascript
Оглавление
https://www.piter.com/collection/kompyutery-i-internet/product/testirovanie-javascript#Oglavlenie-1
Аннотация с Лабиринта
Автоматизированное тестирование — залог стабильной разработки качественных приложений. Полноценное тестирование должно охватывать отдельные функции, проверять интеграцию разных частей вашего кода и обеспечивать корректность с точки зрения пользователя. Книга научит вас быстро и уверенно создавать надежное программное обеспечение. Вы узнаете, как реализовать план автоматизированного тестирования для JavaScript-приложений. В издании описываются стратегии тестирования, обсуждаются полезные инструменты и библиотеки, а также объясняется, как развивать культуру, ориентированную на качество. Вы исследуете подходы к тестированию как серверных, так и клиентских приложений, а также научитесь проверять свое программное обеспечение быстрее и надежнее.
https://www.labirint.ru/books/900473/

2. Эффективное тестирование программного обеспечения.
На сайте Питера она куда-то пропала.
В Лабиринте: https://www.labirint.ru/books/896017/
Аннотация
"Идеально подходит для обучения следующего поколения разработчиков приемам эффективного тестирования программного обеспечения".
Доктор Ари Ван Дерсен, профессор Делфтского технологического университета

Для инженеров-программистов тестирование является ключевой частью процесса разработки. Владение тестированием на основе спецификаций, граничным и структурным тестированием, а также другими ключевыми стратегиями необходимо для разработки хороших тестов и выявления ошибок до того, как они попадут в промышленное окружение. Данная книга познакомит вас с различными видами тестирования, сосредоточенными как на отдельных модулях, так и на целых компонентах. Вы узнаете, как писать легко тестируемый прикладной код и простые в сопровождении тесты. Предлагая тщательный систематический подход, книга включает образцы исходного кода с комментариями, реалистичные сценарии и обоснованные объяснения.

Примеры на основе Java иллюстрируют концепции, которые можно использовать для тестирования ПО на любом объектно-ориентированном языке.

Прошла мода на такие книжки (по Unit-тестированию)

Mon, 31 Oct 2022 19:27:58 GMT

https://rsdn.org/forum/dotnet/8398089.1

За 15 лет стопудово был какой-либо прогресс или в методах, или в используемых инструментах.
Если область деятельности реально существует, то опыт в ней накапливается,
особенно в мировом масштабе.

Если "мода прошла", то получается, что это вообще в принципе было
неприменимое на практике (экономически невыгодное, крайне нишевое) направление деятельности?

Как понять почему тесты не отрабатывают?

Wed, 06 Jul 2022 14:18:59 GMT

Есть такой нехитрый код в контроллере

public class CarController : CarControllerBase
{
        private readonly IFeatureGetCarById _featureGetCarById;       

        public CarController (IFeatureGetCarById featureGetCarById)
        {
            _featureGetCarById= featureGetCarById;
        }

   public async Task<IActionResult> GetCarById(
            CancellationToken cancellationToken,
            [Required] Guid carId,
            int? version,
            [FromServices] IFeatureGetCarById featureGetCarById)
{
    return version.HasValue ? 
                Ok(await featureGetCarById.GetCarByIdForVersion(carId, version.Value, cancellationToken)) : 
                Ok(await featureGetCarById.GetCarByIdAsync(carId, cancellationToken));
}

и есть такой код в тесте.
Тест заходит в метод контроллера GetCarById но внутрь GetCarByIdForVersion или GetCarByIdAsync уже не заходит.
В ошибку не падает,возвращает просто null и 200
Как понять в чем проблема?
Есть подозрение что надо мокать еще внутри сервиса FeatureGetCarById что в конструктор инжектится.
А там среди прочих сервисов инжектится еще и DbContext.

    var mockIFeatureGetCarById  = new Mock<IFeatureGetCarById>();            
            
            CancellationToken cancellationToken = new CancellationToken();
            Guid carId = new Guid("1018917A-FDF1-EC11-A07B-A4C3F063C82D");
            int version = 2;

            mockFeatureGetCarById.Setup(feature => feature.GetCarByIdForVersion(carId, version, cancellationToken));
            mockFeatureGetCarById.Setup(feature => feature.GetCarByIdAsync(carId, cancellationToken));

            
            var carController = new CarController(mockIFeatureGetCarById.Object);
            
            var result = await carController.GetCarById(cancellationToken, carId , version, mockIFeatureGetCarById.Object);

Вот как могло такое получиться?

Tue, 31 May 2022 17:04:30 GMT

Сделал бэкап небольшого (128 Гб) SSD стандартным семерочным бэкапером. Отформатировал диск, восстановил обратно. Обнаружил, что восстановились почти все файлы, но в установочных каталогах нескольких приложений (2GIS, Visual Studio, MSDN, VMware Workstation, VirtualBox) не хватает где по десятку, а где по паре сотен файлов. А каталоги все на месте — в одних есть часть файлов, другие пусты.

Полез изучать бэкап — в нем этих файлов нет, как нет и в каталоге (GlobalCatalog.wbcat).

Полез в сеть читать про жалобы на виндовый бэкапер — не нашел ни одной. Наоборот, нашел множество статей типа "how to make a drive backup with Windows 7 Backup and Restore Utility".

Вот как так, а? Его ж как-то тестировали, и миллионы пользователей им пользовались, а кто-то пользуется и до сих пор. Как он мог сделать формально валидный бэкап, не положив туда множества файлов из разных каталогов, и чтоб такое не вылезало сколько-нибудь систематически у разных пользователей?

Как вообще можно родить код, в котором такой глюк возможен случайно?

Автоматизация создания тестов для Selenium / C#

Thu, 16 Dec 2021 15:56:53 GMT

Всем привет,

Тестирую сайт с помощью Selenium WebDriver / C#. Хотелось бы создавать "скелет" теста, просто накликав его в браузере (тест потом будет модифицироваться вручную). Есть ли какое-то расширение для Visual Studio, чтобы можно было запустить браузер, покликать там, и в итоге получить код на C#, который делает все то же самое?

Спасибо.

Тестовый http файл сервер

Wed, 15 Dec 2021 17:46:55 GMT

Мне надо протестировать http клиента, который умеет докачивать данные по url после разрыва сервером соединения.

Есть ли такой несложный http файл сервер, который можно настроить так чтобы он обрывал соединение, если оно превышает лимит по времени? Желательно под windows. Должен поддерживать докачку (выдавал в ответе заголовок Accept-Ranges). Я уверен, что nginx такое умеет, но как его настроить так — я не знаю и не хочется ради тестирования убиваться разбираясь в его настройках.

Юнит-тесты многопоточки

Sun, 07 Nov 2021 14:37:48 GMT

На собеседовании была задача.
C#.
В 3 разных потока будет передан один объект. В нем есть 3 метода. RunFirst, RunSecond, RunThird.
Нужно сделать так, что бы методы могли быть вызваны только по очереди. Хотя потоки могут вызывать их как угодно.
Ну сам класс то я реализовал через lock.

А потом меня попросили написать юнит-тест на это.

Как такое тестировать? Реально стартовать потоки в тесте? Но где гарантия, что потоки случайно не вызовут методы в нужном порядке.
Да и что проверять в тесте?

Тестирование middleware

Mon, 18 Oct 2021 11:29:19 GMT

Прошу прощения, если неправильно применяю второе слово, но по-другому не знаю, как описать код, с которым я работаю по работе в данный момент. Суть его в том, что дёргаются разные микросервисы, переливаются данные из ~~пустого~~ JSON в ~~порожнее~~ Thrift и обратно. Как тестировать такой код, когда не существует заглушек или тривиальных реализаций для зависимостей? В данный момент 99% тестов это mocking API сервисов, к которым обращается тестируемый код, с последующей проверкой того, что функция была вызвана. По-мойму, это не просто пустая трата времени, а небольшая диверсия, потому что всем кажется, что код покрыт тестами, а на деле ничего не покрыто, и ломается на раз-два (происходит постоянно). Лет 8 назад я работал на похожем проекте, но там всё было на JavaEE с инверсией зависимостей и обязательным написанием stub или no-op реализации для каждого интерфейса.

Юнит тесты для планов выполнения запросов

Thu, 15 Jul 2021 19:25:56 GMT

Есть некий API доступа к данным, позволяющий указывать критерии фильтрации (по любому из N полей, по нескольким полям через and/or), сортировку (по любому из N полей) и паджинацию. По запросам к этом API строятся ORM-запросы (Java, Criteria builder), которые потом идут в Mysql. Запросы, конечно, получаются очень разными, а уж планы выполнения — так ещё разнее. Хочется чтобы любой запрос отрабатывал за 1 секунду при 10 параллельных юзерах. О тормозах мы часто узнаём от внешних потребителей. Показывают что они как хотят отфильтровать, мы воспроизводим, смотрим план, придумываем как сделать быстрее. Например индекс добавляем. Хочется придумать как отлавливать наибольшее число тормозных запросов как можно раньше — до того, как внешние потребители с этим столкнутся.

У нас есть ежедневные перформанс тесты, которые проверяют какие-то сочетания каких-то параметров и от них есть выхлоп, но все возможные сочетания проверять конечно не получится — тупо очень много времени займёт, если каждую конфигурацию мучать хотя бы по 15 секунд.

Приходит в голову написать "юнит тесты", которые бы проверяли как выглядит план выполнения запроса для каждой возможной конфигурации параметров, и убеждались бы, что там точно нигде никогда нет full scan например. Будут такие тесты иметь смысл? Как бы вы подошли к проблеме?

Подделка юнит тестов, пригорело

Tue, 22 Jun 2021 00:38:40 GMT

Как относитесь к такой практике юнит тестов:

1) ожидаем (подписываемся) какой-то event (в общей куче), как критерий прохождения теста.
2) вызываем функцию, которую т.н. "тестируем", которая вроде бы должна отправить тот event.
3) контрольный выстрел- из теста отправляем event, ожидаемый в (1).

Тест всегда проходит, похрен что "тестируемая" функция совсем иначе себя ведёт. И вот этому тесту был посвещен целый тикет в жыре.

Пригорело. Опять.