Re[2]: комплексное тестирование приложения с базой
От: kochmin_alexandr Россия  
Дата: 16.02.05 04:44
Оценка:
m> А какой размер у базы?

m> У меня был проект с тестами на 3-х мегабайтной тестовой базе — вырезка

m> из 4G продакшн. Готовилась эталонная база — дамп из продакшн базы,
m> дополненный тестовыми данными. Тестовые данные — сгенерённые утилитами
m> (Toad или Excel VBA macros) insert. Далее использовался дамп эталонной
m> базы. Заливка (drop index, drop constraints, truncate, insert, create
m> index, create constraints) эталонной базы на удалённый сервер занимала
m> ~30 секунд. Собственно import ~10 секунд. Было примерно 500 тестов, из
m> которых ~100 — update, из которых часть требовала полной заливки
m> эталона. В случае небольших изменений генерился скрипт из insert и
m> delete, который возвращал тестовую базу в исходное состояние. Если
m> изменений много — полная заливка. Результаты выполнения тестов
m> выполнялись программно.

Мда... 3 МБ, 30 секунд....
Для хорошего тестирования в том числе и времени отклика, сложных отчетов и прочего.
У меня база должны быть несколько сотен мегабайт минимум.


С уважением
Кочмин Александр
Posted via RSDN NNTP Server 1.9
Re[3]: комплексное тестирование приложения с базой
От: Григорий Поваров Россия  
Дата: 16.02.05 05:47
Оценка:
> Мда... 3 МБ, 30 секунд....
> Для хорошего тестирования в том числе и времени отклика, сложных отчетов и прочего.
> У меня база должны быть несколько сотен мегабайт минимум.

Саш, а может пусть она ночью тестируется?!
Posted via RSDN NNTP Server 1.9
Re[4]: комплексное тестирование приложения с базой
От: kochmin_alexandr Россия  
Дата: 16.02.05 07:03
Оценка:
ГП>> Мда... 3 МБ, 30 секунд....
ГП>> Для хорошего тестирования в том числе и времени отклика, сложных
ГП>> отчетов и прочего. У меня база должны быть несколько сотен мегабайт
ГП>> минимум.

ГП> Саш, а может пусть она ночью тестируется?!


хм... сдается мне, что даже не ночью, а несколько дней.
это понятно...

С уважением
Кочмин Александр
Posted via RSDN NNTP Server 1.9
Re[3]: комплексное тестирование приложения с базой
От: mihhon  
Дата: 16.02.05 07:27
Оценка:
_>Мда... 3 МБ, 30 секунд....
_>Для хорошего тестирования в том числе и времени отклика, сложных отчетов и прочего.
_>У меня база должны быть несколько сотен мегабайт минимум.

выдели отдельную машину или тестируй ночью

если у тебя сотни мегабайт и каждый тест апдейтит много данных и надо заново заливать эталонную базу перед каждым тестом, то можно попробовать следующий вариант: готовится эталонная база, физически копируются файлы базы, перед каждым тестом останавливается сервер и заменяются файлы с данными, перезапускается сервер. делаешь это командой mv, а не copy, наготовь заранее столько копий эталонной базы сколько у тебя тестов, изменяющих всю базу.

"сложных отчетов" — это чтение, тестовая база не меняется

"хорошего тестирования" — что ты имеешь в виду? сколько у тебя тестов, которые апдейтят много данных и нельзя компенсационным скриптом вернуться к эталону? полная заливка базы требуется ТОЛЬКО для тестов, которые апдейтят много данных
Re[5]: комплексное тестирование приложения с базой
От: Григорий Поваров Россия  
Дата: 16.02.05 07:40
Оценка:
> ГП>> Мда... 3 МБ, 30 секунд....
> ГП>> Для хорошего тестирования в том числе и времени отклика, сложных
> ГП>> отчетов и прочего. У меня база должны быть несколько сотен мегабайт
> ГП>> минимум.

> ГП> Саш, а может пусть она ночью тестируется?!


> хм... сдается мне, что даже не ночью, а несколько дней.

> это понятно...

Ну, при скорости 3 МБ за 30 секунд гигабайтная база выполнится за три часа (если конечно скорость с ростом базы не падает). За ночь можно несколько раз прогнать. На западе, я так понял, часто так и поступают -- днем пишут, а ночью все автоматически собирается и тестируется, с утра за кофе читаешь отчет.
Posted via RSDN NNTP Server 1.9
Re[7]: комплексное тестирование приложения с базой
От: mihhon  
Дата: 16.02.05 07:48
Оценка:
_>А каждому тесту за собой убирать, чего он испортил в базе?
да, чтоб не заливать полностью тестовую базу, если это возможно. и готовить для себя данные, если их нет в исходной базе.

_>Но тогда заливать прийдется все больше и больше.

_>Проблема в том. что база растет, и цифры для проверки тостов постоянно меняются.
тестоваяя база и продакшн база — 2 разные вещи. алгоритмы, работающие на тестовой базе (если она адекватна) дадут правильный результат на продакшн.

_>В результате тестовая база постоянно растет и константы для тестов постоянно меняются.

_>И что, переписывать все тесты каждые раз на новые константы, на новые данные в базе?
это нормально. меняются алгоритмы — меняются тестовые данные
Re[4]: комплексное тестирование приложения с базой
От: kochmin_alexandr Россия  
Дата: 16.02.05 08:40
Оценка:
да, вроде начинает все проясняться.
Не зря эта дискуссия затеяна.
Я хотел узнать что другие думают по этому поводу и как поступают.
Спасибо всем.

С уважением
Кочмин Александр
Posted via RSDN NNTP Server 1.9
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.