Забить БД тестовыми данными от 100 000 строк
От: dosik Россия www.dosik.ru
Дата: 12.05.15 09:11
Оценка:
Добрый день.

Подкиньте пожалуйста идейку. Для тестирования производительности необходимо забить две реплицируемые между собой БД данными от 100 000 строк, каждая из которых содержит xml (именно тип данных в PostgreSQL) документ размером не меньше 1 кб. Дальше буду в ней искать всевозможными способами.
Быть может существуют какие-то ресурсы для этого? Или идем на любой торрент, качаем большую книжку, и, допустим, по абзацам закидываем в БД?
БД, как уже упоминал, PostgreSQL.
Re: Забить БД тестовыми данными от 100 000 строк
От: merlin88  
Дата: 12.05.15 19:46
Оценка:
Здравствуйте, dosik, Вы писали:

D>Добрый день.


D>Подкиньте пожалуйста идейку. Для тестирования производительности необходимо забить две реплицируемые между собой БД данными от 100 000 строк, каждая из которых содержит xml (именно тип данных в PostgreSQL) документ размером не меньше 1 кб. Дальше буду в ней искать всевозможными способами.

D>Быть может существуют какие-то ресурсы для этого? Или идем на любой торрент, качаем большую книжку, и, допустим, по абзацам закидываем в БД?
D>БД, как уже упоминал, PostgreSQL.

В Oracle для этой цели часто используются обращения к системному представлению all_objects (объектов БД). Там гарантировано есть несколько тысяч объектов. Если у PostgreSQL тоже есть системные таблицы, то удобно использовать именно их, а не привлекать внешнюю информацию. Написать скрипт который мультиплицирует исходное кол-во записей до требуемого объема. В общем я бы в этом направлении смотрел.

SQL> create table t

2 as
3 select *
4 from all_objects;
Table created.
Отредактировано 12.05.2015 20:04 merlin88 . Предыдущая версия .
Re[2]: Забить БД тестовыми данными от 100 000 строк
От: dosik Россия www.dosik.ru
Дата: 13.05.15 06:55
Оценка:
Здравствуйте, merlin88, Вы писали:
M>В Oracle для этой цели часто используются обращения к системному представлению all_objects (объектов БД). Там гарантировано есть несколько тысяч объектов. Если у PostgreSQL тоже есть системные таблицы, то удобно использовать именно их, а не привлекать внешнюю информацию. Написать скрипт который мультиплицирует исходное кол-во записей до требуемого объема. В общем я бы в этом направлении смотрел.

Спасибо за ответ, но мне нужны именно XML документы, чтоб погонять на прочность именно этот тип данных.
Может попробовать через API ВКонтакте стены пользователей по скачивать, да могут забанить после первой условной тысячи запросов.
Отредактировано 13.05.2015 6:57 dosik . Предыдущая версия .
Re[3]: Забить БД тестовыми данными от 100 000 строк
От: merlin88  
Дата: 13.05.15 09:25
Оценка:
Здравствуйте, dosik, Вы писали:

D>Спасибо за ответ, но мне нужны именно XML документы, чтоб погонять на прочность именно этот тип данных.

D>Может попробовать через API ВКонтакте стены пользователей по скачивать, да могут забанить после первой условной тысячи запросов.

XML обертку для данных легко реализовать в том же скрипте. Т.е. у вас будет к примеру некая структура XML, в которую вы будете заталкивать текстовые данные.
В конце концов любой текстовый файл можно использовать как источник данных, при этом не потребуется подгружать соцсети )
Re: Забить БД тестовыми данными от 100 000 строк
От: BlackEric http://black-eric.lj.ru
Дата: 13.05.15 09:28
Оценка:
Здравствуйте, dosik, Вы писали:

Накачать картинок в формате svg и загрузить их в бд любым удобным способом.
https://github.com/BlackEric001
Re[4]: Забить БД тестовыми данными от 100 000 строк
От: dosik Россия www.dosik.ru
Дата: 13.05.15 09:33
Оценка:
Здравствуйте, merlin88, Вы писали:

M>XML обертку для данных легко реализовать в том же скрипте. Т.е. у вас будет к примеру некая структура XML, в которую вы будете заталкивать текстовые данные.

M>В конце концов любой текстовый файл можно использовать как источник данных, при этом не потребуется подгружать соцсети )

Тоже об этом подумывал, что-то типа БСЭ и струтктура типа <название/><статья/>. Больше по сути для теста не надо.
Re[2]: Забить БД тестовыми данными от 100 000 строк
От: dosik Россия www.dosik.ru
Дата: 13.05.15 11:28
Оценка:
Здравствуйте, BlackEric, Вы писали:

BE>Здравствуйте, dosik, Вы писали:


BE>Накачать картинок в формате svg и загрузить их в бд любым удобным способом.


Спасибо. Хотелось бы тексты по искать )))
Re: Забить БД тестовыми данными от 100 000 строк
От: velkin Удмуртия http://blogs.rsdn.org/effective/
Дата: 13.05.15 21:20
Оценка:
Здравствуйте, dosik, Вы писали:

D>Добрый день.

D>Подкиньте пожалуйста идейку. Для тестирования производительности необходимо забить две реплицируемые между собой БД данными от 100 000 строк, каждая из которых содержит xml (именно тип данных в PostgreSQL) документ размером не меньше 1 кб. Дальше буду в ней искать всевозможными способами.
D>Быть может существуют какие-то ресурсы для этого? Или идем на любой торрент, качаем большую книжку, и, допустим, по абзацам закидываем в БД?
D>БД, как уже упоминал, PostgreSQL.

http://www.ozon.ru/context/partner_xml/
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.