Bulk Insert в Berkeley BTree базу данных
От: bornkiller  
Дата: 25.01.11 14:02
Оценка:
Частично ап, частично описание текущей ситуации.
Худо-бедно смогли ускорить загрузку данных. Нашли утечку памяти в бдб. Однако победа не окончательная. Если раньше мы могли за приемлемое время загрузить 10-15% нашей базы, то теперь мы можем загрузить 85%, однако это по прежнему не 100...
Может у кого есть пример саксесс стори по загрузке большого объема в BTree или Hash таблицу?
Как это правильно сделать на дотнете или любом другом языке?

B>Добрый день.

B>Стоит задача наполнить базу данных с большим количеством элементов (порядок 10^10). Имеем существенное замедление добавления элементов с ростом количества уже добавленных. Оно и логично, т.к. дерево растет и его надо перебалансировать. Источник не совсем тривиальный поэтому наполнять по росту дерева не получается. Вопрос: если ли у BDB такой режим что бы сначала записать упорядоченный массив данных, а уже потом построить над ним дерево? Гугление не помогло.

B>Спасибо.


PS. Подумал что тут могут скорее помочь. Модератор, если я поступил не верно, то удалите пожалуйста ветку в "Средствах разработки".
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.