Re[4]: Разработка OLAP engine
От: Yuri Burger  
Дата: 12.05.05 10:30
Оценка:
Здравствуйте, _Umka, Вы писали:

YB>>- где можно нарыть документации (на olap.ru не отсылать, там только общие вопросы, либо описание как построить клиента, а мне нужно движек сервака!)

YB>>- как удобней/оптимальней хранить данные — форматы, содержимое....
YB>>- как реализовать (оптимальней) group by (т.к. это наиболее используемая функция)..
YB>>- как работать с данными не вмещающимися в памяти...
_U>1. Для начала читаем "Wiley & Sons — Building The Data Warehouse" потом задаем вопросы.
_U>2. Хранить на сервере баз данных и читаем "Microsoft SQL Server 2000 Database Design and Implementation"
_U>3. Далее берем Кнута...
_U>4. Читаем использование виртуальной памяти и проецирование файлов в память (для Windows)

Умный, да?

1. Линк бы дал, чтоли. Всё что я видел в инете рассматривает как ИСПОЛЬЗОВАТЬ ГОТОВЫЕ решения, основанные в основном на MS/Oracle: "как использовать готовое решение"; либо "как собрать из готовых продуктов собственное решение"; либо "как сделать клиента к решениям MS, Oracle, etc".
Мне нужно — построение движка с нуля, вещь в себе, без использования готовых решений, вплоть до самостоятельной реализации операций БД. Потому и спрашиваю здесь, а не у мелкософта

2. Мдя. Уже говорил — с нуля.

3. Нет у него. Там базис, общие вопросы, давно измусоленые темы. Самое интересное не рассмотрено. Первые же проблемы с которыми сталкиваешся в olap движке (повторюсь — не использующего готовые решения в виде чужих DB) — работа с массивами данных не вмещающихся в памяти; работа с массивами превышающими 2 Гб; распределенная обработка.... Например, я так и не сумел найти описание эффективного алгоритма "group by" с использованием чанков...

4. )))))))) Что там читать? Это больше вопрос удобства. И опять же проблема двух гиг.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.