Mnesia и большой поток данных
От: dmz Россия  
Дата: 03.06.09 12:57
Оценка:
С одной стороны пост в Базы Данных, а с другой — все же про мнезию.

Так вот, возникла такая проблема — есть некоторое количество условных пользователей — допустим, 10K. Каждый генерирует поток событий, в пределе где-то 2 события в минуту, ну реально какие-то работают, какие-то могут не работать, все как обычно. Каждая запись — ну, допустим, 500 байт, учитывая 4-гигабайтное ограничение — можно легко посчитать, когда оно все умрет.

Есть индекс — ну грубо говоря, по дате и id пользователя. Надо что бы это все хотя бы вообще жило. Т.е. вариант, когда все хранится в одной таблице выглядит не очень хорошо, помимо быстрого роста таблицы еще и растет время вставки данных постоянно; вероятно — за счет перестройки индексов.

Есть мнение, что надо таблицу кластеризовать по пользователям, при этом дойти до предела — т.е. одна таблица на одного пользователя. Плюсов тут видится достаточно много — возможность плавной кластеризации, миграции таблиц по нодам, легкость архивации и вообще майнтейнанса.

Какие минусы — ну кроме того, что это дурной тон и никто так не делает (в реляционных базах за такое убивают) ?
mnesia erlang
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.