Есть БД с сырыми данными, объем пока около сотни гигабайт.
На основе этих сырых данных рассчитываются агрегированные данные.
Алгоритмы агрегации достаточно сложны, это не всегда простое сложение, максимум.
На основе агрегированных данных в конечном итоге строятся запросы, дашборды и т.п.
Добавление в БД может быть долгим, но выборка из нее должна быть быстрой.
Предполагается рассчитывать агрегированные данные заранее — в различных разрезах.
Плюс имеются несколько слоев агрегации, сырые данные -> часы, часы -> дни, дни -> месяцы
Плюс данные могут меняться задним числом.
Возможно, существуют системы, с помощью которых можно управлять такой агрегацией.
Которые определяют изменившиеся части данных, управляют запуском пересчетов и т.п.
Есть такие системы / подходы? Как они называются, что почитать? Или все всегда строится вручную?
