Здравствуйте, kaa.python, Вы писали:
KP>Так вот, что сейчас рекомендовано использовать для подсчетов на лету если у тебя есть пара сотен гигабайт данных? Если у кого-либо есть практика с секционированием из PG12 тоже было бы интересно узнать впечатления.
KP>Если же говорить про сами расчеты, то это различные суммы, минимум/среднее/максимум по группам, ну и само собой фильтрация входных данных для расчетов.
На паре эвентов Frank McSherry (довольно известный товарищ в области пересечения БД и data streams) убеждал нас что
materialize.io решит кучу подобных проблем. Идея в том, что между твоей транзакционной БД и их движком вставляется что-то вроде Debezium, которое посылает им апдейты, а дальше они очень хитрым образом обновляют вьюхи на лету, не пересчитывая запросы. От клиентов она ожидает стандартный SQL 92, емнип.
Вот
тут он демонстрирует это дело. Кстати, исходники dataflow по-моему на Rust'e, тебе должно быть близко.