S>>Каковы ваши прогнозы — какая скорость будет в сравнении с предложенными вариантами?

НС>В каких условиях? Спарк это не решение для одной машины. Обычно происходит так: где то в дешевом хранилище (s3/azure storage), либо в хранилище другой системы накапливаются первичные данные. Потом нам надо эти данные обработать. Для этого в облаке арендуется на несколько часов/дней кластер из 100500 машин, на котором разворачивается спарк. Потом все это быстро через кластер прогоняется, результат сохраняется и кластер релизится.
НС>Говорить о производительности спарка внутри одной машины бессмысленно.

бессмысленно говорить о том о чем не имеешь представления. я показал скорость и все три строчки решения на спарк на одной машине: http://rsdn.org/forum/job/8348407

Автор: Gt_
Дата: 31.08.22

оно по любому обгонит любое решение на субд, где нудно загрузить данные, построить индекс.

S>>Каковы ваши прогнозы — какая скорость будет в сравнении с предложенными вариантами?

НС>В каких условиях? Спарк это не решение для одной машины. Обычно происходит так: где то в дешевом хранилище (s3/azure storage), либо в хранилище другой системы накапливаются первичные данные. Потом нам надо эти данные обработать. Для этого в облаке арендуется на несколько часов/дней кластер из 100500 машин, на котором разворачивается спарк. Потом все это быстро через кластер прогоняется, результат сохраняется и кластер релизится.
НС>Говорить о производительности спарка внутри одной машины бессмысленно.

бессмысленно говорить о том о чем не имеешь представления. я показал скорость и все три строчки решения на спарк на одной машине: http://rsdn.org/forum/job/8348407

Автор: Gt_
Дата: 31.08.22

оно по любому обгонит любое решение на субд, где нужно загрузить данные, построить индекс.