Gt_>>да уже все показывал и детально разжевывал чем функция на дотнете отличается
Gt_>>http://www.rsdn.org/forum/flame.comp/7153190.1

I>Прошу прощения, но почему это "вставка" ?

там вставка итеративных жава команд в декларативную конструкцию спаркового датафрейма. то самое о чем толдычит alex_public, что не надо нас ограничивать куцым декларативным sql из нескольких команд. есть гораздо более прогрессивные варианты, которые ничего не ограничивают и вот прямо сейчас уже дают гораздо большие возможности. например мы подобную конструкцию используем для расчета скорингов. оказалось "стандартный" набор алгоритмов spark ml достаточно куций, но поскольку это не mssql я не ограничен парой sql команд. я могу легко элегантно подключить более мощную ML библиотеку, которая будет работать в том же адресном пространстве, в той jvm. а элегантно это выглядит потому что я не ограничен декларативными конструкциями и могу итеративный код использовать наравне с декларативными конструкциями датафреймов.

I>Кстати говоря, для чего ты используешь этот спарк ? Я видел только всякие лайки, статистику и логи разных.

dwh, аналитика, cкоринги

Gt_