Сообщение Re[87]: В России опять напишут новый объектно-ориентированны от 07.07.2018 16:02
Изменено 07.07.2018 16:03 Gt_
Re[87]: В России опять напишут новый объектно-ориентированны
Gt_>>да уже все показывал и детально разжевывал чем функция на дотнете отличается
Gt_>>http://www.rsdn.org/forum/flame.comp/7153190.1
I>Прошу прощения, но почему это "вставка" ?
там вставка итеративных жава команд в декларативную конструкцию спаркового датафрейма. то самое о чем толдычит alex_public, что не надо нас ограничивать куцым декларативным sql из нескольких команд. есть гораздо более прогрессивные варианты, которые ничего не ограничивают и вот прямо сейчас уже дают гораздо большие возможности. например мы подобную конструкцию используем для расчета скорингов. оказалось "стандартный" набор алгоритмов spark ml достаточно куций, но поскольку это не mssql я не ограничен парой sql команд. я могу легко элегантно подключить более мощную ML библиотеку, которая будет работать в том же адресном пространстве, в той jvm. а элегантно это выглядит потому что я не ограничен декларативными конструкциями и могу итеративный код использовать наравне с декларативными конструкциями датафреймов.
I>Кстати говоря, для чего ты используешь этот спарк ? Я видел только всякие лайки, статистику и логи разных.
dwh, аналитика, коринги
Gt_
Gt_>>http://www.rsdn.org/forum/flame.comp/7153190.1
I>Прошу прощения, но почему это "вставка" ?
там вставка итеративных жава команд в декларативную конструкцию спаркового датафрейма. то самое о чем толдычит alex_public, что не надо нас ограничивать куцым декларативным sql из нескольких команд. есть гораздо более прогрессивные варианты, которые ничего не ограничивают и вот прямо сейчас уже дают гораздо большие возможности. например мы подобную конструкцию используем для расчета скорингов. оказалось "стандартный" набор алгоритмов spark ml достаточно куций, но поскольку это не mssql я не ограничен парой sql команд. я могу легко элегантно подключить более мощную ML библиотеку, которая будет работать в том же адресном пространстве, в той jvm. а элегантно это выглядит потому что я не ограничен декларативными конструкциями и могу итеративный код использовать наравне с декларативными конструкциями датафреймов.
I>Кстати говоря, для чего ты используешь этот спарк ? Я видел только всякие лайки, статистику и логи разных.
dwh, аналитика, коринги
Gt_
Re[87]: В России опять напишут новый объектно-ориентированны
Gt_>>да уже все показывал и детально разжевывал чем функция на дотнете отличается
Gt_>>http://www.rsdn.org/forum/flame.comp/7153190.1
I>Прошу прощения, но почему это "вставка" ?
там вставка итеративных жава команд в декларативную конструкцию спаркового датафрейма. то самое о чем толдычит alex_public, что не надо нас ограничивать куцым декларативным sql из нескольких команд. есть гораздо более прогрессивные варианты, которые ничего не ограничивают и вот прямо сейчас уже дают гораздо большие возможности. например мы подобную конструкцию используем для расчета скорингов. оказалось "стандартный" набор алгоритмов spark ml достаточно куций, но поскольку это не mssql я не ограничен парой sql команд. я могу легко элегантно подключить более мощную ML библиотеку, которая будет работать в том же адресном пространстве, в той jvm. а элегантно это выглядит потому что я не ограничен декларативными конструкциями и могу итеративный код использовать наравне с декларативными конструкциями датафреймов.
I>Кстати говоря, для чего ты используешь этот спарк ? Я видел только всякие лайки, статистику и логи разных.
dwh, аналитика, cкоринги
Gt_
Gt_>>http://www.rsdn.org/forum/flame.comp/7153190.1
I>Прошу прощения, но почему это "вставка" ?
там вставка итеративных жава команд в декларативную конструкцию спаркового датафрейма. то самое о чем толдычит alex_public, что не надо нас ограничивать куцым декларативным sql из нескольких команд. есть гораздо более прогрессивные варианты, которые ничего не ограничивают и вот прямо сейчас уже дают гораздо большие возможности. например мы подобную конструкцию используем для расчета скорингов. оказалось "стандартный" набор алгоритмов spark ml достаточно куций, но поскольку это не mssql я не ограничен парой sql команд. я могу легко элегантно подключить более мощную ML библиотеку, которая будет работать в том же адресном пространстве, в той jvm. а элегантно это выглядит потому что я не ограничен декларативными конструкциями и могу итеративный код использовать наравне с декларативными конструкциями датафреймов.
I>Кстати говоря, для чего ты используешь этот спарк ? Я видел только всякие лайки, статистику и логи разных.
dwh, аналитика, cкоринги
Gt_