А>>это лишь часть намека. вторая часть намека на то что sql работает лишь с примитивными типами данных. средствами sql нельзя взять данные таблицы, превратить их в "features" объект, скормить объекту модели и что-то сложное получить в ответ. sql лишь несколько типов знает.

S>Эти части противоречат друг другу.
S>Если мы говорим про чистый ANSI SQL, то там да — только примитивы. Но нет и никакого маршаллинга, т.к. весь процессинг внутри одного монолитного ядра.
S>Если мы говорим про T-SQL, то там маршалинг, да, но внутрь сервера прекрасно запихивается произвольный C# код. То есть вполне можно "взять данные таблицы, превратить их в "features" объект, скормить объекту модели и что-то сложное получить в ответ"


t-sql это другой и уже процедурный язык, что бы там про расширение не мямлил майкрософт. т.е. только лишь декларативным sql никак не выйдет, тот же же декларативный APPLY ничем не поможет. вариант с t-sql у вас будет отдельно курсор и луп по курсору, отдельно вызовы процедуры. т.е. декларативный движок знает лишь о курсоре. в спарке же это все вокруг единого dataframe манипуляции, внутрь которого можно подпихнуть код. в t-sql есть UDF, которые пропихнуть могут код в внутрь sql, но они не ограничены примитивными типами, объект не "заселектить".

Gt_

А>>это лишь часть намека. вторая часть намека на то что sql работает лишь с примитивными типами данных. средствами sql нельзя взять данные таблицы, превратить их в "features" объект, скормить объекту модели и что-то сложное получить в ответ. sql лишь несколько типов знает.

S>Эти части противоречат друг другу.
S>Если мы говорим про чистый ANSI SQL, то там да — только примитивы. Но нет и никакого маршаллинга, т.к. весь процессинг внутри одного монолитного ядра.
S>Если мы говорим про T-SQL, то там маршалинг, да, но внутрь сервера прекрасно запихивается произвольный C# код. То есть вполне можно "взять данные таблицы, превратить их в "features" объект, скормить объекту модели и что-то сложное получить в ответ"


t-sql это другой и уже процедурный язык, что бы там про расширение не мямлил майкрософт. т.е. только лишь декларативным sql никак не выйдет, тот же же декларативный APPLY ничем не поможет. вариант с t-sql у вас будет отдельно курсор и луп по курсору, отдельно вызовы процедуры. т.е. декларативный движок знает лишь о курсоре. в спарке же это все вокруг единого dataframe построено, внутрь dataframe можно подпихнуть код. в t-sql есть UDF, которые тоже могут пропихнуть код в внутрь sql, но они ограничены примитивными типами, объект не "заселектить".

Gt_