Здравствуйте, Gt_, Вы писали:

Gt_>и вот это еще рассуждает о выученных билетах
Искреннюю веру ничем не перебить, преклоняюсь перед вашей упертостью ))

Gt_>не, яндекс конечно же безусловный авторитет, после того как почту запилил на oracle EE edition с rac, партишинингом, датагвардом и прочими лицензиями.
Яндекс авторитет после того что делает с ML и AI, каких людей к себе сманил и какие задачи им ставит. Относиться к ним можно по разному, но упрекать в не проффесионализме, как минимум не профессионально, а как максимум — глупо.

Gt_>тренд уход от hive sql к всяким spark dataframe, который дает больше низкоуровневых возможностей, не отнимая sql. по моим наблюдениям джависты sql вообще не пользуют в спарке.
продолжайте наблюдать ))

Gt_>ты ушел, но я то запомнил твой перл о декларативных питон скриптах для работы с tensorflow.
Так они и есть декларативные. Если вы этого не понимаете, то я вам ни чем не могу помочь ))

Gt_>тренд я напомнил, прислонить hive sql к parquet/csv/json секундное дело, просто create table .. stored as textfile location '/folder'
Gt_>причем табличку делают один раз, а потом просто закидывают новый файлик в фолдер.
Еще раз, медленно. Прислонять sql к hdfs для выбора файлов не надо, он там и так есть, прислонять его надо к содержимому этих самых файликов. Когда язык питон, а данные в csv или в json-e, то без вариантов, сидишь и скалдываешь. Вот был бы шарп, обрабатывали бы все linq-ом, а питон увы, до линка пока не дорос.

Gt_>больше гибкости, джоинить не реляционные данные, подключать библиотеки ML, тут-же генерить графики. декларативный язык заточенный лишь на работу с реляционными данными все это может через обходные маневры, но тенденция явно просматривается в туче задач. люди хотят большего.
Совершенно верно, тенденции просматриваются. Например, тот же яндекс наелся ручного выпиливания питоном по csv и начал делать свой SQL-подобный язык, который обладает нужными свойствами. Действительно, люди хотят большего.