Здравствуйте, Sinclair, Вы писали:

S>Вот, например, один из проектов: https://vk.com/al_feed.php?w=wall-203503768_252
По описанию не очень понятно что сделали, если честно. Звучит как "смогли запустить DDL/DML в Postgre", но явно что работа-то не в этом состояла.
У меня сложилось ощущение ,что делали некое API для манипулирования базой

Ну и не очень понятно почему ETL будет не нужен, если данные будут в облаке. Или имели в виду, что доступность повысится?

Это я не с целью придраться — я реально очень рад, что у студентов есть выход на пусть и исследовательские, но достаточно серьезные по сути проекты. А если их при этом курируют люди с производства — это вообще отлично.

Увы, я своим студентам ничего похоже предложить просто не могу (ну разве что устраиваться в нашу или другую компанию и просто работать, но это и близко не R&D, это РиР — "Работа и Рутина").

Здравствуйте, Михаил Романов, Вы писали:
МР>По описанию не очень понятно что сделали, если честно. Звучит как "смогли запустить DDL/DML в Postgre", но явно что работа-то не в этом состояла.
МР>У меня сложилось ощущение ,что делали некое API для манипулирования базой
Сделали backend для Postgres на Cassandra.
То есть клиентское приложение работает с Postgres, а данные хранятся не в FS постгреса, а уезжают в Кассандру.
МР>Ну и не очень понятно почему ETL будет не нужен, если данные будут в облаке. Или имели в виду, что доступность повысится?
ETL не будет нужен потому, что данные создаются транзакционной нагрузкой сразу в Кассандре, без промежуточного этапа "давайте будем перекладывать ежедневные продажи в Кассандру при помощи ETL"
МР>Увы, я своим студентам ничего похоже предложить просто не могу (ну разве что устраиваться в нашу или другую компанию и просто работать, но это и близко не R&D, это РиР — "Работа и Рутина").
А вы где преподаёте? Вокруг нашего факультета всякие компании прямо вьются. Раньше плотно работали с JetBrains, сейчас — СберТех, Альфабанк, ПостгресПро.

Здравствуйте, Sinclair, Вы писали:

S>Сделали backend для Postgres на Cassandra.
Прикольно!

S>ETL не будет нужен потому, что данные создаются транзакционной нагрузкой сразу в Кассандре, без промежуточного этапа "давайте будем перекладывать ежедневные продажи в Кассандру при помощи ETL"
Ага... Интересная идея.
Но я правильно понимаю, что мы и в Postgre кладем и одновременно в Сasandra?
Т.е. у нас и оперативная база и хранилище для анализа?

Или там от Postgre только движок SQL, а хранилище/бэк полностью заменен?

S>А вы где преподаёте? Вокруг нашего факультета всякие компании прямо вьются. Раньше плотно работали с JetBrains, сейчас — СберТех, Альфабанк, ПостгресПро.
Ижевский ГТУ (я там, правда, не штатный сотрудник — а время от времени читаю курсы). Это малоизвестный универ, а в области ИТ ему можно похвастаться разве что парой удачных выступлений ребят на ACM (но это было давно).

Возможно, проблема в периферийности самого Ижевска. Это промышленный город, но:
— какие-то научные/инженерные школы тут были разве что в металлургии (несколько производств) и в стрелковом оружии (тоже несколько)
— ИТ-компаний тут по пальцам одной руки. Из более-менее крупных Директум и СКБ Контур — всё

Здравствуйте, Sinclair, Вы писали:

МР>>Ну и не очень понятно почему ETL будет не нужен, если данные будут в облаке. Или имели в виду, что доступность повысится?

S>ETL не будет нужен потому, что данные создаются транзакционной нагрузкой сразу в Кассандре,

"As Is" что ли? Тогда реплика

Если структура данных меняется /оптимизируется под аналитику при загрузке в Кассандру, то по любому TL или LT присутствует, да и без E не обойдешься (может не так явно)

Здравствуйте, paucity, Вы писали:

P>"As Is" что ли? Тогда реплика
Репликой это было бы, если бы туда уезжала копия. А так — в Кассандру уезжает единственная "копия" данных.

Здравствуйте, Михаил Романов, Вы писали:

МР>Но я правильно понимаю, что мы и в Postgre кладем и одновременно в Сasandra?
Нет, только в Кассандру.
МР>Или там от Postgre только движок SQL, а хранилище/бэк полностью заменен?
Да, полная замена бэка.
МР>Ижевский ГТУ (я там, правда, не штатный сотрудник — а время от времени читаю курсы). Это малоизвестный универ, а в области ИТ ему можно похвастаться разве что парой удачных выступлений ребят на ACM (но это было давно).
Всё равно молодцы.
МР>Возможно, проблема в периферийности самого Ижевска. Это промышленный город, но:
МР>- какие-то научные/инженерные школы тут были разве что в металлургии (несколько производств) и в стрелковом оружии (тоже несколько)
МР>- ИТ-компаний тут по пальцам одной руки. Из более-менее крупных Директум и СКБ Контур — всё
Ну, Контур — уже неплохо. Попробуйте к ним сходить. Инженеров лучше всего учить с опорой на производственную практику.

Здравствуйте, Sinclair, Вы писали:

S>Репликой это было бы, если бы туда уезжала копия. А так — в Кассандру уезжает единственная "копия" данных.

Не очень понятно, а постгрес-то тогда зачем? Почему нельзя транзакции сразу в Кассандру?

ЗЫ.
пробежался по диагонали по статьям про Кассандру

пишут, что не особо предназначена для BI и прочей аналитики, а ты вроде как за аналитику пример приводишь?

Здравствуйте, paucity, Вы писали:

P>Не очень понятно, а постгрес-то тогда зачем? Почему нельзя транзакции сразу в Кассандру?
Потому что приложение уже написано для Postgres. И, в том числе, использует SQL конструкции, которых нету в Кассандре.

P>пишут, что не особо предназначена для BI и прочей аналитики, а ты вроде как за аналитику пример приводишь?
В данном конкретном случае аналитику предполагают делать тоже через Postgres, только через другие инстансы, подключенные к той же Кассандре. А Кассандра типа хорошо масштабируется благодаря облачной архитектуре.

Здравствуйте, Sinclair, Вы писали:

S>Потому что ...

Охренеть

Здравствуйте, Sinclair, Вы писали:

S>Ну, Контур — уже неплохо. Попробуйте к ним сходить. Инженеров лучше всего учить с опорой на производственную практику.
Увы, не получится, потому что я уже тут

Ну а если серьезно, то в Ижевске у Контура очень маленький офис разработки и мы можем позволить себе брать на практику очень небольшое число студентов. Ну или сразу трудоустраивать, если мы друг другу подходим.
Нет, понятно что это тоже хорошо, но вариант, как у вас, когда студенты делают некое исследование в рамках учебного процесса, но при кураторстве со стороны специалистов от производства — это увы, вряд ли.

Здравствуйте, Sinclair, Вы писали:

S>Здравствуйте, paucity, Вы писали:

P>>Не очень понятно, а постгрес-то тогда зачем? Почему нельзя транзакции сразу в Кассандру?
S>Потому что приложение уже написано для Postgres. И, в том числе, использует SQL конструкции, которых нету в Кассандре.

P>>пишут, что не особо предназначена для BI и прочей аналитики, а ты вроде как за аналитику пример приводишь?
S>В данном конкретном случае аналитику предполагают делать тоже через Postgres, только через другие инстансы, подключенные к той же Кассандре. А Кассандра типа хорошо масштабируется благодаря облачной архитектуре.

Как человек плотно работавший и с постгресом и с кассандрой могу сказать что это смесь бульдога с носорогом.
У кассандры навалом своих проблем (помимо чисто постгресных), тут скорее получится мультипликация проблем чем возможностей.
Сейчас больше в тренде распределенные базы основанные на фронтенд движке Postgres или MySQL поверх распределенного key value storage.
Кассандра это не совсем key value storage (или совсем не) плюс она использует Paxos, более современные как правило используют Raft как более эффективный консенсус алгоритм.

Здравствуйте, VladiCh, Вы писали:
VC>Как человек плотно работавший и с постгресом и с кассандрой могу сказать что это смесь бульдога с носорогом.
VC>У кассандры навалом своих проблем (помимо чисто постгресных), тут скорее получится мультипликация проблем чем возможностей.
Всё может быть.
VC>Сейчас больше в тренде распределенные базы основанные на фронтенд движке Postgres или MySQL поверх распределенного key value storage.
Ну.... да. Но главное — народ активно роет, пытается делать всякие безумные вещи.
VC>Кассандра это не совсем key value storage (или совсем не) плюс она использует Paxos, более современные как правило используют Raft как более эффективный консенсус алгоритм.
Ну, вот у СберДаты почему-то появилась идея попробовать именно её. Почему бы и нет? Привинтить, прогнать на ней HTAP-тест и посмотреть, что выйдет.

Здравствуйте, Shmj, Вы писали:

S>Но сейчас самолеты — основное средство передвижения на дальние дистанции. Если вам нужно из США в Европу или обратно — корабль вы даже рассматривать не будете, если они вообще есть (сомневаюсь).

Только на круизном лайнере. Можно, наверное, частное судно зафрахтовать, доплывёт быстрее, но стоить будет дороже.