Здравствуйте, Gt_, Вы писали:

IT>>У меня складывается такое впечатление, что ты пытаешься натянуть МОИ решения на ТВОЮ задачу, у тебя это не получается и я в этом очень сильно виноват. Я прав?
Gt_>нет, не прав. ты сейчас злишься, прекрасно понимая, что задачи хранилища у всех одинаковые и я лучше твоего знаю что и как ты сделал и почему тебе пришлось приседать с partition switch и с контролем целостности. и дело не только в partition switch, в разные таблицы данные ты льешь в рамках несвязанных транзакций, ломая всю концепцию прослойки вокруг транзакции и read consistency.

Мадам, вы не перестаёте удивлять меня своей оригинальной женской логикой. Вы только вдумайтесь в это — "концепцию прослойки вокруг транзакции". Может тогда уж прокладки?

IT>>Мадам, мы в течении дня генерируем около 250M записей, всё это зиливаем в базу без особых тормозов, сложностей масштабирования и отдельных ETL инструментов. Что мы делаем не так?
Gt_>не так то, что ты не убрал причину тормозов, а лишь отключил у прокладки некоторые из систем контроля. отключение FK и partition switch лишь отодвинули момент, когда задача не поместиться в одну машину.

Вот и прокладки

Задача уже поместилась куда надо, не переживай так за нас. У нас всё хорошо, просто замечательно. Твои предсказания уже года 4 как опровергаются каждый день.

Тебе нужно научится не натягивать весь окружающий мир на свою конкретную задачку. Если у тебя у самого когда-то что-то с чем-то не получилось, то не стоит всех подряд считать такими же неудачниками, особенно, если у них с тем же самым всё хорошо

IT>>Вывод — помоечки в банке приживаются.
Gt_>скорее что товарищи посмеялись над тобой. закон о защите данных не позволяет банку свалить что-то в сыром виде на потом.

Ты ещё и лоер? Ты думаешь они прямо целыми днями сидят и обрабатывают сырое видео с камер или сортируют e-mail пары сотен тысяч сотрудников?

IT>>Так я ожидал вменяемую альтернативу, а не это.
Gt_>майкрософт не та компания, какой интересно твое мнение. важно что майкрософт это считает альтернативой и hadoop+spark уже в mssql2019

Подожди ка, а как же файлики? Ты же только что предлагал вместо майкрософтского легаси поколхозить и покостылить, а тут вдруг такое

Здравствуйте, Gt_, Вы писали:

Gt_>майкрософт не та компания, какой интересно твое мнение. важно что майкрософт это считает альтернативой и hadoop+spark уже в mssql2019

Только, наверное, не альтернативой, а совместным использованием с разных типов данных и задач.

Gt_>>майкрософт не та компания, какой интересно твое мнение. важно что майкрософт это считает альтернативой и hadoop+spark уже в mssql2019

P>Только, наверное, не альтернативой, а совместным использованием с разных типов данных и задач.

не верно. hadoop и его hdfs там центр вселенной, на hdfs хранятся абсолютно все данные, включая легаси майкрософтского формата. spark позиционируется именно как альтернатива transact-sql
https://docs.microsoft.com/en-us/sql/big-data-cluster/big-data-cluster-overview?view=sql-server-ver15



картинка классического hadoop кластера, а SQL server там явно такой же, как и любой другой сервис на hadoop кластере. интегрирован в hadoop mpp идеологию, тучи executors пишут на распределенную файловую систему hdfs/s3/adls.

Gt_

Здравствуйте, Gt_, Вы писали:

IT>>Понятно. Ты мне предлагаешь нереляционную файло/бигдата помойку.
Gt_>помойки не приживаются в фин и банковских секторах.

Да, именно поэтому прижился только kdb. А всякие хадупы — помойка.