Re[8]: Выбор NoSQL
От: hrensgory Россия  
Дата: 12.05.16 11:28
Оценка: +1 :)
On 11.05.2016 19:29, "Иль" wrote:
> Не нужны тебе транзакции — ты о
> них и не задумываешься. Хотя в СУБД они есть, ждут своего часа.

Зато уж когда час их настанет, как выскачут из-за угла, да как врежут со
всей дури ничего не подозревавшему о connection.setAutoCommit(false)
программисту по йайцам. И возопит он весьма громко.

Сколько раз уж наблюдал такое )
--
WBR,
Serge.
Posted via RSDN NNTP Server 2.1 beta
Re[6]: Выбор NoSQL
От: TMU_1  
Дата: 12.05.16 13:18
Оценка:
AC>надо вашего шефа с продавцами каши свести...
AC>(InterSystems)


А ты злой!
Re[7]: Выбор NoSQL
От: Alex.Che  
Дата: 12.05.16 13:28
Оценка:
> А ты злой!

отнюдь.
а вдруг таки случится чудо и коса таки наткнётся на камень!
Posted via RSDN NNTP Server 2.1 beta
Re[5]: Выбор NoSQL
От: Cyberax Марс  
Дата: 12.05.16 18:34
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>>>Скорее наоборот. С бекапами у NoSQL обычно проблема, обслуживание часто требует остановки сервиса.

C>>ЩИТО?
G>Напомни какая NoSQL база может делать дифференциальный бекап и Point In Time restore на базе в минимум в 200гб?
Cassandra ( https://docs.datastax.com/en/cassandra/2.0/cassandra/operations/ops_backup_incremental_t.html ), Riak (стандартной репликацией) — точно.

G>Сколько монге надо времени на сбор индексов после рестора 100 гб базы?

Секунды?
Sapienti sat!
Re[3]: Выбор NoSQL
От: sr_dev  
Дата: 13.05.16 11:14
Оценка:
Здравствуйте, Alex.Che, Вы писали:

B>>> Для каких задач можно получить преимущества от Graph или Column oriented хранилищ?

>> Аналитика

AC>Аналитика чего именно?


Агрегированные запросы (суммировать все строки, у которых такие-то значения) на поколоночных базах работает быстро. Они для этого и существуют, в OLTP системах их не используют
опа опа мы воюем с нато
любит хавать этот кал
путинская вата
Re[4]: Выбор NoSQL
От: Alex.Che  
Дата: 13.05.16 11:26
Оценка:
> Агрегированные запросы (суммировать все строки, у которых такие-то значения) на поколоночных базах работает быстро.
> Они для этого и существуют, в OLTP системах их не используют

для подобного рода аналитики обычно используют OLAP-серверы/сервисы.
Posted via RSDN NNTP Server 2.1 beta
Re[5]: Выбор NoSQL
От: sr_dev  
Дата: 13.05.16 11:37
Оценка:
Здравствуйте, Alex.Che, Вы писали:

>> Агрегированные запросы (суммировать все строки, у которых такие-то значения) на поколоночных базах работает быстро.

>> Они для этого и существуют, в OLTP системах их не используют

AC>для подобного рода аналитики обычно используют OLAP-серверы/сервисы.


ОЛАП — это построитель сводных таблиц с данными из хранилища данных. В сводных таблицах часто лежат агрегированные данные, например сумма по уровням измерений. Некоторые хранилища данных как раз и используют механизм поколоночного хранения, чтобы быстро выполнялись агрегированные запросы, необходимые ОЛАПу.

Это я вам говорю как заслуженный разработчик олапов и хранилищ данных
опа опа мы воюем с нато
любит хавать этот кал
путинская вата
Re[4]: Выбор NoSQL
От: Нахлобуч Великобритания https://hglabhq.com
Дата: 13.05.16 14:45
Оценка:
Здравствуйте, Anton Batenev, Вы писали:

AB>Она элементарно устанавливается и почти не требует никакой настройки


Не совсем: The Case of Insecure MongoDB Defaults and 600TB of Data
HgLab: Mercurial Server and Repository Management for Windows
Re[5]: Выбор NoSQL
От: Anton Batenev Россия https://github.com/abbat
Дата: 13.05.16 16:26
Оценка:
Здравствуйте, Нахлобуч, Вы писали:

Н> AB>Она элементарно устанавливается и почти не требует никакой настройки

Н> Не совсем: The Case of Insecure MongoDB Defaults and 600TB of Data

Разверни свою мысль, "не совсем" что именно? А то по ссылке описывается обычное разгильдяйство и пренебрежение базовыми принципами обеспечения безопасности, которые к монге не имеют никакого отношения.
... в первом классе мне говорили, что нужно делиться, а теперь говорят, что это незаконно ...
Re: Выбор NoSQL
От: Blazkowicz Россия  
Дата: 16.05.16 07:39
Оценка:
Всем спасибо за комментарии. Остановил свой выбор на Apache Cassandra.
Re[8]: Выбор NoSQL
От: TMU_1  
Дата: 17.05.16 13:40
Оценка:
Сколько-то лет назад, когда я пересекался с ИнтерСистемс, влезть в базу Cashe можно было только их собственным инструментом. Онли. Это по сю пору так?
Re[9]: Выбор NoSQL
От: Alex.Che  
Дата: 17.05.16 13:53
Оценка:
> Сколько-то лет назад, когда я пересекался с ИнтерСистемс,
> влезть в базу Cashe можно было только их собственным инструментом. Онли.
> Это по сю пору так?

есть odbc и jdbc
Posted via RSDN NNTP Server 2.1 beta
Re[2]: Выбор NoSQL
От: Spinifex Россия https://architecture-cleaning.ru/
Дата: 18.05.16 07:49
Оценка: 2 (1)
Здравствуйте, gandjustas, Вы писали:

B>>Для каких задач можно получить преимущества от Graph или Column oriented хранилищ?

G>Графовые базы кроме получения объекта по ключу умеют делать обход графа на уровне движка. И говорят это быстрее чем CTE\connect by в РСУБД.


Я проводил эксперименты с графовыми базами данных. В частности на Neo4j — самой популярной графовой бд. В итоге там очень выразительный язык запросов — cypher. Оч. понравился, по скорости далеко не все так радужно, залил часть боевой базы — в сравнении с SQL сервером до 10 раз медленнее запросы выполняются, как я не пытался ускорить. Плюс средства диагностики плохо развиты, не понятно что происходит под капотом. Говорил с командой, которая ее использует в своем проекте — аналогичное мнение.
Re[10]: Выбор NoSQL
От: TMU_1  
Дата: 20.05.16 08:28
Оценка:
>> Сколько-то лет назад, когда я пересекался с ИнтерСистемс,
>> влезть в базу Cashe можно было только их собственным инструментом. Онли.
>> Это по сю пору так?
AC>есть odbc и jdbc


Революция
Re[11]: Выбор NoSQL
От: Alex.Che  
Дата: 20.05.16 08:40
Оценка: :)
> Революция

да толку то...
у них теперь даже SQL поддерживается, в какой-то мере.
примерно как у BDE(IDAPI)
по уверениям продавцов каши, всё даже аж "летает".
только низенько-низенько.
в хорошую погоду.
если пнуть с горы...
Posted via RSDN NNTP Server 2.1 beta
Re[2]: Выбор NoSQL
От: teoreteg  
Дата: 27.05.16 21:39
Оценка:
Здравствуйте, Иль, Вы писали:

Иль>Есть ощущение что вы "накушались" с MySQL, а не с RDBMS. Мы тоже накушались MySQL по самое не балуйся. Но переход на настоящую RDBMS и правильную работу с ней решает вопрос.


Правильные это какие? И чем так уж плох мускуль?
Re[3]: Выбор NoSQL
От: Иль  
Дата: 30.05.16 05:20
Оценка: :)
Здравствуйте, teoreteg, Вы писали:

T>Здравствуйте, Иль, Вы писали:


Иль>>Есть ощущение что вы "накушались" с MySQL, а не с RDBMS. Мы тоже накушались MySQL по самое не балуйся. Но переход на настоящую RDBMS и правильную работу с ней решает вопрос.


T>Правильные это какие? И чем так уж плох мускуль?


Правильная работа.

Плох тем, что не подходит для нагруженных систем. Например нет поддерживает индексы по условию, оконные функции, CTE, гораздо хуже ситуация с обслуживанием (по сути не приспособлен для работы 24x7 в сколь бы то ни было серьёзных проектах) и т. д. и т. п.

Но вообще если вы никогда не задумывались о перечисленном, то значит ещё не время. Просто считайте это моей субъективной оценкой.
Re: Выбор NoSQL
От: pavel_bass Швеция  
Дата: 30.05.16 08:18
Оценка: 7 (1)
Здравствуйте, Blazkowicz, Вы писали:

B>Привет,


B>Проект уже в каком-то виде использует свой примитивный NoSQL. Пользователи загружают свои данные в систему. Система строит отчет и хранить его в виде сериализованного объекта в файле в облаке.

B>Новая задача требует собирать некоторые данные пользователей и хранить их другим объектом. Вроде как обычное Key-Value выходит.
B>Сервис публичный. Есть риск что данных станет очень много. Поэтому пихать много всего в MySQL не охота.
B>Транзакции особо не нужны. Нужно хранить достаточно жирные объекты до 10Мб, а в будущем может и больше.

Все будет зависеть в том числе от того, на каком языке вы пишете.
Возможно подойдет Cassandra + Spark.

B>Для каких задач можно получить преимущества от Graph или Column oriented хранилищ?

Графы для анализа связей и вообще для игр с теорией графов.

Column oriented идеально time-series data
https://academy.datastax.com/resources/getting-started-time-series-data-modeling

B>Правильно ли я понимаю, что такие решения как HBase являются полностью in-memory решениями? То есть, их вообще нет смысла использовать при отсутствии кластера в десяток серверов?


HBase или Cassandra не являются in-memory решениями. Запись идет commit-log -> memory -> disk
Where Is Data Stored

Имеет смысл использовать, если количество серверов >=3. В том числе и для экспериментов.

B>Что вообще почитать обзорного?


Я бы начал с http://robertgreiner.com/2014/08/cap-theorem-revisited/
https://en.wikipedia.org/wiki/CAP_theorem
Re[2]: Выбор NoSQL
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 30.05.16 09:10
Оценка: 3 (1) +3
Здравствуйте, pavel_bass, Вы писали:

_>Я бы начал с http://robertgreiner.com/2014/08/cap-theorem-revisited/

_>https://en.wikipedia.org/wiki/CAP_theorem


Госпади, ну почему при каждом упоминании NoSQL вспоминают CAP?
Во-первых она ни о чем, во-вторых у автора нет и никогда не будет распределенных баз. Как и у 99% пишущих про CAP.
Re[9]: Выбор NoSQL
От: Mihas  
Дата: 30.05.16 11:08
Оценка:
Здравствуйте, hrensgory, Вы писали:

H>всей дури ничего не подозревавшему о connection.setAutoCommit(false)

H>программисту по йайцам. И возопит он весьма громко.
Угу. Вопил. Но виновника нашел.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.