Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Это примерно 20-30 МБ данных. Ну 300 МБ, край. Дальше эти все эти big data ломаются, наверное. По-крайней мере,
именно этот объем данных демонстрируют на презентациях по big data.
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Фиг его знает, кто там что себе придумал под этим словом Имхо, это когда как минимум терабайты или даже десятки терабайт данных. Когда пишут big data, то скорее всего от вас хотят понимания, или, лучше, опыта работы с такими объемами данных. Не то чтобы это что-то слишком сложное, просто такой объем данных накладывает определенный отпечаток на то, как с ними нужно работать (как их обрабатывать, хранить, бэкапить, обновлять, какие могут быть проблемы с транзакциями, блокировками, и т.д.)
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Когда проходил курс на курсере по теме, и там лектор дал неплохое определение -- мол это такие или столько данных, при обработке которых ломаются ваши обычные инструменты.
Здравствуйте, Sharov, Вы писали:
S>Здравствуйте, Grienders, Вы писали:
G>>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
S>Когда проходил курс на курсере по теме, и там лектор дал неплохое определение -- мол это такие или столько данных, при обработке которых ломаются ваши обычные инструменты.
Здравствуйте, metall74, Вы писали:
M>у меня был специфический заказчик. так вот по его требованию мы на андроиде под SQLite ворочали 700мб базу. как то не было проблем. M>но сказать про SQLite что это это инструмент для бигдата?
То, что ты практически никогда не понимаешь смысла написанного и уж тем более не можешь распознать сарказм — это
ни для кого ни секрет.
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Хм, таки был один правильный ответ. Парадокс в том, что BigData — это не про размер.
BigData — это про то что вы собираетесь делать с этими данными. Если собранный массив данных нужно анализировать на предмет выявления неочевидных закономерностей, то это и есть BigData. А если еще есть задача, чтобы система сама эти закономерности выявляла, то это уже Machine Learning.
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Я бы предложил такое неформализованное определение, пересекающееся с тем, что дал Sharov:
когда традиционные РСУБД не тянут либо требуют невменяемых вложений в железо и приходится прибегать к новомодным примочкам типа NoSQL-инструментов.
При этом, добавил бы от себя, данные должны носить такой характер, что каждая отдельная запись не представляет ценности сама по себе, ценность имеют только массивы данных.
И ее не страшно потерять/попортить в ней информацию. Ну типа логи популярного интернет-портала. Миллион посетителей в день, 10 миллионов записей в день (я условные числа называю, разумеется).
Интерес представляет анализ поведения масс леммингов посетителей, статистика. Если вдруг мы потеряем 10 000 записей — да и черт с ними, это ж 0,1% от данных за день.
Банковская же база, пусть в ней хоть 100 миллионов счетов, вряд ли подойдет
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Пять миллионов по меркам хоть сколько нибудь приличной БД это "тьфу". Пять миллиардов — это хорошо. Если ещё на три порядка больше, я бы это отнёс уже к бигдате.
Но: если нужные вам от этой таблички запросы отрабатывают за приемлемое время, не смотря на число нулей в количестве строк (данные, индексы и запросы так удачно совпадают), то какая же это бигдата?
Здравствуйте, wildwind, Вы писали:
x>> Я имел в виду таблицу с несколькими полями, типа PrimaryKey, Created и Value с расчётом простых агрегатов по Value и фильтрацией по дате :о) Тут вообще готовить практически не из чего и назывтаь это бигдатой язык не повернётся :о)
x>> Если таблица более-менее реальная, с сотней-другой Values, то это уже заявка :о)
W>Первое — это лишь нормализованный вариант второго. Вот на БАКе примерно так и есть. Однако же биг.
А можно где-то схему посмотреть, как там оно на БАКе?
Я же не зря написал не просто про схему данных, но ещё и про удачное совпадение данных, индексов и запросов. Не заставляйте разжёвывать пожалуйста. Могу добавить туда же ещё условие ридонливости данных. То есть далеко не в строках дело, а, как выше очень здорово и точно сказали — в качественно других подходах к хранению и обработке. Как правило к необходимости применения таких подходов приводит количество данных. Когда просто общее количество, когда-то — какое-то мнгновенное колчество (например, всего миллионы записей но в секунду, и данных достаточно хранить за пару суток).
А когда всё примитивно, что даже улучшать практически нечего — это не бигдата. Это большая удача. А бигдата — это проблема, которую, нужно решить.
Здравствуйте, wildwind, Вы писали:
W>Да ну? W>Поищи-ка место из фильма по стоп-кадру, а мы посмотрим.
Неужели ты думаешь, что это -- задача для СУБД ?
Не, возможно, сложить хэши всех кадров фильма в БД, и искать.
Но это будет не одна запись в 4Гб, а , скажем, 10 миллионов записей
по 100 байт. Это ж другое дело совсем -- уже похоже на бигдату.
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
ИМХО, в действительности big data это скорее 5 млн записей в день/час... тот же БАК, вроде бы оценивал создаваемый им объем данных как 26-40 терабайт ежедневно...
Часто встречал упоминание big data в контексте "голливудского Большого брата", т.е. технологии обработки данных с уличных и дорожных камер, записей телефонных разговоров, данных о местоположении телефонов и т.д. позволяющие в режиме реального времени получать результаты о текущем местоположении объектов, их маршрутах, телефонных разговорах и т.д.
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
с технической стороны уже ответили.
но как по мне, бигдата — это не совсем чисто технический вопрос из серии "сколько зерен уже куча", и "сколько записей в БД уже бигдата".
концептуально, бигдата — это хранение ВСЕХ данных, например, если владелец вебсервера захочет провести какое-то исследование, и у него сохранены ВСЕ логи за все время — он это может сделать. а если он сохранял только базовую инфу типа кол-во хитов и логи за последнюю неделю — не сможет.
огромный размер данных это скорее следствие такого подхода.
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Гораздо больше. В литературе по Big Data принято считать, что дело даже не столько в том, сколько строк, а в том, что само хранилище и обработка уже работает по-другому. То есть обычная RDBMS с 1млрд. Строк — это не Big Data.
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
big data это любое количество строк. Под любым количеством подразумевается горизонтальное масштабирование.
Здравствуйте, Grienders, Вы писали:
G> Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Определения дают самые разные. Я встречал еще такое: big data это такое количество данных, что один сервер, пусть даже очень мощный, не справляется с их обработкой и хранением. И приходится их распределять на множество хостов.
В общем же соглашусь с определением, данным Sharov.
Здравствуйте, xy012111, Вы писали:
x> Но: если нужные вам от этой таблички запросы отрабатывают за приемлемое время, не смотря на число нулей в количестве строк (данные, индексы и запросы так удачно совпадают), то какая же это бигдата?
То это — хорошо приготовленная бигдата.
Hardware eventually fails. Software eventually works. ::: avalon/1.0.442
Здравствуйте, wildwind, Вы писали:
x>> Но: если нужные вам от этой таблички запросы отрабатывают за приемлемое время, не смотря на число нулей в количестве строк (данные, индексы и запросы так удачно совпадают), то какая же это бигдата?
W>То это — хорошо приготовленная бигдата.
Я имел в виду таблицу с несколькими полями, типа PrimaryKey, Created и Value с расчётом простых агрегатов по Value и фильтрацией по дате :о) Тут вообще готовить практически не из чего и назывтаь это бигдатой язык не повернётся :о)
Если таблица более-менее реальная, с сотней-другой Values, то это уже заявка :о)
Здравствуйте, xy012111, Вы писали:
x> Я имел в виду таблицу с несколькими полями, типа PrimaryKey, Created и Value с расчётом простых агрегатов по Value и фильтрацией по дате :о) Тут вообще готовить практически не из чего и назывтаь это бигдатой язык не повернётся :о)
x> Если таблица более-менее реальная, с сотней-другой Values, то это уже заявка :о)
Первое — это лишь нормализованный вариант второго. Вот на БАКе примерно так и есть. Однако же биг.
Hardware eventually fails. Software eventually works. ::: avalon/1.0.442
Здравствуйте, TMU_1, Вы писали:
G>>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
TMU>Я бы предложил такое неформализованное определение, пересекающееся с тем, что дал Sharov: TMU>когда традиционные РСУБД не тянут либо требуют невменяемых вложений в железо и приходится прибегать к новомодным примочкам типа NoSQL-инструментов.
мне не нужно точное определение, мне нужно примерное и простое.
Здравствуйте, xy012111, Вы писали:
X>Здравствуйте, Grienders, Вы писали:
G>>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
X>Пять миллионов по меркам хоть сколько нибудь приличной БД это "тьфу". Пять миллиардов — это хорошо. Если ещё на три порядка больше, я бы это отнёс уже к бигдате.
это сколько по кол-ву записей и по размеру самой БД примерно?
можно ли развернуть эту биг дату у себя на компе, чтобы потренироваться?
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
Нет. Бигдата, это когда данные не влазят на один сервер и приходится извращаться. Если считать в строках, то проблемы у РСУБД начинаются где-то от 100 миллионов. На определенном объеме даже банальная рекомендация "создайте индексы" начинает проходить по разряду "вредных советов".
Здравствуйте, Grienders, Вы писали:
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
big data -- понятие сугубо неформальное, никаких формальных рамок нет.
5 млн записей -- это точно не бигдата, это обычные объёмы.
О big data говорят обычно когда в БД находится от нескольких миллиардов записей.
Но и это теперь уже маловато, я например оперировал базой данных в 55 миллиардов записей.
Здравствуйте, MozgC, Вы писали:
MC>Фиг его знает, кто там что себе придумал под этим словом Имхо, это когда как минимум терабайты или даже десятки терабайт данных.
В байтах размеры БД никто не мериит. Мериют в кол-ве записей.
Здравствуйте, xy012111, Вы писали:
X>Пять миллионов по меркам хоть сколько нибудь приличной БД это "тьфу". Пять миллиардов — это хорошо. Если ещё на три порядка больше, я бы это отнёс уже к бигдате.
Нет, именно от нескольких миллиардов.
На три порядка больше -- это 1000 миллиардов, это очень много, таких данных, думаю, сейчас никто не держит,
да и взять их наверное негде. Мы набирали по всему миру данные на 50-60 миллиардов с трудом.
Ну, конечно, я имею в виду реальные данные, а не сгенерированные.
Здравствуйте, Grienders, Вы писали:
G> это сколько по кол-ву записей и по размеру самой БД примерно? G> можно ли развернуть эту биг дату у себя на компе, чтобы потренироваться?
Что тебе мешает тренироваться на любом объеме?
Если не можешь без конкретики, придумай себе источник данных, дающий прирост от гигабайта в сутки. И наслаждайтся.
Метеостанции, камеры наблюдения, выдача Гугла, меджународные банки открытых данных, сигналы из космоса... Вариантов множество.
Hardware eventually fails. Software eventually works. ::: avalon/1.0.442
Здравствуйте, MasterZiv, Вы писали:
MZ>да и взять их наверное негде. Мы набирали по всему миру данные на 50-60 миллиардов с трудом. MZ>Ну, конечно, я имею в виду реальные данные, а не сгенерированные.
У нас, например, сырых данных 1.5-2 миллиарда строк в сутки. При этом на рынке мы далеко не в топе, даже не в первой двадцатке.
Здравствуйте, MasterZiv, Вы писали:
X>>Пять миллионов по меркам хоть сколько нибудь приличной БД это "тьфу". Пять миллиардов — это хорошо. Если ещё на три порядка больше, я бы это отнёс уже к бигдате.
MZ>Нет, именно от нескольких миллиардов. MZ>На три порядка больше -- это 1000 миллиардов, это очень много, таких данных, думаю, сейчас никто не держит, MZ>да и взять их наверное негде. Мы набирали по всему миру данные на 50-60 миллиардов с трудом. MZ>Ну, конечно, я имею в виду реальные данные, а не сгенерированные.
Спасибо, может вы и правы. Я в своих оценках исходил из того, что петабайтамиданных уже никого не удивишь, поэтому терабайт строк и показался вполне достижимой величиной. А десяток миллиардов — мне кажется, это объём вполне себе поднимаемый для реляционки, поэтому я с запасом назвал цифирь.
Здравствуйте, Milena, Вы писали:
M>Здравствуйте, Grienders, Вы писали:
G>>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
M>Гораздо больше. В литературе по Big Data принято считать, что дело даже не столько в том, сколько строк, а в том, что само хранилище и обработка уже работает по-другому. То есть обычная RDBMS с 1млрд. Строк — это не Big Data.
Ага, а монга с хадупом и 300мб базой это бигдата, да!
Здравствуйте, Miroff, Вы писали:
M>У нас, например, сырых данных 1.5-2 миллиарда строк в сутки. При этом на рынке мы далеко не в топе, даже не в первой двадцатке.
Ну так публикуйте в виде RDF, что же вы ждёте -- и будет вам слава и почёт!
Здравствуйте, Нахлобуч, Вы писали:
Н>Здравствуйте, Grienders, Вы писали:
G>>Что считается big data
Н>Image: big_data_borat.png
Не актуально, data model в excel держит до 2млрд строк и гигабайты данных (в сжатом виде).
G>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
It depends. Вообще, для разных предметных областей, разных данных и разных алгоритмов их обработки, этот весьма условные термин, может означать совсем разные цифры.
Могу привести пример со "своей колокольни" — обработка данных временных рядов (всякие там датчики, метрики и тд). Одна единственная современная машина может быть использована для обработки невероятных объемов данных, так как они жмутся очень компактно и обрабатываются быстро. Вот скажем считать moving average и всякие там order statistics или heavy hitters можно оч. быстро. С такой скоростью ни один источник данных (реальных хардварный датчик) данные давать не может. Допустим у тебя есть датчики, которые выдают 10 измерений какой-нибудь величины в секунду и отправляют один UDP пакет на каждое измерение (сферический датчик в вакууме), таких датчиков — 100 тысяч, т.е. в итоге, получается миллион insert-ов в секунду. По меркам всяких там постгресов/мускулов/монг — это просто жесть, однозначно бигдата Однако, один современный сервер может (с некоторыми плясками) принимать этот миллион пакетов в секунду и обрабатывать вышеупомянутыми алгоритмами. Едва ли это можно считать бигдатой, даже шардить ничего не придется.
Но теперь давайте представим что нам нужно делать немножко более сложную обработку. Например мы хотим искать аномалии с помощью Holt-Winters модели. Один сервер не сможет это все пересчитывать, придется распределять нагрузку на множество машин (один из возможных подходов) и каким-нибудь map-reduce-ом все это периодически пересчитывать. Это наверное можно уже считать бигдатой. А можно не считать, а вместо этого перестать использовать тупой алгоритм, а реализовать, на все том же одиноком сервере, более продвинутый алгоритм, который не считает тупо для каждого временного ряда Holt-Winters модель, а считает некую его аппроксимацию, используя ограниченное процессорное время и память. Получается что это снова не бигдата ни разу
Здравствуйте, Grienders, Вы писали:
G>>>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг?
X>>Пять миллионов по меркам хоть сколько нибудь приличной БД это "тьфу". Пять миллиардов — это хорошо. Если ещё на три порядка больше, я бы это отнёс уже к бигдате.
G>это сколько по кол-ву записей и по размеру самой БД примерно?
Я тут имел в виду число строк в самой большой таблице
G>можно ли развернуть эту биг дату у себя на компе, чтобы потренироваться?
Можно: например установить сэмпловую базу данных вашего сервера и нагенерить для них данных сколько влезет.
К сожалению, мерят — в маркетинговых целях конечно. Для руководства это удобно. База за пять терабайт — просто и понятно, а количество строк — сложнее. Таблицы по сотне с лишним колонок с цифрами. При практическом разборе запроса конечно чаще всего количество строк интереснее.
Здравствуйте, MasterZiv, Вы писали:
MZ> Один фильм DVD в блобе -- одна запись, или может 40-50, если с подробностями. Но это 4 Гб. MZ> Сложность оперировать такими данными — 0.
Да ну?
Поищи-ка место из фильма по стоп-кадру, а мы посмотрим.
Hardware eventually fails. Software eventually works. ::: avalon/1.0.442
Здравствуйте, _ABC_, Вы писали:
_AB>Здравствуйте, Grienders, Вы писали:
G>>Что считается big data, сколько примерно строк должно быть в базе? Например, 5 млн — это уже биг? _AB>Это примерно 20-30 МБ данных. Ну 300 МБ, край. Дальше эти все эти big data ломаются, наверное. По-крайней мере, _AB>именно этот объем данных демонстрируют на презентациях по big data.
у меня был специфический заказчик. так вот по его требованию мы на андроиде под SQLite ворочали 700мб базу. как то не было проблем.
но сказать про SQLite что это это инструмент для бигдата?
Здравствуйте, gandjustas, Вы писали:
G>Здравствуйте, Нахлобуч, Вы писали:
Н>>Здравствуйте, Grienders, Вы писали:
G>>>Что считается big data
Н>>Image: big_data_borat.png G>Не актуально, data model в excel держит до 2млрд строк и гигабайты данных (в сжатом виде).
это как? клиенту можно отдать столько? шучу. хотя бы 5 млн строк можно отдать в икселе?
Мы уже победили, просто это еще не так заметно...
