Здравствуйте, Gattaka, Вы писали:
НС>>Т.е. вместо хеша в памяти предлагаешь подтянуть БД? Ну тогда нет ничего удивительного в чудовищно низкой производительности твоих программ. G>Ну если бы ты знал, что БД в данном случае будет использовать всю туже память. Слышал про buffer pool? Погугли — там много интересного для себя откроешь.
Узнай про новое для тебя слово "context switch".
G>Насчет производительности — 1000 нодов вместо одного сервера это сильно. Впрочем не удивительно, ведь кастомная реализация будет всегда хуже уже готовой реализации в БД.
Примерно всегда современные облачные системы не могут работать на одной копии БД, кроме как при использовании горизонтального шардинга вообще везде и кластере машин.
Очень крупные системы (типа dropbox) используют десятки и сотни тысяч машин.
Sapienti sat!
Re[28]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Cyberax, Вы писали:
C>Здравствуйте, Gattaka, Вы писали:
НС>>>Т.е. вместо хеша в памяти предлагаешь подтянуть БД? Ну тогда нет ничего удивительного в чудовищно низкой производительности твоих программ. G>>Ну если бы ты знал, что БД в данном случае будет использовать всю туже память. Слышал про buffer pool? Погугли — там много интересного для себя откроешь. C>Узнай про новое для тебя слово "context switch".
О боже... Это все что ты можешь ответить?!
G>>Насчет производительности — 1000 нодов вместо одного сервера это сильно. Впрочем не удивительно, ведь кастомная реализация будет всегда хуже уже готовой реализации в БД. C>Примерно всегда современные облачные системы не могут работать на одной копии БД, кроме как при использовании горизонтального шардинга вообще везде и кластере машин. C>Очень крупные системы (типа dropbox) используют десятки и сотни тысяч машин.
Современные облачные — самая главная фраза в твое опусе. Почему? Да потому что на тебе банально зарабатывают. Они подумали и решили а нафига программерский планктон будет делать эффективные приложения? Мы будем им продавать вычислительные ресурсы, сами будем писать статейки о горизонтальном шардинге. Кучу денег на этом имеют и амазон и ажура и пр. Конференции и журналы тоже они выпускают.
Настоящие нагруженные системы используют 40 инстансов mysql. Типа фейсбук. Если бы они использовали nosql — потребовались десятки и сотни тысяч машин. Но у них мозги на месте и они не хотят выкидывать деньги на ветер.
Re[29]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>Настоящие нагруженные системы используют 40 инстансов mysql. Типа фейсбук. Если бы они использовали nosql — потребовались десятки и сотни тысяч машин. Но у них мозги на месте и они не хотят выкидывать деньги на ветер.
Т.е. у разработчиков Гугла (говорим про поисковую систему) мозги не на месте? Понятно...
P.S. Вот так и знал, что в данной темке встретится ещё много поводов для смеха. )))
Re[30]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, alex_public, Вы писали:
_>Здравствуйте, Gattaka, Вы писали:
G>>Настоящие нагруженные системы используют 40 инстансов mysql. Типа фейсбук. Если бы они использовали nosql — потребовались десятки и сотни тысяч машин. Но у них мозги на месте и они не хотят выкидывать деньги на ветер.
_>Т.е. у разработчиков Гугла (говорим про поисковую систему) мозги не на месте? Понятно... _>P.S. Вот так и знал, что в данной темке встретится ещё много поводов для смеха. )))
Ты не гугл. Каждый прочитавший книжку по алгоритмам считает себя основателем гугл. Хочу тебя разочаровать.
Почитай для смеха:
Re[26]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Cyberax, Вы писали: G>>Уволен! C>Увольнялку уже ранее оторвали, вместе с руками.
Лишнее подтверждение неспособности вникнуть в суть разговора. Автор понял о чем я хотел сказать. А у тебя на уме одни лишь быкования.
Re[31]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>>>Настоящие нагруженные системы используют 40 инстансов mysql. Типа фейсбук. Если бы они использовали nosql — потребовались десятки и сотни тысяч машин. Но у них мозги на месте и они не хотят выкидывать деньги на ветер. _>>Т.е. у разработчиков Гугла (говорим про поисковую систему) мозги не на месте? Понятно... _>>P.S. Вот так и знал, что в данной темке встретится ещё много поводов для смеха. ))) G>Ты не гугл. Каждый прочитавший книжку по алгоритмам считает себя основателем гугл. Хочу тебя разочаровать. G>Почитай для смеха:
Причём тут я, если ты писал про "настоящие нагруженные системы"? )))
Re[31]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>Почитай для смеха:
Это школота какая-то пишет для школоты. Собственно даже в этом топике есть люди из Амазона.
И таки да, не так уж редко попадаются ситуации когда "потеряют много денег".
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
Re[27]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
НС>>Т.е. вместо хеша в памяти предлагаешь подтянуть БД? Ну тогда нет ничего удивительного в чудовищно низкой производительности твоих программ. G>Ну если бы ты знал, что БД в данном случае будет использовать всю туже память. Слышал про buffer pool?
А про сериализацию, парсинг, latency ты чего нибудь слышал? Разница по скорости будет примерно 4 порядка в лучшем случае, если БД на той же машине и протокол правильный.
G>Насчет производительности — 1000 нодов вместо одного сервера это сильно.
Сильно. Потому что скорость обработки была 400К графических файлов в час. Одну машину такой мощности пока еще не сделали.
Re[32]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, ·, Вы писали:
·>Здравствуйте, Gattaka, Вы писали:
G>>Почитай для смеха: ·>Это школота какая-то пишет для школоты. Собственно даже в этом топике есть люди из Амазона. ·>И таки да, не так уж редко попадаются ситуации когда "потеряют много денег".
Cyberax из амазона лишь формально. Какая-то дочерняя шарашка. Там два человека — один из них Cyberax.
Re[28]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Сильно. Потому что скорость обработки была 400К графических файлов в час. Одну машину такой мощности пока еще не сделали.
Что за обработка? Моя gtx 1080 ti порвет твою ораву процессоров в щепки.
Re[29]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
НС>>Сильно. Потому что скорость обработки была 400К графических файлов в час. Одну машину такой мощности пока еще не сделали. G>Что за обработка?
Большая и сложная, распознавание образов.
G> Моя gtx 1080 ti порвет твою ораву процессоров в щепки.
Твоя gtx 1080 ti вообще для тех задач не годится.
Re[30]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Здравствуйте, Gattaka, Вы писали:
НС>>>Сильно. Потому что скорость обработки была 400К графических файлов в час. Одну машину такой мощности пока еще не сделали. G>>Что за обработка?
НС>Большая и сложная, распознавание образов.
Сверточные сети? ResNet? AlexNet? Можешь подробнее рассказать?
НС>Твоя gtx 1080 ti вообще для тех задач не годится.
Ща посмотрим. Как расскажешь.
Re[22]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Хеш таблицы не быстрее. Они быстрее на некоторых операциях и некоторых объемах и типах данных. Плюс есть масса нюансов. К примеру, полностью lock free реализации хеш-таблицы пока никто придумать не смог, приходится на конфликтах блокировки использовать, а вот списки без блокировок есть.
Мне казалось ConcurrentDictionary полностью lock-free. Видимо без транзационной памяти без lock'ов никуда.
Кодом людям нужно помогать!
Re[28]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Cyberax, Вы писали:
C>Здравствуйте, Gattaka, Вы писали:
НС>>>Т.е. вместо хеша в памяти предлагаешь подтянуть БД? Ну тогда нет ничего удивительного в чудовищно низкой производительности твоих программ. G>>Ну если бы ты знал, что БД в данном случае будет использовать всю туже память. Слышал про buffer pool? Погугли — там много интересного для себя откроешь. C>Узнай про новое для тебя слово "context switch".
Причем здесь "context switch" ? Не уловил связи...
Кодом людям нужно помогать!
Re[29]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>Настоящие нагруженные системы используют 40 инстансов mysql. Типа фейсбук. Если бы они использовали nosql — потребовались десятки и сотни тысяч машин. Но у них мозги на месте и они не хотят выкидывать деньги на ветер.
Зачем фб реляционка? Им eventual consistency для большинства задач за глаза хватит.
Кодом людям нужно помогать!
Re[29]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Sharov, Вы писали:
S>Здравствуйте, Cyberax, Вы писали:
C>>Здравствуйте, Gattaka, Вы писали:
НС>>>>Т.е. вместо хеша в памяти предлагаешь подтянуть БД? Ну тогда нет ничего удивительного в чудовищно низкой производительности твоих программ. G>>>Ну если бы ты знал, что БД в данном случае будет использовать всю туже память. Слышал про buffer pool? Погугли — там много интересного для себя откроешь. C>>Узнай про новое для тебя слово "context switch".
S>Причем здесь "context switch" ? Не уловил связи...
Ну типа меня шокировать хочет словом непонятным.
Re[30]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Sharov, Вы писали:
S>Здравствуйте, Gattaka, Вы писали:
G>>Настоящие нагруженные системы используют 40 инстансов mysql. Типа фейсбук. Если бы они использовали nosql — потребовались десятки и сотни тысяч машин. Но у них мозги на месте и они не хотят выкидывать деньги на ветер.
S>Зачем фб реляционка? Им eventual consistency для большинства задач за глаза хватит.
Я говорю что у них есть. Не знаю что, зачем, но вот есть у них 40 mysql и все работает.
Re[31]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Здравствуйте, Gattaka, Вы писали:
НС>>>Большая и сложная, распознавание образов. G>>Сверточные сети? ResNet? AlexNet? Можешь подробнее рассказать?
НС>Нет.
Так я и думал, вот поэтому мой алгоритм на ResNet мало того что был бы в 8 раз точнее но еще и позволял бы использовать видеокарту, а это 3500 ядер. Ставишь комп с 8-ю такими картами и все. Все твои 1000 нодов быстро куксятся. Не смотря на кастомную реализацию алгоритма распознавания образов.
Это все что ты можешь ответить?!
