Здравствуйте, Gattaka, Вы писали:
НС>>Нет. G>Так я и думал, вот поэтому мой алгоритм на ResNet мало того что был бы в 8 раз точнее но еще и позволял бы использовать видеокарту, а это 3500 ядер.
Re[34]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Здравствуйте, Gattaka, Вы писали:
НС>>>Нет. G>>Так я и думал, вот поэтому мой алгоритм на ResNet мало того что был бы в 8 раз точнее но еще и позволял бы использовать видеокарту, а это 3500 ядер.
НС>
Ну а что, при попытке рассказать про систему ты с гордым видом дал дёру Расскажи про алгоритм, про саму систему. Это секрет? Стыдно!
Re[35]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>Ну а что, при попытке рассказать про систему ты с гордым видом дал дёру Расскажи про алгоритм, про саму систему. Это секрет? Стыдно!
Нет. Просто штука уникальная и я не хочу здесь раскрывать где я работаю.
Re[36]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Ночной Смотрящий, Вы писали:
НС>Здравствуйте, Gattaka, Вы писали:
G>>Ну а что, при попытке рассказать про систему ты с гордым видом дал дёру Расскажи про алгоритм, про саму систему. Это секрет? Стыдно!
НС>Нет. Просто штука уникальная и я не хочу здесь раскрывать где я работаю.
Да Вокорд или JetBrains какой-нибудь. Ну ладно — твое право. Вобще безобразие. Форумы отличная возможность не устраиваясь на работу обсудить детали реализации самых разнообразных систем. И где это все? Одни котики, политика и холивары. Ну вот я, например, хотя бы в общих чертах рассказ про то с чем мне пришлось столкнуться давным давно на одной работе по расчету зарплаты. Самому было бы интересно почитать про другие системы.
Но ладно — имеешь полное моральное право не говорить. На этом и порешим.
Re[37]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
НС>>Нет. Просто штука уникальная и я не хочу здесь раскрывать где я работаю. G>Да Вокорд
Нет.
G> или JetBrains какой-нибудь.
JB даже близко ничем подобным не занимается.
G> Ну ладно — твое право. Вобще безобразие. Форумы отличная возможность не устраиваясь на работу обсудить детали реализации самых разнообразных систем. И где это все? Одни котики, политика и холивары.
Ты много таких топиков создал? Или кто то тебе должен это сделать?
G>Но ладно — имеешь полное моральное право не говорить. На этом и порешим.
Да нет, рассказать то я могу, если будут конкретные вопросы. Только без конкретики. Тем более что моя команда занимается не самой обработкой, а облачной инфраструктурой для этого, а обработку делают другие люди.
Re[37]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>Здравствуйте, Ночной Смотрящий, Вы писали:
НС>>Здравствуйте, Gattaka, Вы писали:
G>>>Ну а что, при попытке рассказать про систему ты с гордым видом дал дёру Расскажи про алгоритм, про саму систему. Это секрет? Стыдно!
НС>>Нет. Просто штука уникальная и я не хочу здесь раскрывать где я работаю. G>Да Вокорд или JetBrains какой-нибудь. Ну ладно — твое право. Вобще безобразие. Форумы отличная возможность не устраиваясь на работу обсудить детали реализации самых разнообразных систем. И где это все? Одни котики, политика и холивары. Ну вот я, например, хотя бы в общих чертах рассказ про то с чем мне пришлось столкнуться давным давно на одной работе по расчету зарплаты. Самому было бы интересно почитать про другие системы. G>Но ладно — имеешь полное моральное право не говорить. На этом и порешим.
В чем проблема задать вопрос в форуму "о работе", чтобы люди рассказали, хотя в общих чертах, чем они занимаются.
Кодом людям нужно помогать!
Re[29]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>>>Ну если бы ты знал, что БД в данном случае будет использовать всю туже память. Слышал про buffer pool? Погугли — там много интересного для себя откроешь. C>>Узнай про новое для тебя слово "context switch". G>О боже... Это все что ты можешь ответить?!
Ну вот, не знаешь опять ничерта. Сетевой запрос (даже локальный) будет требовать на порядки больше времени, чем простой поиск в хэш-таблице или дереве. Хотя бы из-за необходимости нескольких переключений контекста из пользовательского в ядерное пространство.
C>>Примерно всегда современные облачные системы не могут работать на одной копии БД, кроме как при использовании горизонтального шардинга вообще везде и кластере машин. C>>Очень крупные системы (типа dropbox) используют десятки и сотни тысяч машин. G>Современные облачные — самая главная фраза в твое опусе. Почему? Да потому что на тебе банально зарабатывают.
Потому, что у моей системы, например, в данный момент несколько миллионов активных конкурентных пользователей. И у меня ещё мелочь по сравнению с реально крупными системами.
G>Настоящие нагруженные системы используют 40 инстансов mysql. Типа фейсбук. Если бы они использовали nosql — потребовались десятки и сотни тысяч машин. Но у них мозги на месте и они не хотят выкидывать деньги на ветер.
У меня из FB данные прямые. Они законичили насиловать дохлую лошадь MySQL уже несколько лет назад и переходят на Apollo (их местная nosql БД) и GraphQL. При этом значительная часть данных там уже лежит в HBase.
И даже до миграции MySQL у них использовался с массивным шардингом, огромными кэшами и не для всего. Произвольные запросы (тем более с JOIN'ами) были запрещены, так как могли положить FB для всех.
Sapienti sat!
Re[33]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>·>Это школота какая-то пишет для школоты. Собственно даже в этом топике есть люди из Амазона. G>·>И таки да, не так уж редко попадаются ситуации когда "потеряют много денег". G>Cyberax из амазона лишь формально. Какая-то дочерняя шарашка. Там два человека — один из них Cyberax.
Нет, эту шарашку Амазон уже купил и интегрировал
Sapienti sat!
Re[30]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Cyberax, Вы писали:
C>Ну вот, не знаешь опять ничерта. Сетевой запрос (даже локальный) будет требовать на порядки больше времени, чем простой поиск в хэш-таблице или дереве. Хотя бы из-за необходимости нескольких переключений контекста из пользовательского в ядерное пространство.
Вот именно поэтому надо сделать без сетевого запроса. Реализуешь на SQL свою логику, которая проверяет наличие строки в хеше. Так понятнее?
Re[34]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Cyberax, Вы писали:
C>Нет, эту шарашку Амазон уже купил и интегрировал
Почитал мельком я про этот ClusterK. Ничего не понятно что вы там такого сделали. Но все равно это успех. Молодец!
Однако в спорах одним лишь авторитетом ничего не докажешь. Даже если бы ты был из настоящего амазона.
Re[35]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
C>>Нет, эту шарашку Амазон уже купил и интегрировал G>Почитал мельком я про этот ClusterK. Ничего не понятно что вы там такого сделали. Но все равно это успех. Молодец! G>Однако в спорах одним лишь авторитетом ничего не докажешь. Даже если бы ты был из настоящего амазона.
Это не только авторитет, но и $20M-$50M.
А ты чем и что доказал?
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
Re[36]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, ·, Вы писали:
·>Здравствуйте, Gattaka, Вы писали: ·>Это не только авторитет, но и $20M-$50M. ·>А ты чем и что доказал?
Да это инвестору все ушло. Но с Усмановым это не сравнить. Тот лучше в базах шарит по всей видимости. Вобще я за равенство спорщиков, деньгами тут махать не особо полезно.
Re[37]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>·>Здравствуйте, Gattaka, Вы писали: G>·>Это не только авторитет, но и $20M-$50M. G>·>А ты чем и что доказал? G>Да это инвестору все ушло. Но с Усмановым это не сравнить. Тот лучше в базах шарит по всей видимости. Вобще я за равенство спорщиков, деньгами тут махать не особо полезно.
Кто такой Усманов?
Тут ведь как — все спорщики равны, но некоторые равнее.
Я вообще уже что-то перестал улавливать что именно ты пытаешься доказать. Неужели то, что СУБД — универсальные всемогутеры, решающие любые задачи?
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
Re[38]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, ·, Вы писали:
·>Кто такой Усманов? ·>Тут ведь как — все спорщики равны, но некоторые равнее. ·>Я вообще уже что-то перестал улавливать что именно ты пытаешься доказать. Неужели то, что СУБД — универсальные всемогутеры, решающие любые задачи?
Потому что ты не слушаешь аргументов, а занимаешься быкованиями. В силу своих каких-то комплексов. Еще раз. В большинстве случаев можно и НУЖНО самое главное обходится стандартными библиотеками и либами. Не надо каждый раз реализовывать свою СУБД, если таковых уже полно. Следовательно задача выбора между деревом и хешем возникает настолько редко, что ей должны заниматься 0,01% программистов. На практике это 50% программеров, что происходит преимущественно из-за желания показать знание алгоритмов и хоть где то их применить. Даже если можно обойтись без них. В итоге получаем говнокод.
Re[39]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>·>Кто такой Усманов? G>·>Тут ведь как — все спорщики равны, но некоторые равнее. G>·>Я вообще уже что-то перестал улавливать что именно ты пытаешься доказать. Неужели то, что СУБД — универсальные всемогутеры, решающие любые задачи? G>Потому что ты не слушаешь аргументов, а занимаешься быкованиями. В силу своих каких-то комплексов. Еще раз. В большинстве случаев можно и НУЖНО самое главное обходится стандартными библиотеками и либами. Не надо каждый раз реализовывать свою СУБД, если таковых уже полно. Следовательно задача выбора между деревом и хешем возникает настолько редко, что ей должны заниматься 0,01% программистов. На практике это 50% программеров, что происходит преимущественно из-за желания показать знание алгоритмов и хоть где то их применить. Даже если можно обойтись без них. В итоге получаем говнокод.
Как я понимаю, 97% статистики и количественных оценок ты насочинял для красивого словца. В лучшем случае, основал на своих confirmation-biased наблюдениях.
Есть области, где СУБД не тянут. Много или мало таких — оценить не берусь, зависит в основном от предметной области. Я вот последние ~5 лет работаю в такой области, где СУБД нет, т.к. не хватает их производительности.
Суть в том, что профессионалу нужно знать и СУБД, и дерево, и хеш и ещё кучу всего, и точно понимать где и что примеять, это тупо основы CS. Иначе и получается, что тривиальные задачи типа подсчёта зарплаты внезапно работают на порядки дольше, чем следовало бы, грея воздух перекладыванием байтиков из одной стандартной библиотеки в другую.
Вопросы типа сабжа более ожидаемы от студентов-джуниоров. А сравнивать знание базовых структур данных со знанием о каких-то успешных agile-коучах, это просто уже невежество.
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
Re[40]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, ·, Вы писали:
·>Здравствуйте, Gattaka, Вы писали:
·>Как я понимаю, 97% статистики и количественных оценок ты насочинял для красивого словца. В лучшем случае, основал на своих confirmation-biased наблюдениях. ·>Есть области, где СУБД не тянут. Много или мало таких — оценить не берусь, зависит в основном от предметной области. Я вот последние ~5 лет работаю в такой области, где СУБД нет, т.к. не хватает их производительности.
·>Суть в том, что профессионалу нужно знать и СУБД, и дерево, и хеш и ещё кучу всего, и точно понимать где и что примеять, это тупо основы CS. Иначе и получается, что тривиальные задачи типа подсчёта зарплаты внезапно работают на порядки дольше, чем следовало бы, грея воздух перекладыванием байтиков из одной стандартной библиотеки в другую. ·>Вопросы типа сабжа более ожидаемы от студентов-джуниоров. А сравнивать знание базовых структур данных со знанием о каких-то успешных agile-коучах, это просто уже невежество.
Сколько пафоса. 97% статистики я взял исходя из своего обширного опыта. И, кстати, голосование это подтверждает. Скорее всего кто-то один там накручивает. Очень уж подозрительно. Ну это ладно.
Знание BDD важнее знание различий между деревом и хеш таблицей. Гораздо важнее. Как раз таки утверждать обратное — невежество.
Якобы не тянущие СУБД в 99% означает не тянущих программистов, которые ничего по этим СУБД не читали. Сама фраза глупая. Как может бинарное дерево не тянуть?
Re[41]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>·>Вопросы типа сабжа более ожидаемы от студентов-джуниоров. А сравнивать знание базовых структур данных со знанием о каких-то успешных agile-коучах, это просто уже невежество. G>Сколько пафоса. 97% статистики я взял исходя из своего обширного опыта. И, кстати, голосование это подтверждает. Скорее всего кто-то один там накручивает. Очень уж подозрительно. Ну это ладно. G>Знание BDD важнее знание различий между деревом и хеш таблицей. Гораздо важнее. Как раз таки утверждать обратное — невежество.
Область применения базовых структур данных гораздо шире. BDD же применимо только в определённых случаях, например, только есть нетехнические бизнес-аналитики, которым не влом поддерживать эти сценарии. Если проект технический, то написать обычный авто-тест в виде обычного кода гораздо адекватнее.
G>Якобы не тянущие СУБД в 99% означает не тянущих программистов, которые ничего по этим СУБД не читали.
Или не в 99%, а в 9.9%... Но с тем что таки бывают ситуации, когда СУБД не тянут — спорить, надеюсь, не будешь?
G>Сама фраза глупая. Как может бинарное дерево не тянуть?
Не понял. Какая взаимосвязь между СУБД и бинарным деревом? СУБД это тип приложения/библиотеки. А бинарное дерево — абстрактная структура данных. Как ты так апельсины на яблоки ловко заменяешь?
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
Re[42]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, ·, Вы писали:
·>Область применения базовых структур данных гораздо шире. BDD же применимо только в определённых случаях, например, только есть нетехнические бизнес-аналитики, которым не влом поддерживать эти сценарии. Если проект технический, то написать обычный авто-тест в виде обычного кода гораздо адекватнее.
Область применения базовых структур гораздо уже. Потому что лучше использовать абстракции более высокого уровня. Все эти низкоуровневые вещи давным давно имплементированы — нужно только уметь пользоваться.
А разбираться в том что за проект ты пишешь тоже бизнес аналитики будут? Ну если ты обычный кодер без мозга то спору нет.
G>>Якобы не тянущие СУБД в 99% означает не тянущих программистов, которые ничего по этим СУБД не читали. ·>Или не в 99%, а в 9.9%... Но с тем что таки бывают ситуации, когда СУБД не тянут — спорить, надеюсь, не будешь?
В каких? Давай конкретнее разберем твои случаи.
G>>Сама фраза глупая. Как может бинарное дерево не тянуть? ·>Не понял. Какая взаимосвязь между СУБД и бинарным деревом? СУБД это тип приложения/библиотеки. А бинарное дерево — абстрактная структура данных. Как ты так апельсины на яблоки ловко заменяешь?
Потому что не знаешь как эти СУБД устроены внутри. Это всего лишь шедевральная композиция элементарных алгоритмов о которых ты читал у Кнута. Она автоматически все делает даже думать не надо.
Re[43]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, Gattaka, Вы писали:
G>·>Область применения базовых структур данных гораздо шире. BDD же применимо только в определённых случаях, например, только есть нетехнические бизнес-аналитики, которым не влом поддерживать эти сценарии. Если проект технический, то написать обычный авто-тест в виде обычного кода гораздо адекватнее. G>Область применения базовых структур гораздо уже. Потому что лучше использовать абстракции более высокого уровня. Все эти низкоуровневые вещи давным давно имплементированы — нужно только уметь пользоваться. G>А разбираться в том что за проект ты пишешь тоже бизнес аналитики будут? Ну если ты обычный кодер без мозга то спору нет.
Чтобы правильно выбирать абстракции высокого уровня надо представлять как они имплементированы, чтобы понимать область их применимости и представлять себе последствия их применения.
G>>>Якобы не тянущие СУБД в 99% означает не тянущих программистов, которые ничего по этим СУБД не читали. G>·>Или не в 99%, а в 9.9%... Но с тем что таки бывают ситуации, когда СУБД не тянут — спорить, надеюсь, не будешь? G>В каких? Давай конкретнее разберем твои случаи.
Low Latency.
G>>>Сама фраза глупая. Как может бинарное дерево не тянуть? G>·>Не понял. Какая взаимосвязь между СУБД и бинарным деревом? СУБД это тип приложения/библиотеки. А бинарное дерево — абстрактная структура данных. Как ты так апельсины на яблоки ловко заменяешь? G>Потому что не знаешь как эти СУБД устроены внутри. Это всего лишь шедевральная композиция элементарных алгоритмов о которых ты читал у Кнута. Она автоматически все делает даже думать не надо.
Гм.. любопытно. В какой из СУБД реализовано, скажем, бинарное дерево?
В любом случае, помимо реализации этих алгоритмов там есть ещё много чего, что не всегда нужно, но создаёт оверхед, который не тянет.
Заточенная и оптимизированная под конкретную задачу имплементация алгоритма может оказаться на порядки эффективнее, чем попытка прикрутить универсальную имплементацию.
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
Re[44]: [Голосование] Нужен ли binary tree если есть hash таблица
Здравствуйте, ·, Вы писали:
·>Здравствуйте, Gattaka, Вы писали:
G>>·>Область применения базовых структур данных гораздо шире. BDD же применимо только в определённых случаях, например, только есть нетехнические бизнес-аналитики, которым не влом поддерживать эти сценарии. Если проект технический, то написать обычный авто-тест в виде обычного кода гораздо адекватнее. G>>Область применения базовых структур гораздо уже. Потому что лучше использовать абстракции более высокого уровня. Все эти низкоуровневые вещи давным давно имплементированы — нужно только уметь пользоваться. G>>А разбираться в том что за проект ты пишешь тоже бизнес аналитики будут? Ну если ты обычный кодер без мозга то спору нет. ·>Чтобы правильно выбирать абстракции высокого уровня надо представлять как они имплементированы, чтобы понимать область их применимости и представлять себе последствия их применения. Хорошо реализованная абстракция освобождает от этого.
G>>>>Якобы не тянущие СУБД в 99% означает не тянущих программистов, которые ничего по этим СУБД не читали. G>>·>Или не в 99%, а в 9.9%... Но с тем что таки бывают ситуации, когда СУБД не тянут — спорить, надеюсь, не будешь? G>>В каких? Давай конкретнее разберем твои случаи. ·>Low Latency.
·>Гм.. любопытно. В какой из СУБД реализовано, скажем, бинарное дерево? ·>В любом случае, помимо реализации этих алгоритмов там есть ещё много чего, что не всегда нужно, но создаёт оверхед, который не тянет. ·>Заточенная и оптимизированная под конкретную задачу имплементация алгоритма может оказаться на порядки эффективнее, чем попытка прикрутить универсальную имплементацию.
Это какой-то разговор в стиле "а вы станьте ежиками". Давай конкретику обсудим. Желательно с кодом.
Расскажи про алгоритм, про саму систему. Это секрет? Стыдно!
