Говорят, что слит снимок исходников годовалой давности, без истории и бинарников, но с тренировочными данными для ML. Интересно, интеграция с СОРМом тоже попала в раздачу, или у первого отдела свой форк SVN?
Здравствуйте, L.K., Вы писали:
LK>Ну слили и слили. Кто будет копаться в этих гигабайтах?
Как минимум те, кому интересно как вообще оно делается в яндексе и какой код там пишут.
Здравствуйте, Quebecois, Вы писали:
Q>Обсуждение на Hacker News.
Q>Говорят, что слит снимок исходников годовалой давности, без истории и бинарников, но с тренировочными данными для ML. Интересно, интеграция с СОРМом тоже попала в раздачу, или у первого отдела свой форк SVN?
Про годовалую давность неправда. Полугодовалой как минимум.
Здравствуйте, DiPaolo, Вы писали:
DP>Эка невидаль! Очевидно ж, что там реализации круглых люков, сортировки гномиков, перевороты строк и балансировки деревьев
Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный.
Здравствуйте, Quebecois, Вы писали:
Q>Обсуждение на Hacker News.
Q>Говорят, что слит снимок исходников годовалой давности, без истории и бинарников, но с тренировочными данными для ML. Интересно, интеграция с СОРМом тоже попала в раздачу, или у первого отдела свой форк SVN?
Интеграция с СОРМ, насколько помню, на уровне серверов провайдеров, а не поисковиков.
Здравствуйте, Kernan, Вы писали: K>Здравствуйте, DiPaolo, Вы писали: DP>>Эка невидаль! Очевидно ж, что там реализации круглых люков, сортировки гномиков, перевороты строк и балансировки деревьев K>Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный.
где качнуть?
Здравствуйте, Wawan, Вы писали:
W>Здравствуйте, Kernan, Вы писали: K>>Здравствуйте, DiPaolo, Вы писали: DP>>>Эка невидаль! Очевидно ж, что там реализации круглых люков, сортировки гномиков, перевороты строк и балансировки деревьев K>>Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный. W>где качнуть?
Собственное, тут вопрос есть. А зачем слили? Мне кажется что это диверсия против старых безопасников чтобы переформатировать штат под кудринских фейсов и увеличить бюджеты на "безопастность". Я не совсем верю, что сам разработчик скачал бы репо просто потому, что в этом мало смысла и тем более выложил бы его в открытый доступ, просто потому что репутация такого человека будет слита в ноль.
Как думаете?
Здравствуйте, Kernan, Вы писали:
K>Здравствуйте, Quebecois, Вы писали:
K>Собственное, тут вопрос есть. А зачем слили? Мне кажется что это диверсия против старых безопасников чтобы переформатировать штат под кудринских фейсов и увеличить бюджеты на "безопастность". Я не совсем верю, что сам разработчик скачал бы репо просто потому, что в этом мало смысла и тем более выложил бы его в открытый доступ, просто потому что репутация такого человека будет слита в ноль. K>Как думаете?
Это может быть украинец (если верить дате архива, что легко подделать), то понять и простить.
А в целом, в чем проблема скачать все исходники, там это кем-то контролируется, учитывая, что у них
моно репа?
Мне интересно, а кто-нибудь планирует делать разбор исх., например, поиска. Типа арх-ра промышленного поисковика,
разбитая по модулям, с указаниями на соотв. файлы и т.п. Такую вики себе запилить под это дело.
Также, кажется, что осн. вещей типа ранжирования там нету, т.е. какие-то совсем важные вещи хранились отдельно
и как-то линковались позже. Что логично, учитывая важность данного кода. И таких частей в некоторых проектах
более чем дофига. Утекла не самая важная часть. Кстати, у них в поисковие порядке 56т файлов, и вроде бы,
самое большое что видел, это 2т строк. Никаких гигантских файлов и т.п. Весьма аккуратно, хотя плюсов я не знаю,
но чисто по стилю могу судить.
S>более чем дофига. Утекла не самая важная часть. Кстати, у них в поисковие порядке 56т файлов, и вроде бы,
А это случаем не то, что Яндекс опен-сорсил?
Из всех исходников что мне были бы интересны хотелось бы посмотреть только на их вариант реализации Calvin'а. Уж очень эту реализацию хвалил один из бывших сотрудников, аж стало интересно. Оно вроде бы и open-source, но скачать почему-то предлагают бинари, а не исходники.
Здравствуйте, SkyDance, Вы писали:
S>>более чем дофига. Утекла не самая важная часть. Кстати, у них в поисковие порядке 56т файлов, и вроде бы, SD>А это случаем не то, что Яндекс опен-сорсил?
Без понятия.
SD>Из всех исходников что мне были бы интересны хотелось бы посмотреть только на их вариант реализации Calvin'а. Уж очень эту реализацию хвалил один из бывших сотрудников, аж стало интересно. Оно вроде бы и open-source, но скачать почему-то предлагают бинари, а не исходники.
Не слышал про такое, и у тех проектов что я видел(исходники), такого вроде нету. Он так и называется Calvin? Это что за проект?
Язык какой, плюсы?
Это их вариант распределенной БД с поддержкой (частичной) SQL. ЕМНИМ зовется YDB.
Основа, насколько я понимаю, вариант реализации протокола Calvin (вкратце — материализация всех транзакций для исключения внешних факторов на Raft-лидере, что дает повторяемость всех запросов).
Google пошел другим путем, сделав Spanner на основе физической реализации надежного таймера высокого разрешения (а это уже совсем не commodity hardware). Лично мне это кажется менее красивым решением, по сравнению с чисто логическим (софтовым, как тот же Calvin), но в плане гарантий, производительности, да и простоты реализации Spanner, думаю, будет лучше.
S>Язык какой, плюсы?
Думаю, да, ибо уж очень там твердолобое лобби плюс-плюсников.
Здравствуйте, SkyDance, Вы писали:
SD>Это их вариант распределенной БД с поддержкой (частичной) SQL. ЕМНИМ зовется YDB. SD>Основа, насколько я понимаю, вариант реализации протокола Calvin (вкратце — материализация всех транзакций для исключения внешних факторов на Raft-лидере, что дает повторяемость всех запросов).
Утверждается, что да, но я навскидку его не нашел. Может, конечно, сссанкции, или плохо искал.
UPD: нашел, ага, на https://github.com/ydb-platform/ydb
Ну тогда и не знаю, что там полезного в "слитых" исходниках.
Здравствуйте, SkyDance, Вы писали:
П>>YDB ж вроде выложен в опен сорц, не?
SD>Утверждается, что да, но я навскидку его не нашел. Может, конечно, сссанкции, или плохо искал.
Здравствуйте, Sharov, Вы писали:
S> S>Также, кажется, что осн. вещей типа ранжирования там нету, т.е. какие-то совсем важные вещи хранились отдельно S>и как-то линковались позже.
https://habr.com/ru/post/713666/ Чел описал их ранжирование. Правда, как-то не очень точно и много отсебятины вставлял. Будто гадал по кускам кода, а полной информации не было у него.
То, что я видел краем глаза:
* класс yexception, унаследованный от std::exception, с оператором <<, а внутри stringstream,
* typedef-ы: TString=std::string, TMap=std::map, TVector=std::vector (со странными методами),
* все классы начинаются на T. Главный разраб был покусан Delphi?
В общем, несерьёзно всё это. Думал внутрях будет забористая C++ библиотека вроде facebook folly. Ан нет.
Вроде бы у них было всё своё самописное, TString — это COW строки, шарящие общий буфер. Неужели перешли на стандартные строки? Тогда понятно, зачем typedef — чтобы всё не переписывать
