Исходники Яндекса слили
От: Quebecois Канада https://www.canada.ca/
Дата: 26.01.23 17:43
Оценка: 11 (2)
Обсуждение на Hacker News.

Говорят, что слит снимок исходников годовалой давности, без истории и бинарников, но с тренировочными данными для ML. Интересно, интеграция с СОРМом тоже попала в раздачу, или у первого отдела свой форк SVN?
Re: Исходники Яндекса слили
От: L.K. Марс  
Дата: 26.01.23 17:53
Оценка: +2
Ну слили и слили. Кто будет копаться в этих гигабайтах?
Re[2]: Исходники Яндекса слили
От: Kernan Ниоткуда https://rsdn.ru/forum/flame.politics/
Дата: 26.01.23 18:02
Оценка: +1
Здравствуйте, L.K., Вы писали:

LK>Ну слили и слили. Кто будет копаться в этих гигабайтах?

Как минимум те, кому интересно как вообще оно делается в яндексе и какой код там пишут.
Sic luceat lux!
Re: Исходники Яндекса слили
От: vsb Казахстан  
Дата: 26.01.23 18:10
Оценка:
Здравствуйте, Quebecois, Вы писали:

Q>Обсуждение на Hacker News.


Q>Говорят, что слит снимок исходников годовалой давности, без истории и бинарников, но с тренировочными данными для ML. Интересно, интеграция с СОРМом тоже попала в раздачу, или у первого отдела свой форк SVN?


Про годовалую давность неправда. Полугодовалой как минимум.
Re[3]: Исходники Яндекса слили
От: DiPaolo Россия  
Дата: 26.01.23 18:10
Оценка: :))) :))) :))) :)))
K>Как минимум те, кому интересно как вообще оно делается в яндексе и какой код там пишут.

Эка невидаль! Очевидно ж, что там реализации круглых люков, сортировки гномиков, перевороты строк и балансировки деревьев
Патриот здравого смысла
Re[4]: Исходники Яндекса слили
От: Kernan Ниоткуда https://rsdn.ru/forum/flame.politics/
Дата: 26.01.23 18:17
Оценка:
Здравствуйте, DiPaolo, Вы писали:

DP>Эка невидаль! Очевидно ж, что там реализации круглых люков, сортировки гномиков, перевороты строк и балансировки деревьев

Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный.
Sic luceat lux!
Re: Исходники Яндекса слили
От: gress Россия  
Дата: 26.01.23 20:08
Оценка:
Здравствуйте, Quebecois, Вы писали:

Q>Обсуждение на Hacker News.


Q>Говорят, что слит снимок исходников годовалой давности, без истории и бинарников, но с тренировочными данными для ML. Интересно, интеграция с СОРМом тоже попала в раздачу, или у первого отдела свой форк SVN?


Интеграция с СОРМ, насколько помню, на уровне серверов провайдеров, а не поисковиков.
Re[5]: Исходники Яндекса слили
От: Wawan Россия http://www.wawan.ru/resume
Дата: 26.01.23 20:16
Оценка:
Здравствуйте, Kernan, Вы писали:
K>Здравствуйте, DiPaolo, Вы писали:
DP>>Эка невидаль! Очевидно ж, что там реализации круглых люков, сортировки гномиков, перевороты строк и балансировки деревьев
K>Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный.
где качнуть?
Re[6]: Исходники Яндекса слили
От: Умака Кумакаки Ниоткуда  
Дата: 26.01.23 20:51
Оценка: :))) :))) :))) :))) :))
Здравствуйте, Wawan, Вы писали:

W>где качнуть?


в яндексе поищи
нормально делай — нормально будет
Re[6]: Исходники Яндекса слили
От: AmSpb  
Дата: 26.01.23 23:23
Оценка:
Здравствуйте, Wawan, Вы писали:

W>Здравствуйте, Kernan, Вы писали:

K>>Здравствуйте, DiPaolo, Вы писали:
DP>>>Эка невидаль! Очевидно ж, что там реализации круглых люков, сортировки гномиков, перевороты строк и балансировки деревьев
K>>Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный.
W>где качнуть?

на breached.vc вестимо
Re[7]: Исходники Яндекса слили
От: opfor  
Дата: 27.01.23 15:11
Оценка:
Здравствуйте, Умака Кумакаки, Вы писали:

УК>в яндексе поищи


Действительно. первая ссылка:

https://yandex.ru/search/?text=исходники+yandex+magnet
Re[5]: Исходники Яндекса слили
От: Артём Австралия жж
Дата: 27.01.23 23:24
Оценка:
Здравствуйте, Kernan, Вы писали:

K>Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный.


Сирьёзный пузырёк на C++?
Есть большая разница между кульбитами на тесте, и реальным индустриальным кодом.
Re: Для чего исходники Яндекса слили?
От: Kernan Ниоткуда https://rsdn.ru/forum/flame.politics/
Дата: 31.01.23 21:21
Оценка:
Здравствуйте, Quebecois, Вы писали:

Собственное, тут вопрос есть. А зачем слили? Мне кажется что это диверсия против старых безопасников чтобы переформатировать штат под кудринских фейсов и увеличить бюджеты на "безопастность". Я не совсем верю, что сам разработчик скачал бы репо просто потому, что в этом мало смысла и тем более выложил бы его в открытый доступ, просто потому что репутация такого человека будет слита в ноль.
Как думаете?
Sic luceat lux!
Re[2]: Для чего исходники Яндекса слили?
От: Sharov Россия  
Дата: 31.01.23 22:53
Оценка:
Здравствуйте, Kernan, Вы писали:

K>Здравствуйте, Quebecois, Вы писали:


K>Собственное, тут вопрос есть. А зачем слили? Мне кажется что это диверсия против старых безопасников чтобы переформатировать штат под кудринских фейсов и увеличить бюджеты на "безопастность". Я не совсем верю, что сам разработчик скачал бы репо просто потому, что в этом мало смысла и тем более выложил бы его в открытый доступ, просто потому что репутация такого человека будет слита в ноль.

K>Как думаете?

Это может быть украинец (если верить дате архива, что легко подделать), то понять и простить.
А в целом, в чем проблема скачать все исходники, там это кем-то контролируется, учитывая, что у них
моно репа?

Мне интересно, а кто-нибудь планирует делать разбор исх., например, поиска. Типа арх-ра промышленного поисковика,
разбитая по модулям, с указаниями на соотв. файлы и т.п. Такую вики себе запилить под это дело.
Также, кажется, что осн. вещей типа ранжирования там нету, т.е. какие-то совсем важные вещи хранились отдельно
и как-то линковались позже. Что логично, учитывая важность данного кода. И таких частей в некоторых проектах
более чем дофига. Утекла не самая важная часть. Кстати, у них в поисковие порядке 56т файлов, и вроде бы,
самое большое что видел, это 2т строк. Никаких гигантских файлов и т.п. Весьма аккуратно, хотя плюсов я не знаю,
но чисто по стилю могу судить.
Кодом людям нужно помогать!
Re[3]: Для чего исходники Яндекса слили?
От: SkyDance Земля  
Дата: 01.02.23 00:27
Оценка:
S>более чем дофига. Утекла не самая важная часть. Кстати, у них в поисковие порядке 56т файлов, и вроде бы,

А это случаем не то, что Яндекс опен-сорсил?

Из всех исходников что мне были бы интересны хотелось бы посмотреть только на их вариант реализации Calvin'а. Уж очень эту реализацию хвалил один из бывших сотрудников, аж стало интересно. Оно вроде бы и open-source, но скачать почему-то предлагают бинари, а не исходники.
Re[4]: Для чего исходники Яндекса слили?
От: Sharov Россия  
Дата: 01.02.23 10:55
Оценка:
Здравствуйте, SkyDance, Вы писали:

S>>более чем дофига. Утекла не самая важная часть. Кстати, у них в поисковие порядке 56т файлов, и вроде бы,

SD>А это случаем не то, что Яндекс опен-сорсил?

Без понятия.

SD>Из всех исходников что мне были бы интересны хотелось бы посмотреть только на их вариант реализации Calvin'а. Уж очень эту реализацию хвалил один из бывших сотрудников, аж стало интересно. Оно вроде бы и open-source, но скачать почему-то предлагают бинари, а не исходники.


Не слышал про такое, и у тех проектов что я видел(исходники), такого вроде нету. Он так и называется Calvin? Это что за проект?
Язык какой, плюсы?
Кодом людям нужно помогать!
Re[5]: Для чего исходники Яндекса слили?
От: SkyDance Земля  
Дата: 01.02.23 15:18
Оценка: 5 (1)
S>Не слышал про такое

Это их вариант распределенной БД с поддержкой (частичной) SQL. ЕМНИМ зовется YDB.
Основа, насколько я понимаю, вариант реализации протокола Calvin (вкратце — материализация всех транзакций для исключения внешних факторов на Raft-лидере, что дает повторяемость всех запросов).

Google пошел другим путем, сделав Spanner на основе физической реализации надежного таймера высокого разрешения (а это уже совсем не commodity hardware). Лично мне это кажется менее красивым решением, по сравнению с чисто логическим (софтовым, как тот же Calvin), но в плане гарантий, производительности, да и простоты реализации Spanner, думаю, будет лучше.

S>Язык какой, плюсы?


Думаю, да, ибо уж очень там твердолобое лобби плюс-плюсников.
Re[6]: Для чего исходники Яндекса слили?
От: пффф  
Дата: 01.02.23 15:20
Оценка:
Здравствуйте, SkyDance, Вы писали:

SD>Это их вариант распределенной БД с поддержкой (частичной) SQL. ЕМНИМ зовется YDB.

SD>Основа, насколько я понимаю, вариант реализации протокола Calvin (вкратце — материализация всех транзакций для исключения внешних факторов на Raft-лидере, что дает повторяемость всех запросов).

YDB ж вроде выложен в опен сорц, не?
Re[7]: Для чего исходники Яндекса слили?
От: SkyDance Земля  
Дата: 02.02.23 04:53
Оценка:
П>YDB ж вроде выложен в опен сорц, не?

Утверждается, что да, но я навскидку его не нашел. Может, конечно, сссанкции, или плохо искал.
UPD: нашел, ага, на https://github.com/ydb-platform/ydb
Ну тогда и не знаю, что там полезного в "слитых" исходниках.
Отредактировано 02.02.2023 15:15 SkyDance . Предыдущая версия .
Re[8]: Для чего исходники Яндекса слили?
От: пффф  
Дата: 02.02.23 04:55
Оценка:
Здравствуйте, SkyDance, Вы писали:

П>>YDB ж вроде выложен в опен сорц, не?


SD>Утверждается, что да, но я навскидку его не нашел. Может, конечно, сссанкции, или плохо искал.


На хабре пошукай, там была статейка про это
Re[8]: Для чего исходники Яндекса слили?
От: пффф  
Дата: 02.02.23 05:09
Оценка:
Здравствуйте, SkyDance, Вы писали:

SD>Утверждается, что да, но я навскидку его не нашел. Может, конечно, сссанкции, или плохо искал.


Собсно — https://habr.com/ru/search/?q=YDB&target_type=posts&order=relevance
Re[3]: Для чего исходники Яндекса слили?
От: flаt  
Дата: 02.02.23 05:43
Оценка: 5 (1)
Здравствуйте, Sharov, Вы писали:

S>

S>Также, кажется, что осн. вещей типа ранжирования там нету, т.е. какие-то совсем важные вещи хранились отдельно
S>и как-то линковались позже.

https://habr.com/ru/post/713666/ Чел описал их ранжирование. Правда, как-то не очень точно и много отсебятины вставлял. Будто гадал по кускам кода, а полной информации не было у него.
Re: Исходники Яндекса слили
От: reversecode google
Дата: 03.02.23 10:07
Оценка:
из интересного для меня, асинхронный движок future/promise(multipromise) на C++ о котором яндекс делал пару докладов в прошлом

и не это не то что там полухин заопенсорсил под названием усервер
Re[5]: Исходники Яндекса слили
От: uncommon Ниоткуда  
Дата: 04.02.23 01:36
Оценка:
Здравствуйте, Kernan, Вы писали:
K>Друг смотрел, говорит что неплохо всё у них там. Гномиков правда нет, но вот код на С++ серьёзный.

Где там серьезный С++, ткните пальцем?

Списов файлов можно найти здесь: https://gist.github.com/ArseniyShestakov/53a80e3214601aa20d1075872a1ea989

То, что я видел краем глаза:
* класс yexception, унаследованный от std::exception, с оператором <<, а внутри stringstream,
* typedef-ы: TString=std::string, TMap=std::map, TVector=std::vector (со странными методами),
* все классы начинаются на T. Главный разраб был покусан Delphi?

В общем, несерьёзно всё это. Думал внутрях будет забористая C++ библиотека вроде facebook folly. Ан нет.
Re[6]: Исходники Яндекса слили
От: пффф  
Дата: 04.02.23 05:50
Оценка:
Здравствуйте, uncommon, Вы писали:

U>* typedef-ы: TString=std::string, TMap=std::map, TVector=std::vector (со странными методами),


Это как — typedef-ы со странными методами?

Вроде бы у них было всё своё самописное, TString — это COW строки, шарящие общий буфер. Неужели перешли на стандартные строки? Тогда понятно, зачем typedef — чтобы всё не переписывать


U>* все классы начинаются на T.


Это да. Еще вроде namespace на N, enum'ы — на E


U>Главный разраб был покусан Delphi?


Или начинал на бормане
Re[7]: Исходники Яндекса слили
От: uncommon Ниоткуда  
Дата: 04.02.23 23:37
Оценка:
Здравствуйте, пффф, Вы писали:

U>>TVector=std::vector (со странными методами),


П>Это как — typedef-ы со странными методами?


В случае TVector — это класс, унаследованный от std::vector, + свои методы.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.