Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast

Andrej Karpathy is a legendary AI researcher, engineer, and educator. He's the former director of AI at Tesla, a founding member of OpenAI, and an educator at Stanford.

https://www.youtube.com/watch?v=cdiD-9MMpb0

Здравствуйте, Lazytech, Вы писали:

L>Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast
L>

Andrej Karpathy is a legendary AI researcher, engineer, and educator. He's the former director of AI at Tesla, a founding member of OpenAI, and an educator at Stanford.

Я немного попробовал послушать, в принципе интересно.
Тут недавно был топик про перспективы в программировании. Упоминали нейросети, но никто серьёзно в нашей области их не воспринимает. А Карпаты говорит про Software 2.0. Если пересказать в двух словах, то:
1. Software 1.0 или классическое программирование заключается в том, чтобы на языке программирования описать чёткий набор правил (т.е. алгоритм), который выполнит компьютер и цель будет достигнута.
1. Software 2.0 является другим: человек показывает компьютеру исходные данные, задаёт цель, а некое ПО, реализующее методы оптимизации, на основании этих данных и априорной информации выдаёт решение-программу, которая приводит к достижению цели на основании входных данных. То есть сам алгоритм человеку ни описывать, ни даже знать не нужно будет.

Глядя на современные fit-predict решения, дружественные к человеку, полуавтоматическую разметку данных, дистиляцию знаний — обучение с учителем, где учителем является другая нейросеть, CLIP и т.д. кажется, что такое время для многих областей уже близко.

Здравствуйте, Nuzhny, Вы писали:
N>Я немного попробовал послушать, в принципе интересно.
удивительно, насколько то, что он говорит совпало с моим личным мнением по многим вопросам, даже спорить не буду, и он явно знает их глубже, но он мягко обходит одну огромнейшую проблему автогенерированного кода или даже нейросетей — отсутсвие возможности доказать их корректность, а также дикая стоимость любых попыток это сделать.

если на пальцах. вот есть автопилот и он в некоторых случаях косячит. менеджеры просят пофиксить, программисты это делают и предлагают не просто патч, а сразу крутят все возможные ручки и выкатывают по сути глобально отличающуюся версию. будет ли она не косячить в других местах? доказать нереально. будет ли она хотя бы в среднем лучше работать? очень дорого

Здравствуйте, __kot2, Вы писали:

__>удивительно, насколько то, что он говорит совпало с моим личным мнением по многим вопросам, даже спорить не буду, и он явно знает их глубже, но он мягко обходит одну огромнейшую проблему автогенерированного кода или даже нейросетей — отсутсвие возможности доказать их корректность, а также дикая стоимость любых попыток это сделать.

На данный момент — да, так и есть. Развивается потихоньку casual inference в машинном обучении, стараются получать объяснимые результаты, но пока в зачаточном состоянии.

__>если на пальцах. вот есть автопилот и он в некоторых случаях косячит. менеджеры просят пофиксить, программисты это делают и предлагают не просто патч, а сразу крутят все возможные ручки и выкатывают по сути глобально отличающуюся версию. будет ли она не косячить в других местах? доказать нереально. будет ли она хотя бы в среднем лучше работать? очень дорого

Ну, в принципе да. Кое-как это покрывается наличием тестового (не валидационного) сета, но по факту ты прав.

N>1. Software 2.0 является другим: человек показывает компьютеру исходные данные, задаёт цель

"Задает цель" — это по сути и есть программирование. На порядок более сложное. Написать хороший тест для программы обычно сложнее, чем саму программу. Особенно для распределенных систем с требованиями к надежности.

Здравствуйте, SkyDance, Вы писали:

SD>"Задает цель" — это по сути и есть программирование. На порядок более сложное. Написать хороший тест для программы обычно сложнее, чем саму программу. Особенно для распределенных систем с требованиями к надежности.

Никто и не говорил, что мы уйдём от программирования.
P.S.

	video

Здравствуйте, __kot2, Вы писали:

__>если на пальцах. вот есть автопилот и он в некоторых случаях косячит. менеджеры просят пофиксить, программисты это делают и предлагают не просто патч, а сразу крутят все возможные ручки и выкатывают по сути глобально отличающуюся версию. будет ли она не косячить в других местах? доказать нереально. будет ли она хотя бы в среднем лучше работать? очень дорого

Вообще можно оставить старую модель, а новую использовать только для случаев, когда проявляются косяки. От потенциальных новых косяков это не избавит, но поле для них будет меньше.

Здравствуйте, ути-пути, Вы писали:

УП>Вообще можно оставить старую модель, а новую использовать только для случаев, когда проявляются косяки. От потенциальных новых косяков это не избавит, но поле для них будет меньше.

Это же нереально. Во-первых, в параллель их пускать, а потом... А где старая косячит? Вот есть иногда проблема с длинными прицепами-платформами. Смотреть, когда первая сетка не нашла прицеп, а вторая нашла? Ну так себе

Здравствуйте, Nuzhny, Вы писали:


С удовольствием бы забросил классическое программирование и перешел бы на НОВУЮ ступень.

Здравствуйте, ути-пути, Вы писали:
УП>Вообще можно оставить старую модель, а новую использовать только для случаев, когда проявляются косяки. От потенциальных новых косяков это не избавит, но поле для них будет меньше.
Я сам реально на продакшене с этим столкнулся. Есть две большие важные модели мы релизим раз в 3 месяца на основе новых данных. Эти модели могут быть использованы для принятия неких политических решений. Понять что мы ничего не сломали очень сложно. Написали миллион утилит и специальных случаев. Как бы любой дифф и тесты дают настолько замороченный output что он требует анализа сам по себе. Гнать две или более модели в параллель очень накладно, что делать в случае возникновения их конфликта неэксперту непонятно. Даже эксперту потребуется посидеть и подумать.

Удивительно, но чисто политически удобно иметь старую модель с известными недостатками, если она прошла формальную или неформальную сертификацию, то есть менеджмент (который не сильно шарит в технических деталях) дал добро, несмотря на наличие гораздо лучших моделей.

Итого, код, нагенерированный с помощью набора правил и подсказок рискует навсегда остаться с одной версией «умного компилятора», например