С конца 2012 по начало 2013 года он соучередитель компании DNNResearch (аббревиатура DNN происходит от словосочетания «Глубокие (Deep) Нейронные (Neural), Сети (Networks)), учреждённой с Джеффри Хинтоном и Алексом Крыжевским. С марта 2013 по 2015 год – Илья научный сотрудник в подразделении Google Brain (после покупки DNNResearch компанией Google). С конца 2015 по 2023 год – сооснователь и главный научный компании OpenAI.
В 2023 году он становится в OpenAI соруководителем нового проекта Superalignment (Суперинтеллект), ориентированного на обеспечение безопасности ИИ.
...
К осени 2023 года между Сэмом Альтманом (ещё одним сооснователем OpenAI) и Суцкевером возник конфликт.
Илья считал, что компания движется слишком быстро, игнорируя риски, а Сэм хотел быстро использовать открывшееся окно возможностей.
...
Конфликт закончился тем, что 15 мая 2024 года Суцкевер ушел. При этом он считал, что через какое-то время из-за отсутствия новых данных в Интернете предобучение закончится, и придется перейти к синтетическим данным, но это только несколько улучшит значения метрик, не обеспечив нового качества, в отличие от того, как это было раньше. Похоже, это и произошло при выпуске в июле 2025 года ChatGPT-5.
...
Суцкевер считает, что следующий качественный скачок в развитии ИИ наступит, когда модели, созданные учёными, смогут делать «новую науку» – самостоятельно ставить гипотезы и получать нетривиальные научные результаты. Он полагает, что в части создания безопасного суперинтеллекта на первый план выходит мысль, что безопасность и способности – единая техническая научная задача: нельзя сделать безопасный ИИ, не понимая его научно, и нельзя строить сверхмощные системы, игнорируя строгий научный анализ их надежности (https://www.antoinebuteau.com/lessons-from-ilya-sutskever/).
И там еще много интересного.
Как обычно у Шалыто — со всеми ссылками.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, LaptevVV, Вы писали:
LVV>К осени 2023 года между Сэмом Альтманом (ещё одним сооснователем OpenAI) и Суцкевером возник конфликт. LVV>Илья считал, что компания движется слишком быстро, игнорируя риски, а Сэм хотел быстро использовать открывшееся окно возможностей.
Есть другое мнение о конфликте.
Илья Суцкевер настоял на увольнении Альтмана в 2023 из-за зависти
Такую версию событий предлагает только что всплывшее в рамках дела «Маск против Альтмана» письмо Кевина Скотта – CTO Microsoft.
Оно написано через два дня после увольнения Сэма и адресовано Фрэнку Шоу – директору по коммуникациям Microsoft. Скрины прикрепляем.
– Увольнение произошло из-за того, что Суцкевер все больше расходился с Сэмом во взглядах. И дело, по мнению Кевина, было не столько в глобальной безопасности, сколько в личных причинах.
– Во-первых, в OpenAI на почве разделения вычислительных ресурсов нарастал настоящий конфликт между отделами Research и Applied. Applied (ChatGPT, API) временно получил приоритет, потому что приносил прибыль, а Research (и Илья в частности) считал это игрой в одни ворота и винил Applied в нехватке GPU для исследований. Альтман пытался нарастить мощности, но Суцкевер представил ситуацию совету в ином свете.
– Во-вторых, Илья болезненно переживал успех Якуба Пахоцки. Альтман повысил его и поставил руководить основными направлениями исследований моделей. После этого прогресс резко ускорился: фактически, бывший подчиненный Суцкевера стал лидером и начал успешно решать задачи, с которыми Илья сам долго не мог справиться. Это, якобы, послужило еще одним триггером к обращению Ильи к совету и последующему увольнению Сэма.
Здравствуйте, LaptevVV, Вы писали:
LVV>В статье интересно про то, куда движутся. LVV>И почему все застопорилось пока.
Статья хорошая, но неполная и неточная в деталях.
Можно разобрать на цитаты и оспорить многие. Например, про прожорливость трансформеров и про то, что раньше свёрточные сети работали на слабых GPU. Практика в лице Андрея Карпаты показывает, что стоимость обучения GPT-2 упала в сотни раз:
Бывший директор по ИИ в Tesla Андрей Карпати обучил модель, которая превосходит GPT-2 по бенчмарку CORE, потратив $73 и 3 часа на одном узле из восьми GPU H100. Когда OpenAI тренировала оригинальную GPT-2 (1,5 млрд параметров) в 2019 году, это заняло неделю на 32 чипах TPU v3 и обошлось примерно в $43 000.
Для детекции традиционно используются свёрточные модели YOLO, которые со временем становятся и легче, и точнее. И при это трансформеры (RT-DETRv4, RF-DETR, D-FINE) с ними уже на равных соревнуются по качеству и скорости. Разрыв сокращается стремительно.
Ну и так в глаза бросаются моменты, которые можно исправить и дополнить. Можно считать это придирками.
Здравствуйте, LaptevVV, Вы писали:
N>>Ну и так в глаза бросаются моменты, которые можно исправить и дополнить. Можно считать это придирками. LVV>Ну, ты б написал, а мы бы почитали...
Так я парочку уже указал.
Кроме всего прочего, Шалыто почему-то не указал другую знаковую статью в область ML, а именно Ричарда Саттона «Горький урок» (The Bitter Lesson). В этой статье показывается, что человек с трудом добывает знания, а потом они улетают в трубу из-за тонны данных и вычислительных мощностей. Лингвистику победила статистика, шахматистов полный перебор, сложные модели пали перед массивами линейных. Что бы ни говорили Суцкеверы, Лекуны и другие, пока что побеждают не модели, а данные и датацентры.
