...я описываю, как ИИ лажает в микроархитектурных задачках на SystemVerilog, которые я даю студентам на интервью.
Дошло до того, что стартаперы больше не берут от меня задачек, а с честными глазами говорят: мы пока не умеем решать ваши задачки, но научимся как только большая компания инвестирует в нас деньги, объявит нас своим партнером и даст нам доступ к миллионам строк на верилоге в своих закромах, на которых мы научимся и будем сиять.
А пока смотрите наши слайдики.
Ну ладно, хорошо, допустим. А где же ИИ сияет сейчас? Мне говорили, что пусть ИИ не сияет на языках описания аппаратуры, но он уже дошел до продакшн в языках программирования, где заменил джуна и скоро заменит миддла. Так что во всех компаниях останется только несколько ИИ-гуру, а все остальные программисты будут отправлены собирать клубнику на плантациях города Ватсонвилл, Калифорния, где они заменят нелегальных мексиканцев, которых Трамп собирается отправить на родину.
Программирование, говорите? Ну хорошо, вот три мои попытки оправдать ИИ на задачах из программирования.
...
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Re[2]: Юрий Панчул: ИИ лажает там, где должен сиять
...я описываю, как ИИ лажает в микроархитектурных задачках на SystemVerilog, которые я даю студентам на интервью.
Это не ИИ (там нет интеллекта, можно заложить при обучении что угодно и на выходе получать релевантный этим данным результат). Это LLM (большая языковая модель) — пока черный ящик где на входе какой-то запрос и на выходе результат. А вся обработка зависит от модели и как ее обучали, на каких данных. Могут обучать как хотят и будет выдавать — чему обучили.
Не думаю, что современные версии LLM не справятся со студенческими задачками — они могут попасть в интернет и будут в дальнейшем более большими моделями "изучены". Слабые модели естественно в узких предметных задачках никогда нормальный результат не выдадут.
Просто запостите задачку, можно даже на старых но больших моделях посмотреть — могут ли справится, взять тот же старый deepseek (он в 2025 году вышел, но обучался на знаниях собранных ранее — в 2024. Все новое у него не было заложено). Я могу запустить дома и старый и вообще любой опен сорс, кончно чем дневнее и меньше модель тем хуже даже ЕГЭ решает. Но тут интересно — ведь старые модели обучены на данных до новых ЕГЭ, т.е. при их обучении не было решений и в них не заложены результаты (если ранее в интернете такая задача не засветилась).
Еще моделям если не справляются — можно доп пояснения вводить и тогда может быть существенный прорыв, т.е. не просто LLM а + студент чуть знающий и направляющий LLM... Сама LLM тупа — она выдает наиболее подходящий по статистике ответ среди всех данных на которых ее обучали. Искусственным интеллектом тут и не пахнет, это модель основанная на статистических данных. Что заправили — на этом и едет. Тут чудовищно что это заменит обычный интернет поиск, и в обучение можно заложить свои политические данные, которые далее будут выдаваться как истина.
LVV>>Мы не знаем, что такое сознание. N>Мы не знаем, что такое Любовь. Мы не заем кто такой Бог.
Безусловно. LVV>>Мы не знаем, что такое интеллект. LVV>>Так что это не более, чем просто название. N>Не так. Мы можем наблюдать, оценивать, изучать — наука очень много знает о законах функционирования естественного интеллекта. Мы знаем пределы человеческой памяти, измеряем на тестах его возможности, олимпиады по разным предметам показывают кто, и что, и как, и в каком возрасте.
Ничего она не знает.
Фаза анализа даже не закончена.
Если бы наука ЗНАЛА, то можно было бы измерять УРОВЕНЬ интеллекта (кстати, что это такое ?)
И более того, создавать интеллект — где он создается-то ? LVV>>Кто-то взял и назвал алгоритмы с матрицами и функциями многих переменных нейронной сетью — это просто название.
N>Это не просто название — это так и есть. Есть искусственный нейрон, есть сеть из искусственных нейронов. Всё это делали не просто так, а с целью переложить на компьютер часть тех задач, которые считались прерогативой человека, считались интеллектуальными. С развитием нейросетей понятие интеллекта сильно изменилось, оно стало всё больше уточняться. N>Многие задачи, такие как преподавание или математические открытия так и остались интеллектуальными. А арифметические вычисления как-то потеряли и стали механическим трудом, их автоматизировали.
LVV>>Поэтому пока нет определения интеллекта — даже говорить не о чем. N>Есть определение естественного интеллекта. Даже искусственный интеллект стал подразделяться на 3 части: AI, AGI, ASI. Вот современные LLM относятся просто к AI, то есть к слабому или узкому искусственному интеллекту.
Это не определение, а принятое мнение авторитета. LVV>>Это я тебе как эксперт говорю... N>И верю, и не верю. Верю, потому что глаз намётан, но только студенческие работы — это не тест Тьюринга. Не верю, потому что существует эта тема, обсуждение статьи, написанной слабым ИИ — но ты не смог это распознать.
Потому как в статьях, сгенеренным интеллектом я не особо эксперт.
Но и тут попадаются.
Я эксперт в нашем ваковском журнале.
Мне на рецензию дают статьи.
И там я распознаю.
И смотри ниже, чего Панчул написал на основе ЛИЧНОГО опыта.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
LVV>Во, примерно так было в московской конторе, где я работал 22-23 год. Я тимлида спросил конкретно: есть ли человек, который ориентируется в системе в целом и знает ее. Он ответил, что одного такого нет, но все вместе они знают.
Здравствуйте, LaptevVV, Вы писали:
LVV>И смотри ниже, чего Панчул написал на основе ЛИЧНОГО опыта.
Там в комментариях ему уже ответили. Проблема Панчула в том, что он считает, что ИИ == ЕИ. И работать с ним надо соответственно.
Ему говорят, что LLM надо давать больше контекста, использовать соответствующие инструменты, а не просто спрашивать в чатике.
Если посмотреть внимательно на последние достижения в плане решения задач, то сложные проблемы решаются сложными методами: специальные промты, рекурсивный запуск ИИ-агентов, взаимных их контроль и верификация, подключение внешних инструментов (интерпретаторы ЯП, анализ результатов запуска и т.д.).
Как ИИ доказывает математические теоремы? Запускается несколько агентов, один из которых генерирует гипотезы, другой пишет lean-код и запускает его, третий смотрит на результат и корректирует. И так по кругу под контролем опытного математика.
Панчул врывается в это дело с ноги, ожидая что максимально дешёвая и оптимизированная под среднего человека LLM из чатика (он даже не может ответить какая конкретно), решит его проблемы с программируемым калькулятором. Его ожидания — его проблемы. На текущий момент только ожиданий мало для получения результата.
LVV>>И смотри ниже, чего Панчул написал на основе ЛИЧНОГО опыта.
N>Там в комментариях ему уже ответили. Проблема Панчула в том, что он считает, что ИИ == ЕИ. И работать с ним надо соответственно.
Именно так воспринимают ИИ 98.5% жителей земли... N>Ему говорят, что LLM надо давать больше контекста, использовать соответствующие инструменты, а не просто спрашивать в чатике.
То есть, сначала научить под свою работу.
Мож просто работу сделать ? N>Как ИИ доказывает математические теоремы? Запускается несколько агентов, один из которых генерирует гипотезы, другой пишет lean-код и запускает его, третий смотрит на результат и корректирует. И так по кругу под контролем опытного математика.
ИИ доказывал теоремы еще в 60-е годы.
В математической логике методом резрлюций.
Но я не помню, чтобы те программы назывались ИИ, хотя там было открыто несколько теорем, которых математики не знали.
И, конечно, это было еще ДО нейронных сетей. N>Панчул врывается в это дело с ноги, ожидая что максимально дешёвая и оптимизированная под среднего человека LLM из чатика (он даже не может ответить какая конкретно), решит его проблемы с программируемым калькулятором. Его ожидания — его проблемы. На текущий момент только ожиданий мало для получения результата.
Это ожидание ВСЕХ неспециалистов в ИИ, то есть 99.9999... процентов людей.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, LaptevVV, Вы писали:
LVV>ИИ доказывал теоремы еще в 60-е годы. LVV>В математической логике методом резрлюций. LVV>Но я не помню, чтобы те программы назывались ИИ, хотя там было открыто несколько теорем, которых математики не знали.
Насколько я помню историю, ничего таким образом не вывели и не доказали. И да, это не было ИИ, поэтому так и не называли. Вот Пролог с экспертными системами когда-то называли ИИ, а потом передумали, потому что это была просто логика предикат второго порядка. Я не исключаю, что через 10-20 лет текущие LLM тоже никто не будет считать ИИ. Но этот термин удобен для обозначения того, что находится на переднем крае.
Re: «Галлюцинации LLM — это не баг»: профессор математики
https://habr.com/ru/companies/lanit/articles/985162/
Владимир Крылов, профессор математики, научный консультант Artezio и один из самых глубоких русскоязычных экспертов по применению ИИ в разработке, дал интервью по итогам года. Мы поговорили о том, почему reasoning-модели галлюцинируют вдвое чаще обычных (и это математически неизбежно), почему OpenAI объявил «код красный» и отстаёт от Google, и правда ли, что программисты, умеющие писать код только руками, скоро вымрут как вид.
Спойлер: Паваротти не умел читать ноты, и это кое-что говорит о будущем vibe-coding.
Владимир Крылов регулярно проводит лекции о практическом применении LLM в разработке на канале Ai4dev.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
