S>>>Пока другая проблема — оно сырое. Т.е. 80% видимого результата есть — но это лишь 20% затрат, грубо говоря. Смогут ли довести до ума? Или же упрутся в стену, что для доведения до ума придется сжечь в 1 трлн. раз больше ресурсов, так что уже выгоднее будет нанять кожаных?
P>>Вообще-то доводка — самая трудоёмкая и затратная стадия любого проекта. Но ИИ про это ничего не знает. Как и много чего ещё.
S>Ну будем всеми силами надеяться, верить что доводку он сделать не сможет никогда.
А что сложного?
Есть браузер, сгенерированный нейросетью, который не может открыть определенные странички. Геренируешь еще один браузер, который не сможет открыть какие-то другие странички, генерируешь менеджер браузеров, который перед открытием каждой странички будет проверять какой из браузеров сможет ее отобразить и делегирует открытие соответственно.
Здравствуйте, Shmj, Вы писали:
S>А почему именно одно что-то нужно брать? Пусть возьмет общую идею форумов и чатов, объединит — и выдаст некий недоблог с короткими сообщениями.
Давай конкретнее, какой open source проект с каким надо было объединить?
S>Вообще кто сказал что нужна именно некая новизна, которой ранее не было? Фейсбук не был первой соц. сетью. Гугл не был первым поисковиком.
Во-первых, конкуренты фейсбука и гугла были не open source. Во-вторых, гугл и фейсбук были значительно лучше своих тогдашних конкурентов. Поэтому даже если бы конкуренты были open source и их ЛЛМ скопировала с модификациями (и потерей качества), то эта модифицированная копия была бы никому не нужна. Поэтому ЛЛМ подходит, если тебе нужно стандартное решение стандартной проблемы в среднем качестве (пока скорее ниже среднего). Если же ты хочешь обойти конкурентов в техническом плане, то сегодняшние ЛЛМ могут играть только вспомогательную роль.
S>Чтобы протестировать эту систему, мы поставили перед собой амбициозную цель: создание веб-браузера с нуля. Агенты работали примерно неделю и написали больше миллиона строк кода в тысяче файлов. Исходный код можно посмотреть в GitHub (https://github.com/wilsonzlin/fastrender)
Как уже выше сказали, мы здесь наблюдали две давно известные вещи: 1) ЛЛМ-ИИ умеет хорошо переносить решения, на которых он обучен (в данном случае, браузер), в заданную пользователем среду, на которой он тоже обучен (в данном случае, Rust); 2) ЛЛМ-ИИ можно масштабировать, то есть если дать ЛЛМ-ке много времени и много ресурсов, то она может выполнить пункт 1 даже по отношению к такой сложной задаче как браузер. Это, несомненно, круто, и никто до сих пор не осознаёт, а как далеко это зайдёт. По логике вещей, уже в ближайшие годы мы должны стать свидетелями сотен и тысяч ИИ-игр (пускай, не ААА-класса), мелодий, мультфильмов, книг и т.п. Вот просто буквально завтра должны выйти бестселлеры литературы! Новый золотой век! Оно же обучено по всем книгам! Оно же одновременно и Толстой, и Пушкин, и Джек Лондон! Не? Пока что нет... Я что-то кроме убогих 5-секундных роликов и туповатых тем на форуме пока что ничто от ИИ не видел. Странно... Наверное, это пока. Нужно дальше масштабировать!
Но это я отвлёкся. Я про то, что подобный эксперимент показывает текущее состояние ЛЛМ-технологии, но оно никак не показывает её будущее. Вот это многие не могут понять. Поставьте другой эксперимент. Попросите сделать браузер для 3д-очков. Вот чтобы по тем же страницам можно было ходить в трёхмерном пространстве. Но не как между плоских экранов, а чтобы сам контент был объёмным. И еще, чтобы прикасаясь к веб-странице, она звучала. Чтобы пользователь мог закрыть глаза, и услышать страницу. Ну и интерактивную разработку туда же. Чтобы ручками и голосом верстать 3д-страницы. И дать ему не неделю, а, скажем, ГОД! И вот по результату мы увидим, каково будущее этой технологи. Потому что сейчас ЛЛМ может помочь каждому человеку, а вот заменить может, реально, только тупой кожаный мешок. Так давайте не уподобляться последним и немного критически смотреть на вещи.
S>Чтобы протестировать эту систему, мы поставили перед собой амбициозную цель: создание веб-браузера с нуля. Агенты работали примерно неделю и написали больше миллиона строк кода в тысяче файлов. Исходный код можно посмотреть в GitHub (https://github.com/wilsonzlin/fastrender)
Очень интересно, процесс впечатляет, результат нет.
Вот тут умный человек сравнил этот ИИ браузер с Blitz это пре-альфа версия HTML/CSS движка рендеринга для Dioxus, в примерах есть браузер, можно запустить так cargo run --release --package browser. Открывает простые сайты примерно на том же уровне что и ИИ браузер, то есть простые сайты без js вполне нормально. И все это счастье ~25000 строк раста, понятно что используются библиотеки, но даже с их учетом будет порядка 150000 строк.
Здравствуйте, Went, Вы писали:
W>Как уже выше сказали, мы здесь наблюдали две давно известные вещи: 1) ЛЛМ-ИИ умеет хорошо переносить решения, на которых он обучен (в данном случае, браузер), в заданную пользователем среду, на которой он тоже обучен (в данном случае, Rust);
Как-то все забывают что на rust есть хоть и недоделанный но вполне рабочий, если брать за образец сабжевый браузер, servo. Так что и перенос на другой язык не факт что был продемонстрирован.
Здравствуйте, FR, Вы писали:
FR>Очень интересно, процесс впечатляет, результат нет. FR>Вот тут умный человек сравнил этот ИИ браузер с Blitz это пре-альфа версия HTML/CSS движка рендеринга для Dioxus, в примерах есть браузер, можно запустить так cargo run --release --package browser. Открывает простые сайты примерно на том же уровне что и ИИ браузер, то есть простые сайты без js вполне нормально. И все это счастье ~25000 строк раста, понятно что используются библиотеки, но даже с их учетом будет порядка 150000 строк.
Здравствуйте, Went, Вы писали: W>Я про то, что подобный эксперимент показывает текущее состояние ЛЛМ-технологии, но оно никак не показывает её будущее. Вот это многие не могут понять.
Проведу немного наивную аналогию: вы хотите дать 15-летнему ребенку задачу на год запилить браузер с блекджеком... Да, он всосал "знания" многих библиотек, но его мозг еще не работает как нужно. Как по мне, уровень развития ЛЛМ определяется в первую очередь развитием архитектур. И если 5 лет назад мы были на уровне "слюни пускать" (простейшие трансформеры), то сейчас стабильно на уровне "13-18 лет" (MoE etc). Какая-нибудь из следующих архитектур толкнет нас в следующий "возраст", уровня 25-30 лет. И тогда поднапрягутся не только лишь все.
Сейчас идет накопление и отсеивание низковисящих архитектур, рекомбинаций. Хотя, уже явно прослеживаются и тренд к специализациям, оптимизациям и поиску расширения в других "плоскостях" (попытки понять преобразование информации в чувственный опыт и т. п.).
Winter is coming...
p.s. Кстати, в связи с чувственным опытом вспоминается "старый французский анекдот"
«И увидела жена, что дерево хорошо для пищи... и взяла плодов его и ела; и дала также мужу своему, и он ел» (Быт. 3:6)
«И открылись глаза у них обоих, и узнали они, что наги...» (Быт. 3:7).
Вот никогда бы не подумал что скачусь до цитирования такого, а вот поди ж ты.
Здравствуйте, Went, Вы писали:
W>Вот просто буквально завтра должны выйти бестселлеры литературы! Новый золотой век! Оно же обучено по всем книгам! Оно же одновременно и Толстой, и Пушкин, и Джек Лондон! Не? Пока что нет...
Может быть именно в этом и проблема?
Что при таком способе обучения, имхо, неминуемо происходит некое усреднение/упрощение/шаблонизация. И вместо "одного великого" мы получаем "миллион посредственностей".
Более, того, оказалось, что система самоподдерживающаяся
Все начинают звучать как искусственный интеллект, даже в разговорной речи.
Анализ 280 000 расшифровок видеозаписей выступлений и презентаций с академических каналов показал, что в них всё чаще используются слова, которые являются излюбленными оборотами у ChatGPT.
Новые исследования лишь подтвердили динамику 2024 года
Т.е. при обучении модели вырабатывается некий "упрощенный (усредненный) язык", использующий одни и те же обороты -> модель активно используют для написания/редактуры -> написанное озвучивается людьми -> модель обучается на ею же "придуманном" языке -> ...
А дальше это просто становится нормой уже у людей...
Здравствуйте, pva, Вы писали:
pva>Проведу немного наивную аналогию: вы хотите дать 15-летнему ребенку задачу на год запилить браузер с блекджеком... Да, он всосал "знания" многих библиотек, но его мозг еще не работает как нужно. Как по мне, уровень развития ЛЛМ определяется в первую очередь развитием архитектур. И если 5 лет назад мы были на уровне "слюни пускать" (простейшие трансформеры), то сейчас стабильно на уровне "13-18 лет" (MoE etc). Какая-нибудь из следующих архитектур толкнет нас в следующий "возраст", уровня 25-30 лет. И тогда поднапрягутся не только лишь все.
Да, эта аналогия напрашивается, но поэтому я и обозначил сразу, что речь идёт про оценку текущего уровня. На текущем уровне, оно может в подражание, но не может в творчество. При этом и подражание, увы, пестрит дефектами. И вот этому условно оценённому в 15 лет "ребёнку" все через одного прочат будущее академика. А, собственно, почему? Почему не алкоголика или вора-карманника? Почему, вообще, возраст ИИ оценили в 15 лет? Почему не в 40? Может, это, вообще, пик его крутости, а дальше пойдёт только деградация?
Здравствуйте, Михаил Романов, Вы писали:
МР>Может быть именно в этом и проблема? МР>Что при таком способе обучения, имхо, неминуемо происходит некое усреднение/упрощение/шаблонизация. И вместо "одного великого" мы получаем "миллион посредственностей".
Да. У человека, что характерно, начитанность разными мастерами не ведёт к размыванию стиля и потере оригинальности, мне кажется, даже, наоборот. Но разговор даже не про это. Пускай мы получим какой-то усреднённый язык, стиль изложения. Но где эти романы, написанные, пускай и обыденной речью? Если оно написало программу на миллион строк, почему оно не напишет роман такого же размера? Я слышал только про какой-то "конкурс рассказов", где написанные ИИ работы не могли отличить от работ людей. Хорошо, я верю, что оно может подражать, особенно на коротких фрагментах. Но ведь наши ИИ-адепты обещают замену "кожаным мешкам", а это, мягко говоря, совсем другой уровень.
Здравствуйте, Went, Вы писали:
W>На текущем уровне, оно может в подражание, но не может в творчество. Почему, вообще, возраст ИИ оценили в 15 лет? Почему не в 40?
"Подражание, а не творчество" — это и есть типовой 15-летний подросток. Уже есть какие-то знания и навыки, но еще нет умения удерживать достаточно длинный контекст. Насколько я помню, то уровни школы методически делятся на начальную (учимся базово читать, писать и арифметике), среднюю (познаем мир — расширяем и углубляем базу), старшую (углубляем по спецдисциплинам и профилируем). И только в универе происходит специализация, систематизация на лету и связность с удержанием контекста.
W>Почему не алкоголика или вора-карманника?
Потому что до текущего момента модели пылесосили все что под руку попадет. Чтобы он вырос "интеллигентом" прийдется отбирать материалы для обучения, а это уже следующая итерация.
W>Но где эти романы, написанные, пускай и обыденной речью? Если оно написало программу на миллион строк, почему оно не напишет роман такого же размера? W>Я слышал только про какой-то "конкурс рассказов", где написанные ИИ работы не могли отличить от работ людей.
На хабре пару дней назад было что-то такое, но весьма посредственно у них выходит пока. Но! В том тестировании задачу ставили "в лоб", типа "выдай рассказ на тему". Вот оно в пределах контекстного окна чего-то пыжилось.
А ведь написание большого рассказа требует той же самой иерархичности задач, что в и разработке. И я уверен, что все это будет. Оркестрация уже в наличии. И в целом, технически он уже мог бы писать что-то длинное. Но, имхо, оно было бы пресно из-за той самой "усредненности". Да и мы с возрастом все реже встречаем "изюминки" в литературе, которые трогали бы струны души.
Здравствуйте, Went, Вы писали:
W>Но разговор даже не про это. Пускай мы получим какой-то усреднённый язык, стиль изложения. Но где эти романы, написанные, пускай и обыденной речью? Если оно написало программу на миллион строк, почему оно не напишет роман такого же размера? Я слышал только про какой-то "конкурс рассказов", где написанные ИИ работы не могли отличить от работ людей.
Я не то чтобы серьезно слежу за темой (да, вот такой вот ретроград...), поэтому, возможно мой вывод очень поверхностный, но у меня сложилось впечатление, что на текущем уровне генеративные модели (что для текстов, что для картинок) хорошо работают, когда пользователю не важен точный результат, а устроит "любой +/- подходящий".
Т.е. (я сейчас очень условно говорю) если я хочу картинку "с тремя симпатичными эльфийками" — то результат будет великолепным: практически мгновенно, без необходимости искать по стокам, делать коллаж (да еще и привлекать человека с навыками работы в фоторедакторах, т.е. "дизайнера"), действительно три и действительно симпатичных
Но как только я попытаюсь получить что-то конкретное ("правая одета в зеленую тунику, ..., у средней колье с сапфиром, ... у левой небольшая асимметрия в прическе, ..."), кроме варианта, что прямо всё это было использовано в датасетах обучения (сомнительно), мы на получение результат потратим на порядок больше усилий, чем "девочка-дизайнер в фотошопе".
Поэтому, имхо, выдать роман оно вполне способно, но будет, подозреваю, как в том анекдоте
- Я могу печатать на компьютере со скоростью 1500 символов в минуту!
— Похвально...
— Правда, такая ерунда получается...
Здравствуйте, pva, Вы писали:
pva>Потому что до текущего момента модели пылесосили все что под руку попадет. Чтобы он вырос "интеллигентом" прийдется отбирать материалы для обучения, а это уже следующая итерация.
Я, скорее про то, что "интеллигентом", может, оно и станет, но копипастеры и плагиаторы — тоже интеллигенты в своём роде, а вот будет ли от его "труда" какая-то научная польза?
pva>На хабре пару дней назад было что-то такое, но весьма посредственно у них выходит пока. Но! В том тестировании задачу ставили "в лоб", типа "выдай рассказ на тему". Вот оно в пределах контекстного окна чего-то пыжилось. pva>А ведь написание большого рассказа требует той же самой иерархичности задач, что в и разработке. И я уверен, что все это будет. Оркестрация уже в наличии. И в целом, технически он уже мог бы писать что-то длинное. Но, имхо, оно было бы пресно из-за той самой "усредненности". Да и мы с возрастом все реже встречаем "изюминки" в литературе, которые трогали бы струны души.
Ну вот тут и суть. Что вроде бы всё есть, и масштабирование, и оркестрация, и кризис на рынке оперативки, а никаких значимых результатов в плане качества.
Подытожу. Оно уже полезно. Оно может давать результат среднего качества, и довольно быстро. Уже давно нейронки разбирают голос, изображения, нарушения ПДД, а теперь еще и подсказывают в хорошо описанных областях знаний. Но адепты постоянно твердят про какую-то "замену кожаных мешков", а для этого оно должно работать еще и лучше подавляющего большинства оных. А этого не видно.
Здравствуйте, Went, Вы писали:
W>Уже давно нейронки разбирают голос, изображения, нарушения ПДД, а теперь еще и подсказывают в хорошо описанных областях знаний. W> Но адепты постоянно твердят про какую-то "замену кожаных мешков". А этого не видно.
Как там дела у переводчиков? У клерков, которые раньше процессили нарушения ПДД? А актеров озвучки, которые ноют как ИИ ворует их голоса? У водил метро? В процессе замены дальнобои, курьеры, таксо. Активно идет внедрение в медицине. Кстати, тут в "О жизни" были уже топики а ля "Музыка из рая".. да и ютуб заполнен генерацией. Привет музыкантам, а за ними и актерам. Профессия может и не исчезнет, но подсократиться может (в том числе всякие причастные типа звукорежисеров и т.п.) и будет "одно сплошное телевидение".
Так что процесс идет. Может не так быстро как кому-то хотелось бы, но я бы еще притормозил, чтоб до спокойной пенсии дотянуть.
В пору доставать мемный список "Отрицание...Принятие" и начинать трекать.
Здравствуйте, pva, Вы писали:
W>> Но адепты постоянно твердят про какую-то "замену кожаных мешков". А этого не видно. pva>Как там дела у переводчиков? У клерков, которые раньше процессили нарушения ПДД? А актеров озвучки, которые ноют как ИИ ворует их голоса? У водил метро? В процессе замены дальнобои, курьеры, таксо. Активно идет внедрение в медицине. Кстати, тут в "О жизни" были уже топики а ля "Музыка из рая".. да и ютуб заполнен генерацией. Привет музыкантам, а за ними и актерам. Профессия может и не исчезнет, но подсократиться может (в том числе всякие причастные типа звукорежисеров и т.п.) и будет "одно сплошное телевидение".
Я говорю конкретно о семантических LLM-ках, которые должны заменить именно процесс творческого мышления, вроде "создай фильм", "напиши книгу", "напиши игру" и т.п. Ты же сам мою цитату привёл, где я говорю, что научилось оно распознавать ПДД (хотя и не идеально), то есть замена рефлекторного анализа вполне решена, решена даже задача рефлекторного синтеза. А вот с творческим синтезом пока что совсем грустно, несмотря на громкие обещания. А без этого никакой замены людям не будет, ибо оно будет лишь инструментом. Подобно тому, как дрель не заменила слесаря, текущий уровень ИИ не заменяет сколь угодно стоящего программиста.
Здравствуйте, Went, Вы писали:
W>Я говорю конкретно о семантических LLM-ках, которые должны заменить именно процесс творческого мышления...
Дай немного времени. Мне кажется здесь вопрос даже не столько в технической стороне, сколько в том что еще "руки не дошли".
Я сейчас пытаюсь вникнуть в тему ИИ и вижу что большинство инструментов на паблике ориентированы на веб-разработку. Очень мало или практически отсутствуют публичные проекты для С++/Java.
Предлагаю подождать и посмотреть что останется на берегу когда волна схлынет.
Что касается именно "творческого мышления" в художественной литературе, то без освоения темы чувственного опыта, которую я упоминал выше, дела не будет, на мой взгляд. Нужен хотя бы симулякрум в виде человека, по реакции которого ИИ могла бы получать фидбек о получаемых эмоциях. Кстати, в этом плане социальные сети — отличный испытательный полигон, на котором можно оттачивать короткие вбросы и оценивать смайлики. Миллиарды леммингов дадут нужную статистику, а дальше будет тебе творческий синтез.
W>Подобно тому, как дрель не заменила слесаря, текущий уровень ИИ не заменяет сколь угодно стоящего программиста.
Из своего опыта могу привести пример что с помощью ИИ (в качестве знакомства с Клавдией) я за два дня запилил структурный vue компонент (виджет на несколько слоев с кешированием, префетчем и парой дополнительных плюшек) с покрытием тестами. Это однозначно сэкономило мне как минимум неделю, если бы я это делал через аутсореров уровня мидла/джуна.
Еще заметь, что почему-то разгоняют волну о резком сокращении найма джунов, росте порога входа в профессию и т.п.
Так что твое утверждение достаточно спорно.
Здравствуйте, pva, Вы писали:
pva>Что касается именно "творческого мышления" в художественной литературе, то без освоения темы чувственного опыта, которую я упоминал выше, дела не будет, на мой взгляд. Нужен хотя бы симулякрум в виде человека, по реакции которого ИИ могла бы получать фидбек о получаемых эмоциях. Кстати, в этом плане социальные сети — отличный испытательный полигон, на котором можно оттачивать короткие вбросы и оценивать смайлики. Миллиарды леммингов дадут нужную статистику, а дальше будет тебе творческий синтез.
Дык есть уже всем известные классические книги, которые можно брать как +1, и всякий бульварный треш, который взять как -1, и обучать в этом диапазоне. Миллиарды леммингов уже давно всё сказали )
pva>Из своего опыта могу привести пример что с помощью ИИ (в качестве знакомства с Клавдией) я за два дня запилил структурный vue компонент (виджет на несколько слоев с кешированием, префетчем и парой дополнительных плюшек) с покрытием тестами. Это однозначно сэкономило мне как минимум неделю, если бы я это делал через аутсореров уровня мидла/джуна. pva>Еще заметь, что почему-то разгоняют волну о резком сокращении найма джунов, росте порога входа в профессию и т.п. pva>Так что твое утверждение достаточно спорно.
Инструменты заменяют не профессии, они заменяют лишь отдельные узкие виды деятельности. Дрель заменила собой процесс сверления, но разве слесарь только сверлил? И даже дрель должен кто-то держать. Так и ИИ не заменил джуна, он заменяет некоторые виды программирования, которые посильны джунам. И, кстати, что насчёт качества кода? Ты бы лучше не написал?
Здравствуйте, Went, Вы писали:
W>Дык есть уже всем известные классические книги, которые можно брать как +1, и всякий бульварный треш, который взять как -1, и обучать в этом диапазоне. Миллиарды леммингов уже давно всё сказали )
Классические книги — это большой объем. В них оценка +1/-1 ничего не говорит. Она "обобщенная". Обучение на соцсетях — это тестирование идей в короткой форме, как кирпичиков, из которых потом можно собирать большое произведение, добавляя воды (природы, погоды и т.п.).
W>Инструменты заменяют не профессии, они заменяют лишь отдельные узкие виды деятельности.
Бывают такие инструменты, которые меняют ландшафт до неузнаваемости. Безусловно, можно сказать что водители заменили кучеров и стало их намного больше, но вот рынок конюхов изрядно проредел.
W>Дрель заменила собой процесс сверления, но разве слесарь только сверлил? И даже дрель должен кто-то держать.
Я тебе могу сказать за переводчиков. У меня тут были две сделки у нотариуса и переводчик на них нужен был исключительно по юридическим причинам (закон требует). Перевод, сделанный софтом был быстрее и качественнее чем переводила мадам на сделке.
W>И, кстати, что насчёт качества кода? Ты бы лучше не написал?
Качество кода вполне достойное вышло (на мой веб-фронт-дилетанский взгляд). Я бы написал по другому (я больше привык к Vue2/options, для Vue3/composition я пишу черти как). Впрочем, я вообще не веб-разраб, но богатый жизненный опыт позволяет писать на том что есть под рукой. Сам понимаешь, что качество кода при таком подходе отличается от кровавого энтерпрайза, "чистого кода" и прочих фишек профессионального специалиста. Главное — мои решения решают проблемы заказчиков.
Здравствуйте, Went, Вы писали: W>Дык есть уже всем известные классические книги, которые можно брать как +1, и всякий бульварный треш, который взять как -1, и обучать в этом диапазоне. Миллиарды леммингов уже давно всё сказали )
Тестировал свою карту (размер контекста для разных моделей и скорость обработки). Решил скормить какой-нибудь бред в качестве идеи для литературного произведения и посмотреть что выйдет.
Задание
приведи несколько аллегорий для эпического произведения, канвой которого является ГГ — таксист, марксист-ленинист, каратист, попаданец в эпоху первобытных людей
Результат (оценочное суждение на основании собственных ощущений после 5 перегенераций ответа для каждой модели, квантизация/размер контекста ~Q4/128k, Q5/96k).
qwen3-coder-30b модели немного туповаты для подобной фантастики
gpt-oss-20b очень хорошо прорабатывает заданный контекст, объединяя условия целиком (единственный)
glm-4.7-flash достаточно прямолинеен, но может быть хорош в реализации сценария
nemotron-3 прям закручивает заданный контекст похлеще gpt-oss, но не объединяя условия (наркоманская модель)
granite-4.0 уныло, на уровне qwen3
Это я к тому что, помимо всех остальных требований, "инструмент" должен соответствовать задаче — чтобы получать романы нужно и тренировать модель соответственно.
