S>>>Пока другая проблема — оно сырое. Т.е. 80% видимого результата есть — но это лишь 20% затрат, грубо говоря. Смогут ли довести до ума? Или же упрутся в стену, что для доведения до ума придется сжечь в 1 трлн. раз больше ресурсов, так что уже выгоднее будет нанять кожаных?
P>>Вообще-то доводка — самая трудоёмкая и затратная стадия любого проекта. Но ИИ про это ничего не знает. Как и много чего ещё.
S>Ну будем всеми силами надеяться, верить что доводку он сделать не сможет никогда.
А что сложного?
Есть браузер, сгенерированный нейросетью, который не может открыть определенные странички. Геренируешь еще один браузер, который не сможет открыть какие-то другие странички, генерируешь менеджер браузеров, который перед открытием каждой странички будет проверять какой из браузеров сможет ее отобразить и делегирует открытие соответственно.
Здравствуйте, Shmj, Вы писали:
S>А почему именно одно что-то нужно брать? Пусть возьмет общую идею форумов и чатов, объединит — и выдаст некий недоблог с короткими сообщениями.
Давай конкретнее, какой open source проект с каким надо было объединить?
S>Вообще кто сказал что нужна именно некая новизна, которой ранее не было? Фейсбук не был первой соц. сетью. Гугл не был первым поисковиком.
Во-первых, конкуренты фейсбука и гугла были не open source. Во-вторых, гугл и фейсбук были значительно лучше своих тогдашних конкурентов. Поэтому даже если бы конкуренты были open source и их ЛЛМ скопировала с модификациями (и потерей качества), то эта модифицированная копия была бы никому не нужна. Поэтому ЛЛМ подходит, если тебе нужно стандартное решение стандартной проблемы в среднем качестве (пока скорее ниже среднего). Если же ты хочешь обойти конкурентов в техническом плане, то сегодняшние ЛЛМ могут играть только вспомогательную роль.
S>Чтобы протестировать эту систему, мы поставили перед собой амбициозную цель: создание веб-браузера с нуля. Агенты работали примерно неделю и написали больше миллиона строк кода в тысяче файлов. Исходный код можно посмотреть в GitHub (https://github.com/wilsonzlin/fastrender)
Как уже выше сказали, мы здесь наблюдали две давно известные вещи: 1) ЛЛМ-ИИ умеет хорошо переносить решения, на которых он обучен (в данном случае, браузер), в заданную пользователем среду, на которой он тоже обучен (в данном случае, Rust); 2) ЛЛМ-ИИ можно масштабировать, то есть если дать ЛЛМ-ке много времени и много ресурсов, то она может выполнить пункт 1 даже по отношению к такой сложной задаче как браузер. Это, несомненно, круто, и никто до сих пор не осознаёт, а как далеко это зайдёт. По логике вещей, уже в ближайшие годы мы должны стать свидетелями сотен и тысяч ИИ-игр (пускай, не ААА-класса), мелодий, мультфильмов, книг и т.п. Вот просто буквально завтра должны выйти бестселлеры литературы! Новый золотой век! Оно же обучено по всем книгам! Оно же одновременно и Толстой, и Пушкин, и Джек Лондон! Не? Пока что нет... Я что-то кроме убогих 5-секундных роликов и туповатых тем на форуме пока что ничто от ИИ не видел. Странно... Наверное, это пока. Нужно дальше масштабировать!
Но это я отвлёкся. Я про то, что подобный эксперимент показывает текущее состояние ЛЛМ-технологии, но оно никак не показывает её будущее. Вот это многие не могут понять. Поставьте другой эксперимент. Попросите сделать браузер для 3д-очков. Вот чтобы по тем же страницам можно было ходить в трёхмерном пространстве. Но не как между плоских экранов, а чтобы сам контент был объёмным. И еще, чтобы прикасаясь к веб-странице, она звучала. Чтобы пользователь мог закрыть глаза, и услышать страницу. Ну и интерактивную разработку туда же. Чтобы ручками и голосом верстать 3д-страницы. И дать ему не неделю, а, скажем, ГОД! И вот по результату мы увидим, каково будущее этой технологи. Потому что сейчас ЛЛМ может помочь каждому человеку, а вот заменить может, реально, только тупой кожаный мешок. Так давайте не уподобляться последним и немного критически смотреть на вещи.
S>Чтобы протестировать эту систему, мы поставили перед собой амбициозную цель: создание веб-браузера с нуля. Агенты работали примерно неделю и написали больше миллиона строк кода в тысяче файлов. Исходный код можно посмотреть в GitHub (https://github.com/wilsonzlin/fastrender)
Очень интересно, процесс впечатляет, результат нет.
Вот тут умный человек сравнил этот ИИ браузер с Blitz это пре-альфа версия HTML/CSS движка рендеринга для Dioxus, в примерах есть браузер, можно запустить так cargo run --release --package browser. Открывает простые сайты примерно на том же уровне что и ИИ браузер, то есть простые сайты без js вполне нормально. И все это счастье ~25000 строк раста, понятно что используются библиотеки, но даже с их учетом будет порядка 150000 строк.
Здравствуйте, Went, Вы писали:
W>Как уже выше сказали, мы здесь наблюдали две давно известные вещи: 1) ЛЛМ-ИИ умеет хорошо переносить решения, на которых он обучен (в данном случае, браузер), в заданную пользователем среду, на которой он тоже обучен (в данном случае, Rust);
Как-то все забывают что на rust есть хоть и недоделанный но вполне рабочий, если брать за образец сабжевый браузер, servo. Так что и перенос на другой язык не факт что был продемонстрирован.
Здравствуйте, FR, Вы писали:
FR>Очень интересно, процесс впечатляет, результат нет. FR>Вот тут умный человек сравнил этот ИИ браузер с Blitz это пре-альфа версия HTML/CSS движка рендеринга для Dioxus, в примерах есть браузер, можно запустить так cargo run --release --package browser. Открывает простые сайты примерно на том же уровне что и ИИ браузер, то есть простые сайты без js вполне нормально. И все это счастье ~25000 строк раста, понятно что используются библиотеки, но даже с их учетом будет порядка 150000 строк.
Здравствуйте, Went, Вы писали: W>Я про то, что подобный эксперимент показывает текущее состояние ЛЛМ-технологии, но оно никак не показывает её будущее. Вот это многие не могут понять.
Проведу немного наивную аналогию: вы хотите дать 15-летнему ребенку задачу на год запилить браузер с блекджеком... Да, он всосал "знания" многих библиотек, но его мозг еще не работает как нужно. Как по мне, уровень развития ЛЛМ определяется в первую очередь развитием архитектур. И если 5 лет назад мы были на уровне "слюни пускать" (простейшие трансформеры), то сейчас стабильно на уровне "13-18 лет" (MoE etc). Какая-нибудь из следующих архитектур толкнет нас в следующий "возраст", уровня 25-30 лет. И тогда поднапрягутся не только лишь все.
Сейчас идет накопление и отсеивание низковисящих архитектур, рекомбинаций. Хотя, уже явно прослеживаются и тренд к специализациям, оптимизациям и поиску расширения в других "плоскостях" (попытки понять преобразование информации в чувственный опыт и т. п.).
Winter is coming...
p.s. Кстати, в связи с чувственным опытом вспоминается "старый французский анекдот"
«И увидела жена, что дерево хорошо для пищи... и взяла плодов его и ела; и дала также мужу своему, и он ел» (Быт. 3:6)
«И открылись глаза у них обоих, и узнали они, что наги...» (Быт. 3:7).
Вот никогда бы не подумал что скачусь до цитирования такого, а вот поди ж ты.
Здравствуйте, Went, Вы писали:
W>Вот просто буквально завтра должны выйти бестселлеры литературы! Новый золотой век! Оно же обучено по всем книгам! Оно же одновременно и Толстой, и Пушкин, и Джек Лондон! Не? Пока что нет...
Может быть именно в этом и проблема?
Что при таком способе обучения, имхо, неминуемо происходит некое усреднение/упрощение/шаблонизация. И вместо "одного великого" мы получаем "миллион посредственностей".
Более, того, оказалось, что система самоподдерживающаяся
Все начинают звучать как искусственный интеллект, даже в разговорной речи.
Анализ 280 000 расшифровок видеозаписей выступлений и презентаций с академических каналов показал, что в них всё чаще используются слова, которые являются излюбленными оборотами у ChatGPT.
Новые исследования лишь подтвердили динамику 2024 года
Т.е. при обучении модели вырабатывается некий "упрощенный (усредненный) язык", использующий одни и те же обороты -> модель активно используют для написания/редактуры -> написанное озвучивается людьми -> модель обучается на ею же "придуманном" языке -> ...
А дальше это просто становится нормой уже у людей...
Здравствуйте, pva, Вы писали:
pva>Проведу немного наивную аналогию: вы хотите дать 15-летнему ребенку задачу на год запилить браузер с блекджеком... Да, он всосал "знания" многих библиотек, но его мозг еще не работает как нужно. Как по мне, уровень развития ЛЛМ определяется в первую очередь развитием архитектур. И если 5 лет назад мы были на уровне "слюни пускать" (простейшие трансформеры), то сейчас стабильно на уровне "13-18 лет" (MoE etc). Какая-нибудь из следующих архитектур толкнет нас в следующий "возраст", уровня 25-30 лет. И тогда поднапрягутся не только лишь все.
Да, эта аналогия напрашивается, но поэтому я и обозначил сразу, что речь идёт про оценку текущего уровня. На текущем уровне, оно может в подражание, но не может в творчество. При этом и подражание, увы, пестрит дефектами. И вот этому условно оценённому в 15 лет "ребёнку" все через одного прочат будущее академика. А, собственно, почему? Почему не алкоголика или вора-карманника? Почему, вообще, возраст ИИ оценили в 15 лет? Почему не в 40? Может, это, вообще, пик его крутости, а дальше пойдёт только деградация?
Здравствуйте, Михаил Романов, Вы писали:
МР>Может быть именно в этом и проблема? МР>Что при таком способе обучения, имхо, неминуемо происходит некое усреднение/упрощение/шаблонизация. И вместо "одного великого" мы получаем "миллион посредственностей".
Да. У человека, что характерно, начитанность разными мастерами не ведёт к размыванию стиля и потере оригинальности, мне кажется, даже, наоборот. Но разговор даже не про это. Пускай мы получим какой-то усреднённый язык, стиль изложения. Но где эти романы, написанные, пускай и обыденной речью? Если оно написало программу на миллион строк, почему оно не напишет роман такого же размера? Я слышал только про какой-то "конкурс рассказов", где написанные ИИ работы не могли отличить от работ людей. Хорошо, я верю, что оно может подражать, особенно на коротких фрагментах. Но ведь наши ИИ-адепты обещают замену "кожаным мешкам", а это, мягко говоря, совсем другой уровень.
Здравствуйте, Went, Вы писали:
W>На текущем уровне, оно может в подражание, но не может в творчество. Почему, вообще, возраст ИИ оценили в 15 лет? Почему не в 40?
"Подражание, а не творчество" — это и есть типовой 15-летний подросток. Уже есть какие-то знания и навыки, но еще нет умения удерживать достаточно длинный контекст. Насколько я помню, то уровни школы методически делятся на начальную (учимся базово читать, писать и арифметике), среднюю (познаем мир — расширяем и углубляем базу), старшую (углубляем по спецдисциплинам и профилируем). И только в универе происходит специализация, систематизация на лету и связность с удержанием контекста.
W>Почему не алкоголика или вора-карманника?
Потому что до текущего момента модели пылесосили все что под руку попадет. Чтобы он вырос "интеллигентом" прийдется отбирать материалы для обучения, а это уже следующая итерация.
W>Но где эти романы, написанные, пускай и обыденной речью? Если оно написало программу на миллион строк, почему оно не напишет роман такого же размера? W>Я слышал только про какой-то "конкурс рассказов", где написанные ИИ работы не могли отличить от работ людей.
На хабре пару дней назад было что-то такое, но весьма посредственно у них выходит пока. Но! В том тестировании задачу ставили "в лоб", типа "выдай рассказ на тему". Вот оно в пределах контекстного окна чего-то пыжилось.
А ведь написание большого рассказа требует той же самой иерархичности задач, что в и разработке. И я уверен, что все это будет. Оркестрация уже в наличии. И в целом, технически он уже мог бы писать что-то длинное. Но, имхо, оно было бы пресно из-за той самой "усредненности". Да и мы с возрастом все реже встречаем "изюминки" в литературе, которые трогали бы струны души.
Здравствуйте, Went, Вы писали:
W>Но разговор даже не про это. Пускай мы получим какой-то усреднённый язык, стиль изложения. Но где эти романы, написанные, пускай и обыденной речью? Если оно написало программу на миллион строк, почему оно не напишет роман такого же размера? Я слышал только про какой-то "конкурс рассказов", где написанные ИИ работы не могли отличить от работ людей.
Я не то чтобы серьезно слежу за темой (да, вот такой вот ретроград...), поэтому, возможно мой вывод очень поверхностный, но у меня сложилось впечатление, что на текущем уровне генеративные модели (что для текстов, что для картинок) хорошо работают, когда пользователю не важен точный результат, а устроит "любой +/- подходящий".
Т.е. (я сейчас очень условно говорю) если я хочу картинку "с тремя симпатичными эльфийками" — то результат будет великолепным: практически мгновенно, без необходимости искать по стокам, делать коллаж (да еще и привлекать человека с навыками работы в фоторедакторах, т.е. "дизайнера"), действительно три и действительно симпатичных
Но как только я попытаюсь получить что-то конкретное ("правая одета в зеленую тунику, ..., у средней колье с сапфиром, ... у левой небольшая асимметрия в прическе, ..."), кроме варианта, что прямо всё это было использовано в датасетах обучения (сомнительно), мы на получение результат потратим на порядок больше усилий, чем "девочка-дизайнер в фотошопе".
Поэтому, имхо, выдать роман оно вполне способно, но будет, подозреваю, как в том анекдоте
- Я могу печатать на компьютере со скоростью 1500 символов в минуту!
— Похвально...
— Правда, такая ерунда получается...
