Интересное к чему GPT-привел. Сам же обучился на SOF, но потом его и убил: https://habr.com/ru/news/982844/

Здравствуйте, Shmj, Вы писали:

S>Интересное к чему GPT-привел. Сам же обучился на SOF, но потом его и убил: https://habr.com/ru/news/982844/

Не только дело в ИИ-агентах. Сейчас стагнация в области языков программирования еще. Rust — как глоток свежего воздуха, да и ему уже немало лет. Уже давно ничего особо интересного не замечал в области языков программирования. Нулевые и десятые — это была больше реализация тех идей, которые придумали в 20м веке, часто даже на рубеже 70-80х (для динамических языков) или 80-90х годов (для статических языков). В нулевые и десятые было доведение до ума, до рабочих решений. А вот что сейчас? Да и в том же Rust не особо и много нового придумали — скорее, удачно агрегировали, скомпилировали то, чтобы было уже придумано. Сейчас такая стадия развития, когда доводят до ума то, что было заложено ранее. Или просто новые прорывные идеи пока не популярны, пока не показали себя.

Поэтому откуда взяться новым вопросам на SOF, если новых идей особо-то и не появляется?

Да и основные технологии почти не меняются. Либо набившая оскомину Java, либо такой же .NET, либо такие же C++, либо вытеснивший всех других из браузера JavaScript-победитель, либо опять этот питон... А объем легаси такой, что этих монстров вряд ли на что-то другое будут менять — экономически нецелесообразно. А развивать их трудно — слишком большой груз прошлых ошибок

Здравствуйте, Shmj, Вы писали:

S> Интересное к чему GPT-привел. Сам же обучился на SOF, но потом его и убил: https://habr.com/ru/news/982844/

И это хорошо. Надеюсь SO очень скоро совсем будет закрыт и новые модели будут обучаться на чем-то менее галлюциногенном.

Когда полезная инфа от людей иссякнет, чаты начнут постить вопросы и отвечать друг другу в so, Reddit... чтобы продолжить обучаться?

Здравствуйте, dsorokin, Вы писали:

D>Поэтому откуда взяться новым вопросам на SOF, если новых идей особо-то и не появляется?

сейчас почти каждый язык каждые пару лет выпускает новую версию. Может кардинально новых идей и не так много, но синтаксис меняется довольно активно. А SO — должен помереть именно из-за ИИ. Все эксперты SO раньше фактически работали как агрегаторы информации: где-то находили информацию, обрабатывали и выдавали в форме ответов. Это и ИИ делает приемлемо. А для пищи любому ИИ достаточно статьи с обзорами новых фич языка. У тонн мусора на SO ценность сомнительная.

Здравствуйте, Shmj, Вы писали:

Там же прям вначале статьи:

... нейросети скорее стали последним гвоздем в крышку гроба платформы.
Атмосфера начала меняться еще в 2014 году, когда Stack Overflow "улучшил эффективность модерации" ...

Здравствуйте, Anton Batenev, Вы писали:

AB>И это хорошо. Надеюсь SO очень скоро совсем будет закрыт и новые модели будут обучаться на чем-то менее галлюциногенном.
Я бы не был так уверен насчет "менее", люди специально генерят бред для обучения ИИ: Poison Fountain

Здравствуйте, sergii.p, Вы писали:

SP>сейчас почти каждый язык каждые пару лет выпускает новую версию. Может кардинально новых идей и не так много, но синтаксис меняется довольно активно. А SO — должен помереть именно из-за ИИ. Все эксперты SO раньше фактически работали как агрегаторы информации: где-то находили информацию, обрабатывали и выдавали в форме ответов. Это и ИИ делает приемлемо. А для пищи любому ИИ достаточно статьи с обзорами новых фич языка. У тонн мусора на SO ценность сомнительная.

А я и не спорю, что видимость движухи большая. Выпускают, мол, новые версии, но этого как-то мало по сравнению с движухой на рубеже 80-90х, да даже на рубеже 90х-нулевых или нулевых-десятых. Я просто смотрю, какие по интересующим меня языкам программирования появились основополагающие книги, и вижу, что последняя такая движуха была в районе 2010 года, плюс-минус года два-три. Но это моя выборка по интересующим меня технологиям: F#, Scala, Clojure, Erlang. В какой-то части справедливо и для Haskell, но он всегда идет в своем темпе.

Активная движуха для C# мне запомнилась в начале нулевых и в районе середины нулевых. Сначала, когда на основе одной из лучших реализаций Java того времени сделали первый .NET. Потом — когда добавили генерики (разработал, кстати, создатель F#). После особо не следил, но качественных изменений не наблюдаю со времен WPF. Может быть, просто из-за того, что перестал интересоваться.

Про Java, вообще, скажем, что там основной движ был на рубеже 90х-нулевых, когда Java стали массово внедрять в банках, особенно, когда туда в Java добавили генерики (при участии автора Scala, кстати, — не находите любопытную тенденцию?). Сама же Java старше — начало-середина девяностых. Но на рубеже нулевых-десятых она как язык уже успела многим надоесть. Так родились Scala и Clojure (последний — как реинкарнация Лиспа), а несколько позже и Kotlin (как ответ на неустраивающую в некоторых аспектах Scala — а вы попробуйте, например, собрать через Scala простое приложение для андроида с каким-нибудь Array и без ProGuard!).

Про Go-lang особо сказать ничего не могу. Как-то не цепляет. Ну, здорово, конечно, что реализовали идею всеобъемлющей асинхронности IO (как в Haskell и Erlang), и при этом сделали это доступным для массового потребителя. Это сделать очень трудно, и у них получилось! А тут еще докер подсобил на пару с микро-сервисами.

А вот про Rust скажу особо. Уж очень мне понравился сам язык, зацепил, хотя если смотреть вдолгую, то нахожу крайне уязвимой его экосистему, основанную на пакетном менеджере, который тянет что-то откуда-то (как к системе сборки вопросов нет, но тут соединили их вместе). У меня как человека с тягой к контролю, от этого факта волосы начинают на голове шевелиться. Но сейчас такова мода, общая тенденция. Мы просто еще не подошли к тому моменту развития, когда такая схема распространения библиотек станет критически опасной, хотя первые звоночки уже давно есть.

Тем не менее, сам язык Rust для своей ниши прекрасен как производительный язык без автоматического сборщика мусора. Мне как любителю (статически типизированного) функционального программирования, и просто как человеку, который любит контролировать код, нравится, что в Rust очень многое проверяется на уровне системы типов (если вы пытались писать много шаблонного кода на C++, то меня поймете).

Про JavaScript. Большие игроки сделали ставку на JavaScript. Аплеты, сильверлайт, флеш — больше не удел. Там, где не хватает скриптинга — там сделали ставку на wasm. Вы знаете, что я скажу? Как человек, на глазах которого прошел весь жизненный цикл тех же Java-аплетов, могу предположить, что неизвестно, что будет работать в браузере лет через пять-десять... Сие есть тайна, неведомая никому. И не нам, простым смертным, это решать.

А так, если взять книги по Scheme, Common Lisp и Smalltalk, то видишь, что в самом программировании мало что поменялось. Скорее, отшлифовали материал, а гранит остался тем же. Со статическими языками сложнее, но тоже все меньше языков программирования меня приятно удивляет. Последним был как раз Rust, а вот в конце 80-х я когда-то фанател от Ada.

Про С++ могу сказать, что я его постоянно использую последние годы. В сети стало популярным сравнение C++ с ПЛ/1. Кто слышал об истории падения последнего (когда появились микрокомпьютеры и персоналки, для которых открылись новые ниши, и когда перестал быть нужен такой сложный язык как ПЛ/1), то тот поймет, что может ожидать C++ с его неповоротливостью и довольно таким приличным грузным весом, где большинство программистов даже боится заглядывать в новые стандарты.

Хотя мы все субъективны по своей природе. Мы никак не можем быть объективными. Может быть, что-то и изобрели такое в области языков программирования, что я с интересом изучил бы, посмотрел бы.

Просто есть еще один фактор — экономический. Раньше у небольших фирм был шанс создать что-то новое, прорывное, и иногда даже на этом заработать денег, но чаще — разориться. А сейчас такое время, что даже колоссам, фирмам-гигантам, часто не под силу разработать и протолкнуть такое, что понравилось бы основной массе программистов. Рынок языков программирования стал массовым, и здесь важнее стала роль денег, а меньше стало возможностей для одиночек. Да и само программирования много где превратилось из искусства в ремесло, а у последнего — другие приоритеты.

Что касается вопросов на SO. Ну, большую часть вопросов задали, и на них ответили. Произошло еще естественное насыщение в условиях стагнации самой области языков программирования. Особо нечему удивляться. А на ИИ-агенты еще многое можно сейчас списать (это даже стало модным), хотя как поисковики они хороши, безусловно

Здравствуйте, Shmj, Вы писали:

S>Интересное к чему GPT-привел. Сам же обучился на SOF, но потом его и убил: https://habr.com/ru/news/982844/

Может, сокращение количества заметно глупых вопросов -- это как раз хорошо?
Остаются те, которые не могут быть отвечены ИИ.

Здравствуйте, Anton Batenev, Вы писали:

AB>И это хорошо. Надеюсь SO очень скоро совсем будет закрыт и новые модели будут обучаться на чем-то менее галлюциногенном.
А можно примеры кандидатов?
У меня вот нечего предложить.

Здравствуйте, Anton Batenev, Вы писали:

AB>И это хорошо. Надеюсь SO очень скоро совсем будет закрыт и новые модели будут обучаться на чем-то менее галлюциногенном.

Скорее на чем-то более галлюциногенном, а именно на своем же слопе от предыдущих моделей.

Здравствуйте, netch80, Вы писали:

N>Может, сокращение количества заметно глупых вопросов -- это как раз хорошо?
Меня чаще бесило количество одинаковых ответов под одним и тем же вопросом. И ответы не по теме, например:

Вопрос: Как в A сделать B?
Ответ: В C это делается так.

И пофиг, что в вопросе указана конкретная либа или без их использования, но всегда найдутся советчики захламляющие обсуждение.

N>Остаются те, которые не могут быть отвечены ИИ.
ИИ ответит на любой вопрос. А если результат не устроит, то его (ИИ) всегда можно дожать до приемлемого.

Здравствуйте, Anton Batenev, Вы писали:

AB>И это хорошо. Надеюсь SO очень скоро совсем будет закрыт и новые модели будут обучаться на чем-то менее галлюциногенном.

Постой, дай угадать. РСДН???

Здравствуйте, Михаил Романов, Вы писали:

МР>А можно примеры кандидатов?

Смотря чему обучаться. Если давать ответы, как лучше написать тот или иной код, то обучаться на коде и документации к нему.

МР>У меня вот нечего предложить.

Раз уж мы хотим учить нейронки для людей, то логично и учить их как людей. А людей учат профессионалы, по учебникам, методикам и т.д.
Очевидно, что и для снижения галлюцинаций, и для преодоления кризиса нехватки данных надо что-то менять в консерватории архитектуре. Чтобы по точным и небольшим источникам нейронки могли хоорошо учиться. Типа как AlphaZero в шахматы. Дать паре нейронкам спецификацию языка, документацию, библиотеки и компилятор. И пусть одна придумывает задача и проверяет, а вторая пишет код.

Здравствуйте, Nuzhny, Вы писали:

N>Раз уж мы хотим учить нейронки для людей, то логично и учить их как людей. А людей учат профессионалы, по учебникам, методикам и т.д.
N>Очевидно, что и для снижения галлюцинаций, и для преодоления кризиса нехватки данных надо что-то менять в консерватории архитектуре. Чтобы по точным и небольшим источникам нейронки могли хоорошо учиться. Типа как AlphaZero в шахматы. Дать паре нейронкам спецификацию языка, документацию, библиотеки и компилятор. И пусть одна придумывает задача и проверяет, а вторая пишет код.

А вот те же учебники и справочники — как быть с авторскими правами. Емнип этот вопрсо уже поднимали.

Студент купил учебники, справочники — но делать копии и проадвать их не может. Только для личного использования. А нейросеть? Она же потом будет публично все данные из учебников и справочников продавать за деньги... Что скажут авторы?

Но оно вроде как микшер получается, как в крипте. Берет тексты, которые охраняются авторскими правами. Перемешивает. И уже вроде как получается нечто новое, что авторскими правами не охраняется. Но так ли все просто?

Здравствуйте, Shmj, Вы писали:

S>А вот те же учебники и справочники — как быть с авторскими правами. Емнип этот вопрсо уже поднимали.

И поднимали, и решали:

Компания Anthropic, разработчик чат-бота Claude, закупила и уничтожила миллионы печатных книг для их последующей оцифровки и использования при обучении искусственного интеллекта. Книги приобретались оптом — в том числе у поставщиков возвратов Amazon и библиотек, распродающих фонды. После покупки переплеты распарывались, страницы сканировались, а сами экземпляры утилизировались. Руководитель отдела партнерств Том Турви, ранее работавший в Google Books, в письмах коллегам писал, что цель — «получить все книги, которые только возможно».

Федеральный суд в Калифорнии признал эту практику законной. Суд постановил, что уничтожение и оцифровка купленных книг подпадают под принцип «добросовестного использования» (fair use), поскольку речь идет о трансформирующем применении без ущерба для рынка оригинальных произведений. Такое решение суд сравнил с прецедентом Google Books.

Тут также как и с людьми, никакой разницы: читать и учиться можно, но копировать и воспроизводить просто так нельзя. Либо указывать на автора, как в цитатах. Либо выплачивать автору вознаграждение — зависит от лицензии. Так что тут надо просто следовать законодательству.

S>Студент купил учебники, справочники — но делать копии и проадвать их не может. Только для личного использования. А нейросеть? Она же потом будет публично все данные из учебников и справочников продавать за деньги... Что скажут авторы?

А как критики и литературоведы пишут рецензии на книги, с цитатами из них? Они не платят автору, но платят за саму книгу. Также и нейросети. При этом нейросети не имеют права полностью и дословно воспроизводить авторский контент. Всё как и с людьми.

S>Но оно вроде как микшер получается, как в крипте. Берет тексты, которые охраняются авторскими правами. Перемешивает. И уже вроде как получается нечто новое, что авторскими правами не охраняется. Но так ли все просто?

А такого и нет. Ты точно уверен, что нейросети так работают? А именно хранят в себе тексты, а при выдаче их перемешивают? Можно пруфы?

Здравствуйте, VladFein, Вы писали:

VF>Постой, дай угадать. РСДН???
Россия отлучена от церкви ИИ. А разве у вас не осталось достойных ресурсов, тот же редит?

Здравствуйте, Nuzhny, Вы писали:

N>Раз уж мы хотим учить нейронки для людей, то логично и учить их как людей. А людей учат профессионалы, по учебникам, методикам и т.д.
Я могу ошибаться, так как и близко не специалист в ИИ и глубоком обучении, но у меня сложилось понимание, что нейронные сети, это механизм самообучения, рассчитанный (как и все или, по меньшей мере, большинство методов самообучения), на обучение по индукции, иначе говоря на обобщении большого исходного массива информации.
Тогда как обучение человека, это скорее дедуктивное обучение — когда мы осваиваем общие закономерности, а потом из них получаем частное решение.

На сколько этот второй подход в принципе возможен при обучении нейронок? (ну кроме каких-то простейших случаев, типа "научить решать школьные примеры, просто нагенерировав кучу примеров")

N>Смотря чему обучаться. Если давать ответы, как лучше написать тот или иной код, то обучаться на коде и документации к нему.
В продолжение предыдущего вопроса — а этого объема хватит для того чтобы обучить модель?
На каком именно коде учить — конкретного проекта или всём коде мира? И какого качество этого кода...

N>Очевидно, что и для снижения галлюцинаций, и для преодоления кризиса нехватки данных надо что-то менять в консерватории архитектуре. Чтобы по точным и небольшим источникам нейронки могли хоорошо учиться. Типа как AlphaZero в шахматы. Дать паре нейронкам спецификацию языка, документацию, библиотеки и компилятор. И пусть одна придумывает задача и проверяет, а вторая пишет код.
Ну идея, конечно, интересная — генерировать всевозможные входы (или ходы) и проверять их правильность.
Но на сколько это применимо за пределами искусственных задач (типа игр), где:
— в целом число состояний хоть и велико, но тем не менее конечно (а, например, грамматика языка априори порождает бесконечное число программ)
— очень ограниченный набор правил для генерации разных комбинаций (а, тут сложность генерация задач это имхо, что-то по сложности сравнимое с их решением — и даже есть косвенное подтверждение, набирающий обороты "промпт инжиниринг" — имхо, что-то из серии "CEO-оптимизации 2.0")
— есть простой критерий проверки успеха (а в реальной задаче формулировка критерия успешности — почти как описание её решения)

Ну и тоже момент, мы это уже обсуждали в другом тренде, современная индустрия ИИ снова начинает упираться в ресурсы, требуемые и для обучения, и для работы.
Где-то я даже встречал утверждение, что Илья Суцкевер покинул OpenAI после того, как показал Альтману, что идея создания AGI, требует энергии больше, чем можно получить в Солнечной системе (ну или как-то так формулировалось).
А идея "генерировать входы, на которых учить нейронку", имхо, на порядок затратнее идеи "учить нейронку на готовых примерах".

Здравствуйте, rFLY, Вы писали:

FLY>Здравствуйте, VladFein, Вы писали:

VF>>Постой, дай угадать. РСДН???
FLY>Россия отлучена от церкви ИИ. А разве у вас не осталось достойных ресурсов, тот же редит?

Reddit имеет такое же отношение к SO как РСДН к MSDN

Здравствуйте, Михаил Романов, Вы писали:

МР>Я могу ошибаться, так как и близко не специалист в ИИ и глубоком обучении, но у меня сложилось понимание, что нейронные сети, это механизм самообучения, рассчитанный (как и все или, по меньшей мере, большинство методов самообучения), на обучение по индукции, иначе говоря на обобщении большого исходного массива информации.
МР>Тогда как обучение человека, это скорее дедуктивное обучение — когда мы осваиваем общие закономерности, а потом из них получаем частное решение.

Соглашусь.

МР>На сколько этот второй подход в принципе возможен при обучении нейронок? (ну кроме каких-то простейших случаев, типа "научить решать школьные примеры, просто нагенерировав кучу примеров")

Сейчас практически невозможен. "Войну и мир" нейронки самообучаясь не напишут.

МР>В продолжение предыдущего вопроса — а этого объема хватит для того чтобы обучить модель?
МР>На каком именно коде учить — конкретного проекта или всём коде мира? И какого качество этого кода...

Сейчас не хватит. И надо на всём коде мира, на всех языках мира.

МР>Но на сколько это применимо за пределами искусственных задач (типа игр), где:
МР>- в целом число состояний хоть и велико, но тем не менее конечно (а, например, грамматика языка априори порождает бесконечное число программ)

Я поэтому и написал, что надо что-то менять в консерватории. В конце 2025 года об этом не написал только ленивый, но и 15 лет назад проблема была очевидной: ребёнок учится различать слона не по миллиону разных картинок со слоном. Но 15 лет назад в данных для обучения не было дефицита, а сейчас уже есть.

МР>Где-то я даже встречал утверждение, что Илья Суцкевер покинул OpenAI после того, как показал Альтману, что идея создания AGI, требует энергии больше, чем можно получить в Солнечной системе (ну или как-то так формулировалось).

Это в пределе для текущей архитектуры. Люди же как-то справляются.

МР>А идея "генерировать входы, на которых учить нейронку", имхо, на порядок затратнее идеи "учить нейронку на готовых примерах".

Тем не менее, программированию прямо сейчас так уже учат. Бляго, сё как ты написал: есть критерий успеха. Даже больше, можно не только смотреть на конечный успех, но и дифференцировать вознаграждение: не просто программа работает или не работает, но и первая половина программы работает, а вторая нет.