Возьмите теперь уже печально известный отчёт MIT, на который мои читатели, вероятно, устали от моих ссылок. Он показал, что 95% пилотных проектов с ИИ вообще не увеличили прибыль или производительность компаний. Фактически, многие компании увидели отрицательный эффект.
...
А как насчёт другого отчёта, от которого также устали мои читатели? Отчёт METR показал, что ИИ-инструменты для кодирования на самом деле значительно замедляют разработчиков. Оказывается, ИИ не так уж и точен и постоянно ошибается.
... ИИ постоянно пишет бессмысленные баги, и поскольку программист не писал код сам, ему требуется целая вечность, чтобы найти и исправить ошибки.
Таким образом, любой разработчик даже с небольшим опытом потратит больше времени на отладку кода ИИ, чем изначально сэкономил, заставив ИИ написать код.
...
Однако эта проблема не ограничивается только кодированием.
Недавний опрос Harvard Business Review показал, что 40% работников за последний месяц сталкивались с «рабочим шлаком» (workslop), который они определяют как «сгенерированный ИИ рабочий контент, который маскируется под хорошую работу, но не имеет содержания для значимого продвижения данной задачи».
Про агентный ИИ
Хорошо, но эти генерирующие «рабочий шлак» ИИ и инструменты для кодирования — это всего лишь LLM. Настоящая угроза для труда — это агентный ИИ, который может выполнять задачи самостоятельно. Что ж, по правде говоря, никакого агентного ИИ не существует, так как его на самом деле нельзя создать по множеству причин. Его нужно обучать не только на словах, изображениях и картинках. Его нужно обучать на человеческих действиях, которые гораздо более разнообразны и сложны, и ИИ-модели значительно с этим не справляются. Это приводит к фатальным проблемам, таким как экспоненциально большие и дорогие модели, нехватка пригодных для использования обучающих данных, раздувание объёма задач и постоянные проблемы с крайними случаями.
Вместо этого, агентные ИИ, разрабатываемые и впариваемые сегодня, — это просто LLM, переупакованные в плохую обёртку, и, неудивительно, они отстой.
Университет Карнеги-Меллона провёл исследование для количественной оценки производительности лучших агентных ИИ и обнаружил,
что они полностью проваливали поставленную им задачу в 70% случаев!
О вреде использования ИИ для человека
Исследование от Microsoft и Университета Карнеги-Меллона обнаружило астрономически сильную отрицательную корреляцию между использованием инструментов ИИ и критическим мышлением. В общем, чем больше вы взаимодействуете с этими инструментами ИИ, тем больше вы занимаетесь когнитивной разгрузкой и тем меньше задействуете критическое мышление. Но критическое мышление — это как мышца. Её нужно тренировать, иначе она атрофируется. Так что чем дольше и чаще вы используете инструменты ИИ, тем больше навыков критического мышления вы теряете.
Затем есть исследование MIT Sloan, которое показало, что, хотя менее опытные работники могут извлечь выгоду из генеративного ИИ, у опытных работников, использующих эти инструменты, наблюдалось притупление их экспертизы. В контексте исследования Microsoft и Карнеги-Меллона, выгода менее опытных работников от ИИ — это тревожный вывод, поскольку для того, чтобы стать опытным профессионалом, необходимо развивать навыки критического мышления, что говорит о том, что генеративный ИИ мешает работникам приобретать опыт, необходимый для карьерного роста.
В статье есть все ссылки на отчеты...
И там еще есть ссылки на предыдущие статьи.
В общем — очень интересно!
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, LaptevVV, Вы писали:
LVV>MIT доказал провал 95% проектов... LVV>В общем — очень интересно!
Логичный результат, если микроскопом гвозди забивать или с помощью молотка микробов рассматривать.
Фактически обобщенные LLM — это новые Корчеватели и не более. Поиграться и повпечатляться тем, как он в падежи попадает.
А вот когда начнут обучать экспертные LLM по узким областям знаний на датасетах, созданных специалистами в этих областях знаний. Но в этом направление самая большая работа — это создать такой датасет.
Вот эти ИИ будут реально полезны, как быстрые поисковики-справочники по некоторому корпусу знаний.
Мультиагентные тоже сработают отлично в узких областях, где выполнение работы может быть представлено итерационным процессом (например некоторые направления в программировании). Например, итерационно сходящимся водопадом.
Здравствуйте, LaptevVV, Вы писали:
LVV>А как насчёт другого отчёта, от которого также устали мои читатели? Отчёт METR показал, что ИИ-инструменты для кодирования на самом деле значительно замедляют разработчиков. Оказывается, ИИ не так уж и точен и постоянно ошибается.
Стареры собрались полить дерьмица на новые технологии. Я незнаю какими надо быть дятлами, чтобы такую глупость сказать. Попробуйте что ли сами использовать ИИ.
Люди с головой вполне нормально могут ускорять работу с помощью ИИ:
1. Рефакторинги.
2. Написание тестов.
3. Поиск и даже написание стандартных алгоритмов.
Просто надо понимать, что ИИ могут, а что нет. И что они ни разу не одинаковые. Ну и что им нужно давать разумные промты. Просто "сделай красиво" не работает. Как и программисту задачу придется подставить качествнно.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
LVV>А как насчёт другого отчёта, от которого также устали мои читатели? Отчёт METR показал, что ИИ-инструменты для кодирования на самом деле значительно замедляют разработчиков. Оказывается, ИИ не так уж и точен и постоянно ошибается.
LVV>... ИИ постоянно пишет бессмысленные баги, и поскольку программист не писал код сам, ему требуется целая вечность, чтобы найти и исправить ошибки.
LVV>Таким образом, любой разработчик даже с небольшим опытом потратит больше времени на отладку кода ИИ, чем изначально сэкономил, заставив ИИ написать код.
А немного обобщив, при корпоративном стиле разработки, когда за разработчиком не закреплена долгосрочная тема, а есть общоий пул маленьких задач, и каждый освободившийся разработчик берет следующую маленькую нерешенную задачу из общего пула, ВСЕ участники оказываются в ситуации, когда они работают с кодом, который они сами не писали, и ВЕСЬ код написан не кем-то конкретным, а мелкими крупицами целой толпой, поэтому в нём не ориентируется, как в своём, вообще никто — и эффективность разработки вообще для всех участников падает до уровня, когда любое изменение в коде занимает целую вечность (и никто не хочет браться за серьёзные изменения, потому, что это вечность в квадрате).
И так мы приходим к интересному выводу. Брукс (который "мифический человеко-месяц") писал, что организационные проблемы не могут быть разрешены в плоскости технологий и должны решаться в организационной плоскости. Похоже, что верно и обратное утверждение: не технологии создают организационные проблемы а эффективные менеджеры. Так что получается, опять во всём виноват капитализм, но вину на этот раз пытаются свалить на ИИ
VD>Люди с головой вполне нормально могут ускорять работу с помощью ИИ:
Ну, таких примерно 10-15%
А 70-80% — этот типовые миддлы, которым надо просто педалить код
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, Vzhyk2, Вы писали:
V>Вот эти ИИ будут реально полезны, как быстрые поисковики-справочники по некоторому корпусу знаний.
Проблема в том, что на хорошо програботанном корпусе знаний и старомодный поисковик неплохо справляется. А вот когда корпус знаний маленький, разрозненный, датасеты маленькие, случайные коэффициенты начинают тянуть в разные стороны, и ИИ глючит.
Pzz>А немного обобщив, при корпоративном стиле разработки, когда за разработчиком не закреплена долгосрочная тема, а есть общоий пул маленьких задач, и каждый освободившийся разработчик берет следующую маленькую нерешенную задачу из общего пула, ВСЕ участники оказываются в ситуации, когда они работают с кодом, который они сами не писали, и ВЕСЬ код написан не кем-то конкретным, а мелкими крупицами целой толпой, поэтому в нём не ориентируется, как в своём, вообще никто — и эффективность разработки вообще для всех участников падает до уровня, когда любое изменение в коде занимает целую вечность (и никто не хочет браться за серьёзные изменения, потому, что это вечность в квадрате).
Во, примерно так было в московской конторе, где я работал 22-23 год. Я тимлида спросил конкретно: есть ли человек, который ориентируется в системе в целом и знает ее. Он ответил, что одного такого нет, но все вместе они знают.
Pzz>И так мы приходим к интересному выводу. Брукс (который "мифический человеко-месяц") писал, что организационные проблемы не могут быть разрешены в плоскости технологий и должны решаться в организационной плоскости. Похоже, что верно и обратное утверждение: не технологии создают организационные проблемы а эффективные менеджеры. Так что получается, опять во всём виноват капитализм, но вину на этот раз пытаются свалить на ИИ
Да... "Это — не мы, это ОНИ!"...
Ничего не меняется...
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, LaptevVV, Вы писали:
LVV>Во, примерно так было в московской конторе, где я работал 22-23 год. Я тимлида спросил конкретно: есть ли человек, который ориентируется в системе в целом и знает ее. Он ответил, что одного такого нет, но все вместе они знают.
Я читал переводную книгу про информационную безопасность. В целом, книга была про ИТ и технологии, и довольно толковая. Ради этого я её и читал. Но среди прочего, в ней целая глава была посвящена вопросам безопасности бизнеса.
И там так и излагалось, что это опасно, когда знание сосредотачивается в кругу небольшого количества людей. Потому, что контора начинает от них зависеть. И надо специально так делать, чтобы не было тем, которые закреплены за каким-то одним человеком, и не было людей, которые закреплены за какой-то одной темой, а надо дёргать людей по кругу.
Т.е., это не случайность, а сознательный выбор. Возможно, не все конторы почерпнули этот подход из этой книжки, но это определённо витает в воздухе, которым дышит менеджмент корпораций.
Вероятно, это как раз и есть то самое явление, которое Маркс называл отчуждением результатов труда.
Здравствуйте, VladD2, Вы писали:
VD>Стареры собрались полить дерьмица на новые технологии. Я незнаю какими надо быть дятлами, чтобы такую глупость сказать. Попробуйте что ли сами использовать ИИ.
У Лаптева специфическая проблема: он задолбался проверять студенческие работы, сделанные ИИ. К тому же, ИИ в результате ничему не учится, и студенты тоже.
VD>Люди с головой вполне нормально могут ускорять работу с помощью ИИ: VD>1. Рефакторинги. VD>2. Написание тестов. VD>3. Поиск и даже написание стандартных алгоритмов.
Пробовали. Тесты на небольшие модули, да, пишет и неплохо. Рефакторинги — нунах, в результате работающий код становится немного "опримизированным" и перестаёт работать. В качестве справочника, там, где мне нужен продвинутый справочник, ИИ сам ничего не знает и сочинает на ходу, а там, где справляется, там и гуглопоиск справляется.
Pzz>Я читал переводную книгу про информационную безопасность. В целом, книга была про ИТ и технологии, и довольно толковая. Ради этого я её и читал. Но среди прочего, в ней целая глава была посвящена вопросам безопасности бизнеса. Pzz>И там так и излагалось, что это опасно, когда знание сосредотачивается в кругу небольшого количества людей. Потому, что контора начинает от них зависеть. И надо специально так делать, чтобы не было тем, которые закреплены за каким-то одним человеком, и не было людей, которые закреплены за какой-то одной темой, а надо дёргать людей по кругу. Pzz>Т.е., это не случайность, а сознательный выбор. Возможно, не все конторы почерпнули этот подход из этой книжки, но это определённо витает в воздухе, которым дышит менеджмент корпораций.
Да. И получается, что это извечный вопрос: экономика для людей, или люди для экономики ?
В капитализме бизнес становится важнее людей, которые его делают.
Если про ИТ говорить, то получается интересно.
Ведь изначально же был некий главный архитектор/конструктор и т.п.
Потом он ушел.
А кто тогда развивает продукт ?
Ведь все эти мелкие задачи откуда-то появлЯются ?
Pzz>Вероятно, это как раз и есть то самое явление, которое Маркс называл отчуждением результатов труда.
Да. Для ИТ это определенно именно то самое.
Но во времена Маркса о безопасности бизнеса в таком плане вряд ли задумывались.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, Pzz, Вы писали:
Pzz>Проблема в том, что на хорошо програботанном корпусе знаний и старомодный поисковик неплохо справляется. А вот когда корпус знаний маленький, разрозненный, датасеты маленькие, случайные коэффициенты начинают тянуть в разные стороны, и ИИ глючит.
А вот тут уже нюансы. ИИ таки лучше простого поисковика тебе выжимку сделает. А так да, когда-то и библиотек, куда ножками ходить нужно было, хватало.
Здравствуйте, LaptevVV, Вы писали:
LVV>Ведь изначально же был некий главный архитектор/конструктор и т.п. LVV>Потом он ушел. LVV>А кто тогда развивает продукт ?
В корпорациях редко когда бывает главный архитектор, который именно что вкладывает свои знания в архитектуру, а не командует командой неглавных архитекторов.
В корпорации все работники — тактики, а стратегические решения принимаются комитетом тактиков. Бывают исключения, но они редки.
LVV>Ведь все эти мелкие задачи откуда-то появлЯются ?
Берут большую задачу и "декомпозируют" на задачи поменьше. Потом распихивают эти задачи поменьше по архитекторам рангом пониже, и они еще мельче дробят. И так до тех пор, пока задачи не станут совсем маленькими.
Заметим, что делается это рано, еще до того, как в задачу начали всерьёз вникать. Т.е. на этапе, когда задача еще толком не ясна. А разбить на подзадачи надо. Потому что от этого разбиения отталкиваются сроки, годовые бюджеты, наём сотрудников и сокращения и т.п. Поэтому есть "паттерны проектирования" и учёт опыта аналогичных (или кажущихся аналогичными) проектов. Т.е., фактически это делается по аналогии с тем, что кем-то когда-то раньше делалось. Примерно как ИИ "мыслит" по аналогии с текстами, которые ему скормили в процессе дрессировки обучения
И потом эти границы разбиения на задачи очень трудно передвинуть.
А в больших организациях и проектах задачи после первой-второй крупной нарезки еще и по командам раздаются. А договориться потом уже о перераспределении чего-то между командами трудно, потому, что у каждой команды свои планы и рисковать нажить неприятности никто не хочет.
Pzz>>Вероятно, это как раз и есть то самое явление, которое Маркс называл отчуждением результатов труда. LVV>Да. Для ИТ это определенно именно то самое. LVV>Но во времена Маркса о безопасности бизнеса в таком плане вряд ли задумывались.
Но о том, чтобы наёмные работники не борзели, еще как задумывались.
Здравствуйте, Vzhyk2, Вы писали:
Pzz>>Проблема в том, что на хорошо програботанном корпусе знаний и старомодный поисковик неплохо справляется. А вот когда корпус знаний маленький, разрозненный, датасеты маленькие, случайные коэффициенты начинают тянуть в разные стороны, и ИИ глючит. V>А вот тут уже нюансы. ИИ таки лучше простого поисковика тебе выжимку сделает. А так да, когда-то и библиотек, куда ножками ходить нужно было, хватало.
Вот я б поспорил. Поисковик хоть умеет сказать "ничего не найдено". А ИИ — он оптимист и всегда готов, как юный пионер. Поэтому чего не знает, сочинит на лету. А мне потом проверять.
Здравствуйте, Pzz, Вы писали:
Pzz>У Лаптева специфическая проблема: он задолбался проверять студенческие работы, сделанные ИИ. К тому же, ИИ в результате ничему не учится, и студенты тоже.
Ну почему же? Студенты ведь читают "свои" работы?
Проверять их тоже можно ИИ.
Если серьезно, надо уходить от этой тупости — домашних заданий. А дипломные работы нужно защищать очно, как диссертации.
В любом случае наезжать на ИИ в корне не верно. ИИ не виноваты, что они полезны студентам.
Pzz>Пробовали. Рефакторинги — нунах, в результате работающий код становится немного "опримизированным" и перестаёт работать.
Херово пробовал. Можно добиваться выполнения именно того, что хочешь. Прямо в промте приказываешь не менять ничего не относящегося к делу, включая комментарии и ИИ выполняет. Ну и всегда есть дифф. Перед изменением закладываешь текущую работу в сташь, накатываешь изменения и смотришь на них. Всё что не устраивает откатываешь.
Pzz>В качестве справочника, там, где мне нужен продвинутый справочник, ИИ сам ничего не знает и сочинает на ходу, а там, где справляется, там и гуглопоиск справляется.
У них у всех сейчас есть функция поиска. Они где-то 10 страниц параллельно могут обрабатывать. Ну и я не знаю, что он у тебя там не знает. Они не всеведущие, но обучаются на очень широком наборе знаний. Вот недавно мне ИИшка с полпинка написала функцию определения битности исполнимого файла по PE-заголовку. Стек оверфлоу грусно вышел из чата.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, LaptevVV, Вы писали:
LVV>В общем — очень интересно
Недостатков и ограничений будет всё меньше и меньше по мере увеличения вычислительной мощности. Это тот же путь, по которому шла вычислительная техника всё это время.
Отрицать очевидное бесполезно, это пустая трата сил, времени и энергии.
Здравствуйте, Pzz, Вы писали:
Pzz>У Лаптева специфическая проблема: он задолбался проверять студенческие работы, сделанные ИИ. К тому же, ИИ в результате ничему не учится, и студенты тоже.
Это решается сухим и спонтанным тестированием: каждые 3-4 недели выдается файл состоящий из 1-3 листков, на каждом из которых по 1-2 заданию. Телефоны убрать, тишина и таймер на 20 минут. Все, кто ответил и набрал проходной балл — молодцы. Остальные — неуд. / без оценки. с возможностью пересдачи. Как они там уже будут учить эти материалы, это их проблемы. К файловым тестам можно добавить устные собеседования, особенно важно для тех кто не прошел файловый тест. Цель — понять уровень конкретного ученика и дать соотв. направление куда ему нужно посмотреть.
Но чтобы это все работало, нужно по-настоящему учить, что в условиях ВУЗа не просто достичь. Всякие курсовые, дипломные и прочее — это тоже хорошо, но их и раньше нередко писали за деньги совсем другие люди. ИИ просто удешевил этот процесс. Но у ИИ тут есть очень большое преимущество: в процессе создания работы, он сам может обучать студента если в нем есть зерно. Ведь любопытный студент обязательно будет задавать много наводящих и уточняющих вопросов, особенно если не очень уверенно владеет материалом.
Здравствуйте, Pzz, Вы писали:
Pzz>Вот я б поспорил. Поисковик хоть умеет сказать "ничего не найдено". А ИИ — он оптимист и всегда готов, как юный пионер. Поэтому чего не знает, сочинит на лету. А мне потом проверять.
Так именно так эти ИИ сейчас и научены. На хайпе и безумной идее "клиент всегда прав". Через пару лет хайп схлынет, часть этих модных моделей уйдет в небытие, выживут более нужные потребителю.
Здравствуйте, Pzz, Вы писали: Pzz>А немного обобщив, при корпоративном стиле разработки, когда за разработчиком не закреплена долгосрочная тема, а есть общоий пул маленьких задач, и каждый освободившийся ...
Pzz>>У Лаптева специфическая проблема: он задолбался проверять студенческие работы, сделанные ИИ. К тому же, ИИ в результате ничему не учится, и студенты тоже. VD>Ну почему же? Студенты ведь читают "свои" работы?
Не читают... VD>Проверять их тоже можно ИИ.
Можно. Если умеешь... VD>Если серьезно, надо уходить от этой тупости — домашних заданий. А дипломные работы нужно защищать очно, как диссертации.
Так у нас очно и защищают. Как диссертации. VD>В любом случае наезжать на ИИ в корне не верно. ИИ не виноваты, что они полезны студентам.
Вредны. Ашманова почитай. Человек 30 лет в ИИ. Pzz>>Пробовали. Рефакторинги — нунах, в результате работающий код становится немного "опримизированным" и перестаёт работать.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
LVV>>В общем — очень интересно A>Недостатков и ограничений будет всё меньше и меньше по мере увеличения вычислительной мощности. Это тот же путь, по которому шла вычислительная техника всё это время.
Ашманов говорит, что всей мощности Земли не хватит, чтобы сделать "сильный" ИИ. Чел более 30 лет в ИИ — можно верить. A>Отрицать очевидное бесполезно, это пустая трата сил, времени и энергии.
Не при нашей жизни.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
