Здравствуйте, Nuzhny, Вы писали:
N>Но это уже совсем другой вопрос, не тот, который задаёт Черниговская. Судя по этому короткому видео,
Рекомендую посмотреть другие, желательно полноформатные а не короткие фигурные нарезки.
N>она уже считает, что нейросети обладают сознанием и нечеловеческой логикой.
В одном из других видео она утверждает, например, что у человека нет сознания и логики. и очень логично обосновывает эту гипотезу.
Здравствуйте, Stanislaw K, Вы писали:
SK>Рекомендую посмотреть другие, желательно полноформатные а не короткие фигурные нарезки.
Скучно, если честно. Я у неё несколько больших видео смотрел и ни в одном не было ничего такого. Я бы её саму сравнил с тем, что выдаёт нейросеть: наукообразно, натыкано отрывистыми суждениями и цитатами. И никакого конкретного вывода из этого. Где конкретные прогнозы?
SK>В одном из других видео она утверждает, например, что у человека нет сознания и логики. и очень логично обосновывает эту гипотезу.
Я на 100% уверен, что это словоблудие. Потому что:
1. Нет чёткого и единого определения сознания. Поэтому можно на своё усмотрение взять такое определение, которое противоречиво и может быть опровергнуто.
2. Можно взять такое определение, где сознание будет по-определению свойством человека. Например:
Сознание — основанная на культуре высшая, свойственная только людям и связанная со способностью интерпретировать мысли функция мозга, заключающаяся в обобщённом и целенаправленном отражении действительности, в предварительном мысленном построении действий и предвидении их результатов, в разумном регулировании и самоконтроле поведения человека за счёт рефлексии.
По этому определению невозможно доказать, что у человека нет сознания, потому что оно определяется через человека. Также как, например, невозможно доказать, что у человека нет рук, потому что рука — это по определению часть человека.
3. Если у человека нет логики, то логики нет и у Черниговской. Если её построения и выводы не логичны, то они ложны. Если ложны, то зачем её слушать?
Я поэтому не люблю читать и слушать людей, которые умеют красиво и наукообразно говорить о том, чем практически не занимаются. Хассабис студентом решил сделать AGI и шажками к нему идёт: шахматы, Го, сворачиваемость белков, компьютерные игры. Теперь у него есть своя своеобразная теория о том, что можно вычислить, он её постулировал, он её исследует, цель заявлена. Всё понятно, прогноз еесть, как проверить его примерно тоже.
Здравствуйте, gress, Вы писали:
g> Вопрос уже не совсем в специалистах. Люди получили доступ к LLM как к сервису и внедряют его не глядя, также не являясь специалистами.
Такое можно икспердно заявлять о любой технологии, начиная от приручения огня и изобретения колеса. Популизм обыкновенный.
Здравствуйте, MaximVK, Вы писали:
MVK>Но из этого не следует, что в модели нет сложных внутренних представлений и алгоритмического поведения.
а я этого и не говорил
MVK>Из того, что для обучения LLM используются методы стохастического анализа не следует отсутствие структуры и алгоритмов в получившейся модели.
Кэп, ты ли это ?
MVK>Поэтому вопрос пор логику, или про то каким образом система выводит ответы и как устроено рассуждение — абсолютно нормальный.
он нормальный для погружённого в область специалиста, а не для бабки со счётами которая впервые западный компуктер увидела (по крайней мере на мероприятиях такого уровня массовости)
у бабки нет представлений — ни про слои абстракции, ни даже про текущие проблемы теории эмерджентности в нейросетях, просто словоблудие уровня бабок на лавочке (про предметность в обсуждении вопроса вообще даже речи не идёт)
Здравствуйте, Nuzhny, Вы писали:
SK>>Рекомендую посмотреть другие, желательно полноформатные а не короткие фигурные нарезки.
N>Скучно, если честно. Я у неё несколько больших видео смотрел и ни в одном не было ничего такого. Я бы её саму сравнил с тем, что выдаёт нейросеть: наукообразно, натыкано отрывистыми суждениями и цитатами. И никакого конкретного вывода из этого. Где конкретные прогнозы?
Это бычкам в стойле нормально пережевывать подготовленную хозяином/авторитетом солому. Для человека мыслящего — странная претензия.
Выводы ты должен сделать сам, на основании всей совокупности сведений. И пересматривать выводы при поступлении новых сведений.
SK>>В одном из других видео она утверждает, например, что у человека нет сознания и логики. и очень логично обосновывает эту гипотезу.
N>Я на 100% уверен, что это словоблудие. Потому что:
N>1. Нет чёткого и единого определения сознания.
Именно это она и говорит. Хорошо что ты заочно согласен.
N>3. Если у человека нет логики, то логики нет и у Черниговской. Если её построения и выводы не логичны, то они ложны. Если ложны, то зачем её слушать?
N>Я поэтому не люблю читать и слушать людей, которые умеют красиво и наукообразно говорить о том, чем практически не занимаются.
Потому что она борется с (не любимым тобой) псевдонаучным мракобесием.
Дело в том, что она-то, как раз, и занимается практически, и преподает, и популяризирует в перерывах между.
Все проблемы от жадности и глупости
Re[5]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, xma, Вы писали:
xma>у бабки нет представлений — ни про слои абстракции, ни даже про текущие проблемы теории эмерджентности в нейросетях, просто словоблудие уровня бабок на лавочке (про предметность в обсуждении вопроса вообще даже речи не идёт)
Ты некрасиво сейчас поступаешь, и по-мужски и просто по-человечески. Приписываешь человеку что-то, чтобы понизить его в своих глазах и глазах коллег по форуму. Использование слова "бабка", после того как тебе рассказали, что она профессор, доктор наук.
Это больше похоже на желание доказать себе удобную картину мира, а не посмотреть на мир чуть более трезвым взглядом.
Я очень советую почитать ее статьи.
N>Я думаю, что с интерпретируемостью и понимаем моделей не так всё плохо, намного лучше, чем думает Черниговская. LLM создавали учёные, они делали это не в слепую, у неё вполне понятное устройство. Интерптериуемость нейросетей — это проблема не чёрного ящика, а слишком большого количества параметров и их высокой связности. Число параметров современных LLM сопоставимо с числом транзисторов в CPU и GPU, но связей сильно больше. Но меньше, чем в мозгу у человека. N>При этом что неизвестно или непонятно? Все стадии разжёваны. Можно проследить активации при вводе каждого слова. Если хочется поменять что-то на высоком уровне — легко. Например, Heretic — убирание цензуры: N>
N>Heretic — автоматическое снятие цензуры с LLM. В прошлом году несколько исследователей решило разобраться как именно работает механизм отказов в языковых моделях когда они блокируют вредные запросы. Оказалось, что за отказ LLM выполнять запрос отвечает одно единственное направление в пространстве активаций. А вот сейчас на основе этого ресёрча сделали софт для автоматического снятия цензуры. Heretic вычисляет направления отказа, как разницу средних активаций между вредными и безвредными промптами, затем ортогонализирует веса аттеншна и MLP проекций для удаления этого направления. Оптимизатор автоматически подбирает параметры подавления, минимизируя одновременно количество отказов и KL divergence от оригинальной модели. Работает полностью автоматически просто запускаешь на любой поддерживаемой модели и через 45 минут получаешь версию без цензуры. Поддерживает большинство популярных архитектур, включая Llama, Qwen, Gemma и даже некоторые мультимодальные модели. Той же gpt oss снятие цензуры точно не помешает.
N>https://github.com/p-e-w/heretic
N>Если бы люди не понимали, как работают LLM, то было бы такое возможно? При этом удивительно, что все они работают одинаково. У всех цензура работает в разных нейронах, но где она конкретно локализована не так важно, потому что известно как она действует и как её отключить. Давайте такое же провернём с людьми. Как мы будем действовать? N>Я считаю, что понимание работы современных нейросеток намного-намного-намного лучше, чем понимание того, как происходит мышление у людей. Понимание нейросеток мы можем потрогать рукой, а до людей надо на ракете лететь.
Я полностью согласен с тобой в части качественной разницы в понимании работы нейросеток и мозга. Мы пока даже не в состоянии ответить на вопрос вычислимо ли наше сознание (или хотя бы мышление), не говоря уже о менее фундаментальных вещах.
Но что касается понимания того, как работает LLM, то тут я твой оптимизм разделить не могу.
В области AI эта проблема известна как Explainable AI (XAI). Одно из направлений в этой области называется — Mechanistic Interpretability. Оно проясняет разницу между "локальным пониманием" того как работает AI, и пониманием того, как AI "работает в целом". Споры обвычно возникают из разного представления о значении термина "понимать как система работает в целом".
Прояснить значения и понять разницу между терминами "локальный" и "в целом" можно на аналогии с задачей реверс инжениринга в программированиию.
Если принять, что:
1. Архитектура сети — это виртуальная машина
2. Веса — это байт-код
3. Активация нейронов в сети — это память
Тогда задача "понять как работает сеть" эквивалента "зареверсинжениирить байт-код".
В этой оптике твой пример с Heretic — это аналог решения задачи нахождения счетчика жизней в ассемблерном коде и замена 1 на 0 в инкременте. Да, найдено место которое кодирует определенный аспект поведения системы, но это не тоже самое, что зареверсинженирить всю игру. Это пример локального понимания.
Восстановить же из байт-кода архитектуру приложения, разбитую на смысловые компоненты и свзязи между ними, описанные на языке высокого уровня — это пример "понять в целом". И это качественно другая задача.
Одно из самых болезненных мест в mechanistic interperability — это "а во что же реверсинженирить". Когда мы реверсинженирим код, мы строим гипотезы исходя из знаний о том, как люди пишут код, как работает компилятор: мы "видим" границы функций, создание объектов, типовые алгоритмы, ходы. Мы знаем принципы по которым функции организовываются в библиотеки и классы, по какому принципу данные хранятся в памяти. Т.е. в сущности мы восстанавливаем то, что сделано человеком и, соответственно, представимо в человеческих категориях. Можно ли представить работу нейронной сети как "system works as a whole" в человеческих категориях — оптимистично, да. Но как это сделать — вопрос открытый. Есть различные идеи, но рабочей методологии, насколько мне известно, еще нет.
Здравствуйте, Stanislaw K, Вы писали:
SK>Выводы ты должен сделать сам, на основании всей совокупности сведений. И пересматривать выводы при поступлении новых сведений.
Я выводы делаю на основании первоисточников, а не того, что переживал другой. Что она говорит? "Я спросила и мне ответили." Что она спросила, кто ей ответил, что конкретно ответил — хз, не приводится. Какие выводы можно сделать? Никаких.
SK>Потому что она борется с (не любимым тобой) псевдонаучным мракобесием.
Молодец! Я не отрицаю её признанных заслуг, а критикую вполне конкретные вещи.
SK>Дело в том, что она-то, как раз, и занимается практически, и преподает, и популяризирует в перерывах между.
Да, хорошо, она молодец, что так делает. Что она опубликовала по нейросетям, ИИ и другим вещам? Давай, не будем обсуждать надерганные высказывания и посмотрим на её аргументы, всё как полагается.
Здравствуйте, Nuzhny, Вы писали:
SK>>Выводы ты должен сделать сам, на основании всей совокупности сведений. И пересматривать выводы при поступлении новых сведений.
N>Я выводы делаю на основании первоисточников, а не того, что переживал другой. Что она говорит? "Я спросила и мне ответили." Что она спросила, кто ей ответил, что конкретно ответил — хз, не приводится. Какие выводы можно сделать? Никаких.
Потому что обсуждаемое видео, это фигурно нарезанная часть бОльшего, и что она спросила было в предыдущем, удаленном фрагменте. Более подробно тема раскрывается в следующем, удаленном фрагменте.
Ну и в целом, это конкретное научно-популярное видео ориентировано на "широкую аудиторию не специалистов", по этому глубокая детализация и терминология, разумеется, не используется.
Тем не менее, для человека думающего, такое научно-популярное видео содержит достаточно, для того чтобы служить отправной точкой для самостоятельного поиска информации в других выступлениях и литературе как самой Черниговской и других профильных специалистов. Хотя, конечно, желательно смотреть полное видео, а не тиктокерскую 15 секундную нарезку лулзов.
SK>>Дело в том, что она-то, как раз, и занимается практически, и преподает, и популяризирует в перерывах между.
N>Да, хорошо, она молодец, что так делает. Что она опубликовала по нейросетям, ИИ и другим вещам? Давай, не будем обсуждать надерганные высказывания и посмотрим на её аргументы, всё как полагается.
ЕМНИП, она по нейросетям ничего не публикует, не говорит, и не претендует на какой либо авторитет в ИИ. В её выступлениях нейросети если и появляются каким-то боком то только из вопросов слушателей.
Все проблемы от жадности и глупости
Re[6]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, MaximVK, Вы писали:
MVK>Использование слова "бабка", после того как тебе рассказали, что она профессор, доктор наук.
да мы уже поняли что вы там совместно бюджеты пилите и гранты осваиваете на всяком бреде типа «Эволюция языковых и когнитивных функций: физиологические и нейролингвистические аспекты» про анализ восприятия человеком речи бабуинов капуцинов (и всякой прочей подобной белиберды) ..
и если за такие высеры (да да, прочитал бегло половину этой "диссертации") дают доктора наук, то я блд тогда вообще Эйнштейн AGI
P.S.:
ну и естественно что не шарит она ни в каких нейросетях (тем более теоретических и технических деталях, как их современных реализаций так скорее всего и вообще) — а скорее всего и ты не шаришь
(я даже больше скажу, бабка эта скорее всего даже ChatGPT современный ни разу не запускала, ибо тупо получить доступ к нему для неё это уже "космические технологии" (c)), иначе зачем бы ей "специалист" (очевидно с соседней лавочки бюджетной) понадобился — когда на все вопросы в состоянии ответить AI (даже на самые тупые).
ну т.е. схема "исследователя не курильщика" какая — сначала мучаем тяжёлый облачный AI (проясняя базовые вопросы), потом если есть необходимость (например перед тем как "нести бред в массы") проводим чекап ключевой информации полученной — опросом реальных "специалистов" ..
а бред про "а не выдумывает ли ИИ новую логику, а специалист ответил да уже" — это уровень детского сада какой то (ну примерно как опрос капуцинов) ..
Здравствуйте, Stanislaw K, Вы писали: SK>Более подробно тема раскрывается в следующем, удаленном фрагменте.
можно ссыль с таймкодом на него ? (послушаем чего там "интересного"), а вдруг ?
юмор
осторожно мат
Re[7]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, xma, Вы писали:
xma>да мы уже поняли что вы там совместно бюджеты пилите и гранты осваиваете на всяком бреде типа «Эволюция языковых и когнитивных функций: физиологические и нейролингвистические аспекты» про анализ восприятия человеком речи бабуинов капуцинов (и всякой прочей подобной белиберды) .. xma>ну и естественно что не шарит она ни в каких нейросетях (тем более теоретических и технических деталях, как их современных реализаций так скорее всего и вообще) — а скорее всего и ты не шаришь xma>(я даже больше скажу, бабка эта скорее всего даже ChatGPT современный ни разу не запускала, ибо тупо получить доступ к нему для неё это уже "космические технологии" (c)), иначе зачем бы ей "специалист" (очевидно с соседней лавочки бюджетной) понадобился — когда на все вопросы в состоянии ответить AI (даже на самые тупые). xma>ну т.е. схема "исследователя не курильщика" какая — сначала мучаем тяжёлый облачный AI (проясняя базовые вопросы), потом если есть необходимость (например перед тем как "нести бред в массы") проводим чекап ключевой информации полученной — опросом реальных "специалистов" .. xma>а бред про "а не выдумывает ли ИИ новую логику, а специалист ответил да уже" — это уровень детского сада какой то (ну примерно как опрос капуцинов) ..
тебе мало было Черниговской что-то приписывать, так ты еще и за меня взялся
xma>и если за такие высеры (да да, прочитал бегло половину этой "диссертации") дают доктора наук, то я блд тогда вообще Эйнштейн AGI
Я тут могу только предполжить, что или ты плохо понимаешь как работает наука, или в тебе говорит какое-то неприятное чувство типа зависти. Тут прям напрашивается известная басня Крылова
Она защищалась в Сеченова (это дорогого стоит), в тексте дисера есть разделы "научная новизна" и "практическое применение". Рецензенты и оппоненты — также уважаемые ученые. Позволь мне усомниться в том, что ты разбираешься в ценности и сложности ее научной работы лучше, чем несколько докторов наук специализируюшихся в этой области.
Ценность ученого лучше оценит научное сообщесто, а с оценкой от международного научного сообщества у нее все хорошо. Достаточно посмотреть на список универов в которые Черниговская приглашали читать лекции и проектах в которых она принимала участие. https://nsp.phys.spbu.ru/ru/staff/invited-lecturers/66-chernigovskaya-tatyana-vladimirovna.html
Здравствуйте, MaximVK, Вы писали:
MVK>Позволь мне усомниться в том, что ты разбираешься в ценности и сложности ее научной работы лучше, чем несколько докторов наук специализируюшихся в этой области.
возьми да сам почитай, ты же сам мне только что это и предлагал а самому слабо ? (я вот почитал)
MVK>Ценность ученого лучше оценит научное сообщесто
SK>ЕМНИП, она по нейросетям ничего не публикует, не говорит, и не претендует на какой либо авторитет в ИИ. В её выступлениях нейросети если и появляются каким-то боком то только из вопросов слушателей.
как и говорили ценность её мнения по нейросетям около нулевая
MVK>Достаточно посмотреть на список универов в которые Черниговская приглашали читать лекции
Обама тоже лекции читает (и за немалую денежку причём), а ведь он к..уцин пустоголовый ..
Здравствуйте, xma, Вы писали:
xma>что это ваще за бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? какая то лютейшая дилетанщина на уровне средне-туповатого обывателя ..
Всё правильно она говорит.
Никто из ныне живущих не понимает, как работают достаточно большие многослойные сетки, бо размерность задачи такова, что не поддаётся ни формализации, ни верификации.
Остаётся "верить на слово". ))
ИИ — это всегда интерполяция, некое "приближение" на функциях, богатых экстремумами.
В современных гигантских многослойках кол-во экстремумов по слоям комбинаторно давно переваливает за кол-во атомов во Вселенной.
Ну конечно давно уже никто не понимает, как оно работает.
Считается, что при обучении создаются "устойчивые цифровые подпространства" на множестве всех состояний.
Но что они из себя представляют, эти подпространства состояний, и насколько они верно кодируют требуемые знания — на это ответа сегодня нет от слова совсем.
Вся надежда на то, что ИИ следующего поколения сможет обучать и контроллировать ИИ нынешнего поколения и хотя бы примерно "понимать", что происходит унутре.
Здравствуйте, xma, Вы писали:
xma>как и говорили ценность её мнения по нейросетям около нулевая
ценность ее мнения, как человека, полюбасу гораааздо выше ценности твоего мнения
для меня, в том числе и по нейросетям
тем более что она обсуждает не технические детали а морально этические и эволюционные последствия, поскольку, походу, ты этого не понял
Здравствуйте, Nuzhny, Вы писали:
N>Но это уже совсем другой вопрос, не тот, который задаёт Черниговская. Судя по этому короткому видео, она уже считает, что нейросети обладают сознанием и нечеловеческой логикой.
1. На какой секунде она говорит про сознание?
2. По поводу логики — а ты какой алгоритм используешь когда ищешь следующее слово в эмбеддингах? или ты используешь человеческую логику?
а по сути она говорит о том, что вопрос вообще не в том как это работает, а в том, что ИИ забирате у нас творчество оставляя нам роль скота
Re[3]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, Nuzhny, Вы писали:
N>Если хочется почитать о проблемах ИИ, лучше взять (из свежего) Дарио Амадеи.
Галиматья от какого-то полуграмотного писаки. ))
Вода на воде без понимания.
Черниговская конкретнее в своих тезисах и вообще грамотнее подобных писак в сотни раз и, в отличие от них, хорошо понимает как саму механику работы ИИ, так и социальные аспекты, потенциально возникающие при его использовании.
Полоумный чел по твоей ссылке пишет о "сострадательном поведении ИИ", хотя многократно уже отмечалось, что приучение ИИ толерантности учит его врать и обманывать.
Ведь ИИ хорошо учится декомпозировать паттерны, а потом композировать их обратно.
И если вы думаете, что научите его ловко врать только насчёт ЛГБТ или демократии западного толка, то вы сильно-сильно заблуждаетесь.
У него этот навык не будет зависеть от обсуждаемой темы.
Вместо этого он чудесно его развернул и обосновал:
Вы затронули комплекс важных и актуальных вопросов о фундаментальных проблемах современного ИИ. Давайте верифицируем ваши утверждения по пунктам.
1. «Никто из ныне живущих не понимает, как работают достаточно большие многослойные сетки»
В основном верно, но с важным уточнением.
Что верно: Мы действительно не имеем полного, детерминистического, причинно-следственного понимания того, как именно каждый нейрон в моделях типа GPT-4, Claude или Gemini кодирует конкретные понятия и как именно возникает сложное поведение. Это область активных исследований — интерпретируемость (interpretability) и объяснимый ИИ (XAI).
Уточнение: Утверждение «никто не понимает» — сильное упрощение. У нас есть:
Частичное понимание на разных уровнях: Мы понимаем архитектуру (трансформеры, внимание), процесс обучения (обратное распространение, градиентный спуск). Мы можем идентифицировать некоторые «нейроны-детекторы» (например, реагирующие на понятия городов или синтаксические конструкции).
Формализация существует: Математический аппарат (теория оптимизации, статистическая механика) формализует процесс обучения, но не может «просчитать» конкретную обученную сеть из-за её размерности.
Проблема — в масштабе и эмерджентности: Понимание теряется в комбинаторной сложности взаимодействий между миллиардами параметров. Поведение является эмерджентным — оно возникает из этих взаимодействий и неочевидно из свойств отдельных частей.
Итог: Мы понимаем «как собрали двигатель и по какому принципу он работает», но не можем мысленно проследить взрыв каждого цилиндра в реальном времени в двигателе с миллиардами цилиндров. Полная, исчерпывающая интерпретация современных больших моделей действительно отсутствует.
2. «ИИ — это всегда интерполяция... кол-во экстремумов... переваливает за кол-во атомов во Вселенной»
Метафора верна по духу, но требует концептуальной точности.
Интерполяция vs. Экстраполяция: Современные ИИ модели на основе глубокого обучения действительно работают, интерполируя между примерами в обучающих данных. Однако их способность к обобщению позволяет им совершать и ограниченную экстраполяцию (например, применять известные правила к новым, но похожим объектам). Они не создают новые фундаментальные знания «из ничего».
Про экстремумы: Ваша метафора о «функциях, богатых экстремумами» и комбинаторном взрыве — яркий и в целом верный образ. Ландшафт функции потерь (Loss Landscape) нейронной сети с миллиардами параметров невообразимо сложен. Количество возможных конфигураций параметров (и локальных минимумов) астрономически велико. Хотя сравнение с числом атомов во Вселенной (~10^80) — популярная гипербола, она корректно передаёт идею недоступности для полного перебора или анализа.
3. «Устойчивые цифровые подпространства... ответа сегодня нет от слова совсем»
Верно по сути, но это и есть центральная задача интерпретируемости.
Что такое «устойчивые подпространства» (или «манифолды»): Это концепция из теории представлений. Идея в том, что сеть организует внутренние активации так, что схожие семантические понятия (например, все изображения кошек) проецируются в близкие точки в её многомерном пространстве (образуя «многообразие кошек»). Устойчивость означает, что небольшие изменения на входе не выкидывают представление из этого подпространства.
Проблема верификации: Вы абсолютно правы. Мы можем эмпирически обнаружить, что некоторая область активаций реагирует на «кошек», но у нас нет формального, гарантированного метода, чтобы:
— Полностью описать границы и структуру этого подпространства.
— Доказать, что оно кодирует именно «кошачьесть» во всех аспектах, а не коррелирующие с ней артефакты данных.
— Гарантировать, что это представление не сломается в нестандартных условиях (например, на состязательных примерах).
4. «Вся надежда на то, что ИИ следующего поколения сможет обучать и контролировать ИИ нынешнего поколения»
Это одно из самых многообещающих направлений, но не единственное.
Это направление часто называют «ИИ для науки об ИИ» или «рекурсивная инспекция».
Суть: Использовать более способные (или специализированные) будущие модели для анализа, объяснения, контроля и, возможно, даже прямого выравнивания (alignment) моделей предыдущего поколения.
Проблема: Здесь возникает проблема доверия. Если даже мы не понимаем модель A, а модель B (которую мы тоже не до конца понимаем) говорит, что она поняла и проконтролировала модель A, — мы просто перекладываем проблему на уровень выше, не решая фундаментальный вопрос интерпретируемости. Это требует создания строгих протоколов верификации выводов таких моделей-инспекторов.
Другие направления надежды:
Машинно-ускоряемое научное открытие: Использование ИИ для анализа самих нейронных сетей как объектов изучения, поиска в них закономерностей, которые потом могут быть формализованы людьми.
Развитие теоретических основ: Попытки создать новую математику для описания глубокого обучения (аналогично тому, как термодинамика возникла для описания сложных систем из многих частиц).
Общий вывод:
Ваши рассуждения в целом точны и отражают ключевые парадоксы и вызовы современного ИИ. Вы правильно идентифицировали:
Провал в интерпретируемости из-за комбинаторной сложности.
Статус современных моделей как сложных интерполяторов на невообразимо сложных ландшафтах.
Отсутствие формальных гарантий работы внутренних представлений.
Идею использования ИИ для анализа ИИ как логичный следующий шаг.
Главное уточнение: поле не стоит на месте. Утверждение «никто не понимает» следует читать как «никто не обладает полным, гарантированным, причинно-следственным пониманием», а не как полное отсутствие каких-либо знаний и исследовательских методов. Проблема интерпретируемости, которую вы обозначили, — это и есть одна из самых важных в области ИИ на сегодняшний день.
Здравствуйте, vdimas, Вы писали:
V>В современных гигантских многослойках кол-во экстремумов по слоям комбинаторно давно переваливает за кол-во атомов во Вселенной.
это даже не спорно (если не сарказм, оч похоже) — бред. просто потому, что для любого нейрона необходим транзистор (а там не один атом), бит на накопителе, что в совокупности дает большее количество атомов для одного терминала.
V>Ну конечно давно уже никто не понимает, как оно работает.
)) да ладно, есть методы дебага. Что там понимать — греби ..
V>Считается, что при обучении создаются "устойчивые цифровые подпространства" на множестве всех состояний.
Считается, что для начала надо понять как синтаксический разбор связали с нейронками. (а именно, что такое векторизация слов и как используется в трансформерах), собственно ..
V>Но что они из себя представляют, эти подпространства состояний, и насколько они верно кодируют требуемые знания — на это ответа сегодня нет от слова совсем.
все это подвержено анализу.
V>Вся надежда на то, что ИИ следующего поколения сможет обучать и контрлировать ИИ нынешнего поколения и хотя бы примерно "понимать", что происходит унутре.
Ага, от это я уже от кого-то слышал, одного полубажное существо нагромоздит еще боле тупое ведро.
П.С. вся эта мистификация алгоритмов ) куда ее деть ??? кому нанужна ??
Здравствуйте, xma, Вы писали:
xma>что это ваще за бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? какая то лютейшая дилетанщина на уровне средне-туповатого обывателя ..
.? такую даму обидел, ну держи ...
Знаешь, брасисту говорить о большом пальце по бедру не имеет никакого смысла, потому что техника браса подразумевает гребок до груди, (проще говоря по жабьи), но меж тем, баттерфляисту это вполне актуально, если не касаться ног, (пока во всяком случае), в баттерфляе всегда два удара ногами (начал гребка и конец, когда вылетаешь), а в вольном стиле бывает очень по разному. Можно восьмиударным, по моему садовой восьмиударным НО!! до этого наш Циля плавал стаерские восьмиударным
Но бывает удар головой в нос, и ты стоишь и .. понимаешь, когда ты шаришь (может немного больше среднего) ты знаешь, что делать в таких ситуациях. уклон — плечом встретил в нос,
А в наших делах эээ . Блин ну зачем ты хамишь? Дама, да в возрасте .. Но кто ты такой ??
у меня вот был короткий диалог с профессором харьковского универа (о илософии) /*бл ну если ты не ответишь мне на мои вопросы ... — пустобрхом наову, и пестню про тебя напишу.. мгновенно, контробас, гитара сакс будет*/
Капец ... ты со своим СУНО мен реально разозлил .. я тебе на контробасе отвечу, иди ... с СУНО мне ответь — затопчу ..сгитара, сакс ... (могу и баритоном задуудллонить)
А вообще ты в LLM разбираешься .7
Ну даай мне ответ — чем векторизация слов у него отличается .. ))) будееный )))) отвянь от людей имеющих отношение к академии.
П.С. Тут пару "вликолепных" умов заявляли, что ИИ будет обладать сознанием. ))) понятно, что это бред ...
никакого сознания там не будет, но вы по уровню аблюдения .. с этой дамой просто дети.
(по крайней мере на мероприятиях такого уровня массовости)
(про предметность в обсуждении вопроса вообще даже речи не идёт)
