что это ваще за бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? какая то лютейшая дилетанщина на уровне средне-туповатого обывателя ..
Здравствуйте, xma, Вы писали:
xma>что это ваще за сумасшедшая бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? по ней же видно что она всю жизнь муку молола и заборы красила ..
Здравствуйте, xma, Вы писали:
xma>что это ваще за сумасшедшая бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? по ней же видно что она всю жизнь муку молола и заборы красила ..
Татьяна Черниговская, доктор наук, профессор, директор Института когнитивных исследований в Питере.
Очень умная и интересная женщина, со своими взглядами, которые она не стесняется публично высказывать.
Отлично дополняет своего московского визави Анохина.
Здравствуйте, xma, Вы писали:
xma>что это ваще за сумасшедшая бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? по ней же видно что она всю жизнь муку молола и заборы красила ..
А можно уточнить, с чем именно вы не согласны в этом ролике?
Как по мне, вполне закономерные вопросы она озвучивает.
Re[2]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, Михаил Романов, Вы писали:
МР>А можно уточнить, с чем именно вы не согласны в этом ролике?
что значит "понял ли что то" ИИ после того как ему скормили "всю мировую литературу" ? очевидно что бабка не понимает как работает ИИ, т.к. он всего лишь ищет статистические взаимосвязи между токенами
МР>Как по мне, вполне закономерные вопросы она озвучивает.
ага, спрашивает какой логикой пользуются — самообучающиеся системы (но не уточняет о каких именно ведёт речь, AlphaZero/SUNO или что ?), ну предположим она про деградацию обучения при использовании в датасете готовых ответов других ИИ моделей (слыхал что бывает такое) — но всё равно не понятно к чему эти причитания
P.S.:
ну и главное что коробит про то что ИИ якобы "придумывают логику которую мы не знаем вообще", какая вообще может быть логика у стохастического попугая в чёрном ящике ? (ослу понятно что там может быть что угодно, в зависимости от обучаемого датасета и в целом последующей логики работы с ним и обученной моделью),
ну и что говорит о сомнительных компетенциях бабки, так это то что у неё вызвало удивление что ИИ это чёрный ящик по сути ..
P.S.2:
может бабка что то там и шарит в своей области нейролингвистики, но в области нейросетей выглядят её высказывания по дилетантски — особенно самое начало типа "зачем мы вообще ввязались в этот искусственный интеллект" (т.е. ей даже в голову не приходит что он нужен для роботов-солдат, роботов для предприятий склада и логистики и т.д., и даже SUNO ей не аукается о том сколько музона классного благодаря ему появилось)
Re[3]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, Pavlo Smaktunovskiy, Вы писали:
PS>I don't think that you understand how AI works...
ну давай расскажи, а мы послушаем (если что я говорил про базовый и основополагающий принцип)
Re[2]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, Михаил Романов, Вы писали:
МР>А можно уточнить, с чем именно вы не согласны в этом ролике?
Мне тоже не нравится, как она говорит, что говорит и не понятно, чем её мнение по данному конкретному вопросу может быть интересно.
МР>Как по мне, вполне закономерные вопросы она озвучивает.
Она озвучивает их со своей колокольни, не разобравшись, что такое современный ИИ, как он устроен, как функционирует, какие у него проблемы и ограничения. Примерно также, как на РСДН обсуждают политику, экономику или историю. Давай, запишем интервью у Химика про демократию в свете Великой Французской революции, выложим и подпишем: "Кандидат наук об истоках проблемах современной демократии". И будем говорить критикам: "Он же кандидат наук, а ты чего добился?"
Если хочется почитать о проблемах ИИ, лучше взять (из свежего) Дарио Амадеи. Илья Суцвекер дал отличное интервью. Демис Хасабис даёт интервью. Ян ЛеКун пишет о проблемах, возможностях и недостатках. Много чего.
Здравствуйте, xma, Вы писали:
xma>что это ваще за бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? какая то лютейшая дилетанщина на уровне средне-туповатого обывателя ..
xma>https://www.youtube.com/watch?v=NlbdDLUO3Jo
Я вот согласен с её вопросами и выводами. Но уже ничего изменить нельзя.
Самое смешное, что мы не можем понять, что ИИ понимает, а что нет. Скорее всего скоро будет достигнут уровень ИИ, когда мы не сможем понять ИИ стал лучше или нет. При том, что он скорее всего стал лучше.
Здравствуйте, Dimonka, Вы писали:
D>Самое смешное, что мы не можем понять, что ИИ понимает, а что нет. Скорее всего скоро будет достигнут уровень ИИ, когда мы не сможем понять ИИ стал лучше или нет. При том, что он скорее всего стал лучше.
Вот именно поэтому надо не слушать неспециалистов, а читать специалистов.
Сейчас мир похож на большое ток-шоу: все могут высказаться, почему-то мнение каждого важно, почему-то заслуги в одной области считаются важными.
Ничего не изменилось: важно мнение специалистов, важно на чём мнение основано, важны факты и аргументы. Когда Амадеи говорит о рисках и приводит кучу примеров с тем, как его контора пытается их преодолеть, то к его словам есть доверие. Потому что он знает о чём говорит и способен хотя бы примерно эти риски оценивать.
Когда Черниговская говорит о рисках, то нет доверия к её словам совсем. Какая разница, верные у неё выводы или нет? Парадокс материальной импликации или как он там называется. Всё, в этой точке мы переходим из науки в ток-шоу, где все просто высказывают своё мнение и чем мнение громче, тем оно вернее.
Re[5]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, Nuzhny, Вы писали:
N>Вот именно поэтому надо не слушать неспециалистов, а читать специалистов. N>Сейчас мир похож на большое ток-шоу: все могут высказаться, почему-то мнение каждого важно, почему-то заслуги в одной области считаются важными. N>Ничего не изменилось: важно мнение специалистов, важно на чём мнение основано, важны факты и аргументы. Когда Амадеи говорит о рисках и приводит кучу примеров с тем, как его контора пытается их преодолеть, то к его словам есть доверие. Потому что он знает о чём говорит и способен хотя бы примерно эти риски оценивать. N>Когда Черниговская говорит о рисках, то нет доверия к её словам совсем. Какая разница, верные у неё выводы или нет? Парадокс материальной импликации или как он там называется. Всё, в этой точке мы переходим из науки в ток-шоу, где все просто высказывают своё мнение и чем мнение громче, тем оно вернее.
Если мы находимся в домене "мы знаем, что мы знаем", то твое утверждение верно.
Если мы переходим в домен "мы знаем, что мы не знаем", то оно значительно слабеет.
Если же мы переходим в домен "мы не знаем, что мы не знаем", то оно теряет смысл.
В случае с ИИ — есть риски, которые присутствуют в домене "мы не знаем, что мы не знаем", поэтому чем больше различных оптик, через которые мы можем взглянуть на этот домен, тем лучше. Именно по этой причине Deep Mind набирает на работу людей с философским образованием или опытом в этике и социальных исследованиях.
Множество оптик, конечно, не означает "ток-шоу" и должно опираться на ответственный междисциплинарный метод анализа с привлечением компетентных с своих областях специалистов. Черниговская, с моей точки зрения, к таким специалистам вполне относится. Но ее мнение — это, конечно, не истина в последней инстанции, а другой взгляд на проблему.
Здравствуйте, xma, Вы писали:
xma>что значит "понял ли что то" ИИ после того как ему скормили "всю мировую литературу" ? очевидно что бабка не понимает как работает ИИ, т.к. он всего лишь ищет статистические взаимосвязи между токенами
Фраза "всего лишь статистика" — это чистой воды редукция, которая мало что объясняет. Да, ты прав, LLM обучают предсказывать токены по статистике данных. Но из этого не следует, что в модели нет сложных внутренних представлений и алгоритмического поведения. Это как сказать, что компилятор "он всего лишь делает элементарную арифметику и переставляет байтики" — формально верно, но по сути не отвечает на вопрос про устройство и свойства системы.
xma>ну и главное что коробит про то что ИИ якобы "придумывают логику которую мы не знаем вообще", какая вообще может быть логика у стохастического попугая в чёрном ящике ? (ослу понятно что там может быть что угодно, в зависимости от обучаемого датасета и в целом последующей логики работы с ним и обученной моделью),
Ты тут путаешь "описание элемента обучения модели" и "устройство модели". Из того, что для обучения LLM используются методы стохастического анализа не следует отсутствие структуры и алгоритмов в получившейся модели. Поэтому вопрос пор логику, или про то каким образом система выводит ответы и как устроено рассуждение — абсолютно нормальный. И похоже "бабка" понимает это лучше тебя
xma>может бабка что то там и шарит в своей области нейролингвистики, но в области нейросетей выглядят её высказывания по дилетантски — особенно самое начало типа "зачем мы вообще ввязались в этот искусственный интеллект" (т.е. ей даже в голову не приходит что он нужен для роботов-солдат, роботов для предприятий склада и логистики и т.д., и даже SUNO ей не аукается о том сколько музона классного благодаря ему появилось)
Вопрос "зачем мы ввязались в ИИ" не про "какие есть применения", а про последствия и цену: контроль рисков, безопасность, манипуляции, распределение власти и т.д. Перечень применений этот вопрос не закрывает.
P.S. Ну и про лингвистику. Люди из структурной лингвистики/нейролингвистики по-другому смотрят на то как семантика "вшита в язык", "как работает понимание" и это позволяет ставить вопросы к LLM в иной плоскости нежели это могут сделать инженеры по нейросетям.
Re[4]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, MaximVK, Вы писали:
MVK>Поэтому вопрос пор логику, или про то каким образом система выводит ответы и как устроено рассуждение — абсолютно нормальный. И похоже "бабка" понимает это лучше тебя
Я думаю, что с интерпретируемостью и понимаем моделей не так всё плохо, намного лучше, чем думает Черниговская. LLM создавали учёные, они делали это не в слепую, у неё вполне понятное устройство. Интерптериуемость нейросетей — это проблема не чёрного ящика, а слишком большого количества параметров и их высокой связности. Число параметров современных LLM сопоставимо с числом транзисторов в CPU и GPU, но связей сильно больше. Но меньше, чем в мозгу у человека.
При этом что неизвестно или непонятно? Все стадии разжёваны. Можно проследить активации при вводе каждого слова. Если хочется поменять что-то на высоком уровне — легко. Например, Heretic — убирание цензуры:
Heretic — автоматическое снятие цензуры с LLM. В прошлом году несколько исследователей решило разобраться как именно работает механизм отказов в языковых моделях когда они блокируют вредные запросы. Оказалось, что за отказ LLM выполнять запрос отвечает одно единственное направление в пространстве активаций. А вот сейчас на основе этого ресёрча сделали софт для автоматического снятия цензуры. Heretic вычисляет направления отказа, как разницу средних активаций между вредными и безвредными промптами, затем ортогонализирует веса аттеншна и MLP проекций для удаления этого направления. Оптимизатор автоматически подбирает параметры подавления, минимизируя одновременно количество отказов и KL divergence от оригинальной модели. Работает полностью автоматически просто запускаешь на любой поддерживаемой модели и через 45 минут получаешь версию без цензуры. Поддерживает большинство популярных архитектур, включая Llama, Qwen, Gemma и даже некоторые мультимодальные модели. Той же gpt oss снятие цензуры точно не помешает. https://github.com/p-e-w/heretic
Если бы люди не понимали, как работают LLM, то было бы такое возможно? При этом удивительно, что все они работают одинаково. У всех цензура работает в разных нейронах, но где она конкретно локализована не так важно, потому что известно как она действует и как её отключить. Давайте такое же провернём с людьми. Как мы будем действовать?
Я считаю, что понимание работы современных нейросеток намного-намного-намного лучше, чем понимание того, как происходит мышление у людей. Понимание нейросеток мы можем потрогать рукой, а до людей надо на ракете лететь.
Здравствуйте, xma, Вы писали:
xma>что это ваще за бабка ? и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? какая то лютейшая дилетанщина на уровне средне-туповатого обывателя ..
Очень вменяемая бабка, с очень ясным и глубоким мышлением. Всем бы так. Особенно в её возрасте.
Re[3]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, xma, Вы писали:
МР>>А можно уточнить, с чем именно вы не согласны в этом ролике? xma>что значит "понял ли что то" ИИ после того как ему скормили "всю мировую литературу" ? очевидно что бабка не понимает как работает ИИ, т.к. он всего лишь ищет статистические взаимосвязи между токенами
Во-первых, она примерно это и сказала. Причём языком, понятным простому человеку.
Во-вторых, она задала весьма неприятный вопрос: а точно-ли мы сами-то чего-то понимаем? Или тоже ищем статистические закономерности между токенами.
В третьих, она высказалась, что ИИ, способный влиять на нашу жизнь без контроля с нашей стороны, может быть для нас опасен.
В-четвертых, она высказала сомнения, что мы контролируем ИИ и вообще понимаем, что внутри него происходит. И убедилась, поговорив со специалистами в этой области, что её сомнения не беспочвенны.
И всё это за полторы минуты, простым и ясным языком.
Аплодирую стоя.
Re[2]: каждая сумасшедшая бабка теперь эксперд по ИИ
Я не знаю, что она там выложила, и, наверное, не узнаю никогда: я точно знаю, что Черниговская очень много говорит. Слушать её мнение стоит только в тех областях, где она является экспертом. В остальных областях она может запросто пересказывать городские легенды.
Лично я уже уже получал прививку от веры в авторитет, даже неоднократно — было неприятно. Так что за пределами её области, Черниговская для меня — просто бабушка, пока ещё без деменции.
Всё сказанное выше — личное мнение, если не указано обратное.
Re[2]: каждая сумасшедшая бабка теперь эксперд по ИИ
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, Dimonka, Вы писали:
D>>Самое смешное, что мы не можем понять, что ИИ понимает, а что нет. Скорее всего скоро будет достигнут уровень ИИ, когда мы не сможем понять ИИ стал лучше или нет. При том, что он скорее всего стал лучше.
N>Вот именно поэтому надо не слушать неспециалистов, а читать специалистов. N>Сейчас мир похож на большое ток-шоу: все могут высказаться, почему-то мнение каждого важно, почему-то заслуги в одной области считаются важными. N>Ничего не изменилось: важно мнение специалистов, важно на чём мнение основано, важны факты и аргументы. Когда Амадеи говорит о рисках и приводит кучу примеров с тем, как его контора пытается их преодолеть, то к его словам есть доверие. Потому что он знает о чём говорит и способен хотя бы примерно эти риски оценивать. N>Когда Черниговская говорит о рисках, то нет доверия к её словам совсем. Какая разница, верные у неё выводы или нет? Парадокс материальной импликации или как он там называется. Всё, в этой точке мы переходим из науки в ток-шоу, где все просто высказывают своё мнение и чем мнение громче, тем оно вернее.
Вопрос уже не совсем в специалистах. Люди получили доступ к LLM как к сервису и внедряют его не глядя, также не являясь специалистами. Причем пихают уже во все места надо и не надо, при этом не понимая как работает ИИ. И это действительно опасно — многие не понимают, насколько часто ответам ИИ нельзя доверять и как тщательно их надо верифицировать. У нас в конторе заставляют аналитиков использовать дипсик в работе на полном серьезе. Сопротивление бесполезно, владельцы уперлись рогом. Про разрабов вообще молчу, там такой цирк с конями.
Здравствуйте, gress, Вы писали:
G>Вопрос уже не совсем в специалистах. Люди получили доступ к LLM как к сервису и внедряют его не глядя, также не являясь специалистами. Причем пихают уже во все места надо и не надо, при этом не понимая как работает ИИ.
Трудно не согласиться. Тут может быть много технологических проблем и даже катастроф.
Но это уже совсем другой вопрос, не тот, который задаёт Черниговская. Судя по этому короткому видео, она уже считает, что нейросети обладают сознанием и нечеловеческой логикой. При этом апеллируя к каким-то специалистам, у которых она что-то спросила. Вот это меня больше всего бесит.
и какую квалификацию она имеет что её мнение "столь ценно" что его даже на ютьюб выложили ? какая то лютейшая дилетанщина на уровне средне-туповатого обывателя .. 
(если что я говорил про базовый и основополагающий принцип)
