Нобелевскую премию — 2024 по физике присудили за исследования в области нейросетей
«Лауреаты этого года применили инструменты из области физики для разработки методов, которые стали основой современного машинного обучения. Джон Хопфилд создал ассоциативную нейронную сеть, которая может хранить и восстанавливать изображения и другие типы шаблонов в данных. Джеффри Хинтон изобрел метод, позволяющий автономно находить свойства в данных и выполнять такие задачи, как идентификация определенных элементов на изображениях», — говорится в пресс-релизе.
Я может не в тему, но вообще у меня давно есть интуитивное ощущение, что работа нейросетей основана на квантовой запутанности, и для понимания как работает ИИ — надо понимать что такое запутанность.
Создатели нейросети ChatGPT попытались заставить систему объяснить, что происходит в ее недрах. Однако столкнулись с проблемой, что Искусственный интеллект может использовать концепции, для которых у людей нет названий. Началось же все с того, что изобретали искусственного интеллекта признались, что не понимают, что у него происходит внутри.
«Все наши попытки усовершенствовать их, сделать безопаснее и тому подобное кажутся мне смешными. Что мы можем сделать, если мы не понимаем, как они работают?» — говорит Элли Павлик из Университета Брауна. Она принадлежит к числу тех исследователей, которые пытаются восполнить этот недостаток знания.
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Джон Хопфилд изобрел сеть, которая использует метод сохранения и воссоздания узоров. Сеть Хопфилда использует физику материала, а точнее — атомного спина. Сеть в целом описывается способом, эквивалентным описанию энергии в спиновой системе, и обучается путем поиска значений для связей между узлами, так что сохраненные изображения имеют низкую энергию. Когда сети Хопфилда подается искаженное или неполное изображение, она методично проходит через узлы и обновляет их значения, так что энергия сети падает. Таким образом, сеть работает поэтапно, чтобы найти сохраненное изображение, которое больше всего похоже на изображение, которое ей подавали.
Джеффри Хинтон использовал сеть Хопфилда в качестве основы для сети, которая использует другой метод — машину Больцмана. Для развития нового метода Хинтон использовал методы из статистической физики — науки о системах, построенных из множества похожих компонентов. Машина обучается путем подачи ей примеров, которые с большой вероятностью возникнут при ее запуске. Машина Больцмана может использоваться для классификации изображений или создания новых примеров типа шаблона, на котором она была обучена, а также решать сложные комбинаторные задачи.
Здравствуйте, Khimik, Вы писали:
K>Я может не в тему, но вообще у меня давно есть интуитивное ощущение, что работа нейросетей основана на квантовой запутанности, и для понимания как работает ИИ — надо понимать что такое запутанность.
Ощущение или у Пенроуза про мозг прочитал?
У меня же есть ощущение, что сначала надо найти хоть какие-то возможности такой запутанности. Правильно ли я тебя понимаю, что сам факт запутанности даже не сависит от того, на каком железе нейросеть выполняется? Оно свойственно самой математической структуре нейросети?
Здравствуйте, Nuzhny, Вы писали: K>>Я может не в тему, но вообще у меня давно есть интуитивное ощущение, что работа нейросетей основана на квантовой запутанности, и для понимания как работает ИИ — надо понимать что такое запутанность. N>Ощущение или у Пенроуза про мозг прочитал? N>У меня же есть ощущение, что сначала надо найти хоть какие-то возможности такой запутанности. Правильно ли я тебя понимаю, что сам факт запутанности даже не сависит от того, на каком железе нейросеть выполняется? Оно свойственно самой математической структуре нейросети?
У меня есть сугубо интуитивные ощущение, которые я не могу тут толком сформулировать, чтобы не быть обвинённым в шизе. Я бы сказал что структура нейросети запутана с какими-то макроструктурами нашей вселенной и соответственно коррелирует с ними. Или вот к примеру: у вас нет подозрения, что это не оптическая иллюзия а какая-то квантовая корреляция?
Скрытый текст
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Здравствуйте, Khimik, Вы писали:
K>У меня есть сугубо интуитивные ощущение, которые я не могу тут толком сформулировать, чтобы не быть обвинённым в шизе. Я бы сказал что структура нейросети запутана с какими-то макроструктурами нашей вселенной и соответственно коррелирует с ними. Или вот к примеру: у вас нет подозрения, что это не оптическая иллюзия а какая-то квантовая корреляция?
Нейросеть — это (в настоящее время) просто компьютерная программа, выполняющая ряд операций с данными. В основном различные матричные и векторные перемножения, но не только конечно. Ни с чем она пока что не запутывается и не коррелирует.
Хотя, если аппаратный рандом использует... Но все-равно пока что удивительные результаты работы нейросетей — это переход количества в качество, ставший возможным с развитием вычислительных мощностей.
Khimik:
K>Я бы сказал что структура нейросети запутана с какими-то макроструктурами нашей вселенной и соответственно коррелирует с ними.
Точка зрения, что за знаниями человек буквально обращается к вселенским структурам мне кажется крайне неумной.
Возьмем простой факт: Bill Baklushi позавтракал сегодня кашей. У меня есть это знание просто в силу памяти. Другой человек может получить это знание проведя небольшое расследование.
Знания можно получить вычислением: 1 + (2*3) = 7, это тривиально. Логические выводы, размышления — это тоже своего рода вычисления, примерно похожие на работу языка Prolog. Интуиция, озарения и пр. вдохновения — то же самое, но работающее в фоновом режиме и на нечетких исходных данных.
Фигурально говоря, к "вселенским" структурам человек таки обращается, но без всякой непонятной мистики. То есть, читает книги, общается, висит в интернете и т.д.
ЗЫ. По нейросетям есть две отличные книги под одинаковым названием "Глубокое обучение". У одной автор Гудфеллоу у второй Николенко.
Есть там и теория, немного с заходами в философию. Матричные операции, дифференцирование, поиск оптимумов и никакой мистики.
ЗЗЫ. Квантовые вычисления — просто более эффективный способ минимизации функции ошибки, основная математика нейросетей остается той же.
BB>Возьмем простой факт: Bill Baklushi позавтракал сегодня кашей. У меня есть это знание просто в силу памяти. Другой человек может получить это знание проведя небольшое расследование. BB>Знания можно получить вычислением: 1 + (2*3) = 7, это тривиально. Логические выводы, размышления — это тоже своего рода вычисления, примерно похожие на работу языка Prolog. Интуиция, озарения и пр. вдохновения — то же самое, но работающее в фоновом режиме и на нечетких исходных данных.
У Пелевина в айфаке есть два вида ИИ: первый это скорее псевдоразум, придумывать новое он не может, а второй настоящий разум, превосходящий человеческий. Но и первый ИИ знает логику и отлично справляется с ролью следователя. Я пока не знаю где тут истина, надеюсь понемногу разберёмся.
BB>ЗЫ. По нейросетям есть две отличные книги под одинаковым названием "Глубокое обучение". У одной автор Гудфеллоу у второй Николенко. BB>Есть там и теория, немного с заходами в философию. Матричные операции, дифференцирование, поиск оптимумов и никакой мистики.
Хорошо, скажу для страховки, что мне сейчас кажется возможной моя гипотеза про квантовые корреляции — с вероятностью 70%, а с вероятностью 30% объяснение не такое сногсшибательное.
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Здравствуйте, Nuzhny, Вы писали:
N> Или физика?
По-моему, совем нет.
N> описывается способом, эквивалентным описанию энергии в спиновой системе N> машину Больцмана
Это просто матмодели, которые могут описывать как нейронку, так и физическую систему.
Такого полно.
Например, уравнения моделей теплопроводности и чего-то из термодинамики могут использовать в финансовых рынках. Но давать нобелевку по физике за торговлю фьючерсами — какой-то бред.
Здравствуйте, Muxa, Вы писали:
A>>"Нефизика" это хорошо сказано.
M>Погоди, ты понял в чем связь текста топика и его заголовка?
В рамках личной программы "Донт би э джёрк (сач мач)", я стараюсь больше фокусироваться на достоинствах окружающих, а не недостатках. Поэтому, ограничусь похвалой по поводу заголовка.
I'm a sewer mutant, and my favorite authors are Edgar Allan Poo, H.G. Smells and George R.R. Martin.
K>Я бы сказал что структура нейросети запутана с какими-то макроструктурами нашей вселенной и соответственно коррелирует с ними.
Ну дичь же. Проведи простой эксперимент — останови расчёт сети на середине, запиши результаты расчёта на листик. Положи листик на полку, подержи там месяц, отнеси листик к другому компьютеру, и введи циферки и продолжи расчёт. И расчёт продолжится, и закончится успешно, и ты получишь детерминированный ответ, неотличимый от того, который даст та же нейросеть на тот же запрос.
Кстати, структура современных нейросетей вообще фиксирована до начала обучения. И она очень простая, прямо дубовая. Слои в линию и коэффициенты в матрицах. Там вообще нечему запутываться.
Мне кажется ты просто собираешь в кучу все штуки которые не понимаешь, и пытаешься одну принудительно назначить объяснением другой. Но это анти-наука. Наука наоборот — пытается объяснить любую штуку которая пока непонятна через эксперименты и штуки которые уже понятны.
Тут скорее можно говорить об обратном — учитывая насколько хорошо нейросети имитируют мышление, можно уже говорить о том что в реальном мозгу никакое запутывание скорее всего не используется.
Я выше выложил оптическую иллюзию, и когда я проверил её пипеткой, я почувствовал какой-то небольшой когнитивный диссонанс. И возможно похожий диссонанс, причём какой-то приятный, я испытал, когда освоил рисование рисунков нейросетями в режиме img2img. Там на входе подаётся картинка и промпт, указывается степень важности первого и второго, и нейросеть типа думает и дорисовывает. Ежели народ захочет, могу тут выложить картинки с примерами, может станет понятно. Есть желающие посмотреть?
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Левенчук объясняет физичность нс и почему и за что дали нобелевку.
Вот недавний пост -- https://ailev.livejournal.com/1737734.html
Там надо ссылки все смотреть. А вот 10-летней давности, где говорится про физику процессов эволюции
Я тут уже писал много раз, что происходящее сейчас в deep learning подобно квантовой революции в физике сто лет назад, это существенное продвижение в понимании устройства мироздания. Мне кажется, что связь физики спиновых стёкол, сворачивания белков, нейронных сетей и математики эволюции ещё себя проявит. Вопрос "почему так хорошо работают нейронные сетки" становится эквивалентным вопросу "почему так хорошо работает эволюция". И это вопрос о физичности эволюции, понимании её природы, моделировании -- и затем переходу к инженерной постановке вопроса, к использованию моделей для инженерии эволюции. Так что про нейронные сетки (спиновые стёкла, сворачивание белков, физику землетрясений и месторождений) пишем, а эволюцию держим в уме.
N>Джон Хопфилд изобрел сеть, которая использует метод сохранения и воссоздания узоров. [b]Сеть Хопфилда использует физику материала, а точнее — атомного спина.
Он ничего не изобретал, его сеть использовалась для детекции в системе "свой-чужой" и в, первой версии, представляла собой чан с кислотой и проволокой (ток шел через проволоку, образовывался окисел, который препятствовал дальнейшему травлению, чем регулировала силу связей). К стеклам (квантовым) модель была применена Изингом или человеком, который ее в честь Изинга назвал. Так что если натягивать сюда сову то давать нужно Изингу(?). Но, Хопфилдовские, затем Гроссберговские, процессоры дали развитие целому направлению в НС, которое на начальном этапе (dbf и проч.) сыграло существенно большую роль, чем изобретение обратного распространение ошибки.
Здравствуйте, Khimik, Вы писали:
K>Я может не в тему, но вообще у меня давно есть интуитивное ощущение, что работа нейросетей основана на квантовой запутанности, и для понимания как работает ИИ — надо понимать что такое запутанность.
Нет, работа нейросетей не основана на квантовой запутанности.
