Здравствуйте, Shmj, Вы писали:

S>Мы привыкли к первой эре технологии, которую можно охарактеризовать приятным термином — детерминированность.

Если я не ошибаюсь, именно Эдсгер Дейкстра ввел в обиход организацию ввода-вывода вокруг системы прерываний, вместе с чем ушла детерминированность. Раньше этого избегали. И это, на минуточку, середина 60-х.

Так что с пробуждением тебя, товарищ! Но ИИ тут не причем.

S>Сейчас же, с внедрением систем ИИ в жизнь, мы входим в эру магии, когда система отработала так как отработала и пошагово понять почему произошло именно так — не представляется возможным. Вернее можно оценить систему статистически, но не детерминистически. Параметров слишком много, чтобы понять какой именно параметр к чему привязан и откуда взялся. Более того, дело даже не в количестве параметров а в необратимости некоторых функций — т.е. приходим к той же проблеме, что и поиск данных по имеющемуся крипто-хешу.

Это вообще нормально для инженерного дела, проектировать системы более сложные, чем мы в состоянии полностью измерить, проанализировать, осознать.

Думаешь, средневековые строители готических соборов настолько хорошо владели сопроматом, чтобы полностью просчитать своё поделие? Я полагаю, они пользовались накопленным опытом и делали с запасом. И ведь до сих пор стоят соборы-то.

Думаешь, создатели ранних самолетов настолько глубоко владели аэродинамикой, чтобы полностью рассчитать самолет? Да и теперь, теоретическая база сильнее, опыта накоплено больше, но всё равно, новый самолет испытывают и нередко доделывают после испытаний.

Так что извини, но для инженера это нормально, когда модель слишком сложна, чтобы ее полностью теоретически понять, но делать всё равно надо и надо отвечать за результат.

А магия — удел недоучек, которые слишком плохо понимают, что они делают, и даже не в состоянии осознать, что это не нормально.

S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?

- Гиви, ты памыдоры любиш?
— Ест люблу, а так — нэт!

Здравствуйте, Shmj, Вы писали:

S>Тупой или нет — я себя тупым не считаю

Оно и заметно. В этом даже и сомневаться не приходится.

PS. Да, пока вы засираете RSDN своей тупизной смею возможным указывать вам на вашу тупизну.

Мы привыкли к первой эре технологии, которую можно охарактеризовать приятным термином — детерминированность.

Когда на вход системы поступают данные — она всегда выдает ожидаемый ответ, получение которого можно отследить пошагово. Если же что-то пошло не так — можно пройтись дебаггером и понять почему что-то пошло не так, в каком именно месте система сработала неожиданным образом, найти причину и, при необходимости, исправить конкретную инструкцию.

Это была техника домагической эпохи.

Сейчас же, с внедрением систем ИИ в жизнь, мы входим в эру магии, когда система отработала так как отработала и пошагово понять почему произошло именно так — не представляется возможным. Вернее можно оценить систему статистически, но не детерминистически. Параметров слишком много, чтобы понять какой именно параметр к чему привязан и откуда взялся. Более того, дело даже не в количестве параметров а в необратимости некоторых функций — т.е. приходим к той же проблеме, что и поиск данных по имеющемуся крипто-хешу.

И вроде как другого выхода у нас нет. Хотелось бы чтобы техника оставалась предсказуемой и контролируемой — но нет, так не позволяет само естество нашего мира. Приходится выходить на новый уровень, вверять технике нового уровня управление теми или иными аспектами нашей жизни.

И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?

Здравствуйте, Shmj, Вы писали:

S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?
Давно приняли. Во времена MS DOS можно было с уверенностью сказать, что именно делает машина в каждый момент. Вот она зашуршала дисководом — ага, идёт ввод-вывод. Вот замигал огонёк винчестера — ага, тоже ввод-вывод. Приложений, работающих в фоне, было раз-два и обчёлся, поэтому машина в каждый момент времени делает примерно то, что я вижу на экране.
Переход к винде вызывал некоторый дискомфорт — машина, помимо обслуживания программы, с которой я имею дело прямо сейчас, делает что-то ещё.
Вот я в ворде набираю текст — и вдруг у меня курсор залип посреди параграфа. Повисел-повисел — и разморозился, набрал "хвост" текста. Что? Почему? Нифига не понятно.
Постепенно отточился навык работы с таск менеджером — поведение машины стало чуть менее загадочным. Заодно поменялись ожидания — нет интуитивного чувства, что машина должна делать ровно то, что я сказал.

Примерно такой же переход имеет место между локальным детерминизмом и "вычислительной сложностью".
Сам по себе ИИ тут мало что нового вносит. Простейшая и понятная каждому вещь — компилятор. В старые времена можно было прямо в уме прикидывать, в какие инструкции компилятор превратит паскалевский код.
Современный компилятор настолько далеко уезжает от исходников, что не то, что предсказать результат его работы становится трудно — даже посмотрев на этот результат, не всякий сходу скажет, почему получилось именно так.
Тем не менее, никакого дискомфорта это не вызывает — точно так же снижается уровень ожиданий. Меньше инвариантов сохраняется, но всё же работа компилятора — это не рандом.
Так будет и с ИИ: кое-что из его работы мы будем понимать, остальное окажется не так уж и важно.

Здравствуйте, Shmj, Вы писали:

S>>Оно и заметно. В этом даже и сомневаться не приходится.
S>>PS. Да, пока вы засираете RSDN своей тупизной смею возможным указывать вам на вашу тупизну.

S>Давайте поменяемся интеллектом.

Два анонимных непоймикто будут чем-то мерятся в Интернете? Это вы мощно задвинули, внушаить. Вот прям чувствуется, что тупым вы себя ну никак не можете считать.

S>В какой сфере вы сильны?

Разве что в боксе по переписке.

Здравствуйте, Shmj, Вы писали:

S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?

Принял, разумеется. Другого варианта нет, "любая достаточно сложная технология неотличима от магии".

Магические практики — единственная возможность что-то освоить в современном мире.
Докапываться как когда-то было до того "как все устроено на самом деле" больше не представляется возможным, если хочется оставаться хоть сколько-то эффективным.

Популярность Stack Overflow — как пример — там есть вопросы и ответы (заклинания по сути). Большинство не будет докапываться, "почему". Просто скипнут и "получат результат".
А с введением AI это все будет многократно преумножаться. Люди даже не будут пытаться разбираться.

Так всегда было — сначала человек просто учится "как сделать X"
Потом приходит понимание, что на самом деле X достигается путем внутренних операций Y Z, которые основаны на A B C, итд
При увеличении вложенности до размеров когда понимание всей системы уже не входит в голову и получается "магия".

Наше "понимание" это просто понимание работы до какого-то уровня вложенности этой системы.
Но даже сейчас при желании можно спуститься до квантовой физики например, где обычная логика вообще работает довольно слабо.

Я в эту эру ещё не перешёл. Поэтому судить не могу, для меня всё детерминированно.

Вообще если на эту тему рассуждать, я бы скорей сказал, что магия может возникать от недостатка образования у технических специалистов, а не от ИИ. К примеру недавно была проблема с нашим сайтом, я не был на связи и администраторы творили какую-то дичь, рандомно перезагружали сервисы, пытались отлаживать какие-то ошибки, которые даже ошибками не были и отношения к проблеме не имели. При том, что реально проблема была в перегрузке сервера БД и это можно было легко понять, если иметь хоть малейшее представление о том, что такое БД, что такое пул соединений, где посмотреть метрики, связанные с БД. И такое по моему опыту происходит во многих местах.

Я и сам в общем-то далеко не Эйнштейн. К примеру всё, что происходит внутри ядра, для меня — магия. К примеру была ситуация, когда терялись пакеты внутри ядра. Я долго ковырялся, но так и не смог понять, я могу мониторить "входы и выходы", а что внутри происходит — для меня это чёрный ящик, скомпилировать своё ядро, залезть туда дебаггером или как там это вообще делается — такой квалификацией я не обладаю. Хотя есть цель — закрыть этот пробел...

А ИИ — ну у меня оно дополняет код, в общем-то ничем от любой другой автодополнянки не отличается. В браузере использую как гугл. Тоже никаких чудес. Для меня ничего не изменилось в работе. Некоторые рабочие процессы слегка ускорились, к примеру однотипный код я могу написать чуть быстрей, чем раньше, процедуру поиска в интернете я могу заменить на запрос к ИИ и это тоже отработает чуть быстрей, чем раньше, но принципиально это ничего не поменяло.

vsb>Вообще если на эту тему рассуждать, я бы скорей сказал, что магия может возникать от недостатка образования у технических специалистов

ТС же рассказывал как-то что стал тупым от того что его учителя в школе гнобили, ну или по/крайней мере ему так казалось.

Здравствуйте, Muxa, Вы писали:

vsb>>Вообще если на эту тему рассуждать, я бы скорей сказал, что магия может возникать от недостатка образования у технических специалистов

M>ТС же рассказывал как-то что стал тупым от того что его учителя в школе гнобили, ну или по/крайней мере ему так казалось.

Похоже на то. Если раскрутить колесо рулетки, получишь непредсказуемый ответ. Это же не значит, что колесо рулетки — пыщь пыщь магия. Наоборот, физик должен хорошо понимать, что в устройстве колеса делает ответ непредсказуемым.

Невыносимо задрали люди, неспособные прочитать пару статей об устройстве ЛЛМ, чтобы понимать, что там нет никакой магии, есть статанализ и маленькая рулетка (ГСЧ).

Здесь ещё ладно, он один такой. И не предлагает подписаться на Телеграм-канал про ИИ. И не продаёт доступ из России к ИИ. В других местах просто все ленты позасирали этим говном.

Здравствуйте, Alekzander, Вы писали:

A>Где в ЛЛМ используют необратимые функции?

В больших языковых моделях (LLM) необратимые функции используются в различных компонентах архитектуры и процесса обучения. Вот где они применяются:

Функции активации:

ReLU (Rectified Linear Unit): Эта функция преобразует отрицательные значения в ноль. Поскольку невозможно восстановить исходное отрицательное значение из нуля, ReLU считается необратимой.
GELU (Gaussian Error Linear Unit): Хотя эта функция более гладкая, она также необратима из-за своей нелинейной природы.

Softmax:
Используется в выходном слое для преобразования логитов в вероятности. Softmax необратим, так как из выходных вероятностей невозможно точно восстановить исходные логиты.
...

— это вам для начала. Но и так понятно что по имеющейся модели нельзя восстановить данные, на которых она обучалась. Размер модели будет во много крат меньше самих данных, даже если данные сжать.

Здравствуйте, netch80, Вы писали:

S>>Сейчас же, с внедрением систем ИИ в жизнь, мы входим в эру магии, когда система отработала так как отработала и пошагово понять почему произошло именно так — не представляется возможным. Вернее можно оценить систему статистически, но не детерминистически. Параметров слишком много, чтобы понять какой именно параметр к чему привязан и откуда взялся.

N>А это то же самое, что работать с людьми, и вообще с живыми существами. Никогда не знаешь, кто когда насколько и как именно взбрыкнёт. Поэтому вся надежда на обратную связь.

В живой природе элемент магии был всегда (никто не знает как работают фундаментальные частицы — мы просто верим что их свойства таковы, каковыми мы их видим в данный момент — почему так — мы не знаем). А вот в IT магии не было от слова вообще — любая попытка привлечь магию порицалась и пресекалась.

Сейчас же и тут мы вынуждены были прийти к магии.

Здравствуйте, Shmj, Вы писали:

Pzz>>Если я не ошибаюсь, именно Эдсгер Дейкстра ввел в обиход организацию ввода-вывода вокруг системы прерываний, вместе с чем ушла детерминированность. Раньше этого избегали. И это, на минуточку, середина 60-х.

S>Прерывания апппаратные или добавление аппаратного ГСЧ — это не то. Система имеет некий элемент случайности, но в довольно прогнозируемых рамках. Более того — это вся случайность применялась разве что для формирования крипто-ключей, в остальных случаях на жизнь не влияло.

Оно очень влияло на вопросы корректной обработки асинхронных событий. Таких, как прерывания. Собственно, до Дейкстры не было понимания, как со всем этим жить.

S>Т.е. был секрет — но не было магии в IT. Сейчас появляется именно что магия — да до такой степени, что нельзя сказать мыслит ИИ и насколько сложные задачи оно само может решать.

Это тебе неясно. Специалистам по ИИ ясно.

Pzz>>Это вообще нормально для инженерного дела, проектировать системы более сложные, чем мы в состоянии полностью измерить, проанализировать, осознать.

S>Для инженерного дела — норма, т.к. сама суть мира нашего — квантовый мир — не познан и, по сути, является тем что можно только принять на веру, но не понять (по крайней мере никому еще понять не удалось).

Ты когда какашку в унитаз роняешь, не можешь знать наверняка, долетят брызги до попы или не долетят. Квантовость тут вообще не причем, но элементов случайности в мире много.

(Hint: если на поверхности воды плавает бумажка, она существенно ослабляет вывзанную какашкой волну и кумулятивного эффекта не возникает; попа остаётся сухой).

S>А вот для IT — магия была не нормой, ее не было. Она отрицалась, ее запрещали, отрицали. Магия была порицаема в IT. Все было доступно для понимания и отладки, для коррекции.

Скажи это программистам, использующим хитрый Win32 API.

S>Сейчас же все, эти времена закончились и в IT входит магия.

Неучи сейчас входят в IT стройными толпами, а не магия.

Здравствуйте, vsb, Вы писали:

vsb>Тем не менее никто не пишет программы с прерываниями в юзерспейсе. Любая программа с вводом-выводом взаимодействует в чётких точках вызова API. Кстати задумался даже — почему так. Вроде бы логично было бы дать операционной системе указатели на функции и чтобы она вызывала эти функции при вводе/выводе, аналогично тому, как это происходит с сигналами... Ну не суть, по факту так не делают. Поэтому таки детерминированность не ушла для 99% программистов, её аккуратно вернули на место.

Гы. На JS только так и пишут. С асинхронными калбеками. Которе немного облагородили, завернув в promises, чтобы совсем уж не свихнуться.

И во всякие более другие языки такой подход тащут.

Здравствуйте, Shmj, Вы писали:

S>И? В чем проблема это отладить по шагам? Ну пишите в лог, в логе будет последовательность всех вызовов. Если что-то нужно синхронизировать — добавьте мьютексы. Здесь магии нет — код фиксирован и написан человеком.

Мне как-то удалось поймать что-то типа race condition в однопоточном коде на каллбеках

Суть в том, что код ловил определенные события и должен был в конечном итоге прийти в определенное состояние. События могли приходить в разном порядке, но в конечном итоге, когда пришли все, финальное состояние не должны было зависеть от порядка получения событий, хотя пути попадания в него могли зависеть. Однако из-за ошибки в коде финальные состояния иногда получались разными.

Отладить по шагам, конечно можно. Теоретически. А практически, количество возможных вариантов порядка событий может расти очень быстро, как факториал длины цепочки событий. Что делает исчерпывающую проверку по шагам несколько утомительным занятием.

Многие ошибочно полагают, что недетерминизм, порождаемый асинхронным вводом-выводом (и вообще, обработкой любых асинхронных событий) связан с тем, что там потоки с разделяемой памятью, и они могут по общей памяти невовремя ездить, приводя ее в неконсистентное состояние.

Эта проблема легко лечится с помощью примитивов синхронизации, и единственное, о чем там стоит беспокоиться, что если примитивами синхронизации "пересолить", то производительность может пострадать на ровном месте.

Реальная проблема, и гораздо более глубокая, заключается именно в недетерминированности порядка прихода событий и определении того, какое финальное и какие промежуточные состояния являются корректными. И обеспечение этой корректности в реальных условиях эксплуатации. К примитивам синхронизации это не имеет никакого отношения от слова "совсем", как и к выбору однопоточной/многопоточной архитектуры реализации, использованию разделяемой памяти или обмена сообщениями в стиле Хоара и т.п.

Здравствуйте, Osaka, Вы писали:

S>>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?
O>Всегда обходил смердфоны стороной, и теперь стало понятно почему.

Ты вообще не пользуешься телефоном?

В кнопчатом телефоне места для взрывчатки уж точно уж не меньше, чем в пейджере. А в механическом телефоне с диском номеронабирателя, если совсем уж отказываться от электроники, найдеся место и для киллограмма тротилла и для осколочных поражающих элементов. Таким устройсвом, при удачном раскладе, можно не то, что человека убить, а вынести подъезд панельной многоэтажки...

Здравствуйте, Privalov, Вы писали:

S>>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?

P>Я про ИИ не знаю примерно ничего. Зато знаю, что основной инструмент сисадмина — шаманский бубен.

У человека есть два пути к существованию в современном мире.

Можно разобраться в сути вещей, познать причинно-следственные связи, понять, как работает технология. Тогда не нужен шаманский бубен, магия исчезает и возникает понимание, основанное на анализе.

А можно, как собачка. Когда я достаю из холодильника ее еду, она сразу бежит на кухню, потому, что ассоциативно усвоила связь между тем, что хозяин достал еду и тем, что будут кормить. Можно набрать много таких ассоциативных связей и действовать на вид "разумно". Но если я достану пистолет и пойду с ней в лес, чтобы пристрелить, она так и будет весело бегать вокруг меня до самого конца, потому, что пистолет у нее ни с чем не ассоциируется а моё необычное поведение ничем не смущает.

К сожалению, многие сисадмины идут вторым путем. И не только сисадмины.

Здравствуйте, Muxa, Вы писали:

M>ТС же рассказывал как-то что стал тупым от того что его учителя в школе гнобили, ну или по/крайней мере ему так казалось.

Вы меня с кем-то путаете.

Школа всех людей делает одинаковыми — это не только ко мне относится. По этому и возможно то что сейчас происходит — взаимное уничтожение двух народов без всякого смысла.

Тупой или нет — я себя тупым не считаю, хотите померяться со мной интеллектуальной силой?

Здравствуйте, Alekzander, Вы писали:

A>А ты знаешь, что a || b необратимая (в твоём смысле) функция? И a && b тоже необратимая. И только !a обратимая. Вот так. Практически любая программа — магия! Пыщь пыщь!

Смотри на суть. Где в жизни тебе приходилось применять девайсы, которые подталкивают к принятию того или иного решения на основе неясных связей и данных (или же автономные девайсы, которые сами принимают то или иное решение на основе неясных данных и алгоритмов)? Т.е. когда ты даже при всем желании не сможешь проследить почему так, откуда взялось.

Ранее такого не было.

Был рандом — но только идиот будет жить по рандому — смысла нет.

Сейчас же на основе сжатых 100 терабайт данных делают модельку размером 7 Гб. и эта моделька типа мыслит. Но при этом не остается возможности понять почему именно она ответила так или иначе на тот или иной вопрос.

Здравствуйте, Shmj, Вы писали:

S>Сейчас же, с внедрением систем ИИ в жизнь, мы входим в эру магии, когда система отработала так как отработала и пошагово понять почему произошло именно так — не представляется возможным. Вернее можно оценить систему статистически, но не детерминистически. Параметров слишком много, чтобы понять какой именно параметр к чему привязан и откуда взялся.

А это то же самое, что работать с людьми, и вообще с живыми существами. Никогда не знаешь, кто когда насколько и как именно взбрыкнёт. Поэтому вся надежда на обратную связь.

S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?

Если всё равно есть средства ограничить рамки и последствия подобного поведения живого — а они обычно есть, отработаны тысячелетиями — то просто учитывать.

Здравствуйте, Pzz, Вы писали:

Pzz>Если я не ошибаюсь, именно Эдсгер Дейкстра ввел в обиход организацию ввода-вывода вокруг системы прерываний, вместе с чем ушла детерминированность. Раньше этого избегали. И это, на минуточку, середина 60-х.

Зачем так сложно? Дейкстра, конгресс, немцы...

Сейчас разбирался с библиотекой (7 тысяч звёзд на гитхабе). Согласно документации, она должна генерить ивент 'next' при переходе на next. А она, собака, не генерит, зато генерит ивент 'changed'. Вот так, с одной стороны, в Интернете петабайты информации, а с другой — кто-то опять п@#$ит Почему он не пишет, что Интернет это недетерминированная машина лжи и была такой с самого появления? Потому что знает, как устроен Интернет (точнее, думает, что знает). А как устроены ЛЛМ он не знает, и знать не хочет, фантазирует тут, и впаривает свои фантазии таким же невеждам. И что самое интересное, находятся те, кому фантазии удаётся впарить.

Здравствуйте, Alekzander, Вы писали:

S>>Сейчас же сама программа обработки данных — модель — не подконтрольна и не понятна человеку, нельзя сказать какой именно входной текст (какие данные из этих 100 терабайт) — повлияли на то или иное решение программы. Сейчас собирают вопросы чтобы понять какие задачи может решать та или иная модель а какие не может — люди сами этого не знают — чистая магия.

A>Ты написал, что наличие необратимых функций отличает ИИ от обычных программ. Это глупость, а у тебя нет яиц её признать.

Как ты не поймешь. Ранее необратимые функции могли быть в коде программы, они применялись к данным. Но сам код был всегда 100% фиксированным. Динамический код применялся разве что некоторыми вирусами для препятствия их обнаружения, чтобы сигнатура вируса не могла быть добавлена в базу — при этом инструкции всегда оставались фиксированными (просто добавлялся мусорный код, который ничего особо не делал).

Сейчас же модель — это не входящие данные — это и есть сама программа, которую вы применяете к входящим данным. Вот в чем фокус!

Модель — это не данные а код по трансформации данных!!!

И фишка в том что модель формирует не человек — она формируется на основе огромного массива данных. И из-за того, что при формировании модели применяются необратимые функции — мы не можем сказать почему тот или иной коэффициент в модели установлен в то или иное значение — какие именно данные или их сочетание к этому привели.

Здравствуйте, Shmj, Вы писали:

S>>Два анонимных непоймикто будут чем-то мерятся в Интернете? Это вы мощно задвинули, внушаить. Вот прям чувствуется, что тупым вы себя ну никак не можете считать.

S>А почему бы и нет?

Я бы посоветовал подумать. Но до сих пор у вас не получалось. Нет оснований думать, что получится сейчас.

Здравствуйте, Shmj, Вы писали:

S>Тексты в интернете — это не часть программы или протоколов интернета. Это просто тексты — мысли от живых людей. А человек никогда себя и не позиционировал как нечто логически действующее — всегда был элемент магии, просто не все об этом задумывались.

S>В компьютерном же деле доселе магия была под запретом и отрицалась.

У тебя какой-то талант портить вещи.

Мой комментарий был написан с целью посмотреть, как много людей ПОМИМО ТЕБЯ не знает, как устроены ЛЛМ. Для этого они должны были бы начать возмущаться сравнением с Интернетом.

И ты всё испортил.

Здравствуйте, Pzz, Вы писали:

Pzz>Если я не ошибаюсь, именно Эдсгер Дейкстра ввел в обиход организацию ввода-вывода вокруг системы прерываний, вместе с чем ушла детерминированность. Раньше этого избегали. И это, на минуточку, середина 60-х.

Тем не менее никто не пишет программы с прерываниями в юзерспейсе. Любая программа с вводом-выводом взаимодействует в чётких точках вызова API. Кстати задумался даже — почему так. Вроде бы логично было бы дать операционной системе указатели на функции и чтобы она вызывала эти функции при вводе/выводе, аналогично тому, как это происходит с сигналами... Ну не суть, по факту так не делают. Поэтому таки детерминированность не ушла для 99% программистов, её аккуратно вернули на место.

S>Приходится выходить на новый уровень, вверять технике нового уровня управление теми или иными аспектами нашей жизни.
И сразу же уходить. После палестинских пейджеров — даже самые упёртые гейфонолюбы уже не могут ссылаться на паранойю. Вся эта техника "нового уровня" — кому надо ("корпорациям добра") вполне детерминированна. И те кто реально оценивает свои шансы в войне — будут возвращаться на электромеханику и "6 ножек 4 ручки", лишь бы всё было прослеживаемое от и до.
S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?
Всегда обходил смердфоны стороной, и теперь стало понятно почему.

а как нейросетями превратить камень в лягушку?
магией это делается легко: читаешь заклинание, брызгаешь зельем, и вот камень уже прыгает, квакает и превращается. а с нейронкой как такое сделать?

Здравствуйте, Muxa, Вы писали:

M>"Нет способа", и "ты не знаешь способа" это разные вещи.

Дело в том что и создатели не знают. Просмотрели датасет — вроде оно не должно было решать задачи подобного рода, ее этому не обучали. Но оно решает!!! И никто не может понять как это произошло. Вот в чем фокус — об этом же и говорят сейчас. Где-то нейросетка сама нашла некие связи, сама догадалась из одного вывести другое, хотя люди думали что это не возможно на основе обучающей базы решить.

Т.е. создатели сами не могут сказать что может их прога а чего не может.

И по понятным причинам нельзя развернуть модель и посмотреть на основе каких данных выполнен тот или иной ответ.

Здравствуйте, Shmj, Вы писали:

S>Но все-же когда исходники доступны (или кому исходники доступны) — можно отследить любое поведение. Пусть это будет и не просто.
Ну... да. Открываете исходники LLVM (~23 миллиона строк), исходники вашей программы (c хидерами — сотня тысяч строк).
Садитесь и начинаете медитировать

S>На выходе получите файлик от 7 Гб до 1 Тб. с некими коэффициентами, которые уже никак нельзя сопоставить с водными данными. На каждый коэффициент так или иначе влияло огромное количество данных как в плюс так и в минус.

S>И тут дело уже не в том что у тебя исходников нет или именно ты не достаточно компетентен, чтобы разобраться почему модель повела себя так. Просто нет физической возможности ответа на этот вопрос.
Почему? Есть. Садишься и отслеживаешь по исходным данным, как рассчитался каждый коэффициент.
S>Может где-то там среди 100 терабайт данных была похожая задача, может была такая же задача, но разнесенная на две в разных частях датасета. А может не на две а на две тысячи. Не остледить никак.
А вообще, есть целое направление объяснимых нейросетей. Потому что в ряде задач нам недостаточно получить "режьте здесь". Важно понять, на основе каких факторов и правил сделан такой вывод.
И нейросетки без объяснений будут применять только там, где нужно "сочини смешное стихотворение по киберпанк, любовь, смерть, и чтобы каждое слово начиналось с буквы К".

Н>Ма́гия (лат. magia, греч. μαγεία) — действия, связанные с верой в способность человека влиять на силы природы, предметы, животных, судьбу людей, подчиняя себе сверхъестественные силы или манипулируя ими с помощью заклинаний, амулетов и определённых обрядов.
Н>И куда тут ИИ впихнуть?
Вот весь мир заполнят самовоспроизводящиеся наноботы с чатгопотой на борту, и для управления ими надо будет произносить странные словосочетания, типа 'сконденсируй 100грамм ашдвао из атмфосферы в объеме с координатами относительно моего носа один-ноль-ноль, затем охлади их до температуры минус сто градусов цельсия и придай вектор скорости ноль-сто-ноль'. Такое вот заклинание, кастующее ice bolt:

Смогу. От человека ответ, от сети response.

Здравствуйте, vsb, Вы писали:

vsb>А ИИ — ну у меня оно дополняет код, в общем-то ничем от любой другой автодополнянки не отличается. В браузере использую как гугл. Тоже никаких чудес. Для меня ничего не изменилось в работе. Некоторые рабочие процессы слегка ускорились, к примеру однотипный код я могу написать чуть быстрей, чем раньше, процедуру поиска в интернете я могу заменить на запрос к ИИ и это тоже отработает чуть быстрей, чем раньше, но принципиально это ничего не поменяло.

Так а причем тут дополняет код то? Это временный вариант использования, который как бы проходи через старый добрый метод проверки — во всем виноват человек.

Вопрос в применении этих систем без контроля — те самые беспилотные авто, системы ставящие диагнозы без проверки врачом, роботы выдающие займы на основе анализа больших данных. Когда один чел. получил требуемый кредит а другой, по решению робота — не получил — и никто не знает почему, ведь было проанализировано 100500 параметров.

Здравствуйте, Alekzander, Вы писали:

A>Невыносимо задрали люди, неспособные прочитать пару статей об устройстве ЛЛМ, чтобы понимать, что там нет никакой магии, есть статанализ и маленькая рулетка (ГСЧ).

Есть еще:

1. Петабайты входящих данных.
2. Необратимые функции.

Нельзя в точности сказать какие задачи сможет решить ИИ на основе той или иной входящей базы а какие не смогут. По этому сейчас собирают список максимально сложных задач, чтобы попытаться пролить свет на этот вопрос.

Здравствуйте, Shmj, Вы писали:

S>2. Необратимые функции.

Где в ЛЛМ используют необратимые функции?

Здравствуйте, Shmj, Вы писали:

A>>Где в ЛЛМ используют необратимые функции?

S>

S>В больших языковых моделях (LLM) необратимые функции используются в различных компонентах архитектуры и процесса обучения. Вот где они применяются:

S>Функции активации:

S>ReLU (Rectified Linear Unit): Эта функция преобразует отрицательные значения в ноль. Поскольку невозможно восстановить исходное отрицательное значение из нуля, ReLU считается необратимой.
S>GELU (Gaussian Error Linear Unit): Хотя эта функция более гладкая, она также необратима из-за своей нелинейной природы.

S>Softmax:
S>Используется в выходном слое для преобразования логитов в вероятности. Softmax необратим, так как из выходных вероятностей невозможно точно восстановить исходные логиты.
S>...

S>- это вам для начала. Но и так понятно что по имеющейся модели нельзя восстановить данные, на которых она обучалась. Размер модели будет во много крат меньше самих данных, даже если данные сжать.

А ты знаешь, что a || b необратимая (в твоём смысле) функция? И a && b тоже необратимая. И только !a обратимая. Вот так. Практически любая программа — магия! Пыщь пыщь!

Здравствуйте, so5team, Вы писали:

S>Оно и заметно. В этом даже и сомневаться не приходится.
S>PS. Да, пока вы засираете RSDN своей тупизной смею возможным указывать вам на вашу тупизну.

Давайте поменяемся интеллектом. В какой сфере вы сильны?

Здравствуйте, Shmj, Вы писали:

A>>А ты знаешь, что a || b необратимая (в твоём смысле) функция? И a && b тоже необратимая. И только !a обратимая. Вот так. Практически любая программа — магия! Пыщь пыщь!

S>Смотри на суть. Где в жизни тебе приходилось применять девайсы, которые подталкивают к принятию того или иного решения на основе неясных связей и данных (или же автономные девайсы, которые сами принимают то или иное решение на основе неясных данных и алгоритмов)? Т.е. когда ты даже при всем желании не сможешь проследить почему так, откуда взялось.

S>Ранее такого не было.

S>Был рандом — но только идиот будет жить по рандому — смысла нет.

S>Сейчас же на основе сжатых 100 терабайт данных делают модельку размером 7 Гб. и эта моделька типа мыслит. Но при этом не остается возможности понять почему именно она ответила так или иначе на тот или иной вопрос.

Смотреть на суть? Суть в том, что на утверждение "нет никакой магии, есть статанализ и ГСЧ", ты возразил, что ещё есть необратимые функции. То есть, магия должна быть в них. Но на самом деле ВСЕ реальные программы содержат ДОХЕРА необратимых функций.

Это потому, что ты не понимаешь, что две из трёх возможных базовых функций — необратимые.

S>Тупой или нет — я себя тупым не считаю,
Покажи мне человека, который считает себя тупым.

S>хотите померяться со мной интеллектуальной силой?

Меряться интеллектуальной с силой с человеком, для которого любой хэллоу ворлд является магией из-за того что в нем используются необратимые операции &, |, + и т д, считаю занятием бессмысленным.

Здравствуйте, so5team, Вы писали:

S>Два анонимных непоймикто будут чем-то мерятся в Интернете? Это вы мощно задвинули, внушаить. Вот прям чувствуется, что тупым вы себя ну никак не можете считать.

А почему бы и нет? Не умеете — не обвиняйте в тупизне, лучше не переходите на личности.

Здравствуйте, Alekzander, Вы писали:

A>Смотреть на суть? Суть в том, что на утверждение "нет никакой магии, есть статанализ и ГСЧ", ты возразил, что ещё есть необратимые функции. То есть, магия должна быть в них. Но на самом деле ВСЕ реальные программы содержат ДОХЕРА необратимых функций.

A>Это потому, что ты не понимаешь, что две из трёх возможных базовых функций — необратимые.

Суть нового этапа — этап магии в IT — мы больше не контролируем программы. Мы — никто из людей на земле — больше не может сказать почему прога дала тот или иной ответ на поставленный вопрос. Речь об ИИ программах.

Дело не в кодовой базе программы — данные так же формируют связи и состояния — по сути сами данные — это и есть дописывание программы, причем основные состояния и связи — именно данно-формированные. А данных терабайты, это невозможно просто так проанализировать. Как-либо повернуть назад фарш и понять из какого куска мяса он произошел — так же не возможно.

Все текущие IT дмагического этапа — системы, будь то ОС, браузер, HTTP-сервер — прозрачны и детерминистичны, даже если что-то пошло не так — всегда можно пройтись отладчиком и докопаться до причины.

Здравствуйте, Pzz, Вы писали:

Pzz>Если я не ошибаюсь, именно Эдсгер Дейкстра ввел в обиход организацию ввода-вывода вокруг системы прерываний, вместе с чем ушла детерминированность. Раньше этого избегали. И это, на минуточку, середина 60-х.

Прерывания апппаратные или добавление аппаратного ГСЧ — это не то. Система имеет некий элемент случайности, но в довольно прогнозируемых рамках. Более того — это вся случайность применялась разве что для формирования крипто-ключей, в остальных случаях на жизнь не влияло.

Т.е. был секрет — но не было магии в IT. Сейчас появляется именно что магия — да до такой степени, что нельзя сказать мыслит ИИ и насколько сложные задачи оно само может решать.

Pzz>Это вообще нормально для инженерного дела, проектировать системы более сложные, чем мы в состоянии полностью измерить, проанализировать, осознать.

Для инженерного дела — норма, т.к. сама суть мира нашего — квантовый мир — не познан и, по сути, является тем что можно только принять на веру, но не понять (по крайней мере никому еще понять не удалось).

А вот для IT — магия была не нормой, ее не было. Она отрицалась, ее запрещали, отрицали. Магия была порицаема в IT. Все было доступно для понимания и отладки, для коррекции.

Сейчас же все, эти времена закончились и в IT входит магия.

Здравствуйте, Muxa, Вы писали:

M>Меряться интеллектуальной с силой с человеком, для которого любой хэллоу ворлд является магией из-за того что в нем используются необратимые операции &, |, + и т д, считаю занятием бессмысленным.

Ты сначала пойми о чем вообще разговор, прежде чем ерунду говорить.

Здравствуйте, Shmj, Вы писали:

A>>Смотреть на суть? Суть в том, что на утверждение "нет никакой магии, есть статанализ и ГСЧ", ты возразил, что ещё есть необратимые функции. То есть, магия должна быть в них. Но на самом деле ВСЕ реальные программы содержат ДОХЕРА необратимых функций.

A>>Это потому, что ты не понимаешь, что две из трёх возможных базовых функций — необратимые.

S>Суть нового этапа — этапа магии в IT — мы больше не контролируем программы. Мы — никто из людей на земле — больше не может сказать почему прога дала тот или иной ответ на поставленный вопрос. Речь об ИИ программах.

S>Дело не в кодовой базе программы — данные так же формируют связи и состояния — по сути сами данные — это и есть дописывание программы, причем основные состояния и связи — именно данно-формированные. А данных терабайты, это невозможно просто так проанализировать. Как-либо повернуть назад фарш и понять из какого куска мяса он произошел — так же не возможно.

S>Все текущие IT -системы, будь то ОС, браузер, HTTP-сервер — прозрачны и детерминистичны, даже если что-то пошло не так — всегда можно пройтись отладчиком и докопаться до причины.

Сначала проясни вот это:

Есть еще:

1. Петабайты входящих данных.
2. Необратимые функции.

Каждая занюханная программа состоит из необратимые функций. Дальше что?

Здравствуйте, Alekzander, Вы писали:

A>Каждая занюханная программа состоит из необратимые функций. Дальше что?

Сама программа — т.е. то что обрабатывало данные — оставалось фиксированным и контролировалось человеком. Всегда было можно разобраться почему программа отработала так, а не иначе — найти ошибку и устранить.

Сейчас же сама программа обработки данных — модель — не подконтрольна и не понятна человеку, нельзя сказать какой именно входной текст (какие данные из этих 100 терабайт) — повлияли на то или иное решение программы. Сейчас собирают вопросы чтобы понять какие задачи может решать та или иная модель а какие не может — люди сами этого не знают — чистая магия.

M>>Меряться интеллектуальной с силой с человеком, для которого любой хэллоу ворлд является магией из-за того что в нем используются необратимые операции &, |, + и т д, считаю занятием бессмысленным.

S>Ты сначала пойми о чем вообще разговор, прежде чем ерунду говорить.

Ну ок, я выполнил операцию & и получил 0 — обрати эту операцию.

Здравствуйте, Pzz, Вы писали:

Pzz>Это тебе неясно. Специалистам по ИИ ясно.

Каким именно? Уже были случаи когда специалисты по ИИ говорили о пределах, чего никогда не сможет LLM. И вот новая модель это берет и делает.

Некоторые думают что модель этому специально обучили и она не разобралась в сути вопроса а просто выдала готовый результат. По этому сейчас пошли на такой шаг — собрать 1000 секретных вопросов, которых 100% нет в интернете или книгах и которые нельзя внести в базу какой-либо LLM. А потом на основе этих секретных вопросов проверить думает оно или нет.

Здравствуйте, Muxa, Вы писали:

S>>Ты сначала пойми о чем вообще разговор, прежде чем ерунду говорить.
M>Ну ок, я выполнил операцию & и получил 0 — обрати эту операцию.

К данным в эру домагической эпохи применялись необратимые операции, к примеру сжатие рисунка с потерями.

Сам код же (то, что содержит инструкции по сжатию) всегда был фиксированным и контролировался человеком. Динамический код применялся разве что некоторыми вирусами для препятствия их обнаружения, чтобы сигнатура вируса не могла быть добавлена в базу — при этом инструкции всегда оставались фиксированными (просто добавлялся мусорный код, который ничего особо не делал).

Сейчас же, в эпоху магии — код, который обрабатывает данные — это модель. Модель — это массив коэффициентов и связей, от которого зависит как именно будут обработаны входящие данные. Т.е. это не входящие данные — это сама программа. И как именно устроена эта программа — человек уже сказать не может.

Здравствуйте, Shmj, Вы писали:

A>>Каждая занюханная программа состоит из необратимые функций. Дальше что?

S>Сама программа — т.е. то что обрабатывало данные — оставалось фиксированным и контролировалось человеком. Всегда было можно разобраться почему программа отработала так, а не иначе — найти ошибку и устранить.

S>Сейчас же сама программа обработки данных — модель — не подконтрольна и не понятна человеку, нельзя сказать какой именно входной текст (какие данные из этих 100 терабайт) — повлияли на то или иное решение программы. Сейчас собирают вопросы чтобы понять какие задачи может решать та или иная модель а какие не может — люди сами этого не знают — чистая магия.

Ты написал, что наличие необратимых функций отличает ИИ от обычных программ. Это глупость, а у тебя нет яиц её признать.

if (input & 0x1)
  return input*2;
else
  return input+2;

Функция необратимая, выполнимая операция зависит от данных.
Это уже магия или еще нет?

Здравствуйте, Alekzander, Вы писали:

A>Сейчас разбирался с библиотекой (7 тысяч звёзд на гитхабе). Согласно документации, она должна генерить ивент 'next' при переходе на next. А она, собака, не генерит, зато генерит ивент 'changed'.

Нужно пройтись дебагером или добавить в код логирование пошагово — и найдете где проблема.

A>Вот так, с одной стороны, в Интернете петабайты информации, а с другой — кто-то опять п@#$ит Почему он не пишет, что Интернет это недетерминированная машина лжи и была такой с самого появления? Потому что знает, как устроен Интернет (точнее, думает, что знает).

Тексты в интернете — это не часть программы или протоколов интернета. Это просто тексты — мысли от живых людей. А человек никогда себя и не позиционировал как нечто логически действующее — всегда был элемент магии, просто не все об этом задумывались.

В компьютерном же деле доселе магия была под запретом и отрицалась.

A>А как устроены ЛЛМ он не знает, и знать не хочет, фантазирует тут, и впаривает свои фантазии таким же невеждам. И что самое интересное, находятся те, кому фантазии удаётся впарить.

Дело не в коде, который генерит модель. Дело в самой модели — модель это тоже код, правила для преобразования данных. Так вот как устроена модель 7 гигабайтовая или 700 гигабайтовая — не знает ни один человек на земле.

Здравствуйте, Muxa, Вы писали:

M>Функция необратимая, выполнимая операция зависит от данных.
M>Это уже магия или еще нет?

Вы можете взять входящие данные и пошагово пройтись именно с этими же данными в дебагере — и понять почему код отработал именно таким образом. Если что-то не так как вы хотели — найдете точку где именно эта проблема возникает.

С LLM так нельзя в принципе — здесь уже нет контроля — чистая магия.

Здравствуйте, Muxa, Вы писали:

M>

M>if (input & 0x1)
M>  return input*2;
M>else
M>  return input+2;
M>

M>Функция необратимая, выполнимая операция зависит от данных.
M>Это уже магия или еще нет?

Так ведь, "невозможно восстановить исходное значение из нуля". А тут какая-то подозрительная двойка. Надо посоветоваться с ЧатГПТ.

Здравствуйте, Alekzander, Вы писали:

A>Мой комментарий был написан с целью посмотреть, как много людей ПОМИМО ТЕБЯ не знает, как устроены ЛЛМ. Для этого они должны были бы начать возмущаться сравнением с Интернетом.

А вы на каком уровне знаете устройство LLM? Мне кажется ничего зазорного нет в том что кто-то чего-то не знает, ведь все знать не возможно.

Я участвовал в конкурсе по обработке данных с помощью LLM, не выиграл, хотя и выполнил задание — более-менее понятна суть, но, конечно, математика там достаточно не простая и просто так с налету я бы не смог доработать PyTorch или ATen — нужно лет несколько в этом вариться.

Сейчас нейронные сети решают и уникальные задачи, тех, которых в сети или в книгах нет. Вот в чем фокус. Как вы это объясните?

Здравствуйте, Alekzander, Вы писали:

A>Так ведь, "невозможно восстановить исходное значение из нуля". А тут какая-то подозрительная двойка. Надо посоветоваться с ЧатГПТ.

Речь не про исходное значение — а про сам алгоритм, его реализацию в коде — возможность понимать почему программа отработала именно так а не иначе, найти точку ошибки в программе и исправить ее.

В эпоху до-магическую — это могло быть сложным — поиск бага мог занимать несколько часов а то и дней. Но баг всегда можно было найти.

В эпоху магии мы просто имеем модель и нет способа понять откуда в ней взялась та или иная связь или коэффециент. Более того — даже создатели библиотек, таких как PyTorch или ATen — не могут сказать на что способна модель а на что не способна, какие задачи она решать сможет а какие не сможет никогда.

Здравствуйте, bnk, Вы писали:

bnk>Наше "понимание" это просто понимание работы до какого-то уровня вложенности этой системы.
bnk>Но даже сейчас при желании можно спуститься до квантовой физики например, где обычная логика вообще работает довольно слабо.

Не согласен.

Понимать нужно до того уровня, на который ты можешь влиять.

На транзисторы я влиять не могу. Поэтому интересоваться, как работает процессор на уровне транзисторов — ну разве что ради общего развития. Ниже — тем более. Пока я не работаю проектировщиком процессоров, конечно. Но я не работаю.

А вот всё, что касается машинного кода — на это я уже влиять могу. Я могу запускать на своём процессоре любой код. Поэтому и понимание нужно вплоть до последнего байта, выполняющегося на этом процессоре. Ну в идеале.

M>>Функция необратимая, выполнимая операция зависит от данных.
M>>Это уже магия или еще нет?

S>Вы можете взять входящие данные и пошагово пройтись именно с этими же данными в дебагере — и понять почему код отработал именно таким образом. Если что-то не так как вы хотели — найдете точку где именно эта проблема возникает.

Погоди, так магия это «невозможность дебага» чтоли?
И чем так не понравился термин «невозможность дебага», что решил его заменить на новый?

S>С LLM так нельзя в принципе — здесь уже нет контроля — чистая магия.

Почему там нельзя также подебажить?

Здравствуйте, Pzz, Вы писали:

S>>А вот для IT — магия была не нормой, ее не было. Она отрицалась, ее запрещали, отрицали. Магия была порицаема в IT. Все было доступно для понимания и отладки, для коррекции.

Pzz>Скажи это программистам, использующим хитрый Win32 API.

Любой хитрый API можно было дизассемблировать и посмотреть, что он делает, вплоть до ядра. И/или дизассемблировать код, использующие этот API. Для хорошего реверсера читать ассемблер не намного сложней, чем читать C. Поэтому с магией я бы это не сравнивал. Тут всегда можно разобраться.

Здравствуйте, vsb, Вы писали:

vsb>А вот всё, что касается машинного кода — на это я уже влиять могу. Я могу запускать на своём процессоре любой код. Поэтому и понимание нужно вплоть до последнего байта, выполняющегося на этом процессоре. Ну в идеале.

Нейронне сети — на уровне софта. Но точно влиять не можете по ряду причин.

Здравствуйте, Muxa, Вы писали:

M>Погоди, так магия это «невозможность дебага» чтоли?
M>И чем так не понравился термин «невозможность дебага», что решил его заменить на новый?

Не только дебага — принцип другой. Нельзя отследить пошагово и установить почему модель решила повести себя именно так — какие именно данные на это повлияли.

S>>С LLM так нельзя в принципе — здесь уже нет контроля — чистая магия.
M>Почему там нельзя также подебажить?

Потому что изменился принцип — вместо последовательности команд имеет нейроны и связи между ними, вес связей. Если вы задаете вопрос (входящие данные) — то все нейроны всех слоев (или большая часть нейронов) — вносят свой небольшой вклад в ответ. Откуда взялись те или иные значения — отследить не возможно, т.к. обучение сети применяет необратимые алгоритмы.

Здравствуйте, vsb, Вы писали:

Pzz>>Скажи это программистам, использующим хитрый Win32 API.

vsb>Любой хитрый API можно было дизассемблировать и посмотреть, что он делает, вплоть до ядра. И/или дизассемблировать код, использующие этот API. Для хорошего реверсера читать ассемблер не намного сложней, чем читать C. Поэтому с магией я бы это не сравнивал. Тут всегда можно разобраться.

Но при этом подход у них, вендовых программеров, зачастую не научный, а мистически-магический.

M>>Почему там нельзя также подебажить?

S>Потому что изменился принцип — вместо последовательности команд имеет нейроны и связи между ними, вес связей.

Там нельзя брейкпоинт поставить и по шагам исполнять?

S>Если вы задаете вопрос (входящие данные) — то все нейроны всех слоев (или большая часть нейронов) — вносят свой небольшой вклад в ответ.

Звучит похоже на алгоритм discrete Fourier transform.
Наверное для тебя это тоже магия.

Здравствуйте, Muxa, Вы писали:

S>>Потому что изменился принцип — вместо последовательности команд имеет нейроны и связи между ними, вес связей.
M>Там нельзя брейкпоинт поставить и по шагам исполнять?

С какой целью поставить? Что узнать?

Допустим, даете задачу и нейросеть ее решает. Вам нужно узнать на основе каких входящих данных она смогла ее решить, была ли в база такая же задача или похожая. Куда вы будете ставить брейкпоинт?

S>>Если вы задаете вопрос (входящие данные) — то все нейроны всех слоев (или большая часть нейронов) — вносят свой небольшой вклад в ответ.

M>Звучит похоже на алгоритм discrete Fourier transform.
M>Наверное для тебя это тоже магия.

А что магического? В чем вопрос, на который нет и не может быть ответа?

Здравствуйте, Pzz, Вы писали:

Pzz>Гы. На JS только так и пишут. С асинхронными калбеками. Которе немного облагородили, завернув в promises, чтобы совсем уж не свихнуться.
Pzz>И во всякие более другие языки такой подход тащут.

Да причем тут это? Код если и распараллелен — он все-равно детерминирован. Если где-то параллельный доступ к разделяемому ресурсу с непредсказуемым поведением — обязательно синхронизация.

Здравствуйте, Osaka, Вы писали:

S>>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?
O>Всегда обходил смердфоны стороной, и теперь стало понятно почему.

Боюсь что так смогут лишь единицы, типа Германа Стерлигова.

Здравствуйте, vsb, Вы писали:

vsb>Здравствуйте, Pzz, Вы писали:

Pzz>>Если я не ошибаюсь, именно Эдсгер Дейкстра ввел в обиход организацию ввода-вывода вокруг системы прерываний, вместе с чем ушла детерминированность. Раньше этого избегали. И это, на минуточку, середина 60-х.

vsb>Тем не менее никто не пишет программы с прерываниями в юзерспейсе. Любая программа с вводом-выводом взаимодействует в чётких точках вызова API. Кстати задумался даже — почему так. Вроде бы логично было бы дать операционной системе указатели на функции и чтобы она вызывала эти функции при вводе/выводе, аналогично тому, как это происходит с сигналами... Ну не суть, по факту так не делают. Поэтому таки детерминированность не ушла для 99% программистов, её аккуратно вернули на место.

Откуда взялись 99% программистов?
Мне напротив кажется так асинхронный ввод вывод сейчас это основной, который используется в большинстве программ.
Для .NET допустим или NODE.

await File.WriteAllTextAsync(filePath, text);

Асинхронность обеспечивается на уровне OC. В Windows это OVERLAPPED, в Linux это libaio (io_submit)
Ну насколько я знаю конечно. Последние много лет я ничего кроме веба не видел. Я не прав? Что у WriteAllTextAsync "под капотом"?

Здравствуйте, bnk, Вы писали:

bnk>

bnk>await File.WriteAllTextAsync(filePath, text);
bnk>

bnk>Асинхронность обеспечивается на уровне OC. В Windows это OVERLAPPED, в Linux это libaio (io_submit)
bnk>Ну насколько я знаю конечно. Последние много лет я ничего кроме веба не видел. Я не прав? Что у WriteAllTextAsync "под капотом"?

И? В чем проблема это отладить по шагам? Ну пишите в лог, в логе будет последовательность всех вызовов. Если что-то нужно синхронизировать — добавьте мьютексы. Здесь магии нет — код фиксирован и написан человеком.

Здравствуйте, Shmj, Вы писали:

S>И? В чем проблема это отладить по шагам? Ну пишите в лог, в логе будет последовательность всех вызовов. Если что-то нужно синхронизировать — добавьте мьютексы. Здесь магии нет — код фиксирован и написан человеком.

Это немного оффтопик. Речь не совсем о твоем случае с нейросетями.
Речь была о том что когда в коде начинают использоваться асинхронные операции, он заметно усложняется.
Посмотри чуть выше по ветке о чем речь.

Здравствуйте, Shmj, Вы писали:

vsb>>А вот всё, что касается машинного кода — на это я уже влиять могу. Я могу запускать на своём процессоре любой код. Поэтому и понимание нужно вплоть до последнего байта, выполняющегося на этом процессоре. Ну в идеале.

S>Нейронне сети — на уровне софта. Но точно влиять не можете по ряду причин.

Я с исходным посылом, что нейросети невозможно отлаживать, почти согласен.

В плане "тупой" отладки — конечно согласен полностью. Это как отлаживать обфусцированную программу, там невозможно просто разобраться. Тем более, что все эти нейросети выполняются на видеокартах, в которых миллионы потоков работают одновременно, это просто безумие, пытаться там что-то понять.

Не согласен только в той части, что это принципиально невозможно отлаживать. Думаю, способы придумают. Вот та же модель o1. Она не выдаёт ответ просто так, она выдаёт все рассуждения, которые привели к этому ответу. Думаю, те, кто её тренирует, способны находить неправильные рассуждения и менять процесс тренировки так, чтобы убирать ошибки. Хотя если мы пользователи этого API, конечно это будет просто "вещь в себе", но это справедливо по сути для любого API.

Здравствуйте, Pzz, Вы писали:

vsb>>Тем не менее никто не пишет программы с прерываниями в юзерспейсе. Любая программа с вводом-выводом взаимодействует в чётких точках вызова API. Кстати задумался даже — почему так. Вроде бы логично было бы дать операционной системе указатели на функции и чтобы она вызывала эти функции при вводе/выводе, аналогично тому, как это происходит с сигналами... Ну не суть, по факту так не делают. Поэтому таки детерминированность не ушла для 99% программистов, её аккуратно вернули на место.

Pzz>Гы. На JS только так и пишут. С асинхронными калбеками. Которе немного облагородили, завернув в promises, чтобы совсем уж не свихнуться.

Ну вот получается такая пирамида — операционная система получает прерывание, кладёт чего-то в какой-то буфер, потом программа в цикле обработки событий тем или иным способом проверяет, что в этом буфере что-то получилось, вычитывает из него данные и вызывает коллбэк.

В принципе было бы интересно посмотреть на ОС, в которой этого промежуточного этапа нет. Пришло прерывание, тут же вызвался программный обработчик. Тут, конечно, много вопросов возникает — типа вообще нехорошо из обработчиков прерывания что-то нетривиальное делать и тд... Но может что-то придумали бы, чтобы избежать всей этой многоуровневой буферизации и перекладывания байтов из пустого в порожнее.

Здравствуйте, bnk, Вы писали:

bnk>Асинхронность обеспечивается на уровне OC. В Windows это OVERLAPPED, в Linux это libaio (io_submit)
bnk>Ну насколько я знаю конечно. Последние много лет я ничего кроме веба не видел. Я не прав? Что у WriteAllTextAsync "под капотом"?

Я не знаю, что там в винде, в юниксе простейший способ это вызов read/write. Можно делать select для обработки нескольких дескрипторов в одном потоке, это сути не меняет, весь ввод/вывод осуществляется в строго определённой последовательности и ОС буферизует необработанные данные, пока программа их не запросит. Конечно можно с каждым дескриптором связать указатель на функцию и вызывать этот указатель, но это уже вопрос внутренней организации программы, по-разному можно делать.

Здравствуйте, vsb, Вы писали:

vsb>Не согласен только в той части, что это принципиально невозможно отлаживать. Думаю, способы придумают. Вот та же модель o1. Она не выдаёт ответ просто так, она выдаёт все рассуждения, которые привели к этому ответу. Думаю, те, кто её тренирует, способны находить неправильные рассуждения и менять процесс тренировки так, чтобы убирать ошибки. Хотя если мы пользователи этого API, конечно это будет просто "вещь в себе", но это справедливо по сути для любого API.

Но она, по сути, состоит из разных моделей (каждая моделька заточена под что-то свое) да еще и агентов (вычисления и пр.). Вот этот блок — модель — отладить пошагово нельзя — только статистически, без гарантий и доказуемости работы. А уже само взаимодействие — можно отладить, т.к. все идет по старым принципам.

Здравствуйте, Shmj, Вы писали:

S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?

Я про ИИ не знаю примерно ничего. Зато знаю, что основной инструмент сисадмина — шаманский бубен.

S>Допустим, даете задачу и нейросеть ее решает. Вам нужно узнать на основе каких входящих данных она смогла ее решить, была ли в база такая же задача или похожая.

Зачем мне это знать? Этим датасаентисты занимаются.

S>Куда вы будете ставить брейкпоинт?

А если запрос к БД тормозит или выдает неожиданный результат, куда брэйкпоинт ставить? Или есть другие способы решения?

S>>>Если вы задаете вопрос (входящие данные) — то все нейроны всех слоев (или большая часть нейронов) — вносят свой небольшой вклад в ответ.
M>>Звучит похоже на алгоритм discrete Fourier transform.
M>>Наверное для тебя это тоже магия.
S>А что магического? В чем вопрос, на который нет и не может быть ответа?

Это я у тебя хочу узнать что тут магического? Тут тоже каждая каждый кусочек входных данных влияет на все части результата.

Здравствуйте, Muxa, Вы писали:

S>>Допустим, даете задачу и нейросеть ее решает. Вам нужно узнать на основе каких входящих данных она смогла ее решить, была ли в база такая же задача или похожая.
M>Зачем мне это знать? Этим датасаентисты занимаются.

Они не могут этого сделать. Есть 100 терабайт сжатых текстовых данных. 5 месяцев на мощном компьютере с 1000 видеокарт молотят эти данные и готовят модель, затрачивая 1 млн. долларов на оплату процессорных часов. После этого имеем файлик в 7 Гб. с какими-то связями и коэффициентами, которые формировались 5 месяцев и формирование стоило 1 млн. долларов. Файл модели.

Далее нельзя провернуть назад и как-то понять почему та или иная комбинация связей именно такая — какие данные из 100 терабайт на это повлияли. Если и поставите брейпоинт на внесении изменений в одну из ячеек — то она будет прыгать то больше то меньше — миллионы раз. И что?

S>>Куда вы будете ставить брейкпоинт?

M>А если запрос к БД тормозит или выдает неожиданный результат, куда брэйкпоинт ставить? Или есть другие способы решения?

Берете этот запрос и изучаете план запроса — в MS SQL вот так примерно делал: https://learn.microsoft.com/bg-bg/sql/relational-databases/performance/execution-plans?view=sql-server-ver16

Там по шагам отобразит все проводимые операции.

В нейросетях так не возможно — создание модели занимает месяцы и стоит миллионы долларов.

M>Это я у тебя хочу узнать что тут магического? Тут тоже каждая каждый кусочек входных данных влияет на все части результата.

Здесь магического ничего нет — алгоритм фиксирован и понятен математически, вплоть до мелочей.

В случае с нейросетями — алгоритм никто осознать не может, он размазан и формируется автоматически на основе данных, причем не существует способа обернуть и понять какие именно данные на что повлияли.

Здравствуйте, Muxa, Вы писали:

M>а как нейросетями превратить камень в лягушку?
M>магией это делается легко: читаешь заклинание, брызгаешь зельем, и вот камень уже прыгает, квакает и превращается. а с нейронкой как такое сделать?

Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку. Что до трансфмормаций реального мира — к нейросети нужно добавить нанороботов, которыми она будет управлять. Тогда рой нанороботов на уровне атомов смогут работать с тем или иным веществом, формируя нужный код ДНК.

Здравствуйте, Sinclair, Вы писали:

S>Примерно такой же переход имеет место между локальным детерминизмом и "вычислительной сложностью".
S>Сам по себе ИИ тут мало что нового вносит. Простейшая и понятная каждому вещь — компилятор. В старые времена можно было прямо в уме прикидывать, в какие инструкции компилятор превратит паскалевский код.
S>Современный компилятор настолько далеко уезжает от исходников, что не то, что предсказать результат его работы становится трудно — даже посмотрев на этот результат, не всякий сходу скажет, почему получилось именно так.
S>Тем не менее, никакого дискомфорта это не вызывает — точно так же снижается уровень ожиданий. Меньше инвариантов сохраняется, но всё же работа компилятора — это не рандом.
S>Так будет и с ИИ: кое-что из его работы мы будем понимать, остальное окажется не так уж и важно.

Но все-же когда исходники доступны (или кому исходники доступны) — можно отследить любое поведение. Пусть это будет и не просто.

В случае же с нейросеткой — имеем на входе набор данных в сотни терабайт а то и петабайты. Человек за жизнь может прочесть (не более 1 Гб). Далее, создание модели потребует работы целого кластера в течение нескольких месяцев с затратами в сотни тысяч или даже миллионы долларов.

На выходе получите файлик от 7 Гб до 1 Тб. с некими коэффициентами, которые уже никак нельзя сопоставить с водными данными. На каждый коэффициент так или иначе влияло огромное количество данных как в плюс так и в минус.

И тут дело уже не в том что у тебя исходников нет или именно ты не достаточно компетентен, чтобы разобраться почему модель повела себя так. Просто нет физической возможности ответа на этот вопрос. Может где-то там среди 100 терабайт данных была похожая задача, может была такая же задача, но разнесенная на две в разных частях датасета. А может не на две а на две тысячи. Не остледить никак.

M>>а как нейросетями превратить камень в лягушку?
M>>магией это делается легко: читаешь заклинание, брызгаешь зельем, и вот камень уже прыгает, квакает и превращается. а с нейронкой как такое сделать?

S>Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку.
Дизайнер с фотошопом получается тоже магия. Ок.


S>Что до трансфмормаций реального мира — к нейросети нужно добавить нанороботов, которыми она будет управлять. Тогда рой нанороботов на уровне атомов смогут работать с тем или иным веществом, формируя нужный код ДНК.
Получается магии нет. Ок.

Здравствуйте, Muxa, Вы писали:

S>>Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку.
M>Дизайнер с фотошопом получается тоже магия. Ок.

Устройство человека — до сих пор магия. Вот есть вера в существование бессмертной души. Может она и существует — наука не доказала, но и не опровергла. Бремя доказательства на самом деле на том, кто больше всех теряет (уже объяснял — пример — заявление о бомбе в аэропорту будет принято без доказательств).

S>>Что до трансфмормаций реального мира — к нейросети нужно добавить нанороботов, которыми она будет управлять. Тогда рой нанороботов на уровне атомов смогут работать с тем или иным веществом, формируя нужный код ДНК.
M>Получается магии нет. Ок.

На уровне редактирования ДНК — еще не добавили автоматы. А вот на уровне IT, в компьютерной среде — магия уже существует и постепенно внедряется — выходит в свет.

S>>>Куда вы будете ставить брейкпоинт?
M>>А если запрос к БД тормозит или выдает неожиданный результат, куда брэйкпоинт ставить? Или есть другие способы решения?

S>Берете этот запрос и изучаете план запроса
S>Там по шагам отобразит все проводимые операции.
Ты так и не ответил куда поставить брэйкпоинт.
Вместо этого предлагаешь другие подходящие способы решения проблемы.

S>В нейросетях так не возможно — создание модели занимает месяцы и стоит миллионы долларов.
Так «невозможно» или «занимает месяцы и стоит миллионы долларов»?
Ты уж определись сперва.

S>>>Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку.
M>>Дизайнер с фотошопом получается тоже магия. Ок.

S>Устройство человека — до сих пор магия.

Я понял, ты опять придумал новые определения устоявшимся понятиям и занимаешься словесным онанизмом.

Здравствуйте, Muxa, Вы писали:

M>Ты так и не ответил куда поставить брэйкпоинт.
M>Вместо этого предлагаешь другие подходящие способы решения проблемы.

Для какого сценария? Если атомарная операция непонятным образом себя ведет — то нужен исходный код СУБД (обычно это C или C++) — там будете отладчиком проходиться или в логирование добавлять.

S>>В нейросетях так не возможно — создание модели занимает месяцы и стоит миллионы долларов.
M>Так «невозможно» или «занимает месяцы и стоит миллионы долларов»?
M>Ты уж определись сперва.

Если вы для каждого обучающего текста будете делать копию сети, чтобы отслеживать все изменения — то размер будет увеличиваться экспоненциально и достаточно быстро упретесь в то что атомов во Вселенной не хватит для создания хранилища нужного объема. Причем упретесь в это на 1 мегабайте обучающего текста, а впереди еще 100 терабайт как было так и осталось.

Здравствуйте, Muxa, Вы писали:

S>>Устройство человека — до сих пор магия.
M>Я понял, ты опять придумал новые определения устоявшимся понятиям и занимаешься словесным онанизмом.

Благодаря вере в душу существует исламский мир, который довольно прочно завязан на религию. Христианский мир не прочный и его не рассматриваю. Убери веру в бессмертную душу — мир станет другим. Однако же вполне возможно что душа существует как проявление некого феномена фундаментальных сил. Ведь вопрос о том как сделать систему, способную наслаждаться и страдать — не имеет ни одной научной гипотезы.

вот я как раз об этом

S>Если вы для каждого обучающего текста будете делать копию сети, чтобы отслеживать все изменения — то размер будет увеличиваться экспоненциально и достаточно быстро упретесь в то что атомов во Вселенной не хватит для создания хранилища нужного объема. Причем упретесь в это на 1 мегабайте обучающего текста, а впереди еще 100 терабайт как было так и осталось.

А если действовать более подходящим образом, то все получится.

Здравствуйте, Shmj, Вы писали:

S>Некоторые думают что модель этому специально обучили и она не разобралась в сути вопроса а просто выдала готовый результат. По этому сейчас пошли на такой шаг — собрать 1000 секретных вопросов, которых 100% нет в интернете или книгах и которые нельзя внести в базу какой-либо LLM. А потом на основе этих секретных вопросов проверить думает оно или нет.

Нейронная сеть, грубо говоря, нащупывает обобщения между входными параметрами методом накопления статистических данных. Если эти секретные вопросы выводятся путем обобщения из того, чему сеть учили, она их найдет. Если не выводятся, не найдет. К вопросу о том, думает ли она, это не имеет вообще никакого отношения.

И кстати, чтобы выяснить, думает ли некая субстанция, для начала надо определить понятие думания. Ответ будет сильно зависеть от определения.

Здравствуйте, Shmj, Вы писали:

S>Да причем тут это? Код если и распараллелен — он все-равно детерминирован. Если где-то параллельный доступ к разделяемому ресурсу с непредсказуемым поведением — обязательно синхронизация.

Если куда-то добавили генератора случайных чисел, это не добавляет недетерминированности. Метод Монте-Карло не даст соврать.

O>>Всегда обходил смердфоны стороной, и теперь стало понятно почему.
S>Боюсь что так смогут лишь единицы, типа Германа Стерлигова.
Другая крайность тоже являет собой печальное зрелище. Слежку проглотили, калечащие уколы восприняли как священный долг перед обществом акционерным, дальше начнут газлайтить тех кто отказывается от нового современного удобного дистанционно-управляемого ошейника/импланта со взрывчаткой.

Pzz>Ты вообще не пользуешься телефоном?
"Вообще" уже не получится, под угрозой лишения гражданских прав (ни в банке не обслуживают, ни на работу не берут, ни на госуслугах).
Pzz>В кнопчатом телефоне места для взрывчатки уж точно уж не меньше, чем в пейджере.
Но следящего софта точно меньше чем в смердфоне, и удалённо накатить "обновление" не получится. Только то что было 10 лет назад при изготовлении, когда людоеды ещё не были настолько высокотехнологичными.
>А в механическом телефоне с диском номеронабирателя, если совсем уж отказываться от электроники, найдеся место и для киллограмма тротилла и для осколочных поражающих элементов. Таким устройсвом, при удачном раскладе, можно не то, что человека убить, а вынести подъезд панельной многоэтажки...
Бомбе телефон совершенно не обязателен, если уж настолько расширенно толковать.

Здравствуйте, Muxa, Вы писали:

S>>Если вы для каждого обучающего текста будете делать копию сети, чтобы отслеживать все изменения — то размер будет увеличиваться экспоненциально и достаточно быстро упретесь в то что атомов во Вселенной не хватит для создания хранилища нужного объема. Причем упретесь в это на 1 мегабайте обучающего текста, а впереди еще 100 терабайт как было так и осталось.

M>А если действовать более подходящим образом, то все получится.

Нет такого способа. Там же невообразимое количество связей и коэффициентов, все друг на друга влияют. Развернуть эти связи и как-то понять как они коррелируют с исходным датасетом — не возможно ввиду необратимости фукнкций.

Модель — это программа, а не просто входящие данные.

Здравствуйте, Pzz, Вы писали:

Pzz>Нейронная сеть, грубо говоря, нащупывает обобщения между входными параметрами методом накопления статистических данных. Если эти секретные вопросы выводятся путем обобщения из того, чему сеть учили, она их найдет. Если не выводятся, не найдет. К вопросу о том, думает ли она, это не имеет вообще никакого отношения.

Они могут выводиться, т.к. базовые законы логики и некий набор фактов — не занимают такой уж большой объем данных — а нейросетка не найдет решеине.

Вообще вся большая геометрия зиждется на малом количестве аксиом — из которых все выводится. Значит ли это что нейросетка способна вевести все существующие а так же еще не открытые теоремы на базе этих аксиом?

Pzz>И кстати, чтобы выяснить, думает ли некая субстанция, для начала надо определить понятие думания. Ответ будет сильно зависеть от определения.

Базовые понятия не определяются. Мы не знаем что такое время, пространство, материя — но оперируем этими понятиями. Не формальное определение есть — в т.ч. у понятия думать. Формального — нет, т.к. эти все вещи непознаны.

M>>А если действовать более подходящим образом, то все получится.

S>Нет такого способа. Там же невообразимое количество связей и коэффициентов, все друг на друга влияют. Развернуть эти связи и как-то понять как они коррелируют с исходным датасетом — не возможно ввиду необратимости фукнкций.

"Нет способа", и "ты не знаешь способа" это разные вещи.

M>>"Нет способа", и "ты не знаешь способа" это разные вещи.

S>Дело в том что и создатели не знают. Просмотрели датасет — вроде оно не должно было решать задачи подобного рода, ее этому не обучали. Но оно решает!!! И никто не может понять как это произошло.

И в чем баг?
Какую проблему тут надо исправить?

Здравствуйте, Shmj, Вы писали:

S>Базовые понятия не определяются. Мы не знаем что такое время, пространство, материя — но оперируем этими понятиями. Не формальное определение есть — в т.ч. у понятия думать. Формального — нет, т.к. эти все вещи непознаны.

Мы оперируем их свойствами. Штука, которое обладает свойствами времени, предполагается, что и есть время. Свойства описывают взаимодействие некой сущности с другими сущностями.

Так каковы же свойства думанья?

Здравствуйте, Muxa, Вы писали:

S>>Дело в том что и создатели не знают. Просмотрели датасет — вроде оно не должно было решать задачи подобного рода, ее этому не обучали. Но оно решает!!! И никто не может понять как это произошло.

M>И в чем баг?
M>Какую проблему тут надо исправить?

Ну, к примеру, нужно чтобы нейросеть не могла логически верно отвечать на острые вопросы. В базу не вкладываются эти вопросы, но она все-равно почему-то умеет на них отвечать.

Можно добавить пред. фильтры, но выглядит как костыль и обходится.

Здравствуйте, Pzz, Вы писали:

Pzz>Мы оперируем их свойствами. Штука, которое обладает свойствами времени, предполагается, что и есть время. Свойства описывают взаимодействие некой сущности с другими сущностями.

Но не понимая до конца сути явления — нельзя говорить обо всех его свойствах. К примеру, можем ли мы 100% заявить что время для разных наблюдателей может течь с разной скоростью? А про изменение направления, может ли время пойти в обратную сторону?

Pzz>Так каковы же свойства думанья?

Аналогично — мы до конца не знаем. Наблюдаемое нами — думание позволяет решать задачи. Так же задачи можно решать и без думания — студенты прекрасно знают что можно решить самому а можно списать, не напрягаясь. Вроде бы решает тем что препод может задать пару вопросов и понять кто решал сам а кто просто списал — но и тут возможен обман с помощью микронаушника + ассистента.

Так что пока никто не знает что такое думание и как его отличить от симуляции думания.

Здравствуйте, Shmj, Вы писали:

Pzz>>Мы оперируем их свойствами. Штука, которое обладает свойствами времени, предполагается, что и есть время. Свойства описывают взаимодействие некой сущности с другими сущностями.

S>Но не понимая до конца сути явления — нельзя говорить обо всех его свойствах. К примеру, можем ли мы 100% заявить что время для разных наблюдателей может течь с разной скоростью? А про изменение направления, может ли время пойти в обратную сторону?

Слово "всех" вставил ты.

Мы понимаем некоторые, характерные, свойства, и они позволяют нам отделить время от других явлений. Что позволяет нам более углубленно изучать его свойства.

Не думаю, что найдется хоть какое-то невыдуманное явление, суть которого мы понимаем до конца. Что не мешает нам думать и уж, тем более, говорить.

Pzz>>Так каковы же свойства думанья?

S>Аналогично — мы до конца не знаем. Наблюдаемое нами — думание позволяет решать задачи. Так же задачи можно решать и без думания — студенты прекрасно знают что можно решить самому а можно списать, не напрягаясь. Вроде бы решает тем что препод может задать пару вопросов и понять кто решал сам а кто просто списал — но и тут возможен обман с помощью микронаушника + ассистента.

Что такое "решать задачи"? Думает ли принтер, решая задачу "напечатать PDF-файл"? Думает ли кошка, решая задачу "слямзить сосиску"?

Здравствуйте, Pzz, Вы писали:

S>>Аналогично — мы до конца не знаем. Наблюдаемое нами — думание позволяет решать задачи. Так же задачи можно решать и без думания — студенты прекрасно знают что можно решить самому а можно списать, не напрягаясь. Вроде бы решает тем что препод может задать пару вопросов и понять кто решал сам а кто просто списал — но и тут возможен обман с помощью микронаушника + ассистента.

Pzz>Что такое "решать задачи"? Думает ли принтер, решая задачу "напечатать PDF-файл"? Думает ли кошка, решая задачу "слямзить сосиску"?

В случае со временем — нет другого явления, которое в чем-то похоже на время, но отличается от него по сути.

А в случае с думанием такое явление есть — копирование результата думания. По этому возникает проблема — мы не можем отличить где было думание а где выдают готовый скопированный результат за результат своего думания.

Всю тему не читал, но когда я рисую рисунки с помощью нейросети Krea, и использую режим img2img (задача задаётся сочетанием текстового промпта и рисунка-наброска), возникает какое-то странное, может быть комфортности ощущение загадочности и волшебности процесса. Какой-то приятный когнитивный диссонанс. Т.е. я согласен что это магия.

Здравствуйте, Shmj, Вы писали:

Pzz>>Что такое "решать задачи"? Думает ли принтер, решая задачу "напечатать PDF-файл"? Думает ли кошка, решая задачу "слямзить сосиску"?

S>В случае со временем — нет другого явления, которое в чем-то похоже на время, но отличается от него по сути.

Да. И именно это позволяет оперировать со временем, как с базовым понятием без определения.

S>А в случае с думанием такое явление есть — копирование результата думания. По этому возникает проблема — мы не можем отличить где было думание а где выдают готовый скопированный результат за результат своего думания.

Складывается ощущение, что понятие думания четко не определено, и каждый наделяет это слово своим собственным смыслом.

(Заметим в скобках, что в обоих приведенных мною примерах принтер и котик не выдают чужой результат за плод своих раздумий.)

M>>И в чем баг?
M>>Какую проблему тут надо исправить?

S>Ну, к примеру, нужно чтобы нейросеть не могла логически верно отвечать на острые вопросы. В базу не вкладываются эти вопросы, но она все-равно почему-то умеет на них отвечать.

Сеть по генерации текста генерит текст, кто бы мог подумать.
Баг-то в чем разница заключается? В плохо натренированной модели?
Это у кого такая проблема? Дай ссылку почитать.

Здравствуйте, Muxa, Вы писали:

M>Сеть по генерации текста генерит текст, кто бы мог подумать.
M>Баг-то в чем разница заключается? В плохо натренированной модели?

В невозможности предсказать какие задачи возможно решить на основе данных того или иного датасета а какие невозможно. Задачи в конкретном виде может не быть в датасете — а нейросеть ее как-то научилась решать.

Отсутствие объяснимости решений — нейросети работают как «черные ящики», и даже их разработчики не могут точно объяснить, как принимаются решения. Это приводит к трудностям в проверке моделей на соответствие этическим нормам или регуляциям, что вызывает тревогу при их применении в важных областях, таких как медицина или правосудие.

Проблема тут в том что даже сами создатели библиотек или наборов данных не могут делать прогнозы — их творение непредсказуемо для них самих.

M>Это у кого такая проблема? Дай ссылку почитать.

https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814

Здравствуйте, Shmj, Вы писали:

Ты опять подменяешь термины своими фантазиями?

Ма́гия (лат. magia, греч. μαγεία) — действия, связанные с верой в способность человека влиять на силы природы, предметы, животных, судьбу людей, подчиняя себе сверхъестественные силы или манипулируя ими с помощью заклинаний, амулетов и определённых обрядов.

И куда тут ИИ впихнуть?

Здравствуйте, Shmj, Вы писали:

S>Давайте поменяемся интеллектом. В какой сфере вы сильны?

Еще бы называть «интеллектом» базу поверхностных неструктурированных знаний, ядрено смешанных с какими-то бредовыми фантазиями и фальсификацией терминов

Уверен, по объему такой базы ты всех тут переплюнешь. Только при чем тут «интеллект»?

Здравствуйте, Sinclair, Вы писали:

S>Здравствуйте, Shmj, Вы писали:

S>>Но все-же когда исходники доступны (или кому исходники доступны) — можно отследить любое поведение. Пусть это будет и не просто.
S>Ну... да. Открываете исходники LLVM (~23 миллиона строк), исходники вашей программы (c хидерами — сотня тысяч строк).
S>Садитесь и начинаете медитировать

Но ведь они структурированы, их не боги с небес спустили а люди писали. Там есть комменты, структура и пр. — т.е. понять все-таки хотя и сложно — но реально.
S>>И тут дело уже не в том что у тебя исходников нет или именно ты не достаточно компетентен, чтобы разобраться почему модель повела себя так. Просто нет физической возможности ответа на этот вопрос.
S>Почему? Есть. Садишься и отслеживаешь по исходным данным, как рассчитался каждый коэффициент.

50 млрд. коэффициентов, 100 трлн. связей, при каждом цикле обучения каждый из них прыгает то туда то назад и хрен пойми что с чем связано и что на что влияет.

Ни комментов, ни структуры никакой нет — просто клубок.

S>>Может где-то там среди 100 терабайт данных была похожая задача, может была такая же задача, но разнесенная на две в разных частях датасета. А может не на две а на две тысячи. Не остледить никак.
S>А вообще, есть целое направление объяснимых нейросетей. Потому что в ряде задач нам недостаточно получить "режьте здесь". Важно понять, на основе каких факторов и правил сделан такой вывод.
S>И нейросетки без объяснений будут применять только там, где нужно "сочини смешное стихотворение по киберпанк, любовь, смерть, и чтобы каждое слово начиналось с буквы К".

Но пока именно необъяснимые нейросети рулят. Будут ли те объяснимые и насколько успешны — большой вопрос. Дело в том что сам человек не знает толком откуда в его голове берется решение тех задач, решению которых его не обучали напрямую.

Здравствуйте, Нomunculus, Вы писали:

Н>

Н>Ма́гия (лат. magia, греч. μαγεία) — действия, связанные с верой в способность человека влиять на силы природы, предметы, животных, судьбу людей, подчиняя себе сверхъестественные силы или манипулируя ими с помощью заклинаний, амулетов и определённых обрядов.

Н>И куда тут ИИ впихнуть?

Смотря что считать сверхъестественной силой. Квантовые эффекты, не доступные для логического понимания или же эмерджентные эффекты, так же не доступные для понимания (в силу их масштабов и сложности) — вполне себе можно считать сверхъестественной силой.

Современная магия — возможно последствия типа культа карго. Амулеты — это девайсы для доступа. Заклинания — промпт-запросы к нейросетям.

M>>Сеть по генерации текста генерит текст, кто бы мог подумать.
M>>Баг-то в чем разница заключается? В плохо натренированной модели?

S>В невозможности предсказать какие задачи возможно решить на основе данных того или иного датасета а какие невозможно.

То есть эта функциональность была реализована, но не работает?
Я правильно понял суть бага?

S>Смотря что считать сверхъестественной силой. Квантовые эффекты, не доступные для логического понимания или же эмерджентные эффекты, так же не доступные для понимания (в силу их масштабов и сложности) — вполне себе можно считать сверхъестественной силой.
Нет

S>Современная магия — возможно последствия типа культа карго. Амулеты — это девайсы для доступа. Заклинания — промпт-запросы к нейросетям.
Нет

Это все не о том
Люди раньше огонь магией считали потому что не понимали как он работает.
А когда научились эго добывать, это по твоему означает что люди постигли магию?

Здравствуйте, Muxa, Вы писали:

M>То есть эта функциональность была реализована, но не работает?
M>Я правильно понял суть бага?

Модель не создается человеком в классическом смысле — она как бы зарождается сама на основе данных. И далеко не всегда можно понять как на основе этих данных модель решает те или иные задачи, т.к. прямого решения задач подобного рода в обучающей выборке не было.

Здравствуйте, Muxa, Вы писали:

S>>Смотря что считать сверхъестественной силой. Квантовые эффекты, не доступные для логического понимания или же эмерджентные эффекты, так же не доступные для понимания (в силу их масштабов и сложности) — вполне себе можно считать сверхъестественной силой.
M>Нет

Это ваше мнение.

S>>Современная магия — возможно последствия типа культа карго. Амулеты — это девайсы для доступа. Заклинания — промпт-запросы к нейросетям.
M>Нет

Возможно были контакты с цивилизациями, у которых уже достигли таких же технологий. А наши предки воспринимали все это по типу самолетопоклонников. Высшая цивилизация юзала девайсы — ключи доступа в прикольных корпусах. А наши дебилы думали что любой красивый камень сгодится.

M>Это все не о том

Так уже сколько веков прошло после контакта — уже все забылось, остались только самолетики из соломы и наушники из кокосовой скорлупы.

Здравствуйте, ononim, Вы писали:

O>Вот весь мир заполнят самовоспроизводящиеся наноботы с чатгопотой на борту, и для управления ими надо будет произносить странные словосочетания, типа 'сконденсируй 100грамм ашдвао из атмфосферы вобъеме с координатами относительно моего носа один-ноль-ноль, затем охлади их до температуры минус сто градусов цельсия и придай вектор скорости 100-ноль-ноль'. Такое вот заклинание, кастующее ice bolt в твоего недруга

Ну прямо каждый наноробот не сможет всю нейросетку вместить на борт. А вот внутри манипулятора типа стилуса (т.н. палочки) — вполне.

O>>Вот весь мир заполнят самовоспроизводящиеся наноботы с чатгопотой на борту, и для управления ими надо будет произносить странные словосочетания, типа 'сконденсируй 100грамм ашдвао из атмфосферы вобъеме с координатами относительно моего носа один-ноль-ноль, затем охлади их до температуры минус сто градусов цельсия и придай вектор скорости 100-ноль-ноль'. Такое вот заклинание, кастующее ice bolt в твоего недруга
S>Ну прямо каждый наноробот не сможет всю нейросетку вместить на борт. А вот внутри манипулятора типа стилуса (т.н. палочки) — вполне.
Ну можно же размотать брану протона в два измерения и захерачить К567 серию на силах ядерных взаимодействий. И потом из таких модифицированных проттонов делать процессоры наноботов.

M>>То есть эта функциональность была реализована, но не работает?
M>>Я правильно понял суть бага?

S>Модель не создается человеком в классическом смысле — она как бы зарождается сама на основе данных. И далеко не всегда можно понять как на основе этих данных модель решает те или иные задачи, т.к. прямого решения задач подобного рода в обучающей выборке не было.

То есть никакого бага и нет изначально?

Здравствуйте, ononim, Вы писали:

S>>Ну прямо каждый наноробот не сможет всю нейросетку вместить на борт. А вот внутри манипулятора типа стилуса (т.н. палочки) — вполне.
O>Ну можно же размотать брану протона в два измерения и захерачить К567 серию на силах ядерных взаимодействий. И потом из таких модифицированных проттонов делать процессоры наноботов.

Ну это вы нафантазировали. А реальность не всегда соответствует нашим фантазиям. Мы по сути не знаем куда есть смысл прогрессировать а где уже возможности заканчиваются и природа говорит четкое — нет. Как то в 70-х уже мечтали планеты покорят — но Природа сказала четкое — нет. И дальше технологически уперлись — максимум околоземная орбита или зонды вблизи солнечной системы.

Простые нанороботы возможны, по сложности типа бактерий. С простой задачей. Но управляющий. Возможно роевой интеллект. Но не то что вы придумали.

Здравствуйте, Muxa, Вы писали:

S>>Модель не создается человеком в классическом смысле — она как бы зарождается сама на основе данных. И далеко не всегда можно понять как на основе этих данных модель решает те или иные задачи, т.к. прямого решения задач подобного рода в обучающей выборке не было.

M>То есть никакого бага и нет изначально?

Если нейросетка начнет действовать в своих интересах, хотя ее этому не учили а хотели всего лишь помогатор — это баг или нет?

Здравствуйте, Shmj, Вы писали:

Ну-ну. Перелопачиваем всю терминологию, лишь бы оправдать первоначальное

S>>>Модель не создается человеком в классическом смысле — она как бы зарождается сама на основе данных. И далеко не всегда можно понять как на основе этих данных модель решает те или иные задачи, т.к. прямого решения задач подобного рода в обучающей выборке не было.

M>>То есть никакого бага и нет изначально?

S>Если нейросетка начнет действовать в своих интересах, хотя ее этому не учили а хотели всего лишь помогатор — это баг или нет?

Какой интерес может быть у молотка или нейросети? Вместо текста начнет генерить картинки?
Дай ссылку на конкретный пример где это происходит, непонятно.

А то что в ответ на какие-то неудобные вопросы сеть генерит какой-то неудобный текст — это вовсе и не баг никакой, это либо недостаточная тренировка, либо отсутствие входящего фильтра.

Решить проблему можно добавив в корпус текста для тренировки нужный текста с правильными ответами, либо поставив фильтр на вход, который тоже может быть небольшой нейросетью. Не нравится фильтр и кажется костылем, будь готов тратить миллионы и месяцы при изменении повесточки и появлении новых неудобных вопросов, вместо того чтобы бесплатно на офисном ноуте за полчаса перетренировать фильтр, но судя по всему модульность и сервисы прошли мимо тебя.

Здравствуйте, Нomunculus, Вы писали:

Н>Ну-ну. Перелопачиваем всю терминологию, лишь бы оправдать первоначальное

Там нет такой уж строгой терминологии. Сверхъестественное — это не научный термин, каждый понимает под этим что-то свое.

Если что-то не вписывается в привычную логику — вполне можно назвать сверхъестественным.

Здравствуйте, Shmj, Вы писали:

S>Там нет такой уж строгой терминологии. Сверхъестественное — это не научный термин, каждый понимает под этим что-то свое.

Нет.

S>Если что-то не вписывается в привычную логику — вполне можно назвать сверхъестественным.

Нет. «Естественность» — это ближе к природе. Сверх-природное, скорее. К логике это отношения не имеет.

Но тебе же нравится слово «магия» — поэтому все тащишь под это.

Здравствуйте, Muxa, Вы писали:

M>А то что в ответ на какие-то неудобные вопросы сеть генерит какой-то неудобный текст — это вовсе и не баг никакой, это либо недостаточная тренировка, либо отсутствие входящего фильтра.

Нейросеть умеет отвечать на вопросы, которым ее прямо не обучали. И никто не может понять как именно это происходит. Т.е. она вышла из под контроля.

Здравствуйте, Нomunculus, Вы писали:

S>>Там нет такой уж строгой терминологии. Сверхъестественное — это не научный термин, каждый понимает под этим что-то свое.
Н>Нет.

Ну как нет? Это не наука, по этому никакой точности там быть не может.

S>>Если что-то не вписывается в привычную логику — вполне можно назвать сверхъестественным.
Н>Нет. «Естественность» — это ближе к природе. Сверх-природное, скорее. К логике это отношения не имеет.
Н>Но тебе же нравится слово «магия» — поэтому все тащишь под это.

Это вы рассматриваете словообразование. А словообразование не всегда соответствует тому смыслу, в котором слово употребляется. К примеру слово Календарь — происходит от латинского "calendarium" (список долгов), но в современном языке означает систему счисления дней.

Если что-то не возможно познать в принципе, т.е. что-то не осознаваемо разумом человека сейчас а так же не может быть осознанно в будущем — это вполне можно считать тем самым сверхъестественным.

Здравствуйте, Shmj, Вы писали:

S>Ну как нет? Это не наука, по этому никакой точности там быть не может.

С чего бы? Точность только в науке? Все что точно — научно?

S>Это вы рассматриваете словообразование.


Нет, это я рассматриваю обычное употребление этого слова. Обязательность наличия человека (логика) в употреблении "сверхестественное" не значится

S>Если что-то не возможно познать в принципе, т.е. что-то не осознаваемо разумом человека сейчас а так же не может быть осознанно в будущем — это вполне можно считать тем самым сверхестественным.

Нет.

К тому же, промпты и заклинания по сути не одно и то же. Одно заклинание каждый раз дает один и тот же эффект. Одинаковый промпт дает каждый раз абсоютно разные эффекты

Здравствуйте, Нomunculus, Вы писали:

Н>К тому же, промпты и заклинания по сути не одно и то же. Одно заклинание каждый раз дает один и тот же эффект. Одинаковый промпт дает каждый раз абсоютно разные эффекты

Смотря в каких системах. В Stable Diffusion кроме промпта есть еще seed — 64 битное число. Если seed и промпт совпадают — получите один и тот же эффект.

Кстати, у меня возникла идея. Можно для удобства вместо seed в виде числа — использовать 5 латинских слов. Тогда говорите желание и закрепляете 5 латинскими словами — получается как заклинание. Круто же?

Здравствуйте, Shmj, Вы писали:

S> Круто же?

нет, натягивание совы на глобус только потому что тебе нравится подменять термины

Здравствуйте, Нomunculus, Вы писали:

Н>нет, натягивание совы на глобус только потому что тебе нравится подменять термины

В ваших терминах магия — это культ Карго. Вера в то что ритуалы могут быть чем-то полезны.

Здравствуйте, Shmj, Вы писали:

S>В ваших терминах магия — это культ Карго. Вера в то что ритуалы могут быть чем-то полезны.

Ты опять мешаешь кислое с теплым. Ты уж или рассматривай "магию" как некое психическое возмущение, которое на самом деле никакого эффекта в реальности не имеет, то есть просто сказка в головах. Или ты рассматривай магию как нечто существующее и типа Гарри Поттеры есть в реальности. Не надо мешать эти "магии" в одну кучу

Здравствуйте, Нomunculus, Вы писали:

Н>Ты опять мешаешь кислое с теплым. Ты уж или рассматривай "магию" как некое психическое возмущение, которое на самом деле никакого эффекта в реальности не имеет, то есть просто сказка в головах.

Психическое возмущение может быть выражено и иметь последствия для тех кто через зеркальные нейроны его испытал. Тот же гипноз на этом основан и он существует. Или оболванивание масс.

Н>Или ты рассматривай магию как нечто существующее и типа Гарри Поттеры есть в реальности. Не надо мешать эти "магии" в одну кучу

Ну на счет Поттера — это уже современная трактовка и там вполне подходит под техногенную природу.

Здравствуйте, Shmj, Вы писали:

S>Модель не создается человеком в классическом смысле — она как бы зарождается сама на основе данных. И далеко не всегда можно понять как на основе этих данных модель решает те или иные задачи, т.к. прямого решения задач подобного рода в обучающей выборке не было.

Вообще-то создаётся именно человеком. Обучение нейросетей потому и называется обучением, потому что она при этом свою структуру не меняет, если ты об этом. Loss функцию тоже вполне себе исследуют, об этом множество статей есть. Даже NAS (neural architecture search), не так сложен, сколько тяжёл для вычислений. Ничего сверхсложного там нет только потому, что обучаются современные сети на миллионах и миллиардах примеров. Это как раз и говорит, что не структура у них сложная и непонятная, а они просто большие. Это одна из проблем современных нейросетей, можно сказать, их тупость, что они не могут сами схватывать данные, их приходится вбивать.
Если уж сравнивать с человеком, то его аппаратная часть (мозг) уже эволюцией очень хорошо настроен на решение многих задач, кора головного мозга имеет участки со своей специализацией, горизонтальные связи где надо налажены. С нейросетями искусственными всё сложнее, потому что они примитивные и в сравнении с человеком, и в математическом плане. Недавно вышла статья про сети Колмогорова-Арнольда, где добавили нелинейности. Статью написали в MIT, поэтому шумиха поднялась про революцию в нейросетях и т.д. и т.п. Потом оказалось, что эта тема уже несколько раз исследовалась и публикации по ней были, ничего прорывного не вышло. То есть даже небольшое по математическим меркам усложнение архитектурных кирпичиков не получилось полноценно использовать. Почему? Потому что методы столь примитивны.

Так-то можно глядя на броуновское движение сказать, что система очень сложная, всё непонятно как движется, мы не понимаем, предсказать движение каждой частицы не можем, наверное там инопланетный разум. Но такого нет же, веди правда?

Здравствуйте, Shmj, Вы писали:

S>Психическое возмущение может быть выражено и иметь последствия для тех кто через зеркальные нейроны его испытал. Тот же гипноз на этом основан и он существует. Или оболванивание масс.

И не надо называть это "магия". Никто гипноз магией не называет

S>Ну на счет Поттера — это уже современная трактовка и там вполне подходит под техногенную природу.

Нет, надо давать другие термины, а не пихать в старые только потому что тебе нравится жить в сказке и быть "магом"

Здравствуйте, Nuzhny, Вы писали:

N>Вообще-то создаётся именно человеком. Обучение нейросетей потому и называется обучением, потому что она при этом свою структуру не меняет, если ты об этом. Loss функцию тоже вполне себе исследуют, об этом множество статей есть. Даже NAS (neural architecture search), не так сложен, сколько тяжёл для вычислений. Ничего сверхсложного там нет только потому, что обучаются современные сети на миллионах и миллиардах примеров. Это как раз и говорит, что не структура у них сложная и непонятная, а они просто большие. Это одна из проблем современных нейросетей, можно сказать, их тупость, что они не могут сами схватывать данные, их приходится вбивать.
Нашел кому объяснять. Он проигнорит и через 2 недели прибежит опять с типичным для него бредом.

З.Ы. А я вот жду сетей и подобного с обучением без учителя — вот это будет интересно.

M>>А то что в ответ на какие-то неудобные вопросы сеть генерит какой-то неудобный текст — это вовсе и не баг никакой, это либо недостаточная тренировка, либо отсутствие входящего фильтра.

S>Нейросеть умеет отвечать на вопросы, которым ее прямо не обучали. И никто не может понять как именно это происходит. Т.е. она вышла из под контроля.

Не умеет.
Нейросеть вообще не отвечает на вопросы, она на текстовый request генерит текстовый response. Привел английские термины чтобы немножко размешать кашу в твоей голове, из-за того что слово response на русский переводится как «ответ».

Здравствуйте, Muxa, Вы писали:

M>Не умеет.
M>Нейросеть вообще не отвечает на вопросы, она на текстовый request генерит текстовый response. Привел английские термины чтобы немножко размешать кашу в твоей голове, из-за того что слово response на русский переводится как «ответ».
С точки зрения человека это ответ на вопрос и часто вполне себе корректный и грамотный. Как минимум сетки чаще отвечают корректно и грамотно в отличие от людей.

M>>Не умеет.
M>>Нейросеть вообще не отвечает на вопросы, она на текстовый request генерит текстовый response. Привел английские термины чтобы немножко размешать кашу в твоей голове, из-за того что слово response на русский переводится как «ответ».
V>С точки зрения человека это ответ на вопрос и часто вполне себе корректный и грамотный. Как минимум сетки чаще отвечают корректно и грамотно в отличие от людей.

Согласен. С точки зрения тупого человека это выглядит именно так, они еще «интернет» могут «яндексом» называть, потому что так написано на иконке браузера.
Им потом еще магия везде мерещится.

Здравствуйте, Muxa, Вы писали:

M>>>Не умеет.
M>>>Нейросеть вообще не отвечает на вопросы, она на текстовый request генерит текстовый response. Привел английские термины чтобы немножко размешать кашу в твоей голове, из-за того что слово response на русский переводится как «ответ».
V>>С точки зрения человека это ответ на вопрос и часто вполне себе корректный и грамотный. Как минимум сетки чаще отвечают корректно и грамотно в отличие от людей.

M>Согласен. С точки зрения тупого человека это выглядит именно так

Ну тогда дайте формальный способ отличить request response от вопроса ответа.

Здравствуйте, Нomunculus, Вы писали:

Н>

Н>Ма́гия (лат. magia, греч. μαγεία) — действия, связанные с верой в способность человека влиять на силы природы, предметы, животных, судьбу людей, подчиняя себе сверхъестественные силы или манипулируя ими с помощью заклинаний, амулетов и определённых обрядов.

Н>И куда тут ИИ впихнуть?

Да он правильно всё говорит. Для Человека Необразованного (Дремучего) все силы являются сверхестественными. Зато такой человек легко примечает ассоциативные связи между разными явлениям. И через них и пытается влиять. И видимо, у него это достаточно часто получается, чтобы такое желание влиять, не понимая, положительно подкрепилось и обобщилось на всё.

Просто тебе рассказывают, как выглядит мир глазами Человека Необразованного, а ты к этому биологическому виду не относишься и понять его в своем опыте не можешь.

Здравствуйте, Shmj, Вы писали:

S>Возможно были контакты с цивилизациями, у которых уже достигли таких же технологий. А наши предки воспринимали все это по типу самолетопоклонников. Высшая цивилизация юзала девайсы — ключи доступа в прикольных корпусах. А наши дебилы думали что любой красивый камень сгодится.

А Цывилизации с кем были в контакте, чтобы эту великую мудрость постичь?