Здравствуйте, vsb, Вы писали:

vsb>Не согласен только в той части, что это принципиально невозможно отлаживать. Думаю, способы придумают. Вот та же модель o1. Она не выдаёт ответ просто так, она выдаёт все рассуждения, которые привели к этому ответу. Думаю, те, кто её тренирует, способны находить неправильные рассуждения и менять процесс тренировки так, чтобы убирать ошибки. Хотя если мы пользователи этого API, конечно это будет просто "вещь в себе", но это справедливо по сути для любого API.

Но она, по сути, состоит из разных моделей (каждая моделька заточена под что-то свое) да еще и агентов (вычисления и пр.). Вот этот блок — модель — отладить пошагово нельзя — только статистически, без гарантий и доказуемости работы. А уже само взаимодействие — можно отладить, т.к. все идет по старым принципам.

Здравствуйте, Shmj, Вы писали:

S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?

Я про ИИ не знаю примерно ничего. Зато знаю, что основной инструмент сисадмина — шаманский бубен.

S>Допустим, даете задачу и нейросеть ее решает. Вам нужно узнать на основе каких входящих данных она смогла ее решить, была ли в база такая же задача или похожая.

Зачем мне это знать? Этим датасаентисты занимаются.

S>Куда вы будете ставить брейкпоинт?

А если запрос к БД тормозит или выдает неожиданный результат, куда брэйкпоинт ставить? Или есть другие способы решения?

S>>>Если вы задаете вопрос (входящие данные) — то все нейроны всех слоев (или большая часть нейронов) — вносят свой небольшой вклад в ответ.
M>>Звучит похоже на алгоритм discrete Fourier transform.
M>>Наверное для тебя это тоже магия.
S>А что магического? В чем вопрос, на который нет и не может быть ответа?

Это я у тебя хочу узнать что тут магического? Тут тоже каждая каждый кусочек входных данных влияет на все части результата.

а как нейросетями превратить камень в лягушку?
магией это делается легко: читаешь заклинание, брызгаешь зельем, и вот камень уже прыгает, квакает и превращается. а с нейронкой как такое сделать?

Здравствуйте, Shmj, Вы писали:

S>И основной вопрос — приняли ли вы уже это? Или же имеете внутреннюю неприязнь к ИИ и системам, построенным на его основе?
Давно приняли. Во времена MS DOS можно было с уверенностью сказать, что именно делает машина в каждый момент. Вот она зашуршала дисководом — ага, идёт ввод-вывод. Вот замигал огонёк винчестера — ага, тоже ввод-вывод. Приложений, работающих в фоне, было раз-два и обчёлся, поэтому машина в каждый момент времени делает примерно то, что я вижу на экране.
Переход к винде вызывал некоторый дискомфорт — машина, помимо обслуживания программы, с которой я имею дело прямо сейчас, делает что-то ещё.
Вот я в ворде набираю текст — и вдруг у меня курсор залип посреди параграфа. Повисел-повисел — и разморозился, набрал "хвост" текста. Что? Почему? Нифига не понятно.
Постепенно отточился навык работы с таск менеджером — поведение машины стало чуть менее загадочным. Заодно поменялись ожидания — нет интуитивного чувства, что машина должна делать ровно то, что я сказал.

Примерно такой же переход имеет место между локальным детерминизмом и "вычислительной сложностью".
Сам по себе ИИ тут мало что нового вносит. Простейшая и понятная каждому вещь — компилятор. В старые времена можно было прямо в уме прикидывать, в какие инструкции компилятор превратит паскалевский код.
Современный компилятор настолько далеко уезжает от исходников, что не то, что предсказать результат его работы становится трудно — даже посмотрев на этот результат, не всякий сходу скажет, почему получилось именно так.
Тем не менее, никакого дискомфорта это не вызывает — точно так же снижается уровень ожиданий. Меньше инвариантов сохраняется, но всё же работа компилятора — это не рандом.
Так будет и с ИИ: кое-что из его работы мы будем понимать, остальное окажется не так уж и важно.

Здравствуйте, Muxa, Вы писали:

S>>Допустим, даете задачу и нейросеть ее решает. Вам нужно узнать на основе каких входящих данных она смогла ее решить, была ли в база такая же задача или похожая.
M>Зачем мне это знать? Этим датасаентисты занимаются.

Они не могут этого сделать. Есть 100 терабайт сжатых текстовых данных. 5 месяцев на мощном компьютере с 1000 видеокарт молотят эти данные и готовят модель, затрачивая 1 млн. долларов на оплату процессорных часов. После этого имеем файлик в 7 Гб. с какими-то связями и коэффициентами, которые формировались 5 месяцев и формирование стоило 1 млн. долларов. Файл модели.

Далее нельзя провернуть назад и как-то понять почему та или иная комбинация связей именно такая — какие данные из 100 терабайт на это повлияли. Если и поставите брейпоинт на внесении изменений в одну из ячеек — то она будет прыгать то больше то меньше — миллионы раз. И что?

S>>Куда вы будете ставить брейкпоинт?

M>А если запрос к БД тормозит или выдает неожиданный результат, куда брэйкпоинт ставить? Или есть другие способы решения?

Берете этот запрос и изучаете план запроса — в MS SQL вот так примерно делал: https://learn.microsoft.com/bg-bg/sql/relational-databases/performance/execution-plans?view=sql-server-ver16

Там по шагам отобразит все проводимые операции.

В нейросетях так не возможно — создание модели занимает месяцы и стоит миллионы долларов.

M>Это я у тебя хочу узнать что тут магического? Тут тоже каждая каждый кусочек входных данных влияет на все части результата.

Здесь магического ничего нет — алгоритм фиксирован и понятен математически, вплоть до мелочей.

В случае с нейросетями — алгоритм никто осознать не может, он размазан и формируется автоматически на основе данных, причем не существует способа обернуть и понять какие именно данные на что повлияли.

Здравствуйте, Muxa, Вы писали:

M>а как нейросетями превратить камень в лягушку?
M>магией это делается легко: читаешь заклинание, брызгаешь зельем, и вот камень уже прыгает, квакает и превращается. а с нейронкой как такое сделать?

Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку. Что до трансфмормаций реального мира — к нейросети нужно добавить нанороботов, которыми она будет управлять. Тогда рой нанороботов на уровне атомов смогут работать с тем или иным веществом, формируя нужный код ДНК.

Здравствуйте, Sinclair, Вы писали:

S>Примерно такой же переход имеет место между локальным детерминизмом и "вычислительной сложностью".
S>Сам по себе ИИ тут мало что нового вносит. Простейшая и понятная каждому вещь — компилятор. В старые времена можно было прямо в уме прикидывать, в какие инструкции компилятор превратит паскалевский код.
S>Современный компилятор настолько далеко уезжает от исходников, что не то, что предсказать результат его работы становится трудно — даже посмотрев на этот результат, не всякий сходу скажет, почему получилось именно так.
S>Тем не менее, никакого дискомфорта это не вызывает — точно так же снижается уровень ожиданий. Меньше инвариантов сохраняется, но всё же работа компилятора — это не рандом.
S>Так будет и с ИИ: кое-что из его работы мы будем понимать, остальное окажется не так уж и важно.

Но все-же когда исходники доступны (или кому исходники доступны) — можно отследить любое поведение. Пусть это будет и не просто.

В случае же с нейросеткой — имеем на входе набор данных в сотни терабайт а то и петабайты. Человек за жизнь может прочесть (не более 1 Гб). Далее, создание модели потребует работы целого кластера в течение нескольких месяцев с затратами в сотни тысяч или даже миллионы долларов.

На выходе получите файлик от 7 Гб до 1 Тб. с некими коэффициентами, которые уже никак нельзя сопоставить с водными данными. На каждый коэффициент так или иначе влияло огромное количество данных как в плюс так и в минус.

И тут дело уже не в том что у тебя исходников нет или именно ты не достаточно компетентен, чтобы разобраться почему модель повела себя так. Просто нет физической возможности ответа на этот вопрос. Может где-то там среди 100 терабайт данных была похожая задача, может была такая же задача, но разнесенная на две в разных частях датасета. А может не на две а на две тысячи. Не остледить никак.

M>>а как нейросетями превратить камень в лягушку?
M>>магией это делается легко: читаешь заклинание, брызгаешь зельем, и вот камень уже прыгает, квакает и превращается. а с нейронкой как такое сделать?

S>Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку.
Дизайнер с фотошопом получается тоже магия. Ок.


S>Что до трансфмормаций реального мира — к нейросети нужно добавить нанороботов, которыми она будет управлять. Тогда рой нанороботов на уровне атомов смогут работать с тем или иным веществом, формируя нужный код ДНК.
Получается магии нет. Ок.

Здравствуйте, Muxa, Вы писали:

S>>Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку.
M>Дизайнер с фотошопом получается тоже магия. Ок.

Устройство человека — до сих пор магия. Вот есть вера в существование бессмертной души. Может она и существует — наука не доказала, но и не опровергла. Бремя доказательства на самом деле на том, кто больше всех теряет (уже объяснял — пример — заявление о бомбе в аэропорту будет принято без доказательств).

S>>Что до трансфмормаций реального мира — к нейросети нужно добавить нанороботов, которыми она будет управлять. Тогда рой нанороботов на уровне атомов смогут работать с тем или иным веществом, формируя нужный код ДНК.
M>Получается магии нет. Ок.

На уровне редактирования ДНК — еще не добавили автоматы. А вот на уровне IT, в компьютерной среде — магия уже существует и постепенно внедряется — выходит в свет.

S>>>Куда вы будете ставить брейкпоинт?
M>>А если запрос к БД тормозит или выдает неожиданный результат, куда брэйкпоинт ставить? Или есть другие способы решения?

S>Берете этот запрос и изучаете план запроса
S>Там по шагам отобразит все проводимые операции.
Ты так и не ответил куда поставить брэйкпоинт.
Вместо этого предлагаешь другие подходящие способы решения проблемы.

S>В нейросетях так не возможно — создание модели занимает месяцы и стоит миллионы долларов.
Так «невозможно» или «занимает месяцы и стоит миллионы долларов»?
Ты уж определись сперва.

S>>>Так и пишите запрос — на этой картинке вместо камня нарисуй лягушку.
M>>Дизайнер с фотошопом получается тоже магия. Ок.

S>Устройство человека — до сих пор магия.

Я понял, ты опять придумал новые определения устоявшимся понятиям и занимаешься словесным онанизмом.

Здравствуйте, Muxa, Вы писали:

M>Ты так и не ответил куда поставить брэйкпоинт.
M>Вместо этого предлагаешь другие подходящие способы решения проблемы.

Для какого сценария? Если атомарная операция непонятным образом себя ведет — то нужен исходный код СУБД (обычно это C или C++) — там будете отладчиком проходиться или в логирование добавлять.

S>>В нейросетях так не возможно — создание модели занимает месяцы и стоит миллионы долларов.
M>Так «невозможно» или «занимает месяцы и стоит миллионы долларов»?
M>Ты уж определись сперва.

Если вы для каждого обучающего текста будете делать копию сети, чтобы отслеживать все изменения — то размер будет увеличиваться экспоненциально и достаточно быстро упретесь в то что атомов во Вселенной не хватит для создания хранилища нужного объема. Причем упретесь в это на 1 мегабайте обучающего текста, а впереди еще 100 терабайт как было так и осталось.

Здравствуйте, Muxa, Вы писали:

S>>Устройство человека — до сих пор магия.
M>Я понял, ты опять придумал новые определения устоявшимся понятиям и занимаешься словесным онанизмом.

Благодаря вере в душу существует исламский мир, который довольно прочно завязан на религию. Христианский мир не прочный и его не рассматриваю. Убери веру в бессмертную душу — мир станет другим. Однако же вполне возможно что душа существует как проявление некого феномена фундаментальных сил. Ведь вопрос о том как сделать систему, способную наслаждаться и страдать — не имеет ни одной научной гипотезы.

вот я как раз об этом

S>Если вы для каждого обучающего текста будете делать копию сети, чтобы отслеживать все изменения — то размер будет увеличиваться экспоненциально и достаточно быстро упретесь в то что атомов во Вселенной не хватит для создания хранилища нужного объема. Причем упретесь в это на 1 мегабайте обучающего текста, а впереди еще 100 терабайт как было так и осталось.

А если действовать более подходящим образом, то все получится.

Здравствуйте, Shmj, Вы писали:

S>Некоторые думают что модель этому специально обучили и она не разобралась в сути вопроса а просто выдала готовый результат. По этому сейчас пошли на такой шаг — собрать 1000 секретных вопросов, которых 100% нет в интернете или книгах и которые нельзя внести в базу какой-либо LLM. А потом на основе этих секретных вопросов проверить думает оно или нет.

Нейронная сеть, грубо говоря, нащупывает обобщения между входными параметрами методом накопления статистических данных. Если эти секретные вопросы выводятся путем обобщения из того, чему сеть учили, она их найдет. Если не выводятся, не найдет. К вопросу о том, думает ли она, это не имеет вообще никакого отношения.

И кстати, чтобы выяснить, думает ли некая субстанция, для начала надо определить понятие думания. Ответ будет сильно зависеть от определения.

Здравствуйте, Shmj, Вы писали:

S>Да причем тут это? Код если и распараллелен — он все-равно детерминирован. Если где-то параллельный доступ к разделяемому ресурсу с непредсказуемым поведением — обязательно синхронизация.

Если куда-то добавили генератора случайных чисел, это не добавляет недетерминированности. Метод Монте-Карло не даст соврать.

O>>Всегда обходил смердфоны стороной, и теперь стало понятно почему.
S>Боюсь что так смогут лишь единицы, типа Германа Стерлигова.
Другая крайность тоже являет собой печальное зрелище. Слежку проглотили, калечащие уколы восприняли как священный долг перед обществом акционерным, дальше начнут газлайтить тех кто отказывается от нового современного удобного дистанционно-управляемого ошейника/импланта со взрывчаткой.

Здравствуйте, Shmj, Вы писали:

S>И? В чем проблема это отладить по шагам? Ну пишите в лог, в логе будет последовательность всех вызовов. Если что-то нужно синхронизировать — добавьте мьютексы. Здесь магии нет — код фиксирован и написан человеком.

Мне как-то удалось поймать что-то типа race condition в однопоточном коде на каллбеках

Суть в том, что код ловил определенные события и должен был в конечном итоге прийти в определенное состояние. События могли приходить в разном порядке, но в конечном итоге, когда пришли все, финальное состояние не должны было зависеть от порядка получения событий, хотя пути попадания в него могли зависеть. Однако из-за ошибки в коде финальные состояния иногда получались разными.

Отладить по шагам, конечно можно. Теоретически. А практически, количество возможных вариантов порядка событий может расти очень быстро, как факториал длины цепочки событий. Что делает исчерпывающую проверку по шагам несколько утомительным занятием.

Многие ошибочно полагают, что недетерминизм, порождаемый асинхронным вводом-выводом (и вообще, обработкой любых асинхронных событий) связан с тем, что там потоки с разделяемой памятью, и они могут по общей памяти невовремя ездить, приводя ее в неконсистентное состояние.

Эта проблема легко лечится с помощью примитивов синхронизации, и единственное, о чем там стоит беспокоиться, что если примитивами синхронизации "пересолить", то производительность может пострадать на ровном месте.

Реальная проблема, и гораздо более глубокая, заключается именно в недетерминированности порядка прихода событий и определении того, какое финальное и какие промежуточные состояния являются корректными. И обеспечение этой корректности в реальных условиях эксплуатации. К примитивам синхронизации это не имеет никакого отношения от слова "совсем", как и к выбору однопоточной/многопоточной архитектуры реализации, использованию разделяемой памяти или обмена сообщениями в стиле Хоара и т.п.