Здравствуйте, rm2, Вы писали:
rm2>Что такое "домашняя открытая машина"? Речь не о компах менеджеров и секретарш, речь о машинах опытных программистов, которые вполне себе могут обеспечить безопасность собственных компьютеров.
домашняя открытая машина — компьютер, который администрируется самим программистом дома и где он сможет устанавливать какое хочет железо и софт. В этом случае "секретность" являются иллюзией чуть менее чем полностью, так как периметра безопасности просто нет.
Здравствуйте, _ilya_, Вы писали:
__>96GB сейчас — "ни рыба ни мясо", непонятно куда пойдет. По пропускной это как 2x3090, раз в 5 которые дешевле но в 2 раза меньше памяти, непонятно что на 96GB запускать.
Объем VRAM — это определяющий параметр в ИИ сейчас. 96 Гб достаточно для уверенного запуска моделей 70b и неуверенного 120b в сильном квантовании.
Ну и есть надежда прикупить вторую такую. А у нее еще и NVKink есть. А 192 Гб — это пропуск в 120b+. Это уже весьма умные модели. Уже 35b достаточны для кодинга. Но им нужно всё разжёвывать. А 120+ способны к анализу.
У меня на работе доступна gptoss122b. Она медленная, за ее использование довольно быстро банят и у нее не большой контекст (128К токенов). Но анализ у нее не плох. Я использую свою домашнюю 35b модель для кодинга, а 122b для анализа результатов и составления плавно. Получается не плохо.
Если бы можно было запускать "дома" 122b было вообще шикарно!
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, paucity, Вы писали:
P>Своеобразная однако доступность
Согласен. Но как есть. Все лучшем чем совсем ничего. Ну оно со временем разбанивает. Типа эдакая защита от перегрузки. На промта 2-3 хватает. Потом бан. Через минут 5-10 можно оно само продолжает работать.
По этому предпочитаю использовать свою личную связку из 4090+3090Ti и qwen3.6-35b-a3b. Да она тупее, но никаких проблем с банами и тормозов нет. А 122b использую для контроля. Ну и глазками смотрю и пинаю тупенькую qwen3.6-35b-a3b. Тупизна еще не так страшна как её безудержное желание сделать то, что ее не просили. Сегодня пришлось её долго уговаривать отказаться от идеи нормализации пробелов в raw-литералах C#. Пока не объяснил ей, что и так она упорно пыталась исправить проблему которой нет и тупо херила уже написанный код. С ней приходится всегда сташиться (в системе контроля версий) перед продолжением работы.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, Nuzhny, Вы писали:
Аё>>На ноутбуке это сколько надо RAM/VRAM? Или сразу на макбук с насколько хватиь денег тратиться? N>У меня 32 Гб и 4070 с 6 Гб. Для маленькой модельки хватает.
скажите пожалуйста а какую модель и софт вы используйте
если требования к железу как вы написали выше у меня тоже дома есть, даже памяти 128G
Здравствуйте, sergey2b, Вы писали:
S>скажите пожалуйста а какую модель и софт вы используйте S>если требования к железу как вы написали выше у меня тоже дома есть, даже памяти 128G
Здравствуйте, Aquilaware, Вы писали:
A>Так вот, модели Qwen3.5 9B работающей на видеокарте среднего эшелона вполне хватает на решение этой задачи в режиме реального времени. Это работает лучше обычного алгоритма, который использовался ранее, поскольку нейронка обладает *богатыми жизненными знаниями*, которые она тонко вплетает в принимаемое решение.
Т.е. модель умеет детектить фрауда на основе встроенных знаний, без дообучения?
