Здравствуйте, rm2, Вы писали:
rm2>Что такое "домашняя открытая машина"? Речь не о компах менеджеров и секретарш, речь о машинах опытных программистов, которые вполне себе могут обеспечить безопасность собственных компьютеров.
домашняя открытая машина — компьютер, который администрируется самим программистом дома и где он сможет устанавливать какое хочет железо и софт. В этом случае "секретность" являются иллюзией чуть менее чем полностью, так как периметра безопасности просто нет.
Здравствуйте, _ilya_, Вы писали:
__>96GB сейчас — "ни рыба ни мясо", непонятно куда пойдет. По пропускной это как 2x3090, раз в 5 которые дешевле но в 2 раза меньше памяти, непонятно что на 96GB запускать.
Объем VRAM — это определяющий параметр в ИИ сейчас. 96 Гб достаточно для уверенного запуска моделей 70b и неуверенного 120b в сильном квантовании.
Ну и есть надежда прикупить вторую такую. А у нее еще и NVKink есть. А 192 Гб — это пропуск в 120b+. Это уже весьма умные модели. Уже 35b достаточны для кодинга. Но им нужно всё разжёвывать. А 120+ способны к анализу.
У меня на работе доступна gptoss122b. Она медленная, за ее использование довольно быстро банят и у нее не большой контекст (128К токенов). Но анализ у нее не плох. Я использую свою домашнюю 35b модель для кодинга, а 122b для анализа результатов и составления плавно. Получается не плохо.
Если бы можно было запускать "дома" 122b было вообще шикарно!
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
