Здравствуйте, _ilya_, Вы писали:
__>96GB сейчас — "ни рыба ни мясо", непонятно куда пойдет. По пропускной это как 2x3090, раз в 5 которые дешевле но в 2 раза меньше памяти, непонятно что на 96GB запускать.
qwen3.6 27B в прекрасной первозданности и с хорошей скоростью и с максимальным контекстом. Так как он проектировался. Туда же embedder, tts. Я думаю скоро появится qwen3.6 122B
Здравствуйте, GlebЗ, Вы писали:
GЗ>qwen3.6 27B в прекрасной первозданности и с хорошей скоростью и с максимальным контекстом. Так как он проектировался. Туда же embedder, tts. Я думаю скоро появится qwen3.6 122B
Увы, все модели деградируют если увеличивать контекст. Т.е. максимальный скорее бесполезен, сейчас оптимум 32-64К.
Вот тут опен-модели: https://github.com/NVIDIA/RULER
Для меня 3.6 35B-A3B ощущается немного хуже, чем Coder-Next, но это ближе, чем я ожидал, до такой степени, что я больше не часто использую Coder-Next
Лично для меня также, Coder-Next сильно лучше. А на адекватном железе ещё и быстрее.
Ну и это не ради одной модели, не думаю. Это ради увеличения своей производительности.
Здравствуйте, TheBeginner, Вы писали:
TB>Здравствуйте, Aquilaware, Вы писали:
A>>Чтобы не терять деньги и время, такие заказы желательно заворачивать в момент осуществления. Для этого нужно анализировать данные и параметры клиента, делая статистическое сопостановление с известными типажами и ситуациями характерными для электронной коммерции и конкретного продаваемого продукта.
TB>Это как? TB>У нас есть страна, имя, почтовый адрес, телефон, имейл, номера карты нет. TB>Если имя не Devil Hell, а почтовый адрес реальный или похож на реальный а телефон соответствует стране, то чем нейронка может помочь?
думаю есть серые сервисы или форумы куда она отправляет запросы
Здравствуйте, Nuzhny, Вы писали:
N>Лично для меня также, Coder-Next сильно лучше. А на адекватном железе ещё и быстрее. N>Ну и это не ради одной модели, не думаю. Это ради увеличения своей производительности.
Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование в локалки еще можно понять, но дома то нахрена все эти костыли?
Здравствуйте, Shmj, Вы писали:
S>То что чел. купил — это никакого отношения к домашнему компьютеру не имеет — это уже промышленный сегмент.
Так было до ИИ. А теперь появилась потребность в ИИ агентах, и чтобы они локально крутились, а не на серверах. А для такого ИИ нужно то что чел купил. Т.е. пока что да, производство сильно не успевает за спросом, и последний ограничивает, но потребность проявилась, сформирована, и теперь нужны мощные вычислялки и для серверов, и для дома.
Здравствуйте, Aquilaware, Вы писали:
A>Подтверждаю, аналогичный опыт. Особенно приятно решать задачи на своем железе, когда есть уверенность что какой-нибудь капиталист уже не встроит в следующее обновление модели очередную повесточку и не выдернет ковер из под ног.
Капиталист встроит повесточку прямо в железо и драйверы к нему.
Здравствуйте, novitk, Вы писали:
N>Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование в локалки еще можно понять, но дома то нахрена все эти костыли?
у моей конторы нет офиса, все сотрудники работают дома.
Здравствуйте, rm2, Вы писали:
rm2>Здравствуйте, novitk, Вы писали:
N>>Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование локалки еще можно понять, но дома то нахрена все эти костыли? rm2>у моей конторы нет офиса, все сотрудники работают дома.
Если код разрабатывается на твоей домашней машине, то почему ты не можешь подключить облачные модели? Если на удаленной, принадлежащей конторе, то как воткнуть туда железки нвидиа?
Здравствуйте, novitk, Вы писали:
N>Если код разрабатывается на твоей домашней машине, то почему ты не можешь подключить облачные модели?
Privacy, например. Не весь код можно или хочется шарить.
Да и бывают просто рутинные задачи, на которые нужно много токенов. Я, например, натравливаю на них локального агента и он себе их грызет часами.
Здравствуйте, pva, Вы писали:
pva>Privacy, например. Не весь код можно или хочется шарить.
имхо аспект преувеличен. Для MS и винды актуально, но для домашних поделок?
pva>Да и бывают просто рутинные задачи, на которые нужно много токенов. Я, например, натравливаю на них локального агента и он себе их грызет часами.
GSD?
Я тут начал, кажется по твоей рекомендации, его использовать. Токены он жрет действительно хорошо и думает долго. Потратил за пару дней $10, что не очень и много. Не уверен в эффективности средства, но пока продолжаю.
Здравствуйте, novitk, Вы писали:
N>Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование в локалки еще можно понять, но дома то нахрена все эти костыли?
1. Тем что не зависит от качества интернета. У меня локальная моделька живёт на ноутбуке, периодически выручает.
2. Тем что не зависит от левой пятки правой ноги облачного провайдера. Недавно я кидал ссылку на отчёт АМД, что модель Антропика в марте сильно поглупела. Где-то неделю назад Антропики признались, что так оно и было и не просто так, а по трём разным причинам.
3. Зачастую хватает локальной. Может быть не все замечают, как движется прогресс, но теперь небольшая локальная модель с поиском в интернете и другими инструментами работает не хуже, чем большая облачная 3-4 летней давности. А многие за большую платили и радовались, она им конкретно помогала.
В частности могу сказать, что тот же qwen-coder вполне неплохо пишет небольшие функции, скрипты, код на Питоне.
Здравствуйте, novitk, Вы писали:
pva>>Privacy, например. Не весь код можно или хочется шарить. N>имхо аспект преувеличен. Для MS и винды актуально, но для домашних поделок?
"один мой друг" где-то в интернете писал что занимается интеграцией и приходится реверсить протоколы и тому подобное, что противоречит соглашениям антропик, например.
pva>>Да и бывают просто рутинные задачи, на которые нужно много токенов. Я, например, натравливаю на них локального агента и он себе их грызет часами. N>GSD? Я тут начал, кажется по твоей рекомендации, его использовать. Токены он жрет действительно хорошо и думает долго. Потратил за пару дней $10, что не очень и много. Не уверен в эффективности средства, но пока продолжаю.
Да, я его использую в задачах где нужен формализованный процесс разработки, поскольку это позволяет устойчиво сохранять сопутствующие артефакты. Еще это является плюсом для слабых моделей, потому как формальный процесс раньше выявляет проблемы и позволяет решить их не доводя до катастрофы. По поводу стоимости, многие очень метко подмечали что использование подписки гораздо экономней работы через АПИ. Грубо говоря, за 100/мес ты получаешь объем, который сложно выбрать при обычной разработке. По крайней мере, я сейчас чаще упираюсь в размер контекста, который забивается чаще и останавливает бота, чем в лимит сессии.
Впрочем, я слышал что всякие ClownBot и прочие hermes подобные штуки могут при автономной работе выжирать токены тоннами. Но я не научился пока ими пользоваться и со скепсисом читаю "я ему сказал ... и он к утру принес 100500 тыщ".
Здравствуйте, novitk, Вы писали:
N>Я тут начал, кажется по твоей рекомендации, его использовать. Токены он жрет действительно хорошо и думает долго. Потратил за пару дней $10, что не очень и много. Не уверен в эффективности средства, но пока продолжаю.
На днях директор Uber жаловался, что годовой бюджет на ИИ-агентов уже исчерпан и они обходятся дороже живых сотрудников.
Здравствуйте, Nuzhny, Вы писали:
N>1. Тем что не зависит от качества интернета. У меня локальная моделька живёт на ноутбуке, периодически выручает.
+1. Когда СВО "идет по плану" должно быть актуально.
N>2. Тем что не зависит от левой пятки правой ноги облачного провайдера. Недавно я кидал ссылку на отчёт АМД, что модель Антропика в марте сильно поглупела. Где-то неделю назад Антропики признались, что так оно и было и не просто так, а по трём разным причинам.
Я отношусь к этому как к багам. Они бывают везде, в том числе в локальных моделях.
N>В частности могу сказать, что тот же qwen-coder вполне неплохо пишет небольшие функции, скрипты, код на Питоне.
с этим справляется и "бесплатные" модели для копилота.
Здравствуйте, pva, Вы писали:
N>>имхо аспект преувеличен. Для MS и винды актуально, но для домашних поделок? pva>"один мой друг" где-то в интернете писал что занимается интеграцией и приходится реверсить протоколы и тому подобное, что противоречит соглашениям антропик, например.
+1
N>>GSD? Я тут начал, кажется по твоей рекомендации, его использовать. Токены он жрет действительно хорошо и думает долго. Потратил за пару дней $10, что не очень и много. Не уверен в эффективности средства, но пока продолжаю. pva>Да, я его использую в задачах где нужен формализованный процесс разработки, поскольку это позволяет устойчиво сохранять сопутствующие артефакты. По поводу стоимости, многие очень метко подмечали что использование подписки гораздо экономней работы через АПИ. Грубо говоря, за 100/мес ты получаешь объем, который сложно выбрать при обычной разработке. По крайней мере, я сейчас чаще упираюсь в размер контекста, который забивается чаще и останавливает бота, чем в лимит сессии.
Посмотрю как пойдет. На работе у нас нет CC (CTO мне сказал, что "очень дорого". Мне политкарму на проверку "а не пиз..т ли он" пока неохота тратить), а на Copilot я GSD пока не ставил. Дома имхо я просто не напрограмирую столько. По моей оценке Pro и еще $250/annual должно хватит.
Здравствуйте, novitk, Вы писали:
N>Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование в локалки еще можно понять, но дома то нахрена все эти костыли?
Здравствуйте, novitk, Вы писали:
N>>В частности могу сказать, что тот же qwen-coder вполне неплохо пишет небольшие функции, скрипты, код на Питоне. N>с этим справляется и "бесплатные" модели для копилота.
Воооот, а из РФ нет бесплатного копилота. И не всегда хочется и можется сидеть с ВПН.
Здравствуйте, novitk, Вы писали:
N>Посмотрю как пойдет. На работе у нас нет CC (CTO мне сказал, что "очень дорого". Мне политкарму на проверку "а не пиз..т ли он" пока неохота тратить), а на Copilot я GSD пока не ставил. Дома имхо я просто не напрограмирую столько. По моей оценке Pro и еще $250/annual должно хватит.
Я там где-то выше давал ссылку на недельный триал
