Здравствуйте, novitk, Вы писали:

N>Для нищебродов подписка на Cоpilot стоит $100 в год и включает вполне приличные модели неограниченно, которые точно будут работать лучше чем его наколенно приклееные костыли. Иногда они не справляются да и тогда можно переключиться на SOTA от тех же Antropic, Google и OpenAI. Это будет точно бюджетней чем гонять 10К сервак дома.

Это демпинг и подсаживание на иглу, далее таких цен естественно не будет. Далее будет 10X ценник чтобы хотябы электричество окупалось, и 100X чтобы стало прибыльным.
Дома можно запустить и за очень дешево даже полный DeepSeek — всего-то 1TB оперативы, даже воткнутый в двухсокет 2011-3 работает ибо 8 каналов и хоть и медленно но всеж чет надолго запустить и отойти- такой сценарий норм (увы, оператива даже тормозная DDR4 2400 скакнула тоже, но все еще не сверх дорого, никаких 10K$).
Если устраивает GLM / Qwen coder, то несколько штук 3090 чтобы видеопамяти хватало и это будет очень быстро, локально и крайне недорого. Дорого лишь запускать быстро самые большие модели, это скорее только Греф может себе домой купить для баловства с Gigachat риг на топовых Tesla, более ляма$.

P.S. Те сервисы что сейчас за копейки доступны — им просто деградируют качество ниже плинтуса (например сделав что-нибудь с контекстом — пожать, ограничить размер и т.п. То что самое дорогое обходится из железных ресурсов — порезать на сколько угодно можно.) Не будет таких халявных сервисов в будущем, работающих в полный убыток даже по электричеству!!!

Здравствуйте, novitk, Вы писали:

N>Для нищебродов подписка на Cоpilot стоит $100 в год и включает вполне приличные модели неограниченно, которые точно будут работать лучше чем его наколенно приклееные костыли. Иногда они не справляются да и тогда можно переключиться на SOTA от тех же Antropic, Google и OpenAI. Это будет точно бюджетней чем гонять 10К сервак дома.

Это демпинг и подсаживание на иглу, далее таких цен естественно не будет. Далее будет 10X ценник чтобы хотябы электричество окупалось, и 100X чтобы стало прибыльным.
Дома можно запустить и за очень дешево даже полный DeepSeek — всего-то 1TB оперативы, даже воткнутый в двухсокет 2011-3 работает ибо 8 каналов и хоть и медленно но всеж чет надолго запустить и отойти- такой сценарий норм (увы, оператива даже тормозная DDR4 2400 скакнула тоже, но все еще не сверх дорого, никаких 10K$).
Если устраивает GLM / Qwen coder, то несколько штук 3090 чтобы видеопамяти хватало и это будет очень быстро, локально и крайне недорого. Дорого лишь запускать быстро самые большие модели, это скорее только Греф может себе домой купить для баловства с Gigachat риг на топовых Tesla, более ляма$.

P.S. Те сервисы что сейчас за копейки доступны — им просто деградируют качество ниже плинтуса (например сделав что-нибудь с контекстом — пожать, ограничить размер и т.п. То что самое дорогое обходится из железных ресурсов — порезать на сколько угодно можно.) Не будет таких халявных сервисов в будущем, работающих в полный убыток даже по электричеству!!!
Большой контекст да и еще на большой модели будет стоит в будущем скорее как электричество что потребляется, даже не учитываться будут железки используемые. Кто умеет малым контекстом обходится — засунуть самое важное, скорее сможет даже на локальных LLM показывать результат.