Re: fyi: потребление энергии на ИИ
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 19.02.25 07:33
Оценка: :))
Здравствуйте, Sharov, Вы писали:

S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.


Этот факт понятен, тут похожая история с майнингом, когда после видеокарт начали применять специализированные асики.

Le Chat теперь в 30 раз быстрее ChatGPT

ИИ чипы от Cerebras позволяют чату работать на скорости в 1100 токенов в секунду, с новой фичей Flash Answers. Сейчас это просто интересная демка, но когда французы из Mistral сделают свою reasoning модель, это будет серьёзным преимуществом их чата. Зачем ждать пока какая-то o3-mini-high или R1 думает несколько минут, если она может справиться за секунды?


OpenAI на своих продуктах тоже пока теряет деньги. Но "Exclusive: OpenAI set to finalize first custom chip design this year".

Ну и в целом, современные нейросети размером меньше, чем первый ChatGPT работают уже качественнее и быстрее, чем он. Причём и заметно качественнее, и заметно быстрее даже на GPU. Прогресс идёт.
Отредактировано 19.02.2025 7:44 Nuzhny . Предыдущая версия .
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.