Информация об изменениях

Сообщение Re: fyi: потребление энергии на ИИ от 19.02.2025 7:33

Изменено 19.02.2025 7:44 Nuzhny

Re: fyi: потребление энергии на ИИ
Здравствуйте, Sharov, Вы писали:

S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.


Этот факт понятен, тут похожая история с майнингом, когда после видеокарт начали применять специализированные асики.

Le Chat теперь в 30 раз быстрее ChatGPT

ИИ чипы от Cerebras (https://t.me/ai_newz/3448) позволяют чату работать на скорости в 1100 токенов в секунду, с новой фичей Flash Answers. Сейчас это просто интересная демка, но когда французы из Mistral сделают свою reasoning модель, это будет серьёзным преимуществом их чата. Зачем ждать пока какая-то o3-mini-high или R1 думает несколько минут, если она может справиться за секунды?


OpenAI на своих продуктах тоже пока теряет деньги. Но "Exclusive: OpenAI set to finalize first custom chip design this year".

Ну и в целом, современные нейросети размером меньше, чем первый ChatGPT работают уже качественнее и быстрее, чем он. Причём и заметно качественнее, и заметно быстрее даже на GPU. Прогресс идёт.
Re: fyi: потребление энергии на ИИ
Здравствуйте, Sharov, Вы писали:

S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.


Этот факт понятен, тут похожая история с майнингом, когда после видеокарт начали применять специализированные асики.

Le Chat теперь в 30 раз быстрее ChatGPT

ИИ чипы от Cerebras позволяют чату работать на скорости в 1100 токенов в секунду, с новой фичей Flash Answers. Сейчас это просто интересная демка, но когда французы из Mistral сделают свою reasoning модель, это будет серьёзным преимуществом их чата. Зачем ждать пока какая-то o3-mini-high или R1 думает несколько минут, если она может справиться за секунды?


OpenAI на своих продуктах тоже пока теряет деньги. Но "Exclusive: OpenAI set to finalize first custom chip design this year".

Ну и в целом, современные нейросети размером меньше, чем первый ChatGPT работают уже качественнее и быстрее, чем он. Причём и заметно качественнее, и заметно быстрее даже на GPU. Прогресс идёт.