Здравствуйте, Nuzhny, Вы писали:

N>>Я в курсе, капитан. Artem растекся мыслью по дереву, а я привязался к двойному"много" и 120GB. Речь идет про ноуты, то есть мы говорим о какой-нибудь Phi-2 с inference <8GB.
N>Ну вот не надо обобщать. Ноуты без GPU в принципе не годятся на сколько-то полезную LLM, ноуты с 4070, 4080, 4090 — вот эти уже норм.
Мне кажется, что вы с Артемом обсуждаете "сферических коней". Ты реально гоняешь 13B LLM на ноуте? Если да, то зачем?

N>Так что я согласен с Артёмом — Интел сосёт и сильно.
В "вакууме" возможно, а в реалии все не так однозначно.

Здравствуйте, Nuzhny, Вы писали:

N>>Я в курсе, капитан. Artem растекся мыслью по дереву, а я привязался к двойному"много" и 120GB. Речь идет про ноуты, то есть мы говорим о какой-нибудь Phi-2 с inference <8GB.
N>Ну вот не надо обобщать. Ноуты без GPU в принципе не годятся на сколько-то полезную LLM, ноуты с 4070, 4080, 4090 — вот эти уже норм.
Мне кажется, что вы с Артемом обсуждаете "сферических коней". Ты реально гоняешь 13B на ноуте? Если да, то зачем?

N>Так что я согласен с Артёмом — Интел сосёт и сильно.
В "вакууме" возможно, а в реалии надо смотреть.