Здравствуйте, pva, Вы писали:

pva>Продолжу тут заметки на полях, может кому пригодится.

pva>Вопрос: Можно ли использовать модели локально (ничего не отсылая в энторнеты)?
pva>Ответ: Да, можно. Это называется инференс.


Это называется — много денег. Локально можно запустить что-то серьезное, только если у тебя ну оооЧень много денег! Сраный ДипСик стоит каких-то не вероятных денег даже в fp8. И буржуи делаю всё, чтобы у тебя не было ничего приличнее за приемлемые деньги.