Здравствуйте, Nuzhny, Вы писали:

Аё>>PS интересно чтоб поскромней размером модель LLM, чтобы крутить на проце смартфона.

N>На смартфоне пока нереально. У чувака GF 3060, на нём всё это крутится. Была бы 4090, можно было бы все модели взять классом выше.

Я пробовал какие-то small language model на смартфоне, в веб- работало. Только время на закачку 260Мб модели при слабом сигнале 5G требовало. Теоретически, браузер кеширует файлы модели, так что можно показать какой-то интерфейс "Закачивается, ждите, сообщим как только так сразу".

Здравствуйте, Nuzhny, Вы писали:

Аё>>PS интересно чтоб поскромней размером модель LLM, чтобы крутить на проце смартфона.

N>На смартфоне пока нереально. У чувака GF 3060, на нём всё это крутится. Была бы 4090, можно было бы все модели взять классом выше.

Я пробовал какие-то small language model на смартфоне, в веб- работало. Только время на закачку 260Мб модели при слабом сигнале 5G требовало. Теоретически, браузер кеширует файлы модели, так что можно показать какой-то интерфейс "Закачивается, ждите, сообщим как только так сразу".

Причём, эта SLM крутилась на ONNX Runtime, с включённой WebGPU, на андроидном хроме. айДевайсы пока без WebGPU.