Здравствуйте, Nuzhny, Вы писали:

N> запущен на слабом домашнем железе.
Попробовал это https://whisper.ggerganov.com/stream/ tiny.en 75Mb на рабочем лаптопе с igpu и 32г рамы. Тупит и глючит .

К сожалению, для LLM в веб реалтайма нужен доступ к NPU / GPGPU, а его пока что официально не завезли afaik.