Здравствуйте, hi_octane, Вы писали:

__>>Я недавно игрался с ollama llama3 и llava, очень удобно, а какой самый простой способ локально запустить ее и лучше бы без gpu?
_>Я без GPU не запускал, так что х-з запустится или нет. Но "vllm serve ..." в инструкции на странице Вихря, вроде поддерживает кучу разных CPU/GPU, включая AMD (что в мире нейросетей редкость из-за повсеместной CUDA).
отлично, на выходных попробую. вообще llama3 очень понравилась и единственный сильный минус был именно в слабом русском у нее