__>Я недавно игрался с ollama llama3 и llava, очень удобно, а какой самый простой способ локально запустить ее и лучше бы без gpu?
Я без GPU не запускал, так что х-з запустится или нет. Но "vllm serve ..." в инструкции на странице Вихря, вроде поддерживает кучу разных CPU/GPU, включая AMD (что в мире нейросетей редкость из-за повсеместной CUDA).