Немножко посмотрел эту тему как пользователь пока.

Вроде не было не было — и тут новая реальность, похлеще чем криптовалюты. Ну т.е. и до биткойна вроде была какая-то анонимная децентрализованная валюта в даркнете, вроде писали — но на практике не работало, когда захотел найти, может даже байка.

LLM просто срыв башки, новая реальность.

Но везде где большие деньги — везде и мутки сразу начинаются.

Вот есть готовые софтины для работы с моделями — LMStudio и Ollama. Тут вроде все ОК, полная кроссплатформа, все ставится и работает по клику, мощный компьютер для простых моделек не нужен.

Там есть llama3, а вот последней 3.1 — нету. И тут начались мутки.

Скачал я эту Llama-3.1-8B в двух варианта (вторая это -Instruct) — а запустить не могу. Мутки страшные. Даже платный ChatGPT не смог — значит обычный пользователь так же не разберется.

Формат файлов дают .pth, а его так просто не применить.

Есть инструкция как запустить, но она уже устарела: https://gist.github.com/jonahgeorge/b4b17239b589f61c3dc219a4e997ec7f Ранее в репо llama.cpp видимо был скрипт convert-pth-to-ggml.py — но сейчас его не — зачем убрали? Мутки. Т.е. видимо автору доплатили денег чтобы убрал.

Может я не понимаю чего? Как этот .pth применить и спросить у этой модели что-то?