Re[13]: Мутки с моделями LLM
От: Privalov  
Дата: 28.07.24 10:15
Оценка: 3 (1) +1
Здравствуйте, Shmj, Вы писали:

S>Его сила — в широте охвата. Вы сколько языков знаете? Русский, англ. Все? А он знает фактически все языки мира.


Как это связано с моим вопросом о минимизации функционалов? Чтобы её выполнить, все языки мира знать не нужно. Нам в своё время хватило нескольких фундаментальных трудов по прикладной математике и статей в периодике. И вообще, а зачем мне знать все языки мира.

S>Он не может ответить на сложные вопросы, зато широта охвата такая, которой вам не достичь за всю жизнь.


Диапазон знаний его был грандиозен. Ни одной сказки и ни одной песни он не знал больше чем наполовину, но это были русские, украинские, западнославянские, немецкие, английские, по-моему, даже японские, китайские и африканские сказки, легенды, притчи, баллады, песни, романсы, частушки и припевки. Склероз приводил его в бешенство, несколько раз он бросался на ствол дуба и драл кору когтями, он шипел и плевался, и глаза его при этом горели как у дьявола, а пушистый хвост, толстый, как полено, то смотрел в зенит, то судорожно подергивался, то хлестал его по бокам. Но единственной песенкой, которую он допел до конца, был "Чижик-пыжик", а единственной сказочкой, которую он связно рассказал, был "Дом, который построил Джек" в переводе Маршака, да и то с некоторыми купюрами. Постепенно — видимо, от утомления — речь его обретала все более явственный кошачий акцент. "А в поли, поли, — пел он, — сам плужок ходэ, а… мнэ-э… а… мнэ-а-а-у!.. а за тым плужком сам… мья-а-у-а-у!.. сам господь ходе… или броде?.." В конце концов он совершенно изнемог, сел на хвост и некоторое время сидел так, понурив голову. Потом тихо, тоскливо мяукнул, взял гусли под мышку и на трех ногах медленно уковылял по росистой траве.


© Понедельник начинается в субботу
Re[11]: Мутки с моделями LLM
От: Privalov  
Дата: 26.07.24 12:09
Оценка: 2 (1) +1
Здравствуйте, Shmj, Вы писали:

S>Так это и хорошо, представьте сколько бы вы руками искали нужный пример в 10 ТБ кода.


Не так много, как некоторым кажется. Ктоме того, как я уже упоминал, от GPT я получал примеры неработающего кода. Но поскольку меня хорошо учили, я обходился собственным опытом.

Да, а чего вопросы по прикладной математике пропустили, которые я задал? Умеет GPT функционалы минимизировать? Пространство примерно полсотни измерений.
Re[6]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 28.07.24 10:23
Оценка: :))
Здравствуйте, Pauel, Вы писали:

P>Похоже. что вы переобулись. Всего несколько месяцев назад вы нам рассказывали что оно умеет и думать и почти что чувствовать.


Думать умеет на уровне среднего человека, не шибко умного, но эрудированного во всех областях знаний.

Задать вопрос среднему человеку, который не сильно глубоко копал — получите ответ подобный GPT в лучшем случае.

Чувствовать — никогда не говорил что умеет. Именно в смысле испытывать наслаждение и страдание — это единственное, чего нет ни в каком виде в искусственных системах. Это величайшая загадка Вселенной — скорее всего является фундаментальным свойством некой частицы, которая встраивается в мозг с помощью механизма типа молекулы Познера.

Пока мы не ценим умение ощущать наслаждение и страдание — нам главное видимый результат — способность решить задачу. А чувства мы игнорим. А между тем только это и имеет смысл — сама по себе задача не нужна, если не будет того, кто сможет насладиться результатами ее решения.
Отредактировано 28.07.2024 10:28 Shmj . Предыдущая версия . Еще …
Отредактировано 28.07.2024 10:24 Shmj . Предыдущая версия .
Re: Мутки с моделями LLM
От: Vzhyk2  
Дата: 25.07.24 13:01
Оценка: 1 (1)
Здравствуйте, Shmj, Вы писали:

S>Может я не понимаю чего? Как этот .pth применить и спросить у этой модели что-то?

Это питорчевская модель.
А применить? Ну можешь гвоздь попробовать забить.
Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 25.07.24 12:43
Оценка: :)
Немножко посмотрел эту тему как пользователь пока.

Вроде не было не было — и тут новая реальность, похлеще чем криптовалюты. Ну т.е. и до биткойна вроде была какая-то анонимная децентрализованная валюта в даркнете, вроде писали — но на практике не работало, когда захотел найти, может даже байка.

LLM просто срыв башки, новая реальность.

Но везде где большие деньги — везде и мутки сразу начинаются.

Вот есть готовые софтины для работы с моделями — LMStudio и Ollama. Тут вроде все ОК, полная кроссплатформа, все ставится и работает по клику, мощный компьютер для простых моделек не нужен.

Там есть llama3, а вот последней 3.1 — нету. И тут начались мутки.

Скачал я эту Llama-3.1-8B в двух варианта (вторая это -Instruct) — а запустить не могу. Мутки страшные. Даже платный ChatGPT не смог — значит обычный пользователь так же не разберется.

Формат файлов дают .pth, а его так просто не применить.

Есть инструкция как запустить, но она уже устарела: https://gist.github.com/jonahgeorge/b4b17239b589f61c3dc219a4e997ec7f Ранее в репо llama.cpp видимо был скрипт convert-pth-to-ggml.py — но сейчас его не — зачем убрали? Мутки. Т.е. видимо автору доплатили денег чтобы убрал.

Может я не понимаю чего? Как этот .pth применить и спросить у этой модели что-то?
Re[7]: Мутки с моделями LLM
От: Privalov  
Дата: 26.07.24 07:47
Оценка: -1
Здравствуйте, Shmj, Вы писали:

S>Давайте вопрос, который вам интересен и который в гугле так просто не найдешь.


Меня интересует ответ на Основной вопрос о жизни, Вселенной и всём остальном.
Re: Мутки с моделями LLM
От: Privalov  
Дата: 25.07.24 12:48
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Может я не понимаю чего? Как этот .pth применить и спросить у этой модели что-то?


А что GhatGPT говорит? Он же всё знает.
Re[2]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 25.07.24 13:04
Оценка:
Здравствуйте, Privalov, Вы писали:

S>>Может я не понимаю чего? Как этот .pth применить и спросить у этой модели что-то?

P>А что GhatGPT говорит? Он же всё знает.

Платный самый новый — 2 часа пробовал и не смог запустить — пробовал все варианты. Не смог. И код на python приводил и через llama.cpp — ничего не вышло.
Re[2]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 25.07.24 13:07
Оценка:
Здравствуйте, Vzhyk2, Вы писали:

V>Это питорчевская модель.

V>А применить? Ну можешь гвоздь попробовать забить.

Вроде тут пишут как запустить, нужно будет попробовать: https://pytorch.org/torchtune/stable/tutorials/llama3.html
Re[3]: Мутки с моделями LLM
От: Privalov  
Дата: 25.07.24 13:54
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Платный самый новый — 2 часа пробовал и не смог запустить — пробовал все варианты. Не смог. И код на python приводил и через llama.cpp — ничего не вышло.


Балинн, за ненужную хрень ещё и платить?
Отредактировано 25.07.2024 14:05 Privalov . Предыдущая версия .
Re[4]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 25.07.24 15:15
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Балинн, за ненужную хрень ещё и платить?


Оно не всемогутор же.

Оно хорошо помогает въехать в тему. Вместо поисковика как бы — сразу дает ответ. А вот сложные вопросы решать пока не умеет. Если ты в чем-то нулевой, а в нашем деле если широкий охват — то всегда будешь нулевым в чем-то — поможет. Когда что-то более углубленое — уже все, будет водить по кругу.
Re[5]: Мутки с моделями LLM
От: Privalov  
Дата: 25.07.24 19:07
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Оно не всемогутор же.


Я не видел, что он вообще что-то умеет.

S>Оно хорошо помогает въехать в тему.


Даже не смешно. Мне всё время неработающий код выдавало. Правда, я без него в тему въехал. И не скащать, чтобы сильно напрягался. Меня зорошо учили в своё время.
Re[6]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 26.07.24 02:15
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Я не видел, что он вообще что-то умеет.


Давайте вопрос, который вам интересен и который в гугле так просто не найдешь.
Re: Мутки с моделями LLM
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 26.07.24 03:54
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Там есть llama3, а вот последней 3.1 — нету. И тут начались мутки.


Вроде как уже появилась.

S>Скачал я эту Llama-3.1-8B в двух варианта (вторая это -Instruct) — а запустить не могу. Мутки страшные. Даже платный ChatGPT не смог — значит обычный пользователь так же не разберется.


А зачем обычному пользователю разбираться? Это вполне себе техническая задача — конвертация из одного сложного формата в другой.

S>Есть инструкция как запустить, но она уже устарела: https://gist.github.com/jonahgeorge/b4b17239b589f61c3dc219a4e997ec7f Ранее в репо llama.cpp видимо был скрипт convert-pth-to-ggml.py — но сейчас его не — зачем убрали? Мутки. Т.е. видимо автору доплатили денег чтобы убрал.


S>Может я не понимаю чего? Как этот .pth применить и спросить у этой модели что-то?


Можно и сконвертировать, и питоновский применить. Но лень разбираться, потому что срочно это никому не надо, проще подождать, пока специалисты сделают. Там же всякие квантизации, оптимизации и т.д.
Про мутки — фигня. Автор llama.cpp мутит? Зачем ему это? Тем более что проект открытый, любой может сделать.
Ты искал, что случилось со скриптом конвертации? Обычно в таких больших проектах по движению левой пятки ничего не делается. Надо посмотреть issues, pull request, где это обсуждали и делали. Там же наверняка описана альтернатива. Только делать всё это надо не с ЧатГПТ, а самому, исследовать репозиторий.
Re[8]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 26.07.24 10:59
Оценка:
Здравствуйте, Privalov, Вы писали:

S>>Давайте вопрос, который вам интересен и который в гугле так просто не найдешь.

P>Меня интересует ответ на Основной вопрос о жизни, Вселенной и всём остальном.

Ну зачем на глупости переходить. Задайте сложный вопрос по Haskell, к примеру, который не удается найти в Гугл.

Это просто новый тип поисковика. Писали что один запрос в Гугл энергетически эквивалентен доведению до кипения стакана воды. А запрос в GPT — в 10 раз дороже.
Re[9]: Мутки с моделями LLM
От: Privalov  
Дата: 26.07.24 11:13
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Ну зачем на глупости переходить. Задайте сложный вопрос по Haskell, к примеру, который не удается найти в Гугл.


Что, ChatGPT ответа на этот вопрос не нашёл? А он давно известен.

Я пока ещё в состоянии находить ответы на возникающие вопросы, читая документацию, ставя эксперименты.
Когда я работал в НИИ, там приходилось считать матан. GPT функционалы минимизировать умеет? Решение СОДУ такое, чтобы оно тесты Калиткина проходило, дать может?

S>Это просто новый тип поисковика. Писали что один запрос в Гугл энергетически эквивалентен доведению до кипения стакана воды. А запрос в GPT — в 10 раз дороже.


Это я давно заметил. Он выдаёт код, подозрительно похожий на примеры из MSDN или SO.
Re[10]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 26.07.24 11:16
Оценка:
Здравствуйте, Privalov, Вы писали:

S>>Это просто новый тип поисковика. Писали что один запрос в Гугл энергетически эквивалентен доведению до кипения стакана воды. А запрос в GPT — в 10 раз дороже.

P>Это я давно заметил. Он выдаёт код, подозрительно похожий на примеры из MSDN или SO.

Так это и хорошо, представьте сколько бы вы руками искали нужный пример в 10 ТБ кода.
Re[12]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 28.07.24 09:09
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Не так много, как некоторым кажется. Ктоме того, как я уже упоминал, от GPT я получал примеры неработающего кода. Но поскольку меня хорошо учили, я обходился собственным опытом.


Сейчас уже меньше.

P>Да, а чего вопросы по прикладной математике пропустили, которые я задал? Умеет GPT функционалы минимизировать? Пространство примерно полсотни измерений.


Его сила — в широте охвата. Вы сколько языков знаете? Русский, англ. Все? А он знает фактически все языки мира.

Он не может ответить на сложные вопросы, зато широта охвата такая, которой вам не достичь за всю жизнь.
Re[10]: Мутки с моделями LLM
От: Alekzander  
Дата: 28.07.24 09:40
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Это я давно заметил. Он выдаёт код, подозрительно похожий на примеры из MSDN или SO.


Не знаю, где они берут код для датасетов, но тому, что видел я, до MSDN и SO срать и срать. Типа игнорирования наличия параметра userdata в колбеке и задействования вместо него глобальной переменной. (В таких ситуациях, когда юзают процедурный API из плюсов, лично я делаю pThis). То есть, понятно, что это копипаст из чьего-то кода (а то начитаются пелевиных и думают, что это священный дух снизошёл в микросхему), но это копипаст из чьего-то очень херового кода.
Re[5]: Мутки с моделями LLM
От: Pauel Беларусь http://blogs.rsdn.org/ikemefula
Дата: 28.07.24 09:50
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Оно хорошо помогает въехать в тему. Вместо поисковика как бы — сразу дает ответ. А вот сложные вопросы решать пока не умеет.


Похоже. что вы переобулись. Всего несколько месяцев назад вы нам рассказывали что оно умеет и думать и почти что чувствовать.
Re[11]: Мутки с моделями LLM
От: Privalov  
Дата: 28.07.24 10:22
Оценка:
Здравствуйте, Alekzander, Вы писали:

A>Не знаю, где они берут код для датасетов, но тому, что видел я, до MSDN и SO срать и срать.


Ну я и говорю — похожий. В том смысле, что где-то он забывает обработку исключения из исходного примера MSDN вставить. У меня возникли вопросы к шарповому HttpClient, он там постоянно с заголовками путается. Наверное, интеллект включить пытается. В общем, не нужен.

P.S. Когда-то читал книгу. Автора и название прочно забыл. Речь в ней шла о планете или стране Кибертония. У жителей песня была, возможно, гимн. В нём звучало: наш Кибер думает за нас. Закончилось всё плохо: люди жиди в пещерах и изобретали, если не ошибаюсь, палку-копалку или что-то вроде.
Re[12]: Мутки с моделями LLM
От: Alekzander  
Дата: 28.07.24 10:36
Оценка:
Здравствуйте, Privalov, Вы писали:

P>P.S. Когда-то читал книгу. Автора и название прочно забыл. Речь в ней шла о планете или стране Кибертония. У жителей песня была, возможно, гимн. В нём звучало: наш Кибер думает за нас. Закончилось всё плохо: люди жиди в пещерах и изобретали, если не ошибаюсь, палку-копалку или что-то вроде.


И что, он в самом деле думал в этой книжке? Или как наш, рандомно перемешивал чужие карточки, написанные х пойми кем в Интернете?

Я к тому, что такие сравнения, по-моему, незаслуженный комплимент. Недавно один чел оставил меткий камент к новости, что, якобы, альтманский продукт угрожает человечеству: на меньшее инвесторы уже не ведутся.
Re[13]: Мутки с моделями LLM
От: Privalov  
Дата: 28.07.24 10:39
Оценка:
Здравствуйте, Alekzander, Вы писали:

A>И что, он в самом деле думал в этой книжке? Или как наш, рандомно перемешивал чужие карточки, написанные х пойми кем в Интернете?


Примерно как GPT. Но народ вёлся, как говорится, добровольно и с песней.

A>Я к тому, что такие сравнения, по-моему, незаслуженный комплимент.


Да просто ассоциация сработала. Автор темы по всем вопросам бежит советоваться с ИИ. "Наш Кибер думает за нас" в чистом виде.
Re[7]: Мутки с моделями LLM
От: Vzhyk2  
Дата: 29.07.24 08:01
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Чувствовать — никогда не говорил что умеет. Именно в смысле испытывать наслаждение и страдание — это единственное, чего нет ни в каком виде в искусственных системах. Это величайшая загадка Вселенной — скорее всего является фундаментальным свойством некой частицы, которая встраивается в мозг с помощью механизма типа молекулы Познера.

Не надоело еще бредить? Это простейший механизм "кнута-и-пряника". То что тысячелетиями вело к выживанию твоего рода — приносит удовольствие (наслаждение), то что не вело — приносит страдание. Причем вес "кнута" много выше, потому как цена ошибки твоя смерть, а трупы не размножаются.
Re[8]: Мутки с моделями LLM
От: Shmj Ниоткуда  
Дата: 29.07.24 10:45
Оценка:
Здравствуйте, Vzhyk2, Вы писали:

V>Не надоело еще бредить? Это простейший механизм "кнута-и-пряника". То что тысячелетиями вело к выживанию твоего рода — приносит удовольствие (наслаждение), то что не вело — приносит страдание. Причем вес "кнута" много выше, потому как цена ошибки твоя смерть, а трупы не размножаются.


У вас произошла подмена понятий — наслаждение и страдание — вы начали ассоциировать с наслаждение — правильно и страдание — неправильно. Такая ассоциация произошла, видимо, из-за детских травм — вас наказывали за неправильное и х давали насладиться (конфетку) за правильное.

На самом деле "правильное" и "наслаждение" — совсем разные феномены. То что мы основаны на наслаждении и страдании — как бы обязует использовать эти феномены для управления нами — т.е. наказывать за неправильное (с чьей-то т.з.) и дать насладиться за правильное (с чьей-то позиции — возможно на самом деле оно не правильное).

Автоматические системы могут выполнять т.н. "правильное" или "заданное" без необходимости феноменов наслаждения и страдания.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.