Есть у меня один старый продукт, рантайм-анализатор приложений. Он выдает некие отчеты, которые программисты должны сами анализировать. За эти годы накопились разные кейсы, обращения в саппорт и т.д. Увы, нередко, чтобы получить пользу от продукта, надо писать мне в саппорт, и я уже смотрю отчет, чтобы дать какие-то советы на что обратить внимание.
Я не специалист в области AI (пользуюсь chatgpt, как-то бот для тг писал для себя, который его API использует, да и только), но как будто напрашивается добавить его в продукт.
Никак не могу понять, есть ли такой движок (коллеги, может это наивно, а вдруг), чтобы я его мог на свой сервер поставить, скормить ему информацию (на натуральном языке) о том, что у меня за продукт, какие отчеты он делает, как их следует читать, и далее вести некую базу знаний (если в отчете вот такие цифры большие, то это может значить то-то и то-то, и всякое такое). В итоге пользователи могли бы получать советы автоматически.
Здравствуйте, Unhandled_Exception, Вы писали:
U_E>Никак не могу понять, есть ли такой движок (коллеги, может это наивно, а вдруг), чтобы я его мог на свой сервер поставить, скормить ему информацию (на натуральном языке) о том, что у меня за продукт, какие отчеты он делает, как их следует читать, и далее вести некую базу знаний (если в отчете вот такие цифры большие, то это может значить то-то и то-то, и всякое такое). В итоге пользователи могли бы получать советы автоматически.
Посмотри в сторону collab у гугла или у микрософта на азуре был сервис, куда можно запихнуть свой датасет и поэкспериментировать с моделями. Похоже тебе нужно что-то из трансформеров или LLM + дообучение под твою предметную область.
Здравствуйте, Unhandled_Exception, Вы писали:
U_E>Увы, нередко, чтобы получить пользу от продукта, надо писать мне в саппорт, и я уже смотрю отчет, чтобы дать какие-то советы на что обратить внимание.
А может продавать такие экспертные консультации как отдельный продукт?
Здравствуйте, Unhandled_Exception, Вы писали: U_E>Есть у меня один старый продукт, рантайм-анализатор приложений. Он выдает некие отчеты, которые программисты должны сами анализировать. За эти годы накопились разные кейсы, обращения в саппорт и т.д. Увы, нередко, чтобы получить пользу от продукта, надо писать мне в саппорт, и я уже смотрю отчет, чтобы дать какие-то советы на что обратить внимание. U_E>Я не специалист в области AI (пользуюсь chatgpt, как-то бот для тг писал для себя, который его API использует, да и только), но как будто напрашивается добавить его в продукт. U_E>Никак не могу понять, есть ли такой движок (коллеги, может это наивно, а вдруг), чтобы я его мог на свой сервер поставить, скормить ему информацию (на натуральном языке) о том, что у меня за продукт, какие отчеты он делает, как их следует читать, и далее вести некую базу знаний (если в отчете вот такие цифры большие, то это может значить то-то и то-то, и всякое такое). В итоге пользователи могли бы получать советы автоматически.
Я что-то похожее недавно прикручивал (правда не в свой продукт, а в дядин). Задаешь сначала спецификацю и структуру вывода.
Потом вызываешь API со вводом пользователя, он выдает тебе на выход JSON в заданном формате. Далее ты этот JSON обрабатываешь уже как тебе надо в коде.
Вещь довольно свежая (Microsoft во только выкатил в прошлом месяце в их версии, т.е. доступно в Azure тоже, чтобы не посылать данные не в OpenAI а в Microsoft, с которым у контор уже есть какие-то соглашения)
Мелкомягкая версия (того же самого) вот: https://azure.microsoft.com/en-us/products/ai-services/openai-service Если взять биллинг gpt4-mini, получается совсем не дорого.
Можно его натравить и на (текстовые) файлы тоже (см. "Assistant API")
Чтобы это работало еще и с файлами (в контексте), их надо приаттачить (в случае с OpenAI — vector store, в Microsoft это понятно Azure)
Т.е. чтобы GPT тебе вывод не от балды выдавал, а учитывая содержимое этих файлов (контекст)
В чем была идея фичи которую пилил для дяди. Пользователь пишет на вход "Хочу план того как мне создать магазин по продаже велосипедов в Якутске".
Получает на выходе предлагаемую диаграмму (графику) с планом, шагами, описаниями действий.
Да, дальше может этот план так же модифицировать (словами, то есть, типа "хочу улучшить маркетинг, добавь-ка что-нибудь по этому поводу)
Идея так себе, но "все побежали и я побежал", это же не мой продукт в конце концов, я только объяву разместил
Примеры по запросу
"План обустройства России"
"Ukraine Peace Plan"
Похоже GPT даже иногда бывает разумнее Путина или Зеленского
Я понимаю что это совсем не твой сценарий похоже, но думаю structured output как идея хорошо должна зайти в принципе для интеграции "обычного" софта с AI.
Создание или тренировка своих моделей для моего уровня это полный анриал, в этом плане ничего сказать не могу,
т.е. все вышесказанное чисто с прикладной точки зрения, типа "как прикрутить какой-то AI к своей проге за пару дней".
Здравствуйте, Unhandled_Exception, Вы писали:
U_E>Всем привет,
U_E>Есть у меня один старый продукт, рантайм-анализатор приложений. Он выдает некие отчеты, которые программисты должны сами анализировать. За эти годы накопились разные кейсы, обращения в саппорт и т.д. Увы, нередко, чтобы получить пользу от продукта, надо писать мне в саппорт, и я уже смотрю отчет, чтобы дать какие-то советы на что обратить внимание.
U_E>Я не специалист в области AI (пользуюсь chatgpt, как-то бот для тг писал для себя, который его API использует, да и только), но как будто напрашивается добавить его в продукт.
U_E>Никак не могу понять, есть ли такой движок (коллеги, может это наивно, а вдруг), чтобы я его мог на свой сервер поставить, скормить ему информацию (на натуральном языке) о том, что у меня за продукт, какие отчеты он делает, как их следует читать, и далее вести некую базу знаний (если в отчете вот такие цифры большие, то это может значить то-то и то-то, и всякое такое). В итоге пользователи могли бы получать советы автоматически.
U_E>Спасибо!
Есть две популяризации, которые достаточно полно закрывают тему чатботов и их применимости. Это статья Вольфрама (тот, который Альфа) и книги физика Дойча. Последний прямо сравнивает чатботов с заменой knowledge db (вот прям твой случай) на голосовое меню. Есть ли польза от голосового меню? Ну, если юзер: тупой; одинокий; испытывает страх перед техникой; неграмотный — возможно. У инженера же от голосового меню, которое дозировано выдаёт кусочки хелпа, вместо того, чтобы дать сразу и с индексом, обычно пригорает.
Вывод напрашивается такой: лучше или причесать свою knowledge db и включать в дистрибутив документом, или предлагать пакет "дистрибутив + N консультаций".
I'm a sewer mutant, and my favorite authors are Edgar Allan Poo, H.G. Smells and George R.R. Martin.
Здравствуйте, Unhandled_Exception, Вы писали:
U_E>Никак не могу понять, есть ли такой движок (коллеги, может это наивно, а вдруг), чтобы я его мог на свой сервер поставить, скормить ему информацию (на натуральном языке) о том, что у меня за продукт, какие отчеты он делает, как их следует читать, и далее вести некую базу знаний (если в отчете вот такие цифры большие, то это может значить то-то и то-то, и всякое такое). В итоге пользователи могли бы получать советы автоматически.
Про движки уже писали, а сам подход называется RAG
Здравствуйте, Unhandled_Exception, Вы писали:
S>>А может продавать такие экспертные консультации как отдельный продукт?
U_E>Мне эта модель кажется тупиковой. Не хочу продавать своё время.
Так оно и есть. А куда деваться, есть-то хочется. Мне вот продаж на еду не хватает, приходится продавать свое время тоже
Здравствуйте, bnk, Вы писали:
bnk>Так оно и есть. А куда деваться, есть-то хочется. Мне вот продаж на еду не хватает, приходится продавать свое время тоже
Ну это понятно, что приходится. У меня есть библиотеки, и бывало, что что-то кастомное писал клиентам, но там работы было чуть, а платили порядочно...
Здравствуйте, Unhandled_Exception, Вы писали:
U_E>Всем привет,
U_E>Есть у меня один старый продукт, рантайм-анализатор приложений. Он выдает некие отчеты, которые программисты должны сами анализировать. За эти годы накопились разные кейсы, обращения в саппорт и т.д. Увы, нередко, чтобы получить пользу от продукта, надо писать мне в саппорт, и я уже смотрю отчет, чтобы дать какие-то советы на что обратить внимание.
U_E>Я не специалист в области AI (пользуюсь chatgpt, как-то бот для тг писал для себя, который его API использует, да и только), но как будто напрашивается добавить его в продукт.
U_E>Никак не могу понять, есть ли такой движок (коллеги, может это наивно, а вдруг), чтобы я его мог на свой сервер поставить, скормить ему информацию (на натуральном языке) о том, что у меня за продукт, какие отчеты он делает, как их следует читать, и далее вести некую базу знаний (если в отчете вот такие цифры большие, то это может значить то-то и то-то, и всякое такое). В итоге пользователи могли бы получать советы автоматически.
U_E>Спасибо!
Посмотри https://github.com/zylon-ai/private-gpt
Это как раз движок, который ставится на свой сервер.
Простая дока по установке — https://www.gpu-mart.com/blog/how-to-install-and-use-privategpt
Русский язык знает.
API есть.
Большого опыта с ним не имеем и вообще по AI не специалисты совсем, но:
— скормили ему пользовательскую доку по продукту одному на 1000 страниц — часа 3 на 8ми ядрах парсил — совсем не впечатлило, отвечает глупости всякие
— специально для него написали пару страниц текста — вот тут да, отвечает по делу, цепляет факты из разных мест текста и по делу выдает
— местами таки странно: на элементарные вопросы (ответы на которые есть явно в тексте обучающем) может или зависнуть, или не дать ответ
— думает долго, 30-40 секунд — норма (8 ядер, 32 памяти). Говорят, что GPU ускоряет обработку
