Привет, ничего не понимаю в ИИ поэтому вопрос немного наивный.
Мне хочется обучить свои узкоспециализированные чат-боты которые бы хостились у меня. Как мне это сделать? Возможно ли? Я почему-то думаю что есть некий фреймворк вроде тензорфлоу и натренировать свою модель. Это так или GPT-3/4 это пропиетарная технология от модели до самого ядра?
Здравствуйте, Kernan, Вы писали:
K>Привет, ничего не понимаю в ИИ поэтому вопрос немного наивный.
K>Мне хочется обучить свои узкоспециализированные чат-боты которые бы хостились у меня. Как мне это сделать? Возможно ли? Я почему-то думаю что есть некий фреймворк вроде тензорфлоу и натренировать свою модель. Это так или GPT-3/4 это пропиетарная технология от модели до самого ядра?
Без проблем делается как раз на tensorflow. Более того, структура этих моделей тоже вполне известна. Вот
https://github.com/openai/gpt-2/blob/master/src/model.py скажем GPT-2.
Но, если ты хочешь получить качество сравнимое с GPT-3/4, то тебе для начала придётся подготовить пентабайтный датасет из качественных текстов. И потом обеспечить себе нужные процессорные мощности (скажем арендовать на недельку целый датацентр, а то на одиночном компе это можно десятилетиями считать) для обучения на этом датасете.
Это всё я написал, если ты хочешь именно с нуля всё делать и возможно как-то поправить саму модель. Но большая часть народа сейчас таким не страдает. Обычно просто берут уже готовую обученную большую универсальную модель, которую кто-то не пожмотился выложить в интернет (как скажем сделал Сбербанк). А дальше уже дообучают её под свой частный случай (на своём небольшом датасете). И это уже можно сделать на гораздо более скромных мощностях.
Здравствуйте, Kernan, Вы писали:
K>Мне хочется обучить свои узкоспециализированные чат-боты которые бы хостились у меня. Как мне это сделать?
Например,
OpenChatKit
Ещё
ChatLlama
Здравствуйте, Nuzhny, Вы писали:
N>Например, OpenChatKit
Я правильно понимаю что это лучшее что есть из открытого?
Здравствуйте, Kernan, Вы писали:
N>>Например, OpenChatKit
K>Я правильно понимаю что это лучшее что есть из открытого?
Именно так
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, Kernan, Вы писали:
K>>Мне хочется обучить свои узкоспециализированные чат-боты которые бы хостились у меня. Как мне это сделать?
N>Например, OpenChatKit
N>Ещё ChatLlama
вот еще:
https://github.com/tatsu-lab/stanford_alpaca
