Здравствуйте, bnk, Вы писали:

bnk>1. разрешить пользователю вводить его собственный ключ.
bnk>По виду нормально, но тогда надо объяснять как это делать, и не особо прибыльно я думаю будет.

Я встречал такой вариант. Насколько я понимаю, есть стандартный протокол от OpenAI, который много кто уже поддерживает. И пользователю даётся выбор:
— сторонний платный чатик типа ChatGPT и ввод ключа;
— выбор своей LLM: тип (llama.cpp, ollama etc), ip-адрес;
— что-то совсем простое локальное на 1-3B параметров, которое может работать на базе той же llama.cpp.