Re: ollama + qwen + интернет возможна?
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 30.03.26 12:35
Оценка: +2
Здравствуйте, wl., Вы писали:

wl.>Сразу скажу, в ИИ я полный нуб, и скорее всего выше уровнем не поднимусь, так что не судите строго

wl.>Установил ollama на win11, в неё локальный qwen, вроде более менее шевелится на мобильной rtx 4070, но в интернет не умеет, как облачные ИИ.
wl.>Подскажите, гуру, можно ли как-то настроить, чтобы и в интернете искал ответы на мои вопросы?


Можно, важно понимать как ты вызываешь.

— ИИ сама не ищет в интернете, но современные ии натренированы на function calling aka tool calling (бейдж tools в ollama каталоге)
— Вызывающий код (клиент) передает описание функций (инструментов) в промпт
— ИИ в ответе говорит "хочу вызывать функцию ХХХ с параметрами УУУ"
— вызывающий код (клиент), получив такую инфу функцию спрашивает пользователя если надо и вызывает функцию если пользователь согласился, а ответ скармливает ИИ назад

У ollama есть готовые функции для поиска инфы в интернете, они автоматом подсовываются если ты пользуешься ollama клиентом, который аутентифицировался в ollama.
Кроме того в примерах ollama есть готовый MCP-сервер для вызова ollama поиска из любого клиента.

MCP (Model Context Protocol) это универсальный протокол взаимодействия между ИИ клиентом и серверами функций. Все современные клиенты: lmstuio, claude, open code, cursor, vscode, cline, continue, codex, nanocode, VS и все программные клиенты умеют общаться с MCP. А вот ollamа-клиент не умеет, у него есть только инструменты поиска встроенные и все.
MCP-сервер это программа, которая содержит набор функций для ИИ. Есть готовые серверы и для поиска, как удаленные, так и локально запускаемые, главное удобный клиент подбери.

Для изучения и поиграться я рекомендую LMStudio
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.