Установка локальной LLM через Ollama

Ollama - самое популярное приложение для запуска LLM моделей, у меня установлено также локально в отдельном контейнере через 1Panel:

После того как установили Ollama и она работает, нужно выбрать модель, которая будет в ней запускаться, выбирать модель нужно сходя из задач и доступных ресурсов, я проверял работу на двух моделях: qwen2.5:7b-instruct-q4_K_M и qwen3:30b-a3b

Добавление модели Ollama в MaxKB

В разделе с моделями добавил модель типа Ollama и указал параметры:

Model name: любое удобное вам название

Base model: тут нужно найти полное указание модели, доступной в Ollama и указать именно его, сама модель будет автоматически скачана самим же сервисом Ollama

API URL: адрес нашей Ollama

API Key: любое значение, по умолчанию Ollama доступна без авторизации, для тестов можно так и оставить

Сохраняем настройки и ждем пока Ollama скачает модель.

Проверить текущие модели в Ollama можно из терминала контейнера Ollama в 1Panel:

Также можно удобно посмотреть логи событий, чтобы понять все ли в порядке с сервисом

Важно:

Если вы выбрали модель, которой нужно больше ресурсов чем у вас есть, вы это не увидите в MaxKB, модель просто не будет отвечать ничего, у меня так было с моделью qwen3:30b-a3b , которая успешно загрузилась и вроде работала, но реально при запросе к ней в локах Ollama были сообщения о нехватке RAM и модель не запускалась. 

Другими словами, логи Ollama - очень важная вещь, особенно когда речь об ограниченных ресурсах.