Моя инфраструктура

Обычно для построения корпоративной ИИ требуется много ресурсов, требуются мощные GPU, но для изучения и тестирования возможностей хватит среднего ноутбука:

Развернул на нем Ubuntu 22.04 for Windows и включил использование GPU в этом Linux

Скачал 1Panel для удобства, ссылка на GitHub и уже в интерфейсе 1Panel развернул MaxKB, Ollama:

Минусы такой установки:

Не все модели можно запустить тк не хватает RAM\GPU
Длительна генерация ответа от LLM

Плюсы

Можно проверить работу RAG и базы знаний
Можно проверить общую идею построения ИИ агента и понять насколько это актуально и все без больших вложений в ресурсы и инфраструктуру
Можно проверить работы ИИ агента с облачной LLM (ChatGTP\DeepSeek)