LLM-сервер

Для некоторых отчетов БОСС-Оффлайн используется генеративный ИИ на основе LLM-нейросети, поэтому для их использования необходимо выполнить настройки на этой странице.

Можно настроить как локальный сервер, так и облачный, или же оба одновременно.
Если настроены оба одновременно, то приоритет будет отдаваться локальному серверу, за исключением случаев, когда передаются нейтральные данные (не содержащие конфиденциальной или личной информации).

Для локального сервера поддерживается фреймворк Ollama, а для облачного ChatGPT и YandexGPT.

URL-сервера
указать http или https URL сервера с установленным Ollama
Как правило, это http 11434
Пример:
http://192.168.0.111:11434

API-ключ
ChatGPT: нужно создать API-ключ и скопировать его в это поле.
YandexGPT: нужно настроить платежный кабинет здесь, а потом получить OAuth-токен и скопировать его в это поле.

Модель
Ollama: указать используемую загруженную модель, на текущий момент времени рекомендуются модели от qwen3 или deepseek-r1
Например:
deepseek-r1:14b
deepseek-r1:32b
qwen3:14b
qwen3:32b
Нужно указать именно ту модель, которая загружена и установлена в Ollama. Полный список на сайте Ollama.
ChatGPT:
gpt-4o
o4-mini
gpt-4.1
gpt-4.1-mini
gpt-5
gpt-5-mini
и другие
YandexGPT:
gpt://<идентификатор_каталога>/yandexgpt
gpt://<идентификатор_каталога>/yandexgpt/latest
gpt://<идентификатор_каталога>/yandexgpt-lite


Ollama:
- использование GPU с поддержкой CUDA не является обязательным для работы, однако крайне рекомендуется, т.к. быстродействие будет выше на порядок даже в сравнении с многоядерными CPU-серверами!
- модель должна полностью помещаться в видеопамять или оперативную память;
- чем больше модель, тем лучше качество, но медленнее скорость;
- допускается использовать несколько GPU (если видеопамяти одного GPU не достаточно для размещения всей модели);
- при использовании GPU ресурсы CPU и RAM могут быть минимальными (например, 2 CPU и 4 GB RAM вполне достаточно).


Пример установки Ollama на Linux Ubuntu (предполагается что драйверы GPU уже установлены):

curl -fsSL https://ollama.com/install.sh | sh

Для не-localhost доступа и увеличения разрешенного времени загрузки модели рекомендуется сделать дополнительные настройки:

sudo nano /etc/systemd/system/ollama.service

В раздел [Service] необходимо добавить эти строки:

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_LOAD_TIMEOUT=60m"

Далее сохранить файл и выполнить:

sudo systemctl daemon-reload
sudo systemctl restart ollama

После нужно скачать и установить модель. Например, qwen3:32b

ollama run qwen3:32b