Перейти к основному содержимому

Чат с локальными моделями ИИ

Почему локальные модели ИИ?​

Ollama запускает модель локально. Вход и хранение чатов используют облако и требуют интернет. Автоматического перехода на облачную модель нет.

Это относится к обычному режиму. В офлайн-режиме всё остаётся на этом компьютере: приложение работает и без интернета, а новые чаты хранятся только локально в зашифрованном виде.

Почему Ollama?​

Ollama — это инструмент, который позволяет легко запускать локальные модели ИИ. Он устанавливается на каждом компьютере отдельно, поэтому не существует ограничений по количеству пользователей — не нужна общая серверная инфраструктура.

Установка Ollama​

  1. Перейдите на страницу загрузки Ollama: Ollama download page
  2. Скачать версию для вашей операционной системы (Windows или macOS)
  3. Установите Ollama, следуя мастеру установки
  4. После установки Ollama запускается в фоновом режиме автоматически

Установка языковой модели​

После установки Ollama нужно скачать как минимум одну языковую модель:

  1. Откройте интерфейс Ollama (через значок системного лотка или терминал)
  2. Скачать языковую модель по выбору

Рекомендуемая модель​

Предпочитайте модель, которая имеет возможности tool и vision:

  • Tool capabilities - модель может использовать все доступные инструменты в приложении, такие как поиск в интернете и генерация изображений
  • Vision capabilities - модель может анализировать и описывать изображения
Рекомендуемая модель

qwen3-vl:4b-instruct предлагает хорошее соотношение скорости и возможностей инструментов/vision. Установите эту модель через терминал:

ollama pull qwen3-vl:4b-instruct

Выберите вариант -instruct: он отвечает сразу. Обычная qwen3-vl:4b перед каждым шагом долго размышляет и на ноутбуке работает во много раз медленнее. Для небольших локальных моделей приложение использует короткую инструкцию и только те инструменты, которые подходят к вашему вопросу. Если один и тот же шаг раз за разом не удаётся, ИИ останавливается и сообщает, что получилось, а что нет.

Выбор модели в зависимости от аппаратного обеспечения​

Производительность модели во многом зависит от вашего оборудования:

ОборудованиеРекомендация
Ограниченное (8GB RAM, без GPU)Выбирайте меньшие модели (1-4B параметров)
Среднее (16GB RAM, базовый GPU)Модели до 7B параметров
Мощное (32GB+ RAM, современный GPU)Возможно использование больших моделей (13B+)
Скорость vs. качество

Модель меньшего размера обычно работает быстрее, но может давать менее точные ответы. Экспериментируйте, чтобы найти лучший баланс для вашей ситуации.

Конфигурация в десктоп-приложении​

Как только Ollama запущена и выбрана установленная модель, десктоп-приложение обнаруживает это автоматически. Затем в чате вы можете выбрать локальную модель как альтернативу облачным моделям.

На начальном экране под полем ввода можно выбрать локальную модель до отправки первого сообщения. Выбранная модель используется с первого сообщения, а позже её можно изменить.

Доступные модели с поддержкой tool/vision​

Посмотрите полный список на ollama.com/library. Фильтр по моделям с:

  • тегом Tools для возможностей инструментов
  • тегом Vision для распознавания изображений

Популярные варианты:

  • qwen3-vl:4b-instruct - компактная, быстрая, инструмент + vision
  • llama3.2-vision - возможности Vision
  • mistral - быстрая для общих задач

Локальное чтение документов и сканов​

С локальной моделью настольное приложение читает документы на вашем компьютере. Ничего не загружается.

  • Рабочая папка: в одобренной папке ИИ читает Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) и RTF. Старые файлы .doc и .ppt читаются, только если установлен LibreOffice.
  • Сканы и фото: отсканированные страницы PDF, изображения (PNG, JPG, WebP, TIFF) и изображения в файлах Word и PowerPoint читаются с помощью распознавания текста (OCR). OCR поставляется вместе с приложением и распознаёт нидерландский, английский, немецкий и французский. В чате видно, какая страница читается; длинный скан может занять несколько минут. Из одного документа OCR читает не более 100 страниц.
  • Неуверенное распознавание: если распознавание текста неуверенное, ИИ сообщает об этом. Тогда проверьте имена, числа и суммы в оригинале. Рукописный текст, таблицы и схемы распознаются не всегда правильно.
  • Модель изображений: если выбранная модель поддерживает vision (например, qwen3-vl:4b-instruct), она сама просматривает изображения, в которых распознавание текста читает мало или неуверенно. Без GPU это занимает больше времени.
  • Фото с iPhone (HEIC): сначала сохраните их в формате JPEG или PNG.

С облачной моделью приложение тоже читает документы из рабочей папки на вашем компьютере, но прочитанный текст затем отправляется этой модели как часть разговора.

Работа без интернета, в том числе с вложениями в чате: см. Офлайн-режим.

На этой странице