Перейти до основного змісту

Чат із локальними моделями штучного інтелекту

Чому локальні моделі ШІ?​

Ollama запускає модель локально. Вхід і зберігання чатів використовують хмару та потребують інтернету. Автоматичного переходу на хмарну модель немає.

Це стосується звичайного режиму. В офлайн-режимі усе залишається на цьому комп'ютері: застосунок працює й без інтернету, а нові чати зберігаються лише локально в зашифрованому вигляді.

Чому Ollama?​

Ollama — інструмент, який дозволяє легко запускати локальні моделі ШІ. Він встановлюється на кожному комп’ютері окремо, тому немає обмежень за кількістю користувачів — не потрібен спільний сервер.

Встановлення Ollama​

  1. Перейдіть на сторінку завантаження Ollama
  2. Завантажте версію для вашої операційної системи (Windows або macOS)
  3. Встановіть Ollama, слідуючи майстру встановлення
  4. Після встановлення Ollama автоматично запускається у фоновому режимі

Встановлення мовної моделі​

Після встановлення Ollama потрібно завантажити мінімум одну мовну модель:

  1. Відкрийте інтерфейс Ollama (через піктограму системного розділу або термінал)
  2. Завантажте обраною мовну модель

Рекомендована модель​

Рекомендується обирати модель з можливостями tools та vision:

  • Tool capabilities - модель може користуватися усіма інструментами, доступними в застосунку, такими як пошук в інтернеті та генерація зображень
  • Vision capabilities - модель може аналізувати та описувати зображення
Рекомендована модель

qwen3-vl:4b-instruct пропонує гармонійний баланс між швидкістю та можливостями tool/vision. Встановіть цю модель через термінал:

ollama pull qwen3-vl:4b-instruct

Виберіть варіант -instruct: він відповідає одразу. Звичайна qwen3-vl:4b перед кожним кроком довго розмірковує і на ноутбуці працює в рази повільніше. Для невеликих локальних моделей застосунок використовує коротку інструкцію й лише ті інструменти, що підходять до вашого запитання. Якщо той самий крок раз у раз не вдається, ШІ зупиняється й повідомляє, що вийшло, а що ні.

Вибір моделі за апаратним забезпеченням​

Продуктивність моделі залежить від апаратного забезпечення вашого комп’ютера:

Апаратне забезпеченняРекомендація
Обмежене (8GB RAM, без GPU)Вибирайте менші моделі (1-4B параметрів)
Середнє (16GB RAM, базовий GPU)Моделі до 7B параметрів
Потужне (32GB+ RAM, сучасний GPU)Можливі більші моделі (13B+)
Швидкість vs. якість

Менша модель зазвичай швидша, але може давати менш точні відповіді. Експериментуйте, щоб знайти найкращий баланс для вашої ситуації.

Налаштування у настільному застосунку​

Як тільки Ollama запущено з встановленою моделлю, настільний застосунок автоматично її виявляє. Тоді у чаті ви можете вибрати локальну модель як альтернативу хмарним моделям.

На початковому екрані під полем введення можна вибрати локальну модель до надсилання першого повідомлення. Вибрана модель використовується з першого повідомлення й надалі її можна змінити.

Доступні моделі з підтримкою tool/vision​

Перегляньте повний перелік на ollama.com/library. Фільтруйте моделі за:

  • тегом Tools для можливостей інструментів
  • тегом Vision для розпізнавання зображень

Популярні варіанти:

  • qwen3-vl:4b-instruct - компактна, швидка, з tool + vision
  • llama3.2-vision - можливості Vision
  • mistral - швидкі загальні завдання

Локальне читання документів і сканів​

З локальною моделлю настільний застосунок читає документи на вашому комп'ютері. Нічого не завантажується.

  • Робоча папка: у схваленій папці ШІ читає Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) і RTF. Старі файли .doc і .ppt читаються лише тоді, коли встановлено LibreOffice.
  • Скани й фото: відскановані сторінки PDF, зображення (PNG, JPG, WebP, TIFF) і зображення у файлах Word і PowerPoint читаються за допомогою розпізнавання тексту (OCR). OCR постачається разом із застосунком і розпізнає нідерландську, англійську, німецьку та французьку. У чаті видно, яка сторінка читається; довгий скан може тривати кілька хвилин. З одного документа OCR читає щонайбільше 100 сторінок.
  • Непевне розпізнавання: коли розпізнавання тексту непевне, ШІ про це повідомляє. Тоді перевірте імена, числа й суми в оригіналі. Рукописний текст, таблиці та схеми не завжди розпізнаються правильно.
  • Модель зображень: якщо вибрана модель має vision (наприклад, qwen3-vl:4b-instruct), вона сама переглядає зображення, у яких розпізнавання тексту читає мало або непевно. Без GPU це триває довше.
  • Фото з iPhone (HEIC): спершу збережіть їх як JPEG або PNG.

З хмарною моделлю застосунок також читає документи з робочої папки на вашому комп'ютері, але прочитаний текст тоді надсилається цій моделі як частина розмови.

Робота без інтернету, зокрема з вкладеннями в чаті: див. Офлайн-режим.

На цій сторінці