跳转到主内容

使用本地 AI 模型聊天

为什么使用本地 AI 模型？​

Ollama 在本地运行模型。登录和聊天存储使用云端并需要互联网。不会自动切换到云端模型。

以上适用于普通模式。在离线模式下，一切都留在这台电脑上：应用无需网络也能使用，新的聊天只在本地加密保存。

为什么选择 Ollama？​

Ollama 是一个工具，可以让你在本地轻松运行 AI 模型。它在每台计算机上单独安装，因此对用户数量没有限制——不需要共享的服务器。

安装 Ollama​

  1. 访问 Ollama 下载页面
  2. 下载与你的操作系统相应的版本（Windows 或 macOS）
  3. 按照安装程序完成安装
  4. 安装后，Ollama 会在后台自动运行

安装一个语言模型​

安装 Ollama 后，至少需要下载一个语言模型：

  1. 打开 Ollama 界面（通过系统托盘图标或终端）
  2. 下载你选择的语言模型

推荐模型​

优先选择具备 工具能力 和 视觉能力 的模型：

  • Tools 能力 - 模型能使用应用中的所有工具，如上网搜索和生成图片
  • Vision 能力 - 模型能分析并描述图片
推荐模型

qwen3-vl:4b-instruct 在速度和工具/视觉能力之间提供了很好的平衡。通过终端安装此模型：

ollama pull qwen3-vl:4b-instruct

请选择 -instruct 版本：它会立即回答。普通的 qwen3-vl:4b 在每一步之前都会长时间思考，在笔记本电脑上要慢很多倍。对于小型本地模型，应用只使用简短的指令和与你的问题相关的工具。如果同一步骤反复失败，AI 会停下来，并告诉你哪些成功了、哪些没有成功。

根据硬件选择模型​

模型的性能在很大程度上取决于你计算机的硬件：

硬件建议
有限 (8GB RAM，无 GPU)选择较小的模型 (1-4B 参数)
中等 (16GB RAM，基础 GPU)模型到 7B 参数
强力 (32GB+ RAM，现代 GPU)可能使用更大模型 (13B+)
速度 vs. 质量

通常较小的模型在速度方面表现更好，但可能回答不够精确。请尝试以找到最适合你情况的平衡点。

桌面应用中的配置​

一旦 Ollama 运行并安装了模型，桌面应用会自动检测。你可以在聊天中将本地模型选作云模型的替代。

开始页面的输入框下方会显示模型选择器，你可以在发送第一条消息前选择本地模型。所选模型从第一条消息起生效，之后仍可更改。

可用模型及其对工具/视觉支持​

查看完整列表请访问 ollama.com/library。筛选具备以下标签的模型：

  • Tools 标签表示具备工具能力
  • Vision 标签表示具备图像识别能力

常用选项：

  • qwen3-vl:4b-instruct - 紧凑、快速、具备工具 + 视觉
  • llama3.2-vision - 具备视觉能力
  • mistral - 快速的一般任务

在本地读取文档和扫描件​

使用本地模型时，桌面应用会在你自己的电脑上读取文档，不会上传任何内容。

  • 工作文件夹：在已批准的文件夹中，AI 可以读取 Word、PowerPoint、Excel、PDF、OpenDocument（ODT、ODP、ODS）和 RTF。旧的 .doc 和 .ppt 文件只有在安装了 LibreOffice 时才会被读取。
  • 扫描件和照片：扫描的 PDF 页面、图片（PNG、JPG、WebP、TIFF）以及 Word 和 PowerPoint 文件中的图片会通过文字识别（OCR）读取。OCR 随应用提供，可识别荷兰语、英语、德语和法语。聊天中会显示正在读取哪一页；较长的扫描件可能需要几分钟。每个文档最多用 OCR 读取 100 页。
  • 识别不确定：文字识别不确定时，AI 会说明。请在原件中核对姓名、数字和金额。手写内容、表格和示意图并不总能被正确识别。
  • 视觉模型：如果所选模型支持视觉（例如 qwen3-vl:4b-instruct），模型会亲自查看文字识别读取较少或不确定的图片。没有 GPU 时会更慢。
  • iPhone 照片（HEIC）：请先另存为 JPEG 或 PNG。

使用云端模型时，应用同样在你的电脑上读取工作文件夹中的文档，但读取到的文字会作为对话的一部分发送给该模型。

在没有网络的情况下工作（包括聊天中的附件）：请参阅离线模式。

本页