GPT4All：入门 pas

#GPT4All 是什么，以及 2026 年的状态

GPT4All 由 Nomic AI 开发。官方仓库将其描述为一种可在台式电脑和笔记本电脑上以保护隐私的方式运行语言模型的工具，无需调用 API，也不强制要求 GPU。仓库约有 77,000 个星标，采用 MIT 许可证。该应用基于 llama.cpp，支持加载 GGUF 格式的模型。

项目状态是首先要了解的信息。最新发布的版本是3.10.0，发布于2025年2月25日，比本文早超过一年半。gpt4all.io历史网站现已重定向至Nomic企业平台页面。应用仍可正常使用，目前没有迹象表明其停止运行，但您不应期待获得新功能或更新的推理引擎。

#1. 安装

安装程序可在官方仓库 nomic-ai/gpt4all 的页面上找到（Windows、Windows ARM、macOS、Ubuntu）。请仅从该来源下载：历史地址 gpt4all.io 如今打开的已不再是该软件的页面。仓库列出的最低要求如下：Windows 和 Linux 需要第二代 Intel Core i3、AMD Bulldozer 或更好的处理器；Linux 构建仅支持 x86-64；macOS 需要 Monterey 12.6 或更新版本，在 Apple Silicon M 系列芯片上效果更好。

#2. 首个模型

首次启动时，应用会提供一个默认模型。文档建议从 Llama 3 开始，可通过模型添加按钮下载。文档指出 GPT4All 通过 llama.cpp 引擎连接 Hugging Face 上的模型，且大多数模型文件扩展名为 .gguf。

1. 01
   打开 Models

   在左侧菜单中，点击 Models，然后点击 + Add Model 以进入 Explore Models 页面。
2. 02
   寻找一个模型

   在网上可用的模型中搜索，或通过齿轮图标按热门程度、下载量或日期对结果排序。
3. 03
   下载

   点击Download。文件将保存到您的磁盘上；无需注册。
4. 04
   加载并对话

   进入 Chats，点击 Load Default Model（Llama 3 或您刚刚下载的模型），然后提出您的第一个问题。

下表列出了官方文档中的示例，以及开发商标注的内存容量。“许可证”一栏很重要：GPT4All 列出的模型许可条件差异很大，其中一个模型采用非商业许可证。

模型存储在何处？下载路径可在设置中调整，默认情况下，Windows 系统位于 AppData\Local\nomic.ai\GPT4All，macOS 系统位于 Library/Application Support/nomic.ai/GPT4All，Linux 系统位于 .local/share/nomic.ai/GPT4All。一个大小为 4 到 5 GB 的模型占用磁盘空间相同：如果系统盘空间较小，建议在下载多个模型前，将该文件夹重定向到二级磁盘。

#法语版 GPT4All

该应用提供界面语言和区域设置选项。至于回复，则完全取决于模型：Llama 3 和 Mistral 衍生模型能够理解和撰写法语，但质量不一。不要依赖英语榜单：请用法语提出三个您所在领域的问题，再评判回答。如果您主要使用法语，QuelLLM 目录中的 Mistral 和 Qwen 模型是更好的候选选择，前提是它们能在版本已冻结的引擎中加载。

#处理器配备大量 RAM：这会带来哪些变化

一台拥有 256 GB 内存但无显卡的机器可以加载非常大的模型，但生成速度取决于内存带宽，而非内存容量。理论估算值：每秒 token 数受限于内存带宽（单位 GB/s）除以模型大小（单位 GB）。以示例计算，80 GB/s 除以 40 GB 模型大小，最多可达到每秒 2 个 token。这并非实际测量值，仅是理论上限。

唯一可能起作用的设置是处理器的线程数量。在高级设置中，GPT4All 默认将其设为 4；文档指出，增加线程数量可能加快响应速度。逐步增加该值，同时保留部分核心供系统使用。如果您有显卡，可以将运行设备设置为 Auto、Metal、CPU 或 GPU。

#3. 聊天与关键设置

界面采用聊天软件的布局：对话在中央，消息输入区在底部，模型配置位于设置中。有三个默认值值得注意。上下文长度为 2,048 个 token，对长文档来说很短。温度为 0.7。放入显存的模型层数设为 32 层，需要根据您的显卡调整。

#4. LocalDocs：内置RAG功能及其局限性

LocalDocs 让您无需编写任何代码即可与自己的文件对话。您指定一个文件夹来创建集合；应用会将文件切分为片段，并使用在您机器上运行的 Nomic 嵌入模型建立索引。在聊天中启用该集合后，与您的问题语义相近的片段会被放入模型的提示词中，回答下方则会显示来源。

1. 01
   创建集合

   打开 LocalDocs，为集合命名并选择文件夹，然后点击 Create Collection。
2. 02
   等待索引完成

   界面会显示进度；绿色的 Ready 指示标志表示完成。对于已经准备就绪的文件，您可以先开始提问。
3. 03
   在聊天中启用

   通过聊天框右上角的按钮打开 LocalDocs，然后勾选对应集合。
4. 04
   核查来源

   点击回答下方的“Sources”，查看使用了哪些文件。

#LocalDocs 不具备的功能

有文档记载的三个限制解释了为什么使用效果会令人失望。首先，默认建立索引的文件类型是 .txt、.pdf、.md 和 .rst：Word 文件必须先转换。其次，每个片段默认有 512 个字符，应用每次请求最多只注入三个片段，因此模型在回答每个问题时只能看到您文档中约 1,500 个字符的内容。最后，这种方法能较好地回答有针对性的问题（“第 4 条说了什么？”），但对整套资料进行综合总结时效果较差。

高级设置可以增加文档片段的长度和数量，但文档也提醒：这样可能提高回答的可靠性，却会减慢生成速度，还会占用上下文，而上下文默认就只有 2,048 个 token。如果您需要与真正的文档库进行对话，AnythingLLM 或 Open WebUI 这样的工具更合适。

#5. 兼容OpenAI的本地服务器

GPT4All 内置兼容 OpenAI 的 API 服务器，默认关闭。启用方法：进入设置、应用、高级部分，然后勾选“Enable Local API Server”。它在端口 4891 上监听，且仅限 localhost（127.0.0.1），只接受 HTTP，不接受 HTTPS。基础地址为 http://localhost:4891/v1。

curl -X POST http://localhost:4891/v1/chat/completions -d '{
  "model": "Phi-3 Mini Instruct",
  "messages": [{"role":"user","content":"Who is Lionel Messi?"}],
  "max_tokens": 50,
  "temperature": 0.28
}'

可用的端点包括 /v1/models、/v1/models/nom-du-modèle、/v1/completions 和 /v1/chat/completions。请求中的模型名称必须与应用程序中显示的名称一致。文档还介绍了一个技巧：可以通过界面（而非 API）为服务器端聊天启用 LocalDocs，使用的参考资料会在响应的 choices[0].references 中返回。

#隐私：需了解三个设置选项

默认情况下，所有数据都保留在您的设备上。有三种选项可以改变这一情况，需要了解它们的位置。'Datalake' 选项会匿名共享您的交互数据至 GPT4All 社区，该选项默认关闭。'Use Nomic Embed API' 选项会通过 Nomic 的 API 在设备外创建 LocalDocs 集合，该选项默认关闭且需要密钥。最后，添加一个 'Model API'（即远程服务的密钥）会将您的提示发送至该远程服务，文档对此有明确说明。

#优势、局限性及替代方案

优点

从“下载”到“聊天”的流程简短，无需账号，LocalDocs 无需编写代码，提供兼容 OpenAI 的服务器，无需 GPU 也能运行。

缺点

运行引擎自 2025 年 2 月起停止更新，默认上下文长度为 2048 个 token，LocalDocs 仅限三个各含 512 个字符的片段，模型目录日渐陈旧。

• Ollama、LM Studio、Jan 与 GPT4All 对比
• Jan：ChatGPT 的开源替代方案
• LM Studio 入门指南
• AnythingLLM：可用于生产环境的本地 RAG
• Open WebUI 搭配 Ollama：完整指南
• 来源：GPT4All仓库
• 来源：GPT4All 文档，模型
• 来源：GPT4All 文档，设置