GPT4All:入门 不

GPT4All 是一款免费桌面应用(MIT 许可证,由 Nomic 发行),可在您的计算机上运行语言模型,不强制要求配备 GPU,也无需账户。您只需安装它,下载一个 GGUF 模型,即可开始对话。其最新版本 3.10.0 发布于 2025 年 2 月:它功能正常,但模型目录较为陈旧,且 LocalDocs 功能仍有限制。对于配置较低的机器,这是一个不错的入门选择;否则,请将其与 Jan 或 LM Studio 进行比较。
GPT4All(人们也常输入“GPT for All”)是最早面向大众的本地聊天应用之一。本指南介绍它如今能做什么、如何安装并加载第一个模型、LocalDocs 和本地服务器究竟表现如何,以及在哪些情况下选择其他工具更合适。
#GPT4All 是什么,以及它在 2026 年的状态
GPT4All 由 Nomic AI 开发。官方仓库将其描述为一种可在台式电脑和笔记本电脑上以保护隐私的方式运行语言模型的工具,无需调用 API,也不强制要求 GPU。仓库约有 77,000 个星标,采用 MIT 许可证。该应用基于 llama.cpp,支持加载 GGUF 格式的模型。
首先需要了解项目的状态。最新发布版本是 3.10.0,发布日期为 2025 年 2 月 25 日,也就是比本文早一年半多。历史网站 gpt4all.io 现在会重定向到 Nomic 的一个页面,重点介绍其面向企业的平台。该应用仍然可以使用,也没有迹象表明它会停止运行,但不要期待新功能或及时更新的推理引擎。
#1. 安装
借助我们的经验和引导式路径,打造你的本地助手,在日常中使用你的 AI。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
安装程序可在官方仓库 nomic-ai/gpt4all 的页面上找到(Windows、Windows ARM、macOS、Ubuntu)。请仅从该来源下载:历史地址 gpt4all.io 如今打开的已不再是该软件的页面。仓库列出的最低要求如下:Windows 和 Linux 需要第二代 Intel Core i3、AMD Bulldozer 或更好的处理器;Linux 构建仅支持 x86-64;macOS 需要 Monterey 12.6 或更新版本,在 Apple Silicon M 系列芯片上效果更好。
| 系统 | 安装程序 | 代码仓库注明的前置条件 |
|---|---|---|
| Windows | Windows 安装程序(以及 ARM 版本) | Intel Core i3 第二代、AMD Bulldozer 或更高;ARM:Snapdragon、SQ1、SQ2 |
| macOS | macOS 安装程序 | Monterey 12.6 或更高版本;推荐使用 Apple Silicon |
| Linux | Ubuntu 安装程序 | 仅支持 x86-64 处理器,不支持 ARM |
#2. 首个模型
首次启动时,应用会提供一个默认模型。文档建议从 Llama 3 开始,可通过添加模型按钮下载。文档还指出,GPT4All 使用 llama.cpp 引擎连接 Hugging Face 的模型,而且大多数模型的扩展名为 .gguf。
- 01打开 Models在左侧菜单中点击 Models,然后点击 + Add Model,进入 Explore Models 页面。
- 02搜索模型在网上可用的模型中搜索,或通过齿轮图标按热门程度、下载量或日期对结果排序。
- 03下载点击 Download。文件会保存到你的磁盘;无需注册。
- 04加载并对话进入 Chats,点击 Load Default Model(Llama 3 或您刚刚下载的模型),然后提出您的第一个问题。
下表列出了官方文档中的示例,以及开发商标注的内存容量。“许可证”一栏很重要:GPT4All 列出的模型许可条件差异很大,其中一个模型采用非商业许可证。
| 模型 | 文件 | 所需 RAM | 大小 | 许可证 |
|---|---|---|---|---|
| Llama 3 Instruct | 4,66 GB | 8 GB | 80 亿,q4_0 | Meta Llama 3 License |
| Nous Hermes 2 Mistral DPO | 4.11 GB | 8 GB | 70 亿,q4_0 | Apache 2.0 |
| Phi-3 Mini Instruct | 2,18 GB | 4 GB | 40 亿,q4_0 | MIT |
| Mini Orca (Small) | 1,98 GB | 4 GB | 30 亿,q4_0 | CC-BY-NC-SA-4.0(非商业用途) |
模型存放在哪里?下载文件夹可在设置中配置。默认情况下,Windows 中位于 AppData\Local\nomic.ai\GPT4All,macOS 中位于 Library/Application Support/nomic.ai/GPT4All,Linux 中位于 .local/share/nomic.ai/GPT4All。一个 4 到 5 GB 的模型在磁盘上也会占用同样的空间:如果系统磁盘较小,请在下载多个模型前将此文件夹重定向到第二块磁盘。
#法语版 GPT4All
该应用提供界面语言和区域设置选项。至于回复,则完全取决于模型:Llama 3 和 Mistral 衍生模型能够理解和撰写法语,但质量不一。不要依赖英语榜单:请用法语提出三个您所在领域的问题,再评判回答。如果您主要使用法语,QuelLLM 目录中的 Mistral 和 Qwen 模型是更好的候选选择,前提是它们能在版本已冻结的引擎中加载。
#单个处理器拥有大量 RAM:这会带来什么变化
一台配备 256 GB 内存、没有显卡的机器可以加载非常大的模型,但生成速度取决于内存带宽,而不是容量。理论数量级为:每秒 token 数受限于以 GB/s 为单位的带宽除以以 GB 为单位的模型权重大小。作为算术示例,80 GB/s 除以 40 GB 的权重大小,最多得到每秒 2 个 token。这不是实测值,只是理论上限。
唯一可能起作用的设置是处理器的线程数量。在高级设置中,GPT4All 默认将其设为 4;文档指出,增加线程数量可能加快响应速度。逐步增加该值,同时保留部分核心供系统使用。如果您有显卡,可以将运行设备设置为 Auto、Metal、CPU 或 GPU。
#3. 关键的聊天功能与设置
界面采用聊天软件的布局:对话在中央,消息输入区在底部,模型配置位于设置中。有三个默认值值得注意。上下文长度为 2,048 个 token,对长文档来说很短。温度为 0.7。放入显存的模型层数设为 32 层,需要根据您的显卡调整。
#4. LocalDocs:集成式 RAG 及其局限
LocalDocs 让您无需编写任何代码即可与自己的文件对话。您指定一个文件夹来创建集合;应用会将文件切分为片段,并使用在您机器上运行的 Nomic 嵌入模型建立索引。在聊天中启用该集合后,与您的问题语义相近的片段会被放入模型的提示词中,回答下方则会显示来源。
- 01创建集合打开 LocalDocs,为集合命名并选择文件夹,然后点击 Create Collection。
- 02等待索引完成界面会显示进度;绿色的 Ready 指示标志表示完成。对于已经准备就绪的文件,您可以先开始提问。
- 03在聊天中启用它点击聊天窗口右上方的按钮打开 LocalDocs,然后勾选该集合。
- 04核查来源点击回答下方的“Sources”,查看使用了哪些文件。
#LocalDocs 不会做什么
有文档记载的三个限制解释了为什么使用效果会令人失望。首先,默认建立索引的文件类型是 .txt、.pdf、.md 和 .rst:Word 文件必须先转换。其次,每个片段默认有 512 个字符,应用每次请求最多只注入三个片段,因此模型在回答每个问题时只能看到您文档中约 1,500 个字符的内容。最后,这种方法能较好地回答有针对性的问题(“第 4 条说了什么?”),但对整套资料进行综合总结时效果较差。
高级设置可以增加文档片段的长度和数量,但文档也提醒:这样可能提高回答的可靠性,却会减慢生成速度,还会占用上下文,而上下文默认就只有 2,048 个 token。如果您需要与真正的文档库进行对话,AnythingLLM 或 Open WebUI 这样的工具更合适。
#5. 兼容 OpenAI 的本地服务器
GPT4All 内置兼容 OpenAI 的 API 服务器,默认关闭。启用方法:进入设置、应用、高级部分,然后勾选“Enable Local API Server”。它在端口 4891 上监听,且仅限 localhost(127.0.0.1),只接受 HTTP,不接受 HTTPS。基础地址为 http://localhost:4891/v1。
可用的端点包括 /v1/models、/v1/models/nom-du-modèle、/v1/completions 和 /v1/chat/completions。请求中的模型名称必须与应用程序中显示的名称一致。文档还介绍了一个技巧:可以通过界面(而非 API)为服务器端聊天启用 LocalDocs,使用的参考资料会在响应的 choices[0].references 中返回。
#隐私:三个需要了解的设置
默认情况下,所有数据都保留在你的机器上。有三个选项会改变这一点,你需要知道它们的位置。默认禁用 Datalake 选项,该选项会将你的交互匿名分享给 GPT4All 社区。默认禁用“Use Nomic Embed API”选项;该选项通过 Nomic API 在设备外创建 LocalDocs 集合,并且需要密钥。最后,添加“Model API”(远程供应商的密钥)会将你的提示词发送给该供应商,文档对此作了明确说明。
#优势、局限与替代方案
| 您的情况 | GPT4All 合适吗? | 值得关注的替代方案 |
|---|---|---|
| 配置普通,首次尝试,不使用命令行 | 是的,这正是它的适用场景 | 如果您想选择开发更活跃的项目,可以考虑 Jan |
| 与几个文本文件或 PDF 对话 | 适合针对性问题 | AnythingLLM,适合构建真正的文档知识库 |
| 非常新的模型(2025 年及以后) | 不保证,引擎已停止更新 | LM Studio 或 Ollama,定期更新 |
| 供团队共享的服务器 | 不:仅限 localhost,HTTP | Ollama 和 Open WebUI |
- 优点
- 从“下载”到“聊天”的流程简短,无需账号,LocalDocs 无需编写代码,提供兼容 OpenAI 的服务器,无需 GPU 也能运行。
- 弱点
- 运行引擎自 2025 年 2 月起停止更新,默认上下文长度为 2048 个 token,LocalDocs 仅限三个各含 512 个字符的片段,模型目录日渐陈旧。
- Ollama、LM Studio、Jan 与 GPT4All 对比
- Jan:ChatGPT 的开源替代方案
- LM Studio 入门指南
- AnythingLLM:可用于生产环境的本地 RAG
- Open WebUI 搭配 Ollama:完整指南
- 来源:GPT4All 仓库
- 来源:GPT4All 文档、模型
- 来源:GPT4All 文档,设置
GPT4All 免费吗?可以离线运行吗?+
2026 年 GPT4All 还在维护吗?+
使用 GPT4All 时应选择哪些模型?+
GPT4All 支持法语吗?+
配备 256 GB 内存的机器会带来什么不同吗?+
如何使用 GPT4All 查询我的文档?+
有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。