处理机密文件的专业人士 — « 我的文件夹不会离开我的工作站。 »
法律专业人士、医生、人力资源人员、顾问、注册会计师、公证人——您的文档受职业保密义务或保密协议(NDA)约束。本地 LLM 结合 RAG,可让您针对这些文档提问、总结、比较和交叉核实,全程无需上传任何内容,也无需使用命令行。
最终,LM Studio 将通过成熟的图形界面运行(无需终端)。将加载一个 12B 至 27B 的模型。通过 AnythingLLM 或内置的 Documents 功能为一个 PDF 文件夹建立索引。您将能够用法语向自己的档案提问,获得带页码的准确引用,并导出摘要——没有任何字节离开您的电脑。
适用人群 适合哪些人?
我们更愿意早点告诉您,也不想让您白白浪费 30 分钟。
- ✓您的文件受职业保密义务保护(律师、医生、公证员、注册会计师)。
- ✓您在 NDA 约束下工作,合同明确禁止使用云端工具。
- ✓您管理的是受 GDPR 约束的个人数据——避免传输到欧盟以外地区是硬性要求。
- ✓您想要的是简洁清晰的 UI,而不是终端中的命令。
- ✓您有 100 到 10,000 个 PDF 文件需要查询,并希望不必每次都重新上传。
- ·你的数据是公开的,只想要一个助手:云服务会更简单。
- ·您管理着数 TB 的文档:需要在服务器上部署,而不是使用工作站。
- ·如果你需要每秒处理数百份文档的实时性能,简单的 RAG 将无法胜任,请考虑 vLLM 或 TGI。
这条学习路径分为 5 步
每一步都附有详细指南的链接,您可以在操作时配合阅读。步骤顺序已经过优化:第一次操作时,请不要跳过任何步骤。
- 1步骤 01·5 分钟·入门
安装 LM Studio
适用于 Windows、macOS 或 Linux 的常规安装程序。提供完整的图形界面:搜索、下载模型、聊天、设置——全程无需打开终端。
LM Studio 已安装,您可以看到模型库。阅读指南 → - 2步骤 02·8 分钟·中级
选择 12B 至 27B 的模型
如果您有 12 到 16 GB 显存,请选择 Gemma 4 12B(16 GB 可用 Q8)。24 GB 显存可用 Q4 运行 Qwen 3.8 27B。在应用内直接下载,并自动校验完整性。
一个适用于文本分析的稳健模型已加载到内存中。阅读指南 → - 3步骤 03·20 分钟·入门
为您的文档建立索引
RAG 部分使用 AnythingLLM 或 Open WebUI。指定一个文件夹,选择一个法语嵌入模型(Solon、BGE-M3),启动索引构建。所有内容均保留在磁盘上。
您的 PDF 已索引到本地向量数据库(ChromaDB)中。阅读指南 → - 4步骤 04·8 分钟·入门
检查网络隔离
检查清单:使用 Wireshark 确认没有数据向外传输,禁用可能存在的遥测功能,加密模型文件夹,并进行本地加密备份。
安心有据:使用过程中没有任何数据包发出。阅读指南 → - +步骤 bonus·15 分钟·高级
附加内容——完全断网隔离
对于最敏感的文件:设置防火墙规则,阻断除系统自动更新以外的所有出站流量。这相当于加上双重保险。
适用于敏感会话的离线认证机器。阅读指南 →
推荐模型
本教程提供三种选择——从最轻量到能力最强。点击可查看详细信息(VRAM、上下文、基准测试)。
12 至 16 GB 时的合适默认选择:对您的文档进行总结和信息提取,Apache 2.0 许可证。请用您自己的文本检验其法语质量。
查看详情 →适用于 24 GB 显存或 32 GB 的 Mac:三者中 Artificial Analysis 指数最高;需用您自己的文档进行验证。
查看详情 →对于 96 到 128 GB 的工作站(GB10、128 GB 的 Mac):一款快速的 MoE 模型,采用 Apache 2.0 许可证。
查看详情 →常见问题
这些是我们通过邮件和 Mastodon 收到的真实问题。如果没有找到您的问题,请提交工单。
好奇的人 — « 我只想试试,不想折腾。 »
您听说过本地 LLM,想看看它在自己的机器上表现如何。无需代码,也无需复杂的命令行——15 分钟内,您就能与 vot…
你的文档,你的 AI:基于你的 PDF、笔记和邮件的可靠本地 RAG——无需向云端发送任何内容。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
有疑问、发现错别字或遇到 bug?
这条学习路线会随着每次新模型发布而更新。您的反馈是改进的基础。