注重保密的专业人士 — “我的文件资料不会离开我的电脑。”
法律专业人士、医生、人力资源人员、顾问、注册会计师、公证人——您的文档受职业保密义务或保密协议(NDA)约束。本地 LLM 结合 RAG,可让您针对这些文档提问、总结、比较和交叉核实,全程无需上传任何内容,也无需使用命令行。
完成后,LM Studio 将通过成熟的图形界面运行(无需终端),并加载一个 13–24B 的模型。一个 PDF 文件夹将通过 AnythingLLM 或内置的 Documents 功能完成索引。您可以用法语向自己的档案提问,获取带页码的精确引用,并导出摘要——整个过程中,任何字节都不会离开您的设备。
适用人群 适合哪些人?
我们更希望尽早告知您,而不是让您白白浪费30分钟。
- ✓您的文件受职业保密义务保护(律师、医生、公证员、注册会计师)。
- ✓您在NDA约束下工作,且云服务工具在合同中被禁止使用。
- ✓您处理的个人数据受 GDPR 约束——避免将数据传输至欧盟以外地区是强制要求。
- ✓您想要一个干净清晰的界面,而不是终端命令。
- ✓您有 100 到 10,000 个 PDF 文件需要查询,并希望不必每次都重新上传。
- ·您的数据是公开的,您只需要一个助手:使用云端服务会更简单。
- ·您管理着数 TB 的文档:需要在服务器上部署,而不是使用工作站。
- ·如果您希望实现每秒数百文档的实时处理,简单的RAG方案将无法满足需求,请考虑使用vLLM或TGI
这条学习路径分为 5 步
每一步都附有详细指南的链接,您可以在操作时配合阅读。步骤顺序已经过优化:第一次操作时,请不要跳过任何步骤。
- 1步骤 01·5 分钟·入门
安装 LM Studio
适用于 Windows、macOS 或 Linux 的常规安装程序。提供完整的图形界面:搜索、下载模型、聊天、设置——全程无需打开终端。
LM Studio 已安装,您可以看到模型库。阅读指南 → - 2步骤 02·8 分钟·进阶
选择13–24B模型
如果您有 16 GB 显存,可使用 Q4 量化的 Mistral Small 24B;如果有 12 GB 显存,可使用 Q4 量化的 Qwen2.5 14B。在应用内直接下载,自动校验完整性。
一个稳健的文本分析模型已加载到内存中。阅读指南 → - 3步骤 03·20 分钟·入门
为您的文档建立索引
RAG 部分使用 AnythingLLM 或 Open WebUI。指定一个文件夹,选择一个法语嵌入模型(Solon、BGE-M3),启动索引构建。所有内容均保留在磁盘上。
您的PDF已索引至本地向量数据库(ChromaDB)中。阅读指南 → - 4步骤 04·8 分钟·入门
检查网络隔离
检查清单:使用 Wireshark 确认没有数据向外传输,禁用可能存在的遥测功能,加密模型文件夹,并进行本地加密备份。
安心有据:使用过程中没有任何数据包发出。阅读指南 → - +额外步骤·15 分钟·高级
附加内容——完全断网隔离
对于最敏感的文件:设置防火墙规则,阻断除系统自动更新以外的所有出站流量。这相当于加上双重保险。
经认证的离线设备,适用于敏感会话。阅读指南 →
推荐模型
为本学习路径测试过的三款选择——从最轻量到能力最强。点击查看详细介绍(显存、上下文、基准测试)。
专业用途的理想默认选择。法语表现出色,擅长长文本总结和法律推理。
查看详情 →更轻量(Q4版本为9 GB),在结构化分析方面表现优异,适合配置较低的设备。
适用于配备 64 GB 内存的 Mac 或配备 48 GB 显存的工作站。在本地提供“2023 年 GPT-4”水准的质量。
常见问题
我们通过邮件和Mastodon收到的真实问题。如果您的问题未被覆盖,请提交工单。
好奇者—— “我只想试试,别太复杂。”
您听说过本地 LLM,想看看它在您的电脑上表现如何。无需编写代码,也无需使用复杂的命令行——只需 15 分钟,您就能与您的……聊天
你的文档,你的 AI:基于你的 PDF、笔记和邮件的可靠本地 RAG——无需向云端发送任何内容。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
有疑问、发现错别字或遇到 bug?
这条学习路线会随着每次新模型发布而更新。您的反馈是改进的基础。