路径03 · 工作场景

注重保密的专业人士 — “我的文件资料不会离开我的电脑。”

法律专业人士、医生、人力资源人员、顾问、注册会计师、公证人——您的文档受职业保密义务或保密协议(NDA)约束。本地 LLM 结合 RAG,可让您针对这些文档提问、总结、比较和交叉核实,全程无需上传任何内容,也无需使用命令行。

总时长
~45 分钟
所需水平
无需任何技术基础
成本
0 €
典型设备配置
PC 或 Mac,配备 16 GB 内存(建议 32 GB)
↑
我们的承诺

完成后,LM Studio 将通过成熟的图形界面运行(无需终端),并加载一个 13–24B 的模型。一个 PDF 文件夹将通过 AnythingLLM 或内置的 Documents 功能完成索引。您可以用法语向自己的档案提问,获取带页码的精确引用,并导出摘要——整个过程中,任何字节都不会离开您的设备。

适用人群 适合哪些人?

我们更希望尽早告知您,而不是让您白白浪费30分钟。

✓ 如果您符合以下情况,这条学习路径适合您
  • ✓您的文件受职业保密义务保护(律师、医生、公证员、注册会计师)。
  • ✓您在NDA约束下工作,且云服务工具在合同中被禁止使用。
  • ✓您处理的个人数据受 GDPR 约束——避免将数据传输至欧盟以外地区是强制要求。
  • ✓您想要一个干净清晰的界面,而不是终端命令。
  • ✓您有 100 到 10,000 个 PDF 文件需要查询,并希望不必每次都重新上传。
✕ 如果您符合以下情况,请考虑其他选择
  • ·您的数据是公开的,您只需要一个助手:使用云端服务会更简单。
  • ·您管理着数 TB 的文档:需要在服务器上部署,而不是使用工作站。
  • ·如果您希望实现每秒数百文档的实时处理,简单的RAG方案将无法满足需求,请考虑使用vLLM或TGI

这条学习路径分为 5 步

每一步都附有详细指南的链接,您可以在操作时配合阅读。步骤顺序已经过优化:第一次操作时,请不要跳过任何步骤。

累计 · 约 45 分钟
  1. 1
    步骤 01·5 分钟·入门

    安装 LM Studio

    适用于 Windows、macOS 或 Linux 的常规安装程序。提供完整的图形界面:搜索、下载模型、聊天、设置——全程无需打开终端。

    LM Studio 已安装,您可以看到模型库。
    阅读指南 →
  2. 2
    步骤 02·8 分钟·进阶

    选择13–24B模型

    如果您有 16 GB 显存,可使用 Q4 量化的 Mistral Small 24B;如果有 12 GB 显存,可使用 Q4 量化的 Qwen2.5 14B。在应用内直接下载,自动校验完整性。

    一个稳健的文本分析模型已加载到内存中。
    阅读指南 →
  3. 3
    步骤 03·20 分钟·入门

    为您的文档建立索引

    RAG 部分使用 AnythingLLM 或 Open WebUI。指定一个文件夹,选择一个法语嵌入模型(Solon、BGE-M3),启动索引构建。所有内容均保留在磁盘上。

    您的PDF已索引至本地向量数据库(ChromaDB)中。
    阅读指南 →
  4. 4
    步骤 04·8 分钟·入门

    检查网络隔离

    检查清单:使用 Wireshark 确认没有数据向外传输,禁用可能存在的遥测功能,加密模型文件夹,并进行本地加密备份。

    安心有据:使用过程中没有任何数据包发出。
    阅读指南 →
  5. +
    额外步骤·15 分钟·高级

    附加内容——完全断网隔离

    对于最敏感的文件:设置防火墙规则,阻断除系统自动更新以外的所有出站流量。这相当于加上双重保险。

    经认证的离线设备,适用于敏感会话。
    阅读指南 →

推荐模型

为本学习路径测试过的三款选择——从最轻量到能力最强。点击查看详细介绍(显存、上下文、基准测试)。

起步
Mistral Small 3
Mistral AI · 24B · Q4 量化下 14 GB

专业用途的理想默认选择。法语表现出色,擅长长文本总结和法律推理。

查看详情 →
参考模型
qwen2.5-14b

更轻量(Q4版本为9 GB),在结构化分析方面表现优异,适合配置较低的设备。

参考模型
llama-3.3-70b

适用于配备 64 GB 内存的 Mac 或配备 48 GB 显存的工作站。在本地提供“2023 年 GPT-4”水准的质量。

常见问题

我们通过邮件和Mastodon收到的真实问题。如果您的问题未被覆盖,请提交工单。

是的,这是其设计本身决定的:不会向任何受托处理方传输数据。您仍是唯一的数据控制者。只需注意磁盘加密(BitLocker、FileVault、LUKS)和对话清除策略。
完成这条学习路径后
下一个学习路径

好奇者—— “我只想试试,别太复杂。”

您听说过本地 LLM,想看看它在您的电脑上表现如何。无需编写代码,也无需使用复杂的命令行——只需 15 分钟,您就能与您的……聊天

→
本地 RAG 工具包

你的文档,你的 AI:基于你的 PDF、笔记和邮件的可靠本地 RAG——无需向云端发送任何内容。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

有疑问、发现错别字或遇到 bug?

这条学习路线会随着每次新模型发布而更新。您的反馈是改进的基础。