入门 11 分钟概念

本地 RAG: introduction

本地 RAG:简介
直接回答

本地 RAG(检索增强生成)可以让你使用模型查询自己的文档,而模型运行在你的设备上:文件会被切分,由嵌入模型转换为向量;随后,每次提问时,只有最相近的段落会被加入模型提示词。无论是建立索引还是生成回答,都无需任何数据离开计算机。

本篇入门介绍解释了本地 RAG 的工作原理、基于 Ollama 构建它所需的最小技术栈、无代码方案,以及使用 LlamaIndex 的 Python 示例,尤其着重说明了大多数初次尝试失败的环节:分块、语言、检索和 PDF。文中也说明了何时 RAG 并不是合适的解决方案。

作者: Mohamed Meguedmi·更新于 2026-09-29·已在 Windows、macOS 和 Linux 上测试

#本地 RAG:定义及您对它的期待

RAG 表示检索增强生成(retrieval-augmented generation):首先从文档库中检索相关段落,然后要求模型根据这些段落撰写回答。“本地”表示每个步骤(读取文档、计算嵌入、存储、生成)都在您的硬件上执行。这是私有模型最有用的用途:针对合同、笔记和内部知识库提问,并获得引用来源的回答。

本地 RAG 各组件的作用
组件角色示例
文档阅读器从 PDF、Word、Markdown、HTML 中提取干净的文本LlamaIndex 的读取器、Docling
分块器(chunker)将文本切分为长度合适的片段按 token 或按结构切分
嵌入模型将每个段落转换为向量embeddinggemma、qwen3-embedding、all-minilm(Ollama 推荐)
向量数据库存储向量并查找最相近的向量ChromaDB、Qdrant、FAISS、pgvector
生成模型根据相关段落撰写回答由 Ollama 或 LM Studio 提供服务的模型

#为什么选择 RAG,而不是把所有内容都发送给模型

打造专属本地 RAG 的完整套件。

借助我们的经验和引导式路径,搭建你的本地 RAG,用你自己的文档工作。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

首先想到的办法:把所有文档复制到提示词中。但这会遇到两个限制。上下文窗口有上限:300 个 PDF 文件包含数百万个 token,远超本地模型所能接受的范围。而且,即使一份文档能放进上下文窗口,模型的表现也会下降:一项代表性研究(斯坦福大学 Liu 等人)表明,当有用信息位于长上下文的中间时,模型性能可能显著下降,即使是专为长上下文设计的模型也不例外。这种现象称为 lost in the middle(“中间信息丢失”)。

RAG只向模型传递针对问题选出的几个段落,从而避开这两个问题。模型读取的是几百个有针对性的token,而不是几万个用处不大的token,计算成本和延迟也因此更低。关键在于做好检索。

用一个示例计算来说明数量级:300 份 PDF,每份 20 页、每页约 600 个 token,总计 360 万个 token,是本地模型常设的 8,000 token 上下文窗口的数百倍。按每段 400 个 token 切分后,约有 9,000 个片段。针对一个问题,从中选取五个片段,也就是 2,000 个 token:模型只读取整个语料库的 0.06%,但如果检索成功,读到的就是与问题相关的那 0.06%。

i
RAG 并不总是必要的
LM Studio 的文档很好地说明了如何选择:如果文档足够短,能放入模型的上下文,它就会将整份文档加入对话。只有文档很长时,它才会切换到 RAG。这一逻辑适合作为最初的判断原则。

#两分钟理解概念:嵌入与距离

embedding 是一组表示文本含义的数字。讨论同一主题的两段文本,其向量会彼此接近,即使它们使用的词语并不相同。Ollama 的文档将 embedding 描述为可存储在向量数据库中的数值向量,可以通过余弦相似度进行搜索,或用于 RAG;其长度取决于模型,通常为 384 到 1024 个维度。

问题会由同一个模型转换为向量,然后与所有已索引的文本片段进行比较,返回最相近的片段。初学者容易踩的坑是:建立索引和处理问题时使用的嵌入模型必须完全相同。LlamaIndex 的文档在重新加载索引的示例中也提醒了这一点:使用与构建索引时相同的 embed_model 很重要。

#RAG 剖析:两个阶段

#阶段 1:索引,每个文档只需执行一次

  1. 01
    导入
    读取文件(PDF、Word、Markdown、HTML),并从中提取干净的文本。这是最容易被低估的步骤。
  2. 02
    拆分
    将文本切分成片段:片段要足够小,以保证精确性,也要足够大,以保留完整含义。每个片段 200 至 500 个 token 是常见的起点。
  3. 03
    Embedding
    用嵌入模型处理每个文本片段,例如使用命令 ollama run embeddinggemma 或 API /api/embed。
  4. 04
    存储
    将向量与原始文本及元数据(文件名、页面、日期)一起保存。

#阶段 2:查询,每次提问时执行

  1. 01
    问题嵌入
    使用与建立索引时相同的模型。
  2. 02
    搜索
    用余弦相似度衡量向量的接近程度,找出向量最接近的 N 个文本片段。
  3. 03
    提示词组装
    构建一条消息,其中包含摘录,以及要求回答时引用来源、在摘录中找不到答案时明确说明的指令。
  4. 04
    生成
    将此提示词发送给本地模型,由它撰写回答。

#最小技术栈与无代码方案

要搭建一个能正常工作的本地 RAG 系统,四个组件就足够了:一个通过 Ollama 提供服务的生成模型、一个嵌入模型、一个向量数据库,以及连接它们的一层。处理法语时,请选择多语言嵌入模型;Ollama 的页面推荐了三种(embeddinggemma、qwen3-embedding、all-minilm),它们的向量维度不大,因此可以在笔记本电脑上运行。

选择工作强度
路径努力检查适用于
LM Studio,Chat with Documents将 .pdf、.docx 或 .txt 拖入对话低:在完整文档与 RAG 之间自动切换对几个文件进行快速试用
AnythingLLM可选择嵌入模型和向量数据库的应用中等没有开发人员的小团队
Open WebUI连接到 Ollama 的 Web 界面、知识库中等日常使用笔记库
使用 Python 的 LlamaIndex 或 Haystack要编写的代码高:切分、检索、评估定制项目或需要部署的项目

如果不想编写代码,LM Studio 中的 RAG 指南和 AnythingLLM 指南分别详细介绍了相应的方案;NotebookLM 及其本地替代方案指南则涵盖了“notebook lm rag”这一查询。

#Python 流水线分步指南

下面的示例遵循 LlamaIndex 官方教程中使用本地模型的方案:先使用目录读取器、嵌入模型和通过 Ollama 提供服务的模型,再使用查询引擎。请先安装 llama-index-llms-ollama 和 llama-index-embeddings-huggingface 包。请根据您已下载的模型调整模型名称。

使用 LlamaIndex 和 Ollama 实现最简 RAG
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

Settings.embed_model = HuggingFaceEmbedding(model_name="intfloat/multilingual-e5-large")
Settings.llm = Ollama(model="qwen3.5:9b", request_timeout=360.0, context_window=8000)

documents = SimpleDirectoryReader("mes_documents").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine(similarity_top_k=5)

response = query_engine.query("Quelles sont les échéances du contrat Dupont ?")
print(response)
print(response.source_nodes)

首次运行会计算所有嵌入向量,耗时长短取决于数据量和机器。为避免全部重新计算,请使用 index.storage_context.persist 保存索引,然后使用 load_index_from_storage 重新加载,并继续使用同一个嵌入模型。正如教程所说明的,context_window 参数会限制内存消耗。

→
始终显示来源
在每次测试中显示选定的片段(response.source_nodes)。如果摘录内容不相关,问题出在检索环节,而不是模型:无需更换生成模型。

#导致初期尝试失败的陷阱

粗略切分会破坏结构
在表格中间截断会导致段落难以阅读。请使用能够保留标题和表格的切分器,或先使用 Docling 转换文档。
嵌入模型的语言很重要
主要使用英语数据训练的嵌入模型,在检索法语文本片段时表现较差。请选用多语言模型,并先用 10 个真实问题进行测试,再为整个语料库建立索引。
单一的 top-k 很少适用
文档片段太少会使回答内容贫乏;太多则会让模型难以应对。请根据文档的性质调整,并用您已知答案的问题进行验证。
检索不当会导致看似笃定却错误的回答
如果给模型提供不相关的片段,它可能会编造出看似笃定的回答。请先衡量片段的相关性。
PDF 文件容易带来处理陷阱
双栏布局、页脚、表格、扫描件:很大一部分工作是在数据导入过程中进行清洗。扫描版PDF需要先进行OCR,再做任何其他处理。
混用 embedding 模型
使用一个模型建立索引、再用另一个模型进行查询,会产生荒谬的结果,而且不会显示错误消息。

#何时不应使用 RAG

RAG、长上下文或其他方法
情况更佳方案为什么
不到二十页将所有内容都放入上下文更简单,不会遗漏任何段落;当文档能完整容纳时,LM Studio 也是这样做的
关于结构化数据的事实性问题(2024 年营业额)SQL 查询或数据提取脚本RAG 检索的是文本,而不是精确的计算结果
针对整个语料库的综合问题先生成分层摘要,再针对摘要提问RAG 只检索少量段落,而不是完整的整体概览
持续修改的文档增量索引,或按关键词搜索每次变更都重新建立索引,其成本高于查询
学习一种风格或格式Fine-tuningRAG 提供事实,而不是写作方式

比较微调与 RAG 的指南详细介绍了后一种情况。

#硬件与隐私:哪些内容会留在本地

在完全本地运行的 RAG 系统中,文档、向量和问题都会留在机器上,前提是每个组件也都在本地运行:嵌入模型由 Ollama 提供服务或从磁盘加载,向量数据库以文件形式存储或作为本地服务运行,生成模型也在本地运行。请检查是否有组件调用在线服务:如果误选了云端嵌入模型或云端生成模型,您的文本片段就会被发送到外部。

硬件方面,资源需求最大的是生成模型:采用 Q4 量化时,80 亿至 90 亿参数的模型需要约 5 GB 内存,此外还要加上上下文所需的内存。这里的上下文会变大,因为其中包含摘录片段;如果增加片段数量,请预留余量。嵌入处理本身的资源需求较低;大型语料库的初次索引仍是最耗时的操作,但只需进行一次。关于无 GPU 运行 LLM 的指南说明了各种 RAM 容量分别能支持什么。

#之后呢?按顺序进行改进

基础 RAG 往往能很好地回答简单问题。要进一步改进,投入产出比最高的顺序是:先按文档结构进行切分,再采用混合检索(向量检索加上基于关键词的 BM25 检索,以免漏掉合同编号这样的精确词项),然后使用重排序器重新排列最先检索到的结果,最后用一组约五十个您已知答案的问题进行评估。不做测量,每次改动的效果就都只是主观印象。

本地 RAG 常见问题
什么是本地 RAG?+
这是一个根据您的文档回答问题的系统,读取、索引、检索和生成都在您的机器上进行。系统通过向量相似性检索相关段落,再将这些段落提供给本地模型。您的文件不会离开您的计算机。
RAG 与微调有什么区别?+
RAG 在您提问时向模型提供您文档中的片段,从而带来可更新的事实信息。微调则修改模型的权重:它会改变模型的回答风格或格式,但不擅长记住具体事实。如果要针对文档提问,请先从 RAG 开始。
处理法语时应选择哪种嵌入模型?+
请选择多语言模型。Ollama 推荐 embeddinggemma、qwen3-embedding 和 all-minilm;其中第一个模型的参数量为 3 亿。在采用之前,请用您的语料库中的十个真实问题进行测试:效果取决于您的文档。之后,建立索引和查询时请始终使用同一个模型,否则结果会变得不一致。
本地 RAG 是否需要 GPU?+
不一定。嵌入模型体积较小,可在 CPU 上运行;没有 GPU 时,建立索引会更慢,但只需进行一次。生成模型的资源消耗最大:一个采用 Q4 量化、拥有 80 至 90 亿参数的模型约需 5 GB 内存。
建立索引时,文本片段应有多长?+
通常可以从每个片段 200 至 500 个 token 开始,让相邻片段之间保留少量重叠。没有通用的数值:用您已知答案的问题测试两到三种片段大小。切分时保留标题和表格的结构,比精确的片段长度更重要。
如何判断我的 RAG 是否正确响应?+
准备大约五十个你知道答案和源文段的问题。每次更改后都检查正确的文段是否出现在返回的摘录中,然后确认答案是否正确引用了它。Ragas 等工具可以自动完成这项测量,相关说明见专门的指南。
这份指南对您有帮助吗?

有反馈、发现了错误,或想补充说明?请告诉我们,让这份指南对每个人都更有帮助。