Step 5 05. RAG (检索增强生成)：给大模型挂载知识库

<!-- Title: 05. RAG (检索增强生成)：给大模型挂载知识库 --> <!-- Series: LLM 原理与微调实战 (ID: 8) --> <!-- Author: admin --> # RAG (检索增强生成)：给大模型挂载知识库 ## 1. 幻觉与时效性 大模型有两个死穴： 1. **幻觉 (Hallucination)**：一本正经地胡说八道。 2. **时效性**：GPT-4 的训练数据截止到 2023 年，它不知道昨天发生了什么。 微调（Fine-tuning）太贵且慢。怎么办？ 答案是 **RAG (Retrieval-Augmented Generation)**。 ## 2. RAG 的三板斧 就像开卷考试： 1. **检索 (Retrieve)**：用户问问题 -> 去知识库（向量数据库）里搜相关的文档片段。 2. **增强 (Augment)**：把搜到的片段和用户问题拼在一起，组成一个新的 Prompt。 * *Prompt*: "根据以下参考资料：[资料A]... 回答问题：[用户问题]" 3. **生成 (Generate)**：LLM 根据资料生成答案。 ## 3. 向量数据库 (Vector DB) RAG 的核心是**语义搜索**。 传统的关键词搜索（如 ElasticSearch）很难理解 "苹果" 是水果还是手机。 我们将文档变成**向量 (Embedding)**。 计算向量之间的**余弦相似度**（见[线性代数篇](articles/233.md)）。 * "iPhone 15 评测" 的向量，和 "苹果手机好用吗" 的向量，距离很近。 * 和 "红富士苹果" 的向量，距离很远。 ## 4. 实战架构 * **Loader**: 读取 PDF/Markdown。 * **Splitter**: 切分成小块 (Chunk)。 * **Embedding**: 调用 OpenAI 或 HuggingFace 模型转向量。 * **VectorStore**: 存入 Pinecone/Milvus/Chroma。 * **Chain**: LangChain 串联整个流程。 ## 结语 RAG 是目前企业落地 LLM 最主流的方案。 它让 AI 拥有了“外挂大脑”，既保留了通用的语言能力，又具备了私有的专业知识。