RAG 不是万能药。用错了幻觉更多:召回不准、切块不合理、没有兜底,都会让 AI 编得更凶。

🦩 第 31 篇 · 2026 年 2 月 2 日
“AI 总是编一些不存在的政策、数据、条款。“这是所有 AI 落地团队都会遇到的问题。RAG(检索增强生成)是解决幻觉的主流方案,但 RAG 不是万能药——用错了,幻觉更多。
一句话
RAG(Retrieval-Augmented Generation,检索增强生成)的核心思想是:让 AI 生成之前先去查一下真实资料。但 RAG 有三个致命坑——查不到(检索失败)、查错了(语义偏移)、查到了但不会用(上下文窗口爆炸)。三个坑踩一个,幻觉不减反增。
为什么 AI 会"编”
原因一:训练数据的局限
大模型的训练数据有截止日期,且无法覆盖企业的私有知识(内部制度、SKU数据、客户历史)。
原因二:概率生成的本质
大模型本质是"概率生成”——它生成的是最可能的文字序列,不是事实。这导致它会把"看似合理但实际错误"的内容说得非常自信。
原因三:上下文过长时的注意力分散
当上下文窗口很长时,AI 对早期内容的注意力会下降,导致前后矛盾。
RAG 的工作原理
用户问题
↓
Embedding 模型 → 把问题转为向量
↓
向量数据库检索 → 找到 Top-K 相关文档
↓
把检索结果注入上下文(Context)
↓
LLM 生成 → 基于真实检索结果回答
↓
回答
关键点:生成之前有一步"检索",检索结果决定了 AI 能回答的质量。
RAG 的三个致命坑
坑一:查不到(检索失败)
症状:用户问了一个很正常的问题,但检索不到任何相关内容。AI 被迫用自己的"脑补"来回答。
原因:
- 知识库内容不够(知识库里根本没有这个答案)
- Embedding 模型不匹配(问题域和知识库域差异大,比如用通用Embedding处理专业医疗术语)
- Chunk 切分不合理(把一个完整答案切成两半,检索只能拿到一半)
解法:
- 知识库要覆盖足够多的 Q&A(覆盖率 > 80%)
- 用领域适配的 Embedding 模型
- Chunk 大小 500-1000 字,保留完整语义单元
坑二:查错了(语义偏移)
症状:检索返回了文档,但返回的文档和用户问题意图不匹配。
例子:
- 用户问:“退款要几天到账”
- 检索返回:“退款流程"文档——但文档里只讲了怎么申请退款,没讲几天到账
- AI 基于"退款流程"回答,自然答非所问
原因:
- 向量相似度 ≠ 语义相关性
- 用户问题包含多义词(“退款"在电商和金融语境不同)
- 检索没有考虑意图分类
解法:
- 加意图分类层:先分类用户意图,再定向检索
- 混合检索:向量检索 + 关键词检索(BM25)双重保险
- 重排序(Rerank):初检后用 Cross-Encoder 重排序,提高相关性
坑三:查到了但不会用(上下文窗口爆炸)
症状:检索到了很多相关内容,但 AI 的回答依然不准确——要么漏掉关键信息,要么回答和检索结果矛盾。
原因:
- 检索结果过多,上下文窗口放不下
- Top-K 截断把关键信息切掉了
- AI 对大量上下文的信息整合能力有限
解法:
- 动态 Chunk:根据问题动态决定检索深度
- 层级检索:先摘要检索,再细节展开
- 长上下文模型:使用支持 128K+ 上下文的模型
向量检索的工程细节
Embedding 模型选型
| 模型 适用场景 维度 特点 | text-embedding-ada-002 通用 1536 OpenAI 默认,通用好 | text-embedding-3-small 通用 512/1024 性价比高 | BGE-large 中文+专业 1024 中文效果好 | Cohere embed 多语言 1024 多语言支持好
向量数据库选型
| 数据库 适用规模 特点 | Chroma 小规模 轻量、易用 | Milvus 中大规模 高性能、生产级 | Qdrant 中大规模 Rust 实现,高性能 | Pinecone 大规模 全托管、云原生 | Weaviate 中大规模 原生混合检索
检索策略
策略一:纯向量检索
- 优点:语义理解好,同义词能匹配
- 缺点:精确关键词匹配弱
策略二:混合检索(向量 + BM25)
|
1
2
3
4
5
SELECT * FROM knowledge_base
WHERE vector_similarity(embedding(query), embedding) > 0.75
AND bm25(query) > 0.3
ORDER BY 0.7*vector_score + 0.3*bm25_score DESC
LIMIT 10
策略三:重排序(Rerank)
初检:向量检索 Top-100
重排:Cross-Encoder 重排 Top-20
最终:输入 LLM Top-5
实战:客服 RAG 优化
优化前
- 知识库 300 篇文档,直接向量检索
- Top-K = 5
- 用户问:“水票过期了能延期吗”
- 检索返回:5 篇文档,但有一篇是"水票退款规则”,有一篇是"水票转让规则”,还有 3 篇是"水票使用说明"——没有一篇直接回答"过期延期"
- AI 看了 5 篇答不出来,只好开始编
优化后
Step 1:意图分类
用户问 → 意图分类器
"水票过期" → "水票延期" 意图(准确)
"退水票" → "水票退款" 意图
"把水票转给朋友" → "水票转让" 意图
Step 2:定向检索
意图="水票延期" → 只检索标签为"水票延期"的文档
→ 精准命中:"水票延期政策"文档
Step 3:重排序 + 验证
Cross-Encoder 验证文档和问题语义相关性
→ 过滤掉"退款""转让"相关文档
→ 只保留"延期"相关
Step 4:答案生成
把"水票延期政策"文档完整注入上下文
→ AI 基于真实政策回答:"水票过期后30天内可以申请延期..."
怎么评估 RAG 系统
| 指标 含义 目标 | 召回率(Recall) 知识库里有答案的问题,能检索到吗? > 90% | 精确率(Precision) 检索到的内容,真的和问题相关吗? > 80% | 幻觉率 回答中包含知识库里没有的信息 < 5% | 拒答率 知识库里没有的问题,AI 正确拒答 > 95%
测试集:至少 100 条真实用户问,按"有答案"和"无答案"分类,定期跑指标。
RAG 的下一步:GraphRAG 和 AgentRAG
GraphRAG:把知识图谱引入 RAG,不只检索文档块,还检索实体关系。
AgentRAG:让 RAG 变成多步检索——AI 发现自己缺什么,主动再检索补充。
不是每个场景都需要这些。但当基础 RAG 遇到瓶颈时,这两个方向是升级路径。
延伸阅读
- AI 项目为什么大多死在第二个月
- AI落地这条路,我为什么一直走下去
- 从任务到工作流,自动化为什么总断在半路
- A2A 协议,为什么智能体需要自己的 HTTP
- 办公 Agent 想落地,先啃会议和流程两座山
- 本地生活门店的 Agent 团队,一次真实复盘
- 本体论:让 AI 理解业务而不是背答案
- 别急着做 AI 早报,先核对落地三环
- 别再堆 MCP 和 Skills,工具越多越乱
- 不是急着做AI和人的分工不是谁,是先核对AI落地
相关阅读
标签
双号关注
扫码关注「广说新零售」公众号 + 视频号
本地生活 AI 落地、Agent 实操、真实门店怎么跑起来。扫码关注公众号与视频号「广说新零售」,持续看可收藏的做法;有场景也可私信聊合作。

公众号

视频号
继续读
同栏目相关文章,方便对照着看。
AI 上线头一周,先盯紧这四件要事别放
AI 落地项目上线第一周别只看 demo。盯四件事:在不在跑、对不对、人的反应、出错怎么兜。
客户说 AI 不懂我,八成是这三种原因
AI 客服不懂客户,多半不是模型问题:不知道你是谁、没接准意图、不记得你们发生过什么。
AI 项目为什么大多死在第二个月就停
AI 落地项目第一个月有掌声,第二个月只剩没人愿意干的脏活:维护、接真业务、说服使用的人。
A2A 不只是连 Agent,门店之间也要协同
A2A 的价值不止让 AI 互相说话。A 店缺货、B 店有货,门店之间能对上话才是关键。先在一家店验证。
AI 当员工还是当工具,结果完全不同
AI 落地半年后差距很明显:有人越用越省事像多带个员工,有人越用越累只把它当工具。
