千万文档级RAG系统如何逼近零幻觉

随着企业知识库规模突破千万级文档量级，如何在海量语料中保证AI回答的可信度，已成为业界面临的核心挑战。当RAG系统的检索范围从数千条扩展到数百万、上千万向量时，「幻觉」问题会被急剧放大——模型在缺乏有效证据支撑时，仍可能生成流畅但错误的答案。本文将完整拆解一套面向大规模文档的RAG流水线，从数据准备、索引构建、检索重排、约束生成、主张核验到主动拒答，逐层剖析如何构建一个真正可信的检索增强系统。

数据预处理：从源头控制质量

本方案的核心设计理念并非追求「更聪明的模型」，而是构建一个「更安全的失败机制」。当检索无法返回有效证据时，系统的正确行为应当是主动拒绝回答，而非生成一段看似合理却未经证实的猜测。为此，我们设计了一套四层控制架构：检索层确保召回正确证据、生成层约束严格基于上下文、验证层逐条核验原子级主张、决策层在证据不足时果断拒答。这套架构的目标是同时达成两个关键指标——对可回答问题的幻觉率接近零，以及检索底座能够承载千万级向量并保持毫秒级响应。

智能切块与上下文增强

高质量的检索系统始于高质量的语料输入。在建立索引之前，必须完成两项关键预处理：文本标准化与近重复内容去除。文本标准化采用NFKC规范化格式，将连字符还原为标准字符、折叠多余空白，确保BM25分词器能够准确识别词汇边界。对于近重复检测，系统采用MinHash LSH算法，在近似线性时间内识别并去除语义高度相似的段落。这种处理的价值在于两方面：一是减小索引体积、降低存储成本；二是防止被复制或转发的内容占据检索结果前列，造成「虚假召回」的假象。清洗完成后，我们获得约20000个高质量passage passages，为后续处理奠定坚实基础。

混合索引与检索重排机制

单一检索范式无法应对复杂的语义匹配需求。本系统采用混合索引架构，同时维护稠密向量索引与稀疏BM25索引。稠密向量检索擅长捕捉语义改写——当问题和答案使用不同措辞时，向量空间能够识别其深层语义关联；而BM25则精于命中精确token，如专有名词、数字、ID等，这类信息恰恰是稠密模型最容易「抹平」的内容。两套索引以chunk id为键进行对齐，查询时通过reciprocal rank fusion融合排序结果。 在检索量控制上，系统先召回150个候选结果，再通过重排模型压缩至20个最终候选项。重排模块采用因果模型架构，对每个(query, doc)配对评估「yes」与「no」 token的概率差异。这种设计的优势在于：embedding会将整段文本压缩为单个向量，模糊了「顺带提及」与「真正回答」的区别；而重排模型能够精准区分这两类内容，将错误证据挡在prompt之外——这直接决定了生成答案的质量上限。

带引用生成与主张核验

生成层是控制幻觉的第二道闸门。系统要求答案必须严格基于上下文，每句话都必须附带对应的passage引用；当证据不足以支撑回答时，模型输出特殊的abstain标记而非编造内容。这一约束机制看似简单，实则从根本上改变了模型的输出分布——它不再被允许「自由发挥」，而是被迫在「有把握地回答」与「坦诚地沉默」之间做出选择。 然而，生成约束只是第一层防线。真正的验证发生在主张核验环节：系统将答案拆解为原子级claim，对照其引用文本逐一检查每条主张的支持程度。这一角色由本地部署的32B模型担任，通过精心设计的prompt要求模型返回0到1之间的支持分数。选择大型模型作为judge的原因在于：RAG场景下的faithfulness检查本质上是「在多段长文本上下文中核对一条主张」，这正是小型sentence-pair NLI模型最容易失效的场景。只有足够强力的judge，才能将「听起来自信但实际错误」的回答拦截下来——这是实现「近乎零幻觉」目标的核心组件。

如有侵权，请联系删除。