AI Agent Guide Interactive
模块三 · RAG 检索与证据 3 个交互实验台 Node.js + TypeScript

引用溯源与证据校验

Reranker 已经把 security-001 排到了候选池第一位,但这只是检索片段,还不是用户能信任的回答。把证据交给 LLM 之后,模型依然可能悄悄补进训练数据里的“常识”、把相似接口张冠李戴,或拿过期文档当成现行规则。这一章补齐 Reranker 之后到可信回答的防幻觉闭环:事前拦截、编号注入、引用溯源、忠实度校验,以及单靠调 Prompt 救不了的架构边界。

30 秒工程速览 先抓核心结论,再进实验台亲手验证
  1. 01 证据不足时不要让 LLM 硬答。用 rerankScore 阈值在调用模型前直接拒答,并给入围片段加上 [1] [2] 编号与明确禁止越界规则。
  2. 02 回答里带了 [1] 不代表内容真的来自片段 1。必须用 Faithfulness 把回答拆成独立事实逐条对照证据,同时警惕“忠实但答非所问”。
  3. 03 减少幻觉最有效的位置不是回答阶段的 Prompt,而是检索阶段的上下文质量。同名实体漂移、版本冲突与多轮旧证据残留,要靠元数据过滤和上下文隔离解决。

幻觉从哪来,以及防幻觉闭环怎么搭

“RAG 能减少幻觉”有一个隐含前提:送进上下文的证据本身是对的,而且模型真的只用了这些证据。

在线上 RAG 系统里,读起来像模像样、实际上会误导用户的回答,大多来自三个源头:

  1. 实体漂移(Entity Drift):语义相近但实体不同的片段进了候选池。用户问 deleteAccount API 的错误码,向量检索召回了 deleteUser API 的文档,模型照着错误接口讲得头头是道。
  2. 版本错位:知识库里同时存着新旧两版文档,旧版本被召回,关键变更没有体现在回答里,用户按过期流程执行操作。
  3. 凭空编造:最难察觉的一类。证据只写了 deleteAccount 会检查外键引用,模型顺手补了一句“通常可以先调用 cleanupReferences API 解决”,而这个接口在系统里根本不存在。

凭空编造的根源在于 LLM 的生成目标是“写出听起来合理的答案”,而不是“严格复述证据”。要把候选片段变成可审计的回答,需要在 Reranker 之后补上四道防线:事前阈值拦截、编号化证据注入、引用编号提取和忠实度校验。

RAG 从候选证据到可信回答的四道防幻觉闭环 架构示意
Reranker 候选 Top-K 片段 附带 relevance_score 1. 阈值门禁 score ≥ 阈值? 事前过滤低分噪音 全部低于阈值 直接拒答(省去 LLM) 说明缺什么与去哪查 通过 2. 编号证据注入 [1] [2] 来源标注 禁止越界 + 拒答规则 3. 带引用回答 提取 [数字] 编号 定位实际引用片段 4. 忠实度校验 拆解事实逐条核对 Faithfulness 评分 低分样本回流诊断:是检索证据脏了,还是约束不够严?

事前拦截与编号化证据注入

先用 rerankScore 挡掉没有足够依据的问题,再把入围片段编号交给模型,让每条结论都能追踪到原始出处。

很多系统在没有相关文档时依然把低分片段塞进 Prompt,结果模型为了完成任务强行拼出一个看似合理的答案。用 EVIDENCE_THRESHOLD 做事前拦截能同时拿到两个收益:省掉一次无效的 LLM 调用,并且给用户明确的“在哪里找不到、建议去哪里找”的反馈,而不是含糊地说“我不知道”。

实验 01 · 事前拦截与证据注入沙盒

拖动 Rerank 阈值滑块,看何时放行、何时误杀、何时触发拒答

测试任务:对比“证据充足(409 排查)”与“知识库缺失(限流策略)”两个真实场景。调节 EVIDENCE_THRESHOLD 并切换证据格式,观察最终送进 LLM 的载荷或拒答行为。

模拟 Rerank 得分
测试问题:
注入格式:
事前拦截阈值 EVIDENCE_THRESHOLD(仅放行 rerankScore ≥ 阈值 的片段) 0.40
0.05(极宽松 · 易放进噪音) 0.40(示例起点) 0.95(极严格 · 易误杀)
Reranker 候选池(红线为当前阈值) 模拟分数 · 仅用于直觉演示
实际发送给 LLM 的 Prompt 载荷 正常放行

          
查看与当前阈值同步的 TypeScript 实现(buildEvidenceBlock + 事前拦截)
answer-with-citation.ts · 随上方阈值滑块实时同步
阈值 0.40 只是一个起点,且不能跨 Reranker 模型复用
阈值的选取必须靠自己的评测集标定,不能照搬固定数字。有的业务知识库覆盖度一般,设 0.40 会漏掉本可回答的问题;对幻觉容忍度极低的合规场景,往往需要提到 0.60 以上。此外,不同 Reranker 服务的分数分布完全不同,换了模型就必须重新校准阈值。

引用标注 ≠ 引用校验:为什么还要做 Faithfulness

回答里带了 [1] [2],只代表模型声称这句话来自对应片段,不代表片段里真的写了这件事。

把编号证据块传给模型后,可以通过正则把回答里出现的所有 [数字] 提取出来,映射回对应的原始 chunk。但生产环境里常见两类隐蔽故障:一类是模型在合法编号前混进了证据里根本没有的“常识”;另一类是张冠李戴,把片段 2 的事实标成了 [1]。

先猜一下 如果一份 RAG 回答每句话末尾都标了 [1] 或 [2],且编号全部在合法范围内,这能保证回答没有幻觉吗?
判断正确:引用编号只是格式约束,不是事实核验。 在 RAGAS 官方文档 中,忠实度(Faithfulness)的定义是:把回答拆解为若干条独立事实陈述,逐条检查是否能从检索到的证据中推断出来,最后计算被支持陈述所占的比例。
实验 02 · 引用溯源与 Faithfulness 逐条校验器

点击回答中的 [1] [2] 与事实陈述,看忠实度如何抓出“伪引用”

测试问题:deleteAccount API 返回 409 怎么排查? 切换 4 种模型输出样本,对比“编号格式检查”、“Faithfulness(忠实度)”和“Answer Relevancy(切题度)”的差异。

定义来源:RAGAS Faithfulness
模型输出样本:
模型生成的带引用回答(点击编号定位来源) 编号格式合法
入围的原始证据片段(高亮表示当前选中引用) 来自候选池 Top-2
Faithfulness 逐条事实核验结果 模拟 LLM 校验器输出
查看引用提取与 Faithfulness 校验的 TypeScript 代码
extractCitedChunks + checkFaithfulness · answer-with-citation.ts
function extractCitedChunks(answer: string, chunks: EvidenceChunk[]): EvidenceChunk[] {
  const cited = new Set<number>();
  for (const match of answer.matchAll(/\[(\d+)\]/g)) {
    const idx = parseInt(match[1], 10) - 1;
    if (idx >= 0 && idx < chunks.length) cited.add(idx);
  }
  return [...cited].map((i) => chunks[i]);
}

async function checkFaithfulness(
  answer: string,
  citedChunks: EvidenceChunk[]
): Promise<{ score: number; reason: string }> {
  if (citedChunks.length === 0) {
    return { score: 0, reason: "回答中没有引用任何证据片段" };
  }

  const evidenceText = citedChunks.map((c) => c.text).join("\n\n");
  const response = await anthropic.messages.create({
    model: llmModel,
    max_tokens: 300,
    messages: [
      {
        role: "user",
        content: [
          "判断下面的回答中,每个关键事实是否都能在证据片段里找到直接依据。",
          "如果存在证据里没有的事实,判定为不忠实。",
          "",
          "证据片段:",
          evidenceText,
          "",
          "回答:",
          answer,
          "",
          '只输出 JSON:{"score": 0到1的数字, "reason": "一句话说明"}',
        ].join("\n"),
      },
    ],
  });

  const textBlock = response.content.find((b) => b.type === "text");
  const text = textBlock?.type === "text" ? textBlock.text : "";
  const jsonMatch = text.match(/\{[\s\S]*\}/);
  if (!jsonMatch) return { score: 0, reason: "无法解析校验结果" };

  try {
    return JSON.parse(jsonMatch[0]) as { score: number; reason: string };
  } catch {
    return { score: 0, reason: "解析失败" };
  }
}
两个容易忽略的校验局限
1. 用 LLM 校验 LLM 本身也可能出错:当证据和回答很长时,单次调用容易漏检。生产环境更稳的做法是像 RAGAS 一样,先拆解陈述,再逐条小任务核验后汇总比例。
2. Faithfulness 不是最终唯一指标:如实验 02 的案例 ④ 所示,一段严格忠于证据但完全答非所问的回答,Faithfulness 依然可以是 1.00。完整评测必须配合 Answer Relevancy(切题度)一起看。

光靠调 Prompt 解决不了的四类幻觉

Prompt 只能约束模型用什么口径说话,决定不了模型收到了什么证据。输入上下文脏了,再严厉的指令也挡不住幻觉。

在实际排障里,很多团队会把大量时间花在往系统提示词里加“绝对禁止编造”“仔细核对”这类语气词上,却忽略了上下文里本身就混进了错误实体、过期版本或上一轮对话的残留证据。下面这四类典型故障,必须回到检索层和上下文编排层解决。

实验 03 · 架构级幻觉诊所

四类调 Prompt 救不了的幻觉:看上下文怎么“投毒”以及架构怎么拆弹

依次切换 4 类高频线上故障,对比“仅靠 Prompt 约束”与“检索/上下文架构修复”两种处理方式下,模型实际收到的上下文与最终回答后果。

Choice → Consequence → Fix
故障类型:
处理方式:
模型实际看到的上下文 存在上下文污染
生成的回答与工程诊断 隐蔽幻觉

防幻觉防线速查矩阵

RAG 分检索和回答两段:表述层面的编造靠回答阶段防线挡住,实体漂移、版本错位和串轮污染靠检索与上下文质量解决。

事前拦截
Rerank 阈值门禁

过滤 rerankScore < 阈值 的弱相关片段;全部未达标时直接拒答并告知去哪查,省掉无效 LLM 调用。阈值必须用本业务评测集标定,不可跨模型照搬。

证据注入
编号化证据块 + 越界禁令

把 Top-3 到 Top-5 高分片段按 [1] 来源:... 格式分隔注入,显式要求禁止补充外部业务细节,并定义证据不足时的标准拒答前缀。

引用溯源
[数字] 标注与来源提取

要求关键事实句末标注编号,代码层通过 extractCitedChunks 回收实际引用片段,为前端展示出处和后续忠实度校验提供精确锚点。

事后校验
Faithfulness 逐条核验

高置信度场景(法律、医疗、金融、核心运维)不能把“带了编号”当成校验。按 RAGAS 思路拆解事实逐条核对,并与 Answer Relevancy 联合评估。

检索与元数据
实体过滤与版本时间戳

入库时写入接口名、服务名、版本号和更新时间;召回阶段优先按元数据收窄范围并对过期文档降权,避免同名接口漂移和新旧规则打架。

多轮对话
每轮重置证据块

不要把上一轮塞满证据块的 user message 原样留在历史数组里。历史消息只保留纯问答,每轮用新问题重新检索并只注入当前轮次的证据。