幻觉从哪来,以及防幻觉闭环怎么搭
“RAG 能减少幻觉”有一个隐含前提:送进上下文的证据本身是对的,而且模型真的只用了这些证据。
在线上 RAG 系统里,读起来像模像样、实际上会误导用户的回答,大多来自三个源头:
- 实体漂移(Entity Drift):语义相近但实体不同的片段进了候选池。用户问
deleteAccount API的错误码,向量检索召回了deleteUser API的文档,模型照着错误接口讲得头头是道。 - 版本错位:知识库里同时存着新旧两版文档,旧版本被召回,关键变更没有体现在回答里,用户按过期流程执行操作。
- 凭空编造:最难察觉的一类。证据只写了
deleteAccount会检查外键引用,模型顺手补了一句“通常可以先调用cleanupReferences API解决”,而这个接口在系统里根本不存在。
凭空编造的根源在于 LLM 的生成目标是“写出听起来合理的答案”,而不是“严格复述证据”。要把候选片段变成可审计的回答,需要在 Reranker 之后补上四道防线:事前阈值拦截、编号化证据注入、引用编号提取和忠实度校验。
事前拦截与编号化证据注入
先用 rerankScore 挡掉没有足够依据的问题,再把入围片段编号交给模型,让每条结论都能追踪到原始出处。
很多系统在没有相关文档时依然把低分片段塞进 Prompt,结果模型为了完成任务强行拼出一个看似合理的答案。用 EVIDENCE_THRESHOLD 做事前拦截能同时拿到两个收益:省掉一次无效的 LLM 调用,并且给用户明确的“在哪里找不到、建议去哪里找”的反馈,而不是含糊地说“我不知道”。