一、检索层评测:先分清“没找到”还是“排太后”
RAG 评测必须拆成两层:检索质量评测看证据有没有进 Top-K,答案质量评测看模型有没有用对证据。混在一起只看最终得分,往往会把检索故障错当成 Prompt 问题来修。
检索层最实用的两个指标是 Recall@K 和 MRR(Mean Reciprocal Rank)。Recall@K 计算的是“所有人工标注的相关文档里,有多少比例进入了前 K 位”;MRR 计算的是“第一篇相关文档出现位置的倒数均值”,排在第 1 位得 1.0,第 2 位得 0.5,第 4 位得 0.25。
这两个数字合在一起看才不会误判。Recall@5 达标但 Recall@3 偏低、同时 MRR 尚可,说明文档已经被召回,只是被 Reranker 挤到了第 4、5 位;如果 Recall@5 和 MRR 一起掉下去,才是 Embedding 模型或分块粒度出了问题。