长上下文时代为什么还要做 RAG,以及上游为何最先出事
长上下文解决“能放多少”,RAG 解决“应该放什么”。上游文档处理决定了检索系统能看到什么,数据一旦在这里被切碎或错位,下游环节无法修复。
大模型的上下文窗口越来越长,文件搜索也逐渐成为模型平台的内置能力。但上下文再长,也不适合每次都把整套产品文档、公司制度和历史资料全量塞给模型。除了浪费 token 和混入噪音,当数据持续更新、不同用户权限不同、回答必须附带可靠出处时,模型仍然要先找证据,再基于证据回答。
如今的 RAG 正在成为 AI 应用和 Agent 的知识层:Agent 决定什么时候查、查什么、是否继续查;检索系统负责从真实数据中召回可靠证据。而整条链路的第一步,就是把原始文档变成质量稳定、来源清晰的 DocumentChunk。
PDF 解析,难点不只是读取文字
Markdown 和纯文本可以直接读取,但 PDF 麻烦得多。PDF 本质上关心页面如何精准排版呈现,不保证程序能直接恢复人类阅读顺序。普通 PDF 需要解析器根据字符坐标推断段落、栏位和表格,而推断经常在三类文档上翻车:多栏布局打乱顺序、表格丢失行列对应、以及扫描件根本没有文字层。