AI Agent Guide 交互版
第一阶段 · LLM 工程基础 含 5 处交互组件 · 可透视 Payload 与边界失效

Context Engineering:上下文不是越多越好

上下文太长会导致模型注意力稀释。就像去医院看病,你不会把出生以来所有病历都带过去,而是只带这次相关的几份检查报告。

30 秒版 · 只记这 3 句 实验台曲线与权重为教学示意
  1. 01 上下文不是一锅粥,按生命周期分四层管理。
  2. 02 证据塞在长上下文正中间,准确率可能低于不给文档。
  3. 03 多轮对话用滚动摘要保底,工具与文档靠 JIT 按需加载。

“context engineering is the delicate art and science of filling the context window with just the right information for the next step.”

来源:@karpathy,2025 年 6 月 25 日
Prompt Engineering
关心“怎么写指令”

设计系统角色、语气约束、Few-shot 示例与输出格式,决定模型以什么方式思考和回答。

Context Engineering
关心“放什么信息、放哪里”

在每一步动态筛选有用片段、控制 Token 预算并排列顺序,避免噪声稀释模型注意力。

上下文的四类来源

上下文不是把所有文本混在一起,而是按生命周期分成四层。点击左侧任意一层,查看它的管理策略与真实片段(颜色与后文实验台一一对应):

为什么塞得越多,效果越差

Liu 等人(2023 年,TACL 2024,arXiv:2307.03172)给模型 20 份文档、只把正确答案藏在其中一份里,测试 GPT-3.5-Turbo 在不同位置下的准确率:

第 1 位(开头)
75%
首部注意力集中
第 10 位(中间)
55%
低于无文档基线 56.1%
第 20 位(结尾)
72%
近因效应回升

Chroma 在 2025 年测试 18 个主流模型也发现了长输入下的“Context Rot(上下文腐化)”(Chroma Research),另有研究指出厂商宣传的“最大上下文窗口”远大于“最大有效上下文窗口”(arXiv:2509.21361)。在下面实验台拖动证据位置,直接透视模型视野里的注意力衰减与真实 Payload:

交互实验台 01 · Lost in the Middle & Payload 透视

上下文组装、注意力热力图与请求预览

开关上下文层、调节噪声文档数量、移动关键证据位置,透视位置衰减与真实 Payload。示意曲线 · 非真实模型推理

先猜后验 20 份文档里把正确答案放在第 10 位(正中间),模型准确率比“完全不给任何文档”高还是低?
实时 Context Window 占用(模拟 16,000 Tokens 有效工作窗口)
规则层 System 记忆层 历史 知识层 关键证据 干扰噪声文档 任务层 当前输入
1. 启用上下文层级
2. 检索文档总数(1 份关键证据 + 噪声) 20 份
3. 点击槽位,移动“关键证据”位置 第 10 位(中间)
参考准确率(U 型曲线)
55%
预估首字延迟 / 成本
无文档基线 56.1% 第 1 位(开头) 中间 末尾
颜色越淡代表模型在长上下文中对该区域的关注度越低

上下文的组织原则

按优先级分层组装,并用 Reranker 把最相关的片段放到首尾。点击代码块顶部的层级标签,高亮查看四类来源在 Anthropic SDK 调用里的位置:

context-assembly.ts
const response = await client.messages.create({  model: process.env.MODEL!,  max_tokens: 1024,  // 规则层 + 历史摘要合并进 system  system: `${systemRules}${summarizedHistory ? `\n\n[早期对话摘要]\n${summarizedHistory}` : ""}`,  messages: [    // 知识层:RAG 检索结果,最相关的排最前    ...(ragResults.length > 0 ? [      { role: "user" as const, content: `参考资料:\n${ragResults.map((r, i) => `[${i + 1}] ${r.content}`).join("\n\n")}` },      { role: "assistant" as const, content: "好的,我已阅读参考资料。" },    ] : []),    // 记忆层:最近几轮对话原文    ...recentMessages,    // 任务层:用户当前输入    { role: "user" as const, content: userInput },  ],});

多轮对话状态管理:试着把窗口“玩坏”

多轮对话里,“按消息条数截断”有个常见陷阱:只要用户突然粘贴一段几千 token 的报错堆栈,按条数保留就会瞬间撑爆预算;而按 token 预算截断,这一条堆栈又会把前面所有对话全部挤出去。试试调整窗口大小,或者直接:

交互实验台 02 · 多轮对话边界沙盒

滑动窗口 vs 滚动摘要:可调窗口与长日志冲击测试

推进 8 轮开发对话,调整窗口上限,或在第 5 轮注入一条 3,000 token 的报错堆栈,观察两边如何反应。

当前进度:第 1 / 8 轮
窗口保留上限:
策略 1:滑动窗口(近 3 轮) 正常运行
当前窗口:0 tokens 第 1 轮约束:保留中
策略 2:滚动摘要(摘要 + 近 3 轮) 推荐方案
当前窗口:0 tokens 第 1 轮约束:摘要保留

增量更新摘要的核心在于把“旧摘要 + 刚被挤出的几条消息”合并压缩(完整 TypeScript 实现见上方折叠代码块)。如果使用 Anthropic 官方 Claude API,也可以用 Beta 能力 compact_20260112 在服务端自动完成压缩(见 Compaction 官方文档)。

工程实现参考:按 Token 截断 / 增量滚动摘要 / Compaction Beta 代码

1. 滑动窗口(按 Token 预算从尾部倒推,避免单条长日志撑爆):

trim-history.ts
function trimHistory(messages: Message[], maxTokenBudget: number): Message[] {
  const estimateTokens = (text: string) => Math.ceil(text.length / 3.5);
  let total = 0;
  const result: Message[] = [];

  for (let i = messages.length - 1; i >= 0; i--) {
    const tokens = estimateTokens(messages[i].content);
    if (total + tokens > maxTokenBudget) break;
    total += tokens;
    result.unshift(messages[i]);
  }
  return result;
}

2. 增量滚动摘要(旧摘要 + 刚被挤出的头部消息合并压缩):

rolling-summary.ts
const maxMessages = RECENT_TURNS_LIMIT * 2;
if (updated.length > maxMessages) {
  const toCompress = updated.slice(0, updated.length - maxMessages);
  const toKeep = updated.slice(updated.length - maxMessages);
  const prompt = state.summary
    ? `当前摘要:\n${state.summary}\n\n新增对话:\n${format(toCompress)}\n\n请合并更新成简洁摘要。`
    : `请将以下对话压缩成简洁摘要。\n\n${format(toCompress)}`;
  const newSummary = await summarize(prompt);
  return { reply, newState: { summary: newSummary, recentMessages: toKeep } };
}

3. Anthropic 官方服务端 Compaction Beta:

anthropic-compaction.ts
const response = await client.beta.messages.create({
  model: process.env.MODEL!,
  max_tokens: 1024,
  betas: ["compact-2026-01-12"],
  context_management: { edits: [{ type: "compact_20260112" }] },
  system: systemPrompt,
  messages,
});
messages.push({ role: "assistant", content: response.content });
兼容端点说明 compact_20260112 与后文的 clear_tool_uses_20250919 均为 Anthropic 官方 Claude API 的 Beta 能力,阿里云百炼等兼容端点暂不支持,仍需在应用层自行实现滚动摘要或清理逻辑。

动态加载 vs 一次性塞满

把整个仓库或知识库一次性塞进上下文,叫“Context Stuffing(上下文堆填)”。更好的方式是 Just-In-Time(按需加载):Agent 执行多步任务时,只在需要的那一步拉取对应文件,工具输出用完后即可清除(参考 Context editing 官方文档)。

交互实验台 03 · 上下文积木实时装卸台

排查登录 500 报错:一次性塞满 vs Just-In-Time

切换加载策略,观察左侧仓库文件的读取状态与右侧上下文窗口里实际驻留的信息积木块。

项目代码库(8 个文件)
绿框 = 当前在窗口内且相关 · 红框 = 无关噪声 · 虚线 = 用完已清除
当前上下文窗口内的积木块
开局把全部文件一次性拼接进 Prompt
14,200
上下文 Token 占用
15%
有效信息密度
极高噪声
干扰风险

快速选型:你的场景该用哪种策略

所有常见场景的推荐组合直接平铺在下方,一眼对比;也可以点击特征标签快速高亮匹配项:

知识库问答 · 文档量大
动态检索(RAG)+ Reranker 重排

绝不硬塞全文。先粗排召回候选,再用 Reranker 把最相关的 Top 3~5 片段放到首尾位置。

固定短背景知识
一次性放进 System Prompt

几百到一两千 token 的稳定规范直接放进 System,配合服务端缓存既稳定又省钱。

长多轮对话
增量滚动摘要 + 最近 N 轮原文

最近 N 轮保指代清晰,早期历史增量合并进 System 摘要,守住第一轮定下的约束。

Agent 多步任务
Just-In-Time 按需加载 + 用完即清

每步只拉取当前所需文件或目录片段,消化完的冗长工具输出及时清理或摘要。

单次独立任务
四层直接组装,不做历史管理

无多轮膨胀问题,重点是精简 System Prompt、明确输出 Schema 并做好校验重试。

核心工程口诀
只放下一步真正需要的信息

精简规则层、压缩记忆层、重排并清理知识层,把最强注意力留给首尾和当前任务。